** ACTA 고급과정: 생성형 AI 이론과 응용 (Gen-AI 과정) – Type B

* 10주 프로그램, 총 100시간

(1주일 10시간: 주중 야간줌수업 3시간씩 2회, 토 4시간 대면수업)

Part A: Advanced Mathematics for Generative AI

  * 4주 프로그램, 총 40시간

강사 풀: 최종현, 전세영, 강유, 윤성로, 문태섭, 정교민

Part A-1: ML관점에서의 확률통계 (2주 프로그램, 총 20시간)

1. Probability Theory

  – Applications: Probabilistic classifiers, such as Naive Bayes, rely on foundational probability principles to make predictions based on input data.

* 확률 이론은 머신 러닝에서 필수적인 기초 원리 제공.

* 확률적 분류기(Probabilistic Classifiers)는 예측 시 확률 원리를 활용.

* Naive Bayes는 조건부 확률을 기반으로 작동.

* 입력 데이터로부터 최적의 예측을 수행.

* 데이터의 불확실성을 정량화하고 분석에 활용.

2. Random Variables and Probability Distributions

– Applications: Modeling data distributions helps in selecting appropriate algorithms and in understanding the behavior of data under different conditions.

* 랜덤 변수와 확률 분포는 데이터 특성 및 행동 이해에 필수.

* 데이터 분포를 모델링하면 적합한 알고리즘 선택에 도움.

* 다양한 조건에서 데이터의 행동을 예측 가능.

* 불확실성을 정량화하여 모델의 성능 향상.

* 이상치 탐지, 예측 모델링 등 다양한 응용 가능.

3. Descriptive Statistics

– Applications: These measures are essential for exploratory data analysis, helping to identify patterns, anomalies, and informing preprocessing steps.

* 기술 통계는 탐색적 데이터 분석(EDA)에 필수적.

* 데이터의 패턴과 이상치를 식별하는 데 도움.

* 전처리 단계에서 필요한 정보를 제공.

* 데이터의 중심 경향(평균, 중앙값 등)과 분포(분산, 범위 등) 파악.

* 데이터 이해 및 모델 준비 과정에 활용.

4. Bayesian Inference

– Applications: Techniques like Recursive Bayesian Estimation are used in dynamic systems to continuously update predictions based on new data.

* 베이지안 추론은 동적 시스템에서 예측 업데이트에 활용.

* Recursive Bayesian Estimation은 새로운 데이터를 기반으로 연속적 예측

* 확률 분포를 업데이트하며 데이터의 불확실성 반영.

* 시계열 분석, 필터링(Kalman Filter) 등에 적용.

* 데이터 변화에 따라 모델 적응력을 높이는 데 기여.

5. Hypothesis Testing

– Framework: Procedures to test assumptions about data, using metrics like p-values to determine statistical significance.

* 가설 검정은 데이터에 대한 가정을 검증하는 절차.

* p-value를 사용해 통계적 유의성을 평가.

* 데이터가 특정 분포나 조건을 따르는지 확인.

* 모델 성능 비교 및 특성 선택에 활용.

* 통계적 검정을 통해 데이터 분석의 신뢰도 향상.

6. Maximum Likelihood Estimation (MLE)

– Applications: MLE is widely used for fitting models to data, ensuring the most probable parameters are chosen for predictions.

* MLE는 데이터에 모델을 적합시키는 데 사용.

* 관측 데이터를 기반으로 최적의 파라미터를 추정.

* 확률 기반 예측 모델의 정확도 향상에 기여.

* 지도학습에서 회귀 및 분류 모델의 파라미터 학습에 활용.

7. Information Theory

– Applications: Feature selection methods leverage information theory to identify the most informative attributes for model building.

* 정보 이론은 모델 구축 시 중요한 특성 선택에 활용.

* 정보량(Entropy)을 사용해 중요한 특성을 식별.

* 상호정보량(Mutual Information)으로 특성 간 관계 평가.

* 모델의 효율성과 성능 향상에 기여.

8. Sampling Methods

– Applications: Sampling is crucial for training machine learning models, especially when working with large datasets or when performing cross-validation.

* 샘플링은 대규모 데이터셋에서 모델 학습에 필수적.

* 크로스밸리데이션 시 데이터 분할에 활용.

* 데이터의 대표성을 유지하며 연산 효율성 증가.

* 학습 및 테스트 데이터 구성에 사용.

9. Covariance and Correlation

– Applications: Understanding these relationships aids in feature selection and in identifying multicollinearity in datasets.

공분산과 상관계수는 데이터 간 관계를 이해하는 데 필수.

특성 선택 과정에서 중요한 변수 식별에 활용.

데이터셋의 다중공선성 문제를 탐지.

변수 간 상관 구조 분석으로 모델 성능 개선에 기여.

Part A-2: ML관점에서의 선형대수 (2주 프로그램, 총 20시간)

Matrix Multiplication는 머신 러닝과 데이터 분석에서 다음상황에 사용

  Feature Transformation: 데이터 변환 및 특성 결합.

  Linear Models: 선형 회귀와 신경망에서 입력과 가중치 계산

  PCA: 데이터 행렬과 고유벡터 곱으로 주성분 계산.

  Recommendation Systems: 사용자-아이템 관계 모델링.

  State Transition: Markov Chains에서 상태 전이 계산.

Vector Inner Product는 머신 러닝과 데이터 분석에서 다음상황에 사용

  유사도 측정: 코사인 유사도 계산으로 벡터 간 관계 분석.

  Projection: 한 벡터를 다른 벡터 방향으로 투영.

  Linear Models: 선형 회귀 및 분류기에서 예측 값 계산

  Gradient 계산: 최적화 문제에서 경사 하강법 수행.

  Neural Networks: 뉴런의 활성화 값 계산.

Matrix Determinant는 머신 러닝과 데이터 분석에서 다음상황에 사용

  선형 독립성 판별: 행렬식이 0이 아니면 선형 독립성 보장.

  시스템 해 판별: 선형 방정식 Ax=b의 해 존재 여부 확인.

  행렬 안정성 분석: 공분산 행렬의 안정성이나 분산 크기 평가.

  Gaussian Distribution: Multivariate Gaussian에서 확률 밀도 계산.

  행렬 성질 확인: 가역성 여부와 데이터의 특성 평가.

Inverse Matrix는 머신 러닝과 데이터 분석에서 다음상황에 사용

  선형 회귀: 계수 계산

  Ridge Regression: 정규화된 행렬 역행렬 계산으로 다중공선성 완화.

  Gaussian Processes: 공분산 행렬의 역행렬로 확률 계산.

  Optimization: Hessian Matrix 역행렬로 최적화 문제 해결.

  Pseudo-Inverse: 비정칙 행렬에 대해 유사 역행렬로 대체 사용.

LU Decomposition은 머신 러닝과 데이터 분석에서 다음상황에 사용

  선형 방정식 풀이: Ax=b를 효율적으로 계산 (전방/후방 대입 사용).

  역행렬 계산: 행렬의 역행렬을 간접적으로 계산.

  Determinant 계산: 상삼각 행렬 U의 대각선 원소로 determinant 계산.

  Optimization: Hessian Matrix를 활용한 최적화 문제 해결.

  Sparse Matrices: 희소 행렬에서 효율적 연산.

  행렬 분해 기반 분석: 시스템 안정성 평가와 데이터 구조 분석.

Eigenvector와 Eigen Decomposition은 머신 러닝과 데이터 분석에서 다음상황에 사용

 PCA: 데이터 차원 축소와 주요 방향(주성분) 탐지.

 Clustering: Spectral Clustering에서 데이터 구조 분석.

 Recommendation Systems: 행렬 분해로 잠재 요인 추출.

 Graph Analysis: 그래프 구조에서 중요 노드 식별.

 Optimization: Hessian Matrix 분석으로 안정성 평가.

 Covariance Analysis: 데이터 분산과 상관 구조 파악.

 필요한 핵심 방향을 요약하는 데 매우 유용

PCA (Principal Component Analysis)은 머신 러닝과 데이터 분석에서 다음상황에 사용

 차원 축소: 데이터의 변동성을 보존하며 차원 감소.

 데이터 시각화: 고차원 데이터를 2D/3D로 변환하여 패턴 분석.

 노이즈 제거: 작은 고유값에 해당하는 노이즈 제거.

 Feature Selection: 중요한 특성만 선택해 모델 성능 향상.

 데이터 압축: 저장 공간 절약 및 복원 가능한 데이터 표현.

SVD (Singular Value Decomposition)은 머신 러닝과 데이터 분석에서 다음상황에 사용

 추천 시스템: 사용자-아이템 희소 행렬의 잠재 요인 추출.

 텍스트 분석: LSA를 통해 문서 간 유사성 분석.

 이미지 압축: 중요하지 않은 작은 특이값 제거로 데이터 압축.

 Pseudo-Inverse 계산: 비정칙 행렬의 유사 역행렬 생성.

 차원 축소: 행렬 분해로 데이터의 저차원 표현 제공.

Part B: 생성형 AI 이론, 실제, 그리고 구현 (총 60시간)

1. 기초 이론 (20시간) : 생성형 AI의 이론적 배경을 제공