전체 개념 지도¶
분류에 사용하는 네 가지 축¶
딥러닝 기술을 발표 순서나 난이도만으로 나열하면 서로의 관계가 잘 보이지 않는다. 여기서는 다음 네 기준으로 기술을 함께 비교한다.
- 학습 신호: 레이블, 자기지도 목표, 보상, 방정식 잔차
- 출력 목적: 예측, 표현, 생성, 의사결정, 과학 계산의 대리 모델
- 데이터 구조: 벡터, 격자, 시퀀스, 그래프, 장, 원자계 기하 구조
- 평가 조건: 평가 지표, 기준 모델, 데이터 분할, 분포 변화, 계산비용
공통 줄기와 선택 갈래¶
공통 줄기¶
- 학습 문제의 구성
- 신경망과 역전파
- 최적화와 안정화
선택 갈래 A: 데이터 표현과 구조¶
- 차원 축소와 표현
- 합성곱 신경망(CNN)과 공간 구조
- NLP와 언어 데이터
- 어텐션과 트랜스포머
- 그래프 신경망(GNN)과 기하 구조
선택 갈래 B: 생성¶
- 생성 모델 지도와 VAE
- 확산 모델
- 플로 매칭
선택 갈래 C: 의사결정¶
- 강화 학습
재조합: AI4Science¶
- 과학 학습 문제의 구성
- PINN과 신경 연산자
- MLIP와 기하 모델
중요한 연결선¶
- 역전파·자동미분·복합 손실 → PINN
- 최적화와 손실 항의 균형 → PINN의 학습 난점
- 합성곱·장 표현 → 푸리에 신경 연산자(FNO)
- GNN·3차원 기하·등변성 → MLIP
- PCA·학습된 표현 → AE/VAE
- CNN·트랜스포머 골격 → 확산 모델의 노이즈 제거기
- 확률 경로·스코어 → 확산 모델과 플로 매칭 비교
- 자기지도 목적 함수 → BERT/GPT 사전학습
- 강화 학습은 생성 모델의 다음 단계가 아니라 별도의 의사결정 갈래
권장 읽기 경로¶
전체 훑어보기¶
1부터 15까지 순서대로 읽는다.
AI4Science 빠른 경로¶
- PINN·신경 연산자: 1 → 2 → 3 → 13 → 14
- MLIP·원자 모델: 1 → 2 → 3 → 8 → 13 → 15
PINN·신경 연산자를 읽다가 막히면 수학 기초에서 미분방정식과 푸리에 변환의 역할을 먼저 복습한다.
LLM·NLP 경로¶
1 → 2 → 3 → 6 → 7
생성 모델 경로¶
1 → 2 → 3 → 4 → 9 → 10 → 11