전체 개념 지도¶
분류에 사용하는 네 가지 축¶
딥러닝 기술은 하나의 연대기나 난도 순서만으로 정렬되지 않는다. 이 사이트는 다음 네 축을 동시에 사용한다.
- 학습 신호: label, 자기지도 target, reward, 방정식 residual
- 출력 목적: 예측, 표현, 생성, 의사결정, 과학적 surrogate
- 데이터 구조: vector, grid, sequence, graph, field, atomistic geometry
- 평가 조건: metric, baseline, data split, distribution shift, 계산비용
Backbone과 Branches¶
공통 Backbone¶
- 학습 문제의 구성
- 신경망과 Backpropagation
- Optimization과 안정화
Branch A: 데이터 표현과 구조¶
- 차원축소와 표현
- CNN과 공간적 구조
- NLP와 언어 데이터
- Attention과 Transformer
- GNN과 기하학적 구조
Branch B: 생성¶
- 생성모델 지도와 VAE
- Diffusion
- Flow Matching
Branch C: 의사결정¶
- Reinforcement Learning
Recombination: AI4Science¶
- 과학 학습 문제의 구성
- PINN과 Neural Operator
- MLIP과 기하학적 모델
중요한 연결선¶
- Backpropagation·autodiff·복합 loss → PINN
- Optimization과 loss balancing → PINN의 학습 난점
- Convolution·field representation → Fourier Neural Operator
- GNN·3D geometry·equivariance → MLIP
- PCA·학습된 representation → AE/VAE
- CNN·Transformer backbone → diffusion denoiser
- Probability path·score → diffusion과 flow matching 비교
- Self-supervised objective → BERT/GPT pretraining
- RL은 생성모델의 다음 단계가 아니라 별도의 의사결정 branch
권장 읽기 경로¶
전체 Survey¶
1부터 15까지 순서대로 읽는다.
AI4Science 빠른 경로¶
1 → 2 → 3 → 8 → 13 → 14 또는 15
LLM·NLP 경로¶
1 → 2 → 3 → 6 → 7
생성모델 경로¶
1 → 2 → 3 → 4 → 9 → 10 → 11