용어 지도

이 목록은 완전한 사전이 아니라 챕터를 읽기 전에 개념의 위치를 확인하는 색인이다.

문제와 데이터

• Sample: 데이터셋을 구성하는 한 개의 관측 단위
• Feature: 모델 입력으로 사용하는 속성
• Target/Label: 모델이 예측하도록 주어진 값
• Task: regression, classification, generation, decision making 등 출력의 목적
• Data split: training, validation, test 데이터를 목적에 따라 나누는 것
• Distribution shift: 학습 데이터와 실제 사용 데이터의 분포가 달라지는 현상

모델과 학습

• Parameter: 학습 과정에서 바뀌는 모델 내부 값
• Hyperparameter: architecture, learning rate처럼 학습 전에 정하거나 탐색하는 설정
• Loss: 학습 중 줄이거나 늘리는 목적함수
• Metric: 모델이 실제 목표를 얼마나 달성했는지 평가하는 수치
• Backpropagation: chain rule로 각 parameter의 gradient를 계산하는 절차
• Optimizer: gradient를 사용해 parameter를 갱신하는 규칙
• Generalization: 보지 않은 데이터에서도 유용한 예측을 하는 능력
• Inductive bias: 모델이 특정 구조나 해답을 선호하도록 만드는 가정

표현과 Architecture

• Representation/Embedding: 입력을 계산과 비교에 적합한 vector 등으로 바꾼 표현
• Latent variable: 관측되지 않지만 데이터를 설명한다고 가정하는 내부 변수
• Convolution: 지역적인 pattern에 공유된 kernel을 적용하는 연산
• Attention: query와 관련된 value를 key를 통해 가중 결합하는 연산
• Message passing: graph의 이웃 사이에서 정보를 모으고 갱신하는 절차
• Invariance: 입력 transformation에도 출력이 변하지 않는 성질
• Equivariance: 입력 transformation에 대응해 출력도 정해진 방식으로 변하는 성질

생성

• Generative model: 데이터 분포를 모델링해 새로운 sample을 만들 수 있는 모델
• Prior: 데이터를 관측하기 전에 가정하는 latent variable의 분포
• Posterior: 데이터를 관측한 뒤 latent variable에 대해 갱신된 분포
• Score: log probability density의 입력에 대한 gradient
• Diffusion: noising과 denoising 과정으로 생성하는 문제 설정
• Flow: source distribution을 target distribution으로 옮기는 연속적 transformation

강화학습

• Policy: state에서 action을 선택하는 규칙 또는 분포
• Reward: 행동 결과에 대해 환경이 주는 신호
• Return: 미래 reward를 누적한 값
• Value: state 또는 state-action의 기대 return
• Actor-critic: 행동 policy와 value estimator를 함께 학습하는 계열

AI4Science

• Surrogate model: 비싼 계산이나 실험의 입출력을 빠르게 근사하는 모델
• Governing equation: system의 변화를 규정하는 방정식
• Neural operator: function에서 function으로 가는 mapping을 학습하는 모델
• MLIP: 원자 구조에서 potential energy와 force를 예측하는 machine-learning model
• OOD evaluation: 학습 범위와 다른 구조·조건에서 모델을 평가하는 것