콘텐츠로 이동

1. 학습 문제의 구성

이 장의 질문

서로 다른 AI 기술을 비교할 때 무엇부터 살펴봐야 할까?

딥러닝을 처음 배우면 모델 이름에 먼저 눈이 간다. 하지만 같은 모델도 입력과 정답, 평가 기준을 어떻게 정하느냐에 따라 전혀 다른 문제를 푼다. CNN, 트랜스포머, GNN처럼 구조가 달라도 데이터에서 반복되는 관계를 찾아 새 입력에 적용할 함수를 학습한다는 점은 같다. 이 장에서는 이후의 기술을 비교하는 데 필요한 공통 기준을 세운다.

읽기 수준과 선수지식 확인

읽기 전에 확인할 내용

핵심 개념

  • 샘플, 특성, 목표값과 데이터셋
  • 과제, 모형, 매개변수, 훈련
  • 훈련 신호, 손실, 평가 지표, 기준 모델
  • 훈련·검증·테스트 분할과 일반화

이름과 위치를 알아둘 개념

  • 지도 학습, 비지도 학습, 자기지도 학습, 강화 학습
  • 추론, 데이터 누출, 분포 변화, 분포 외(out-of-distribution, OOD)

각 학습 방식의 세부 알고리즘까지 다루지는 않는다. 새로운 사례를 만났을 때 "무엇을 입력하고, 무엇을 예측하며, 어떤 신호로 학습하는가"를 물을 수 있으면 된다.

이해에 필요한 항목

  • 함수에는 입력과 출력이 있다는 사실
  • 표의 행과 열, 벡터와 텐서의 배열 모양
  • 평균과 분산이 데이터의 중심과 퍼짐을 나타낸다는 직관
  • 확률이 불확실한 결과의 정도를 나타낼 수 있다는 직관

정확한 행렬 계산이나 확률 유도보다, 각 표현이 데이터의 어떤 축과 관계를 나타내는지 알아보는 것이 우선이다.

데이터에서 학습 문제로

샘플, 특성, 목표값

먼저 데이터 한 개의 단위를 정해야 한다. 집값 예측에서는 주택 한 채가 샘플이고, 면적이나 위치가 특성이며, 거래 가격이 목표값이 될 수 있다. 이미지 분류에서는 이미지 한 장이 샘플이고 픽셀(pixel) 값이 특성 역할을 하며, 사물의 종류가 목표값이다.

이 구분은 데이터 자체에 고정되어 있지 않다. 분자 데이터에서 분자 전체를 샘플로 삼아 에너지를 예측할 수도 있고, 원자 하나를 샘플처럼 다루어 원자별 힘을 예측할 수도 있다. 즉 학습 문제를 설계한다는 것은 현실의 관찰을 입력 \(x\)와 원하는 출력 \(y\)로 번역하는 일이다.

데이터셋을 간단히 다음처럼 쓸 수 있다.

\[ \mathcal{D} = \{(x_i, y_i)\}_{i=1}^{N} \]

여기서 \(N\)은 샘플 수다. 모든 문제에 \(y_i\)가 사람이 붙인 레이블로 존재하는 것은 아니다. 입력의 일부를 가려 정답으로 쓰거나, 환경과 상호작용해 보상을 받거나, 알려진 물리식이 얼마나 위반되었는지를 신호로 쓸 수도 있다.

과제는 원하는 출력의 성격을 정한다

같은 데이터라도 질문에 따라 과제가 달라진다.

  • 회귀(regression): 집값, 에너지, 온도처럼 연속적인 값을 예측한다.
  • 분류(classification): 고양이와 개처럼 정해진 범주(class) 중 하나 또는 여러 개를 예측한다.
  • 표현 학습: 원래 데이터의 중요한 정보를 담은 벡터 표현을 만든다.
  • 생성: 학습한 데이터 분포와 관련된 새로운 샘플을 만든다.
  • 의사결정: 현재 상태에서 장기적인 결과가 좋아지도록 행동을 선택한다.

과제 이름보다 더 중요한 것은 출력 형식이다. 이미지 분류의 출력은 범주별 확률일 수 있지만, 분할(segmentation)의 출력은 픽셀마다 범주를 지정한 격자(grid)다. 출력 구조가 달라지면 모델의 마지막 부분, 손실, 평가 지표도 함께 바뀐다.

모델은 무엇을 학습하는가

모델을 \(f_\theta\)라고 쓰면 다음과 같은 관계를 표현한다.

\[ \hat{y} = f_\theta(x) \]

\(\hat{y}\)는 모델의 예측이고, \(\theta\)는 데이터로부터 조정되는 매개변수다. 신경망의 가중치와 편향이 대표적인 매개변수다. 반면 층 수, 학습률, 배치 크기처럼 사람이 선택하거나 별도의 탐색으로 정하는 설정은 하이퍼파라미터라고 부른다.

모델은 현실 그 자체가 아니다. 어떤 입력 정보를 제공했는지, 어떤 구조적 가정을 넣었는지, 어떤 손실로 최적화했는지에 따라 특정 관계만 포착한 근사 함수다. 따라서 "성능이 좋은 모델"이라는 표현은 데이터 범위와 평가 지표가 함께 제시되어야 의미가 있다.

네 개의 입력 특성이 세 개의 출력으로 연결되는 소프트맥스 회귀 구조
입력 특성에서 여러 출력 점수를 만드는 가장 단순한 분류 모형. 출처: Dive into Deep Learning, CC BY-SA 4.0, 변경 없음.
핵심 흐름 펼쳐보기: 학습 신호와 평가 설계

학습 신호는 어디에서 오는가

학습은 매개변수를 바꿀 방향을 알려주는 신호가 있어야 가능하다.

  • 지도 학습은 입력과 함께 주어진 레이블 또는 목표값을 사용한다.
  • 비지도 학습은 별도의 레이블 없이 데이터의 구조, 밀도, 군집, 저차원 표현 등을 찾는다.
  • 자기지도 학습은 데이터 자체에서 목표값을 구성한다. 문장의 다음 토큰 예측이나 가린 토큰 복원이 대표적이다.
  • 강화 학습은 행동 뒤에 얻는 보상을 이용해 정책을 개선한다.
  • 일부 과학 학습 문제는 관측값뿐 아니라 방정식 잔차, 보존 법칙, 대칭성 같은 지식을 학습 신호나 구조적 제약으로 사용한다.

이 분류는 완전히 배타적이지 않다. 자기지도 사전 학습 뒤에 레이블을 사용해 미세 조정할 수 있고, 지도 학습 손실과 물리 제약 손실을 함께 사용할 수도 있다. 기술을 볼 때 이름 하나로 분류하기보다 실제 신호의 출처를 확인해야 한다.

손실 함수와 평가 지표는 역할이 다르다

손실 함수는 학습 중 보통 최소화하는 양이다. 목적 함수는 손실뿐 아니라 최대화할 보상이나 우도까지 포함하는 더 넓은 말이다. 예측값과 목표값의 차이를 샘플별 손실 \(\ell(\hat{y}, y)\)로 나타내면 보통 데이터셋 또는 미니배치의 평균을 사용한다.

\[ L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\ell(f_\theta(x_i), y_i) \]

평가 지표는 모델이 실제 목적에 맞게 작동하는지 판단하는 측정값이다. 분류에서는 교차엔트로피로 학습하면서 정확도, 정밀도, 재현율 등을 보고할 수 있다. 두 역할을 구분하는 이유는 실제 평가 기준이 미분하기 어렵거나, 하나의 숫자로 학습 신호를 안정적으로 주기 어려울 수 있기 때문이다.

평가 지표도 맥락 없이 해석하면 안 된다. 드문 질병 탐지에서 모든 샘플을 정상으로 예측하면 정확도는 높아 보일 수 있다. 과학 예측에서 평균 오차가 작아도 특정 물질군이나 극한 조건에서 큰 오차가 날 수 있다. 무엇을 평균했고 어떤 실패에 비용이 큰지 함께 봐야 한다.

훈련·검증·테스트 데이터가 필요한 이유

학습 데이터의 손실이 낮다는 사실만으로 새로운 데이터에서 잘 작동한다고 말할 수 없다. 모델이 이미 본 샘플의 세부사항을 외웠을 수 있기 때문이다. 보통 데이터는 다음 역할로 나눈다.

  • 훈련 데이터: 매개변수를 실제로 학습한다.
  • 검증 데이터: 하이퍼파라미터와 모델 선택, 조기 종료에 사용한다.
  • 테스트 데이터: 선택이 끝난 뒤 최종 일반화 성능을 평가한다.

일반화는 학습 중 보지 않은 데이터에서도 유용한 규칙을 적용하는 능력이다. 분할은 단순한 무작위 분할보다 현실의 사용 조건을 반영해야 한다. 시간에 따라 미래를 예측한다면 미래 데이터를 훈련에 섞지 않아야 한다. 새로운 분자 골격에 일반화하려면 유사한 골격이 훈련과 테스트에 동시에 들어가지 않도록 분할할 필요가 있다.

데이터 누출

데이터 누출은 평가 시점에는 알 수 없는 정보가 학습이나 전처리에 흘러 들어가는 문제다. 전체 데이터로 크기 조정 통계를 계산한 뒤 나누거나, 동일한 환자의 거의 같은 측정값을 훈련과 테스트에 각각 넣는 경우가 예다. 테스트 성능은 높아지지만 실제 배치 성능을 과대평가한다.

분포 변화와 OOD

훈련과 실제 사용 데이터의 분포가 달라지는 현상을 분포 변화라고 한다. 새로운 장비, 계절, 사용자 집단, 화학 조성에서 입력의 범위나 입력과 목표값의 관계가 바뀔 수 있다. OOD는 학습 분포 바깥의 조건을 가리키지만, 무엇을 바깥으로 볼지는 문제 정의에 따라 달라진다. 따라서 "OOD 성능"에는 어떤 변화 축을 시험했는지 명시해야 한다.

기준 모델은 비교의 출발점이다

복잡한 모델이 필요하다는 주장은 단순하지만 합리적인 기준보다 나아야 성립한다. 기준 모델은 다음과 같을 수 있다.

  • 평균값이나 가장 흔한 범주를 항상 예측하는 규칙
  • 선형 회귀나 로지스틱 회귀
  • 이미 널리 쓰이는 전통적 방법 또는 도메인 계산법
  • 입력 일부를 제거하거나 구조를 단순화한 모델

기준 모델은 약하게 만들어 이기기 위한 장치가 아니다. 추가된 복잡성, 계산량, 데이터 요구량이 실제 개선으로 이어지는지 확인하는 기준이다.

하나의 사례를 공통 질문으로 읽기

"현미경 이미지로 소재 결함을 분류한다"는 문제를 생각해 보자.

  1. 입력과 출력: 현미경 이미지가 \(x\), 결함 범주가 \(y\)다.
  2. 구조적 가정: 가까운 픽셀의 패턴과 위치 관계가 중요하므로 CNN을 후보로 삼을 수 있다.
  3. 학습 신호: 전문가가 붙인 범주 레이블을 사용한다.
  4. 목적 함수: 범주 확률과 정답 사이의 교차엔트로피를 사용할 수 있다.
  5. 평가: 범주 불균형을 고려해 범주별 재현율과 혼동행렬을 함께 본다.
  6. 기준 모델: 단순 이미지 특성과 선형 분류기 또는 작은 CNN과 비교한다.
  7. 실패 조건: 다른 현미경이나 배율에서 성능이 유지되는지 확인한다.

이 일곱 항목은 공통 질문의 다섯 분석축을 하나의 사례에 펼쳐 적용한 것이다. 이후 모든 모델 계열에서도 같은 다섯 축을 반복한다.

자주 하는 혼동과 한계

자주 생기는 혼동과 한계

  • AI 과제와 모형을 같은 것으로 부른다: 분류는 과제이고 CNN은 사용할 수 있는 모형 계열이다.
  • 높은 테스트 스코어를 보편적 지능으로 해석한다: 스코어는 특정 데이터, 분할, 평가 지표에 대한 결과다.
  • 비지도 학습은 정답이 전혀 필요 없다고만 이해한다: 레이블을 쓰지 않는다는 뜻에 가깝고, 학습 목적과 평가 기준은 여전히 사람이 설계한다.
  • 추론을 통계적 추론과 항상 같은 뜻으로 본다: 딥러닝 실무에서는 학습된 모델로 예측하거나 생성하는 실행 단계를 흔히 추론이라고 부른다.
  • 모델 개선만 찾고 데이터 문제를 놓친다: 잘못된 목표값, 누출, 샘플링 편향은 더 큰 모델로 해결되지 않는다.

앞뒤 장과의 연결

이 장에서 \(f_\theta(x)\), 손실, 매개변수를 구분했다. 2장에서는 입력이 예측으로 변하는 순전파와 손실의 변화가 각 매개변수의 기울기로 전달되는 역전파를 연결한다. 3장에서는 계산한 기울기를 어떻게 안정적으로 갱신하는지 본다. 이후 CNN, 트랜스포머, GNN, 생성 모델, 강화 학습에서도 같은 공통 질문을 반복한다.

스스로 확인하기

  1. 같은 이미지 데이터셋도 분류 과제와 생성 과제에서는 입력, 출력, 평가 지표가 어떻게 달라질까?
  2. 손실과 평가 지표를 서로 다른 값으로 선택하는 이유는 무엇일까?
  3. 무작위 분할의 테스트 스코어가 높아도 실제 배치 환경에서 실패할 수 있는 조건에는 무엇이 있을까?

더 읽을 자료