콘텐츠로 이동

8. 그래프 신경망과 기하 구조

이 장의 질문

대상 사이의 연결 관계를 신경망에 어떻게 반영할까?

이미지는 규칙적인 격자에 놓이고 텍스트에는 순서가 있다. 분자, 결정, 사회관계망, 도로망에서는 대상 사이의 연결 자체가 중요하다. 그래프 신경망(GNN)은 각 노드가 이웃의 정보를 모아 자신의 표현을 갱신한다. 그래프에서 무엇을 예측하는지, 메시지 전달이 연결 구조를 어떻게 이용하는지, 노드 순열과 3차원 회전이 왜 서로 다른 대칭인지 살펴본다.

읽기 수준과 선수지식 확인

읽기 전에 확인할 내용

  • 그래프, 노드, 에지의 직관
  • 벡터와 행렬, 인접 행렬
  • 집합의 합, 평균, 최댓값
  • 3차원 좌표, 거리, 회전, 이동의 직관

5장의 수용 영역과 7장의 어텐션을 알면 GNN의 국소 이웃과 이웃별 가중치를 비교해 이해하기 쉽다. 두 장을 읽지 않았더라도 1-3장 다음에 바로 시작할 수 있다.

1. 그래프는 대상과 관계를 함께 표현한다

그래프 \(G=(V,E)\)는 노드 집합 \(V\)와 에지 집합 \(E\)로 구성된다. 각 노드와 에지에는 특성을 붙일 수 있다.

  • 분자에서는 원자가 노드, 결합이나 이웃 관계가 에지가 될 수 있다.
  • 결정에서는 단위 셀의 원자와 주기적 이웃 관계를 그래프로 만들 수 있다.
  • 인용망에서는 논문이 노드, 인용이 방향을 가진 에지가 될 수 있다.
  • 도로망에서는 교차점과 도로가 노드와 에지가 될 수 있다.

에지가 방향을 가질 수도 있고, 에지 유형이나 거리 같은 특성을 가질 수도 있다. 실제 세계의 연결을 그래프로 만드는 규칙은 모델 바깥의 중요한 설계 선택이다. 예를 들어 분자에서 결합만 연결할지, 절단 안의 모든 원자를 연결할지에 따라 모델이 볼 수 있는 정보가 달라진다.

예측 단위를 먼저 정하기

같은 그래프에서도 출력 단위가 다를 수 있다.

  • 노드 수준 예측은 각 노드의 레이블이나 값을 예측한다.
  • 에지 수준 예측은 두 노드의 관계나 에지 물성을 예측한다.
  • 그래프 수준 예측은 그래프 전체의 범주나 스칼라를 예측한다.

예측 단위를 정해야 마지막 판독과 평가 지표를 정할 수 있다. 분자 전체의 에너지는 그래프 수준 출력이고, 각 원자의 힘은 노드 수준 벡터 출력이다.

2. 메시지 전달의 공통 틀

많은 GNN은 메시지 전달로 설명할 수 있다. 층 \(l\)에서 노드 \(i\)의 표현을 \(h_i^{(l)}\), 이웃 집합을 \(\mathcal{N}(i)\)라 하자.

\[ m_i^{(l)} = \operatorname{AGG}\left(\left\{ M\left(h_i^{(l)}, h_j^{(l)}, e_{ij}\right) : j \in \mathcal{N}(i) \right\}\right) \]
\[ h_i^{(l+1)} = U\left(h_i^{(l)}, m_i^{(l)}\right) \]

각 에지를 따라 이웃 \(j\)에서 노드 \(i\)로 메시지를 만들고, 이웃 메시지를 순서와 무관한 함수로 집계한 뒤, 기존 노드 표현과 합쳐 갱신한다.

합, 평균, 최댓값은 이웃 순서를 바꾸어도 결과가 같으므로 집계에 사용할 수 있다. 한 층 뒤에는 1-홉 이웃, 두 층 뒤에는 대체로 2-홉 이웃의 정보가 들어온다. CNN의 수용 영역이 층과 함께 넓어지는 것과 비슷하지만, 이웃은 격자가 아니라 그래프 에지로 정의된다.

중심 노드가 이웃 노드의 메시지를 모아 표현을 갱신하는 그래프 신경망
이웃의 정보를 모아 중심 노드의 표현을 갱신하는 메시지 전달. 출처: NickDiCicco, Wikimedia Commons, CC BY-SA 4.0, 변경 없음.
핵심 흐름 펼쳐보기: GCN, GAT와 기하학적 등변성

3. GCN과 GAT는 어떻게 다른가

그래프 합성곱 신경망(GCN)은 인접 노드 특성을 차수에 따라 정규화해 모으는 대표적 그래프 합성곱이다. 핵심은 각 노드가 자기 자신과 이웃의 표현을 공유된 변환으로 집계한다는 점이다.

그래프 어텐션 신경망(GAT)은 모든 이웃을 같은 규칙으로 평균내는 대신, 현재 노드와 이웃 표현에서 어텐션 가중치를 학습한다. 7장의 쿼리-키-값 어텐션과 세부 식은 다르지만, 후보 이웃마다 데이터 의존적인 가중치를 준다는 관점이 이어진다.

GCN, GAT는 서로 다른 이름을 외우기보다 다음 질문으로 비교하면 된다.

  • 어떤 에지를 따라 정보가 이동하는가?
  • 메시지가 노드와 에지 특성을 어떻게 사용하는가?
  • 집계는 합, 정규화 평균, 어텐션 중 무엇인가?
  • 여러 층 뒤에 어떤 범위의 정보가 섞이는가?

4. 순서를 바꿔도 그래프는 같은가

그래프의 노드 번호는 사람이 임의로 붙인 색인다. 같은 분자의 원자 번호를 다시 매겨도 물리적 대상은 달라지지 않는다. 그래서 GNN은 노드 순열에 대해 올바른 변환 성질을 가져야 한다.

노드 순열에 맞춰 입력 특성 순서를 바꾸었을 때 노드별 출력도 같은 방식으로 순서가 바뀌면 순열 등변성이라고 한다. 반면 그래프 전체 출력이 노드 순서를 바꾸어도 같으면 순열 불변성이라고 한다.

  • 노드 수준 GNN 층은 보통 순열 등변해야 한다.
  • 합이나 평균 풀링으로 만든 그래프 수준 표현은 순열 불변해야 한다.

불변 GNN이라는 한 표현으로 둘을 섞으면 출력 유형을 놓치기 쉽다. 노드 출력은 순열에 따라 함께 이동해야 하고, 그래프 전체 스칼라는 그대로여야 한다.

5. 깊게 쌓을 때 생기는 문제

메시지 전달 층을 쌓으면 더 먼 이웃을 볼 수 있지만 무조건 좋아지지는 않는다.

  • 과도한 평활화(oversmoothing)는 여러 번 이웃을 섞은 노드 표현이 서로 비슷해져 구분하기 어려워지는 현상이다.
  • 과도한 압축(oversquashing)은 멀리 있는 많은 정보를 고정 크기 벡터와 좁은 그래프 연결을 통해 압축하면서 중요한 관계가 손실되는 문제를 가리킨다.
  • 그래프가 잘못 구성되면 실제로 중요한 관계가 에지에 없거나, 불필요한 연결이 과도하게 들어간다.

잔차 연결, 정규화, 샘플링, 그래프 재연결 같은 방법이 사용되지만 하나의 처방이 모든 그래프에 맞는 것은 아니다. 필요한 관계의 거리와 그래프 위상 구조를 먼저 살펴야 한다.

6. 3차원 그래프에는 기하가 더 필요하다

분자와 결정에서는 원자 종류와 연결뿐 아니라 3차원 좌표가 중요하다. 좌표를 그대로 일반 MLP에 넣으면 분자 전체를 회전하거나 이동했을 때 예측이 불필요하게 달라질 수 있다.

변환 \(T\)에 대해 입력을 변환한 뒤 함수에 넣은 결과를 생각해 보자.

  • 출력이 변하지 않아야 하면 불변성이 필요하다. 분자 전체의 에너지는 회전하거나 이동해도 같아야 한다.
  • 출력도 입력과 같은 방식으로 변해야 하면 등변성이 필요하다. 원자별 힘 벡터는 분자를 회전하면 함께 회전해야 한다.

이를 간단히 쓰면 등변 함수 \(f\)는 다음 성질을 목표로 한다.

\[ f(Tx) = T f(x) \]

스칼라 출력에서는 오른쪽의 변환이 항등 변환이면 불변성이 된다.

순열과 기하 구조를 구분하기

노드 순서를 바꾸는 것은 데이터 배열의 색인을 다시 매기는 일이다. 3차원 회전과 이동은 실제 좌표계를 변환하는 일이다. 두 경우 모두 대칭성과 관련되지만 같은 변환은 아니다.

  • 순열 대칭성은 노드 번호 매김에 관한 성질이다.
  • E(3) 대칭성은 3차원 회전, 이동, 반사를 포함한다.
  • SE(3) 대칭성은 회전과 이동을 포함하지만 반사는 제외한다.

어떤 물리량이 반사에서도 같은지에 따라 E(3) 또는 SE(3) 중 필요한 성질이 달라질 수 있다.

7. 그래프 트랜스포머의 위치

그래프 트랜스포머는 그래프 노드 사이에 어텐션을 적용한다. 모든 노드 쌍을 연결하거나, 원래 에지나 거리에 따라 어텐션 범위를 제한할 수 있다. 일반 트랜스포머의 위치 임베딩 대신 그래프 거리, 에지 특성, 3차원 기하 구조 같은 구조 정보를 넣는다.

트랜스포머를 그래프에 적용했다는 사실만으로 그래프의 대칭성과 기하가 자동으로 보존되는 것은 아니다. 노드 순서, 에지 편향, 좌표 표현, 출력 유형을 함께 확인해야 한다.

이 장에서 기억할 내용

꼭 이해할 내용

  • 노드, 에지, 특성과 노드, 에지, 그래프 수준 예측의 구분
  • 메시지, 집계, 갱신의 공통 틀
  • 그래프 층 깊이와 이웃 범위의 관계
  • 순열 등변성과 그래프 수준 불변성의 차이
  • 스칼라 에너지의 불변성과 벡터 힘의 등변성 차이

다음 공부를 위해 알아둘 내용

  • GCN, GAT, MPNN
  • 과도한 평활화와 과도한 압축
  • E(3), SE(3)
  • 등변 신경망
  • 그래프 트랜스포머
  • 분자 그래프와 결정 그래프
자주 하는 혼동과 한계

자주 생기는 혼동과 한계

인접 관계는 자연이 자동으로 주는 정답이 아니다

실제 데이터를 어떤 노드와 에지로 만들지 사람이 정한다. 절단, 결합 정의, 주기 경계 처리에 따라 같은 구조도 다른 그래프가 된다.

GNN은 그래프 동형성을 언제나 완벽히 구분하지 않는다

표준 메시지 전달 GNN은 서로 다른 일부 그래프를 같은 표현으로 만들 수 있다. 표현력은 집계와 특성, 모형 구조에 의해 제한된다.

  • 깊은 층이 항상 장거리 상호작용을 잘 전달하지는 않는다.
  • 훈련/테스트 그래프가 같은 출발에서 왔는지, 크기와 조성, 위상 구조가 달라졌는지에 따라 일반화 난도가 크게 달라진다.
  • 3차원 좌표를 사용해도 올바른 대칭성이 자동으로 보장되지는 않는다.
  • 그래프 수준 평가 지표만 보면 특정 노드 유형이나 희귀 구조의 실패를 놓칠 수 있다.

다섯 질문으로 다시 보기

  • 입력과 출력: 노드, 에지, 그래프 특성과 선택적으로 좌표를 받아 노드, 에지 또는 그래프 예측을 출력한다.
  • 구조적 가정: 에지로 정의된 국소성, 노드 순열, 필요하면 3차원 대칭성을 사용한다.
  • 표현: 이웃 메시지를 집계해 노드 표현을 반복 갱신한다.
  • 학습 신호: 노드 레이블, 그래프 물성, 에너지와 힘 등이 될 수 있다.
  • 기준 모델: 특성 기반 선형 모델, 지문 모델, 비기하 GNN 등 과제에 맞는 단순 기준과 비교한다.
  • 평가와 변화: 그래프 크기, 조성, 골격, 구조 계열이 달라지는 분할을 별도로 고려한다.

앞뒤 장과의 연결

CNN의 국소 수용 영역은 그래프의 이웃 관계로 일반화되고, 트랜스포머의 어텐션은 GAT와 그래프 트랜스포머에서 이웃별 가중치로 다시 나타난다. 15장에서는 메시지 전달과 기하학적 등변성이 원자계 에너지와 힘 예측에 어떻게 연결되는지 살펴본다.

스스로 확인하기

  • 노드 수준 출력의 순열 등변성과 그래프 수준 출력의 순열 불변성은 어떻게 다른가?
  • GCN의 이웃 집계와 GAT의 어텐션 집계는 무엇을 다르게 결정하는가?
  • 노드 번호를 바꾸는 것과 분자를 3차원에서 회전하는 것은 왜 다른 변환인가?
  • 에너지와 힘에는 각각 어떤 기하학적 변환 성질이 필요한가?

더 읽을 자료