Contents
이 논문은 2015년 ICLR에서 등장한 논문으로써 처음 번역 분야에 Attention 개념을 사용한 논문으로 알려져있다. NLP분야를 공부하기 위한 필수 관문이라고 생각하기에 리뷰를 시작하려 한다.
paper : Neural Machine Translation by Jointly Learning to Align and Translate
이 리뷰는 pr12 리뷰를 참고하였습니다.
1. Main contributions
논문에서의 메인 아이디어는 다음 두 가지이다.
인코더 : Bidiretional RNN을 적용했다.
- 논문에서는 \(\overrightarrow{h_j^\top}\)와 \(\overleftarrow{h_j^\top}\)를 concatenate하여 인코더의 hidden state로 사용한다.
디코더 : Proposed an extension model(attention network)
- attention mechanism : Hidden states들의 weighted sum을 계산
2. Abstract, Introduction
NMT(Neural Machine Translation)은 machine translation 분야의 최근에 제안된 방식이다. 특히, 최근의 모델들은 encoder-decoder 구조에 속한다. Input 문장을 encoder network을 통해 fixed size vector로 인코딩하고, 이 vector를 다시 디코딩하는 과정으로 번역을 진행한다.
인코딩 네트워크와 디코딩 네트워크는 동시에 훈련되는데 여기서 “고정된 길이의 벡터(fixed length vector)“로 압축해야하는 것은 잠재적 문제이다. 이는 학습된 corpus 문장보다 긴 문장을 처리하기 힘듦을 의미한다. 실제로 조경현 교수님의 논문에서 이러한 성능 저하를 보여주고있다.
- 실제로 문장의 길이가 길어질수록 BLEU 스코어가 급감함을 볼 수 있다. 학습에 사용된 코퍼스의 수 역시 짧을 수록 더 성능이 안좋음을 볼 수 있다.
논문에서는 이러한 단점을 극복하기 위해 제안된 방법으로 soft-alignments(이하 attention) 작업을 진행한다.
Soft-alignment와 Hard-alignment의 차이
- hard-alignment(attention)는 시계열의 순서 그대로 1:1로 매핑하여 해석하는 방식. 어순이 다른 두 언어를 인식하지 못한다.
- soft-alignment(attention)는 정보를 ‘모두’ 확인하며 어순이 달라도 학습을 통해 인식함을 의미한다. 이하 attention으로 표현한다.
3. Learning to align and translate
앞서 간략히 언급했듯이 인코더에는 Bidirectional RNN을 사용함으로써 앞으로 나올 문장 및 단어는 물론이고, 이전에 나왔던 단어까지 모델에 반영한다. 디코딩에는 attention layer를 통해 번역될 소스 문장을 찾는다.
네트워크에 대한 설명은 다음 수식들로 간략하게 설명하고 넘어가겠다.
Bidirectional encoder에서 hidden states 벡터 \(h\)는 순방향 벡터 \(\overrightarrow{h_j^\top}\)와 역방향 벡터 \(\overleftarrow{h_j^\top}\)를 concatenate하여 구한다.
다음으로, alignment model \(e_{ij}\)는
\[e_{ij} = a(s_{i-1}, h_j) = v_a^\top\text{tanh}(W_as_{i-1} + U_ah_j)\]이고, 이때 \(W_a\)와 \(U_a\) 그리고 \(v_a\)는 weight matrices이다.
이렇게 구한 \(e_{ij}\)의 각각의 확률값으로부터 그 비율을 계산하여 weight 값인 \(\alpha\)를 구한다.
\[\alpha_{ij} = \frac{exp(e_{ij})}{\sum^{T_x}_{k=1}exp(e_{ik})}\]이 weight들과 hidden state의 weighted sum인 Context vector \(c_i\)를 계산한다.
\[c_i = \sum^{T_x}_{j=1}\alpha_{ij}h_j\]이 i번째 Context vector는 i-1번째의 \(s_{i-1}\)와 \(y_{i-1}\)과 함께 계산되어, 다음 i번째 \(s_i\)를 구하는데 사용된다.
\[s_i = f(s_{i-1}, y_{i-1}, c_i)\]여기서 중요한 점은 context vector의 인덱스에서 확인할 수 있듯이, 매 단어마다 context vector를 구해준다는 점이다. seq2seq 모델은 context vector 값이 상수로 계산된다. 즉, 인코딩이 끝나면 딱 한 번 계산되고, 그 vector로부터 디코딩을 실행하지만, attention은 매 단어마다 다시 계산된다.
이러한 방식으로 계산되는 context vector는 fixed-length로부터 자유롭게 해준다. 가변길이의 문장을 인코딩하여 고정길이의 벡터로 만들고, 다시 디코딩하여 가변 길이 벡터로 만드는 것은 모델의 성능을 저하시킬 수 있다고 논문에서는 주장한다.
4. Experiment
논문에서는 영어와 불어 번역으로 테스트를 했고, 약 348M개의 데이터를 사용하여 테스트를 진행했다.
위 실험 결과에서 RNNenc는 이전 모델이고, RNNsearch는 논문에서 제안한 모델이다. 새로 제안한 모델이 이전 모델과 비교했을 때 더 좋은 성능을 내는 것을 볼 수 있다. 특히, 50개 이상의 단어로 이루어진 긴 문장으로 학습했을 경우에 문장의 길이가 길어져도 성능 하락을 잘 방어하는 모습이다.
*가 붙은 RNNsearch-50은 긴 시간 동안 학습한 경우인데, SMT(Statistical machine translation)에서 유명한 모델인 Moses보다 좋은 성능을 발휘하는 모습을 확인할 수 있다. (여기서 No UNK\(^\circ\)는 모르는 단어를 제외한 경우를 의미한다.)
추가적인 실험 및 결과는 논문에 자세히 나와있으니 참고하자.