Attention은 transformer 논문을 보면서 들었다. 이번에 포스팅으로 정리하면서 왜 attention이라고 부르는 지 궁금했는다. RNN기반의 모델에 비해 각 단어들의 hidden vector들과 연산을 통해 무엇을 선별적으로 선택할 지를 말해주는 vector를 만들어서 무엇을 attention할 지를 말해주기 때문이라고 생각했다. Seq2Seq Sequence to Sequence 모델은 NLP 중 many-to-many 타입에 해당되는 모델이다 인코더와 디코더로 구성되어 인코더는 input을 받고 디코더는 output을 낸다. 서로 share하지 않는다. 세부구조를 보면 여기서는 lstm을 선택한 것을 볼 수 있다. 인코더 마지막 hidden state vector는 이전 타입 스텝의 h..
