BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding Author: Google AI Language, Jacob Devlin Link: https://arxiv.org/pdf/1810.04805.pdf Reading date: March 13, 2022 Type: Paper Abstract BERT - Bidirectional Encoder Representations from Transformers 목적 : 레이블링 되지 않은 텍스트를 모든 레이어에서 오른쪽, 왼쪽 문맥 모두 같이 고려하면서 deep bidirectional representations을 pretrain 하는 것이다. 이렇게 pretrained ..
[LLM] - BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 논문 요약
BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding Author: Google AI Language, Jacob Devlin Link: https://arxiv.org/pdf/1810.04805.pdf Reading date: March 13, 2022 Type: Paper Abstract BERT - Bidirectional Encoder Representations from Transformers 목적 : 레이블링 되지 않은 텍스트를 모든 레이어에서 오른쪽, 왼쪽 문맥 모두 같이 고려하면서 deep bidirectional representations을 pretrain 하는 것이다. 이렇게 pretrained ..
2023.12.23