수달이네 기술 블로그

15. PLM(Pre-trained Language Model) / BERT, GPT, T5 요약

PLM(Pre-trained Language Model)대량의 텍스트 데이터를 사전 학습하여 자연어 이해와 생성 능력을 갖춘 인공지능 모델대규모 데이터에서 단어의 의미, 문맥을 미리 학습하고, 이후 특정 작업에 맞게 Fine-Tuning함BERT, GPT, T5등BERT(Bidirectional Encoder Representations from Transformers)https://arxiv.org/abs/1810.04805?source=post_page구글에서 개발한 사전 훈련된 자연어 처리 모델**(Encoder Only)**Transformer 아키텍처 기반으로 양방향 문맥 이해 가능 → 정교한 언어 이해Transformer인코더 구조를 활용해 앞뒤 문맥을 동시에 참조하는 것.디코더의 casual..
AI공부/자연어처리 2026. 3. 8. 11:49
이전 Prev 1 Next 다음