[NLP] Transformer 기반의 LLM 소개

< LLM Evolutionary Tree >

 

< Encoder - Only LLM = AutoEncoding Language Model >

 

- 입력을 받아 표현(representation) 혹은 특징(feature)을 만듬

- Encoder 모델은 입력을 이해하는데 최적화

- 입력에 대한 이해가 필요한 task에 사용 :

-> 문장 분류, 개체 인식, 질문 답변

 

- BERT 

- ROBERTa

- ALBERT

- Distill BERT

- ELECTRA

 

< Encoder - Decoder LLM >

 

- 입력이 필요한 생성 task에 적합하다.

- 번역, 요약

 

- BART

- T5

 

< Decoder - Only LLM = Autoregressive Language Model >

 

- Autoregressive : 이전 단어들이 주어진 시퀀스에서 다음의 단어를 예측하는 방식으로 작동

- 생성 task에 적합

 

- GPT-1, 2, 3, 4

- Instruct GPT

- ChatGPT

- LLaMA

- BARD

 

 

 

- reference

https://moon-walker.medium.com/transformer%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%8C%80%ED%91%9C%EC%A0%81%EC%9D%B8-nlp-%EB%AA%A8%EB%8D%B8%EC%9D%98-%EC%A2%85%EB%A5%98-%EC%A0%95%EB%A6%AC-a455810193ae

Transformer를 이용한 대표적인 NLP 모델의 종류 정리

https://synthedia.substack.com/p/a-timeline-of-large-language-model