NLP 고민의 흔적 NLP 고민의 흔적

1. Transformer 의 전체 구조 1) Embedding2) Positional Encoding3) Multi-head Self-Attention4) Masked Multi-head Self-Attention5) Decoder Multi-head Attention6) Position-wise FFNN7) Add & Norm8) Dense & Softmax 2. Embedding  - 주어진 Input Sentence 를 토큰화 한다.- Vocab 내에서 토큰에 대한 index를 찾는다.- Index 에 해당하는 Vector를 가져온다.- 초기에 이 Vector 는 초기화 되어 있으며, 학습된다.  3. Positional Encoding - 문장 내에서 단어의 위치를 입력시키기 위해 이용한다.-..

1. BERT에 대해서- BERT : Bidirectional Encoder Representations from Transformer- Transformer 에서 Encoder 부분만을 이용한 모델이다.- Google이 공개한 사전 훈련 모델이다. ( Wikipedia 25억 단어 +  BooksCorpus 8억 단어 ) 2. BERT 사전 학습 ( pre-training )1) BERT Input Embedding- BERT 모델 사전학습 시, Embedding 을 진행하는 과정이다.- word_embeddings + position_embeddings + token_type_embeddings + LayerNorm + dropout 5가지 과정으로 구성된다. i) word_emb..

해당 블로그의 내용은 다음의 링크를 정리하여 작성한 내용입니다. - reference : https://wikidocs.net/22885 09-05) 글로브(GloVe) 글로브(Global Vectors for Word Representation, GloVe)는 카운트 기반과 예측 기반을 모두 사용하는 방법론으로 2014년에 미국 스탠포드대학에서… wikidocs.net Glove ( Global Vectors for Word Representation ) - 2014년 스탠포드 대학에서 개발 - 카운트 기반의 LSA 와 예측 기반의 Word2Vec 의 단점을 지적하며 이를 보완한다는 목적으로 나왔다. - Word2Vec 만큼 뛰어난 성능을 보여준다. - Word2Vec 과 Glove 중에 어떤 것이 더..

분포 가설을 기반으로 한다. - 분포 가설 : 비슷한 의미를 지니는 단어는 주변 단어의 분포도 비슷할 것이다. ex) He is a good guy. ex) He is a cool guy. CBOW 방식과 Skip-Gram 방식이 있다. - CBOW : 주변 단어를 통해 중심 단어를 예측한다. - Skip-Gram : 중심 단어를 이용해 주변 단어를 예측한다. ( 더 우수한 성능을 보인다 ) 1. CBOW ( Continuous Bag of Word ) : 주변 단어를 통해 중심 단어를 예측한다. - 전체 vocab size의 크기로 one-hot encoding - window_size : 양 옆으로 몇개의 단어를 이용할 것인가? - one-hot encoding에 W행렬이 곱해지기 때문에 W 행렬이 ..

NLP ( Natural Language Processing )의 철학 우리가 일상에서 사용하는 언어(자연어)를 이해하는 능력을 기계에게 부여하는 학문 분야이다 기계는 숫자만을 이해할 수 있다. 따라서 우리는 언어를 숫자로 바꿔야만 한다. 언어를 숫자로 바꾸기 위해 2가지 사고의 과정을 거치게 된다 text를 어떤 단위(token)으로 나눌 것인가 ( tokenizing ) token을 어떤 숫자로 바꿀 것인가 ( embedding ) Tokenization 종류 Tokenization 목적 : 의미를 지닌 단위로 자연어를 분절하기 위해서 & Model 학습 시 입력 token의 개수를 맞추기 위해서 다음의 문장의 토큰화를 예시로 들겠다. ( 이 근처 미세먼지 많은지 알아봐 ) Morpheme-base..