[NLP] Word2Vec

분포 가설을 기반으로 한다.

- 분포 가설 : 비슷한 의미를 지니는 단어는 주변 단어의 분포도 비슷할 것이다.

ex) He is a good guy.

ex) He is a cool guy.

 

CBOW 방식과 Skip-Gram 방식이 있다.

- CBOW : 주변 단어를 통해 중심 단어를 예측한다.

- Skip-Gram : 중심 단어를 이용해 주변 단어를 예측한다. ( 더 우수한 성능을 보인다 )

 

 

1. CBOW ( Continuous Bag of Word ) : 주변 단어를 통해 중심 단어를 예측한다.

 

- 전체 vocab size의 크기로 one-hot encoding

- window_size : 양 옆으로 몇개의 단어를 이용할 것인가?

- one-hot encoding에 W행렬이 곱해지기 때문에 W 행렬이 곧 word embedding 이다.
- 정보를 압축하는 과정이기에 H값은 V보다 작은 값으로 설정한다.

- 단일 hidden 층을 갖기 때문에 얕은 학습이다.

 

 

2. Skip-Gram : 중심 단어로 주변 단어를 예측한다.

- CBOW 가 한번 업데이트 되는 반면에, Skip-Gram 은 2*window_size 번 업데이트 되어, 더 많은 문맥을 고려하게 된다. 이 이유로 skip-gram이 더 높은 성능을 보여준다.