word2vec3 Stanford CS224n - Lecture 2 Word Vectors and Word Senses 이 글은 https://youtu.be/kEMJRjEdNzM 강의를 듣고 제가 더 편하게 이해하기 위해 정리한 글입니다. 혹시 제가 잘못 이해한 부분이 있다면 댓글로 친절히 알려주시면 감사하겠습니다! 1. Word Vectors 저번 강의에 이어 optimization에 관한 이야기 진행되었다. Gradient Descent 방법으로 J(θ)를 줄이는 것이 목표였지만, J(θ)는 코퍼스 전체에 대한 함수이기에 계산량이 너무 크다는 단점이 있다. => because, 손실함수 계산시에 전체 train set를 이용함 또한, 한 번 파라미터를 업데이트하는데 오랜 시간이 소요된다는 단점도 있다. 1.1. Stochastic Gradient Descent(SGD) 이를 보안하기 위해 등장한 것이 SGD이다. 손.. 2021. 7. 29. Stanford CS224n - Lecture 1 Introduction and Word Vector 이 글은 https://youtu.be/8rXD5-xhemo 강의를 듣고 제가 더 편하게 이해하기 위해 정리한 글입니다. 혹시 제가 잘못 이해한 부분이 있다면 댓글로 친절히 알려주시면 감사하겠습니다! 1. Human Language 인간의 언어는 인류 등장 10만년의 시간을 생각하면 생각보다 근래의 발명된 것으로 볼 수 있다. 인간의 언어는 의사소통의 수단으로 다른 동물들처럼 뿔을 만든다던지, 발톱을 발달시키지 않고 인류는 의사소통을 하나의 생존 수단으로 발전 시켜 지금까지의 발전을 이룩했다. 이런 언어는 몇 가지 신기한 특징을 지니고 있다. (물론 신기한건 내 기준!) 인간의 언어는 아주 큰 컴퓨터 네트워크와 비슷하다 하지만 빠른 것이 무엇보다 중요한 네트워크와는 다르게 인간의 언어는 느리다... 인간.. 2021. 7. 10. 자연어 처리의 꽃! - 워드 투 벡터(Word2Vec) 워드 투 벡터 (Word2vec) 1. 배경 기존의 단어 임베딩 방식은 원핫 인코딩(One-hot encoding)을 사용해왔다. 원핫 인코딩에 대한 설명은 아래의 게시글을 읽어보길 바란다. https://godcode.tistory.com/9?category=908926 01. 텍스트 전처리 - 원-핫 인코딩 www.wikidocs.net/book/2155 의 [딥 러닝을 이용한 자연어 처리 입문]을 공부하고 정리한 글입니다. 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 단어 집합(vocabulary) 단어 집합은 앞으 godcode.tistory.com 하지만 위와 같은 방식은 단어 사전이 무한대로 길어진다는 단점이 존재한다. 또한 단어 간의 의미론적 차이와 연관 관계를 .. 2020. 8. 10. 이전 1 다음
