본문 바로가기

파이썬7

Konlpy 다운로드 및 오류 해결 법 1. Konlpy 다운로드 하기 pip install konlpy 여타의 다른 파이썬 라이브러리처럼 이렇게 쉽게 깔리면 얼마나 좋을까... 하지만 우리의 친절하지 못한 Konlpy께선 Java를 요구하기 때문에 따로 컴퓨터에 Java를 설치해 주어야한다. 1) JDK(Java) 설치하기 https://www.oracle.com/technetwork/java/javase/downloads/index.html Java SE - Downloads | Oracle Technology Network | Oracle Java API Documentation Updater Tool 1.3 Java API Documentation Updater Tool repairs-in-place Java API Documentat.. 2020. 3. 14.
01. 텍스트 전처리 - 정수 인코딩 www.wikidocs.net/book/2155 의 [딥 러닝을 이용한 자연어 처리 입문]을 공부하고 정리한 글입니다. 정수 인코딩(Integer Encoding) 컴퓨터는 직접적인 텍스트 입력보다는 숫자를 더 잘 처리할 수 있다고 한다. 이러하기에 NLP분야에선 텍스트를 숫자로 바꾸는 여러가지 기법이 존재한다. 가장 첫 단계가 각 단어에 고유한 정수를 부여하는 것이다. 학교에서 우리 이름과 함께 주어지는 학번이나, 군대에서의 군번과 비슷하다고 생각하면 된다. 예컨데, 보유하고 있는 코퍼스에 단어가 1000개 있다면 각 단어들에 1부터 1000까지의 번호를 부여해 주는 것이다. 번호를 부여하는데에는 여러가지 방법이 있다. 랜덤하게 부여하기도하지만, 주로 전처리 후 빈도수에 따라 부여한다. 지금부터 4가지.. 2020. 3. 13.
6. 모델 평가와 하이퍼파라미터 튜닝 알고리즘을 미세 조정하여 높은 성능의 머신 러닝 모델을 만들고 성능을 평가하기 편향되지 않은 모델 성능 추정 머신 러닝 알고리즘에서 일반적으로 발생하는 문제 분석 머신 러닝 모델 세부 튜닝 여러 가지 성능 지표를 사용하여 모델 예측 성능 평가 6.1 파이프라인(Pipeline) 여러 개의 변환 단계를 포함한 모델을 학습하고 새로운 데이터에 대한 예측을 생성할 수 있다. 사이킷런의 변환기 중 fit / transform 메서드를 지원하는 객체에 한에서 make_pipeline 함수를 이용해 연결이 가능하다. ##PCA를 통해 30차원의 데이터를 2차원으로 낮추기 #StandardScaler, PCA, LogisticRegression을 하나의 파이프라인으로 연결 from sklearn.preprocessi.. 2020. 2. 18.