Python7 Korean RAG - with gemini 석사 코스워크 시절, 논문을 하나하나 읽고, 방대한 양의 전공서적을 하나하나 읽는 게 너무 힘들었던 기억이 있어서 이번에 RAG를 알게된 기념으로 PDF, Word, PPT 파일을 제공해주면 답을 해주는 웹사이트를 만들어봤다! 체험 사이트 링크 : https://korean-gemini-rag.streamlit.app/ 사용법 사실 사용법이라고 적을 것도 없다. UI 자체가 직관적으로 구성되어있고 뭐 큰 기능들도 없어서... 우선 가장 먼저 필요한건 gemini API 키 발급이다. 위 링크를 참고해서 API 키를 발급 받았으면 잘 복사해두었다가 아래 빨갛게 표시한 섹션에 붙여넣으면 된다. 그 후 빨간 섹션 위에 파일 업로드 섹션에 본인이 정보 추출에 사용할 파일을 입력하면 된다. 현재 다중 파일 입력을.. 2024. 1. 28. Gemini API 키 발급 받는 방법! 최근 토이프로젝트로 gemini 기반 RAG 시스템을 개발 중인데 이때 필요한 LLM api 키 발급 방법에 대한 설명을 내 블로그를 통해 정리해두면 많은 사람들에게 도움이 될거 같아 정리해둔다! 우선 gemini를 시작으로 차근차근 다른 llm의 api키 발급 법에 대해서도 설명할 예정! Google Gemini API What is Gemini? Gemini는 구글에서 2023년 12월 7일 공개한 차세대 AI 모델이다. 발표상으로는 GPT-4의 성능을 넘었으며, AI가 최초로 human expert를 넘어섰다고 발표했다. Gemini는 텍스트와 프로그래밍 코드만 이해가능했던 Bard와 는 다르게 텍스트, 오디오, 이미지, 동영상 등 다양한 미디어 형태를 이해가능한 Multi Modal이다. 총 17.. 2024. 1. 20. Conda 가상환경으로 PyTorch 설치하기(Window 버전) Pytorch는 cpu, gpu 둘다 사용 가능하기에 우선적으로 컴퓨터의 nvidia의 cuda 버전을 확인해야한다. !nvcc --version 코드를 입력하고 나온 정보에서 release 다음에 적혀있는 버전이 cuda 버전이다. 해당 버전을 기억하고 다음 pytorch 사이트로 이동한다. https://pytorch.org/get-started/locally/ PyTorch An open source deep learning platform that provides a seamless path from research prototyping to production deployment. pytorch.org 사이트를 들어가서 개발환경에 맞는 옵션들을 설정해준다. 여기서 우린 Conda 가상환경에 만들.. 2020. 5. 31. 형태소 분석기 (Kiwi와 Soynlp) Kiwi 형태소 분석기 정의 Kiwipiepy는 한국어 형태소 분석기인 Kiwi(Korean Intelligent Word Identifier)의 Python 모듈입니다. C++로 작성되었고 다른 패키지에 의존성이 없으므로 C++ 컴파일이 가능한 환경이라면 어디에서나 Kiwipiepy를 사용 가능합니다. 출처: 설치법 python pip install kiwipiepy 특징 멀티스레딩 지원 단순 analyze는 단일 스레드를 지원하기에 코드를 직접 짜야한다. 코퍼스로부터 미등록 단어 추출 가능 extract_word(reader, min_cnt= , max_word_len= , min_score= ) reader -> 호출 가능한(callable) 객체여야 한다? min_cnt -> 추출할 단어가 입력 .. 2020. 5. 7. 이전 1 2 다음
