llm4 LangSmith HUB의 프롬프트 활용법 및 등록하기 LangSmith LangSmith란 Langchain에서 만든 온라인 기반 LLM 애플리케이션의 성능을 추적하고 분석하는데 도움을 주는 도구이다. 주로 LLM을 활용한 애플리케이션의 성능을 모니터링하거나, 잘못된 답변을 생성했을 때의 오류를 분석하는 데 사용이된다. 이번 글에서는 LangSmith의 이러한 기능보다 LangSmith에서 제공하는 프롬프트를 활용하는 방법을 알아볼 예정이다. LangSmith HUB LLM을 활용할 때 가장 중요한 작업 중 하나가 Prompt Tuning이다. 어떤 프롬프트를 작성하는지에 따라 LLM의 성능이 크게 좌우되기 때문이다. 이때, Langchain에서 제공하는 기본 프롬프트를 사용해도 좋지만, Langsmith의 HUB를 사용하면 다양한 검증된 프롬프트를 사용해.. 2024. 2. 21. Korean RAG - with gemini 석사 코스워크 시절, 논문을 하나하나 읽고, 방대한 양의 전공서적을 하나하나 읽는 게 너무 힘들었던 기억이 있어서 이번에 RAG를 알게된 기념으로 PDF, Word, PPT 파일을 제공해주면 답을 해주는 웹사이트를 만들어봤다! 체험 사이트 링크 : https://korean-gemini-rag.streamlit.app/ 사용법 사실 사용법이라고 적을 것도 없다. UI 자체가 직관적으로 구성되어있고 뭐 큰 기능들도 없어서... 우선 가장 먼저 필요한건 gemini API 키 발급이다. 위 링크를 참고해서 API 키를 발급 받았으면 잘 복사해두었다가 아래 빨갛게 표시한 섹션에 붙여넣으면 된다. 그 후 빨간 섹션 위에 파일 업로드 섹션에 본인이 정보 추출에 사용할 파일을 입력하면 된다. 현재 다중 파일 입력을.. 2024. 1. 28. Gemini API 키 발급 받는 방법! 최근 토이프로젝트로 gemini 기반 RAG 시스템을 개발 중인데 이때 필요한 LLM api 키 발급 방법에 대한 설명을 내 블로그를 통해 정리해두면 많은 사람들에게 도움이 될거 같아 정리해둔다! 우선 gemini를 시작으로 차근차근 다른 llm의 api키 발급 법에 대해서도 설명할 예정! Google Gemini API What is Gemini? Gemini는 구글에서 2023년 12월 7일 공개한 차세대 AI 모델이다. 발표상으로는 GPT-4의 성능을 넘었으며, AI가 최초로 human expert를 넘어섰다고 발표했다. Gemini는 텍스트와 프로그래밍 코드만 이해가능했던 Bard와 는 다르게 텍스트, 오디오, 이미지, 동영상 등 다양한 미디어 형태를 이해가능한 Multi Modal이다. 총 17.. 2024. 1. 20. 자연어처리란? 이번에 대학원 강의 과제로 강의에 나온 키워드 기반으로 배운 내용을 정리하라는 과제가 있었다. 학위논문을 쓰는 중이라 완전히 잊고 있다가 후다다닥 당일에 정리해서 끝내버렸는데 그대로 과제로만 내기에는 아까워서 블로그에 올려보려고 한다. 정리는 추후 찬찬히 하는 걸로 하고 우선 올려보겠다. 관점 자체는 문과 및 비전공자 대상으로 설명하는 내용이라고 생각하고 감안하고 읽어주면 정말 감사하겠다!!!!! 자연어처리(Natural Language Processing, NLP)는 컴퓨터가 인간의 언어인 자연어를 이해하고 처리하는 분야이다. 컴퓨터가 인간의 언어를 처리하기 위해선 다양한 방식이 존재한다. 첫 번째로, 언어학적인 접근 방식인 규칙 기반 접근법(rule-based approach)은 언어 현상을 이해하고.. 2023. 11. 16. 이전 1 다음
