LangSmith
LangSmith란 Langchain에서 만든 온라인 기반 LLM 애플리케이션의 성능을 추적하고 분석하는데 도움을 주는 도구이다. 주로 LLM을 활용한 애플리케이션의 성능을 모니터링하거나, 잘못된 답변을 생성했을 때의 오류를 분석하는 데 사용이된다. 이번 글에서는 LangSmith의 이러한 기능보다 LangSmith에서 제공하는 프롬프트를 활용하는 방법을 알아볼 예정이다.
LangSmith HUB
LLM을 활용할 때 가장 중요한 작업 중 하나가 Prompt Tuning이다. 어떤 프롬프트를 작성하는지에 따라 LLM의 성능이 크게 좌우되기 때문이다. 이때, Langchain에서 제공하는 기본 프롬프트를 사용해도 좋지만, Langsmith의 HUB를 사용하면 다양한 검증된 프롬프트를 사용해볼 수 있으며, 이를 본인의 프로젝트에 맞게 수정한다면 많은 비용과 시간을 절약할 수 있다. 오늘은 업로드된 LangSmith의 프롬프트를 활용하고 직접 본인이 만든 프롬프트를 등록하는 방법에 대해 알아볼 것이다.
1. LangSmith 가입
https://www.langchain.com/langsmith
LangSmith
Get your LLM app from prototype to production.
www.langchain.com
위 링크에 들어가서 우측 상단에 Sign Up을 통해 회원가입을 한다.
가입을 마치고 나면 아래와 같은 화면이 뜬다.
추후 개발한 LLM 애플리케이션을 모니터링하고 싶을 때는 위 Projects 메뉴를 통해 모니터링이 가능하다. 이에 대해서는 좀 더 공부 후 실제 사용해본 후에 작성하겠다.
2. HUB 접속
좌측 메뉴 바에서 지구 표시 처럼 되어있는 메뉴를 클릭하면 HUB 메뉴로 접속된다.
해당 메뉴를 클릭하면 닉네임을 설정하는 창이 뜬다. 해당 창에서 닉네임을 설정을 하면 HUB에 접속이된다. 이때, 닉네임은 추후 프롬프트를 업로드할때 식별용 코드로 사용이되며, 대문자는 불가능하다. 닉네임을 설정하고 나면 아래와 같은 화면이 뜬다.
여기서 검색을 통해 다양한 프롬프트를 확인할 수 있으며 어떤 HuggingFace와 비슷하게 Top Favorited, Top Viewed, Top Dowloaded, Recently Uploaded 필터를 제공한다.
3. Prompt 사용
원하는 프롬프트를 검색해서 들어오면 다음과 같은 화면이 뜬다.
작성자가 작성한 prompt와 코드상에서의 사용법이 적혀있다.
코드 상에서 사용할 때는 아래의 Use object in LangChain의 코드를 복사해서 사용하면 되고 실제 테스트를 해보고 싶은 경우 Open Artifact in Playground를 클릭하면 아래와 같은 화면을 통해 테스트가 가능하다.
좌측의 프롬프트를 확인해보면 {}사이의 변수인 context와 question이 해당 프롬프트가 필요한 variables인 것을 확인할 수 있다. 해당 변수에 들어갈 내용을 중앙의 inputs에 넣고 우측의 settings에서 사용할 모델과 temperature 등을 설정하면 직접 테스트를 해볼 수 있다.
4. 프롬프트 등록하기
우측 상단에 보면 아래와 같이 My Ptompts 메뉴가 있다.
해당 메뉴를 클릭하면 본인이 만든 프롬프트들의 리스트가 나타난다. 새롭게 프롬프트를 만들고 싶으면 우측의 '+'를 눌러주면 된다. 그러면 아래와 같은 사전 세팅화면이 나타난다.
프롬프트 이름, 설명, Readme를 작성해준 다음, 해당 프롬프트가 어디에 쓰이는 지(Use Cases), 어떤 언어를 지원하는 지(Language), 어떤 모델에서 활용이 가능한지(Model)을 선택해주면된다. 필자의 경우 Language에서 한국어가 없어서 비워둔 채로 넘어갔다. 사전 설정을 완료하고 Save를 누르면 다음과 같이 Prompt인지 Chat Prompt인지 선택하는 창이 나타난다.
본인의 프롬프트 특성에 맞게 선택하면 이전에 설명한 Prompt Playground와 동일한 화면이 나타난다.
여기서 좌측에 HUMAN 부분에 본인의 Prompt를 작성하고 테스트를 해본 후에 우측 상단의 Commit 버튼을 눌러주면 본인이 만든 Prompt가 Publish 된다.
참고문헌
#18.LangSmith를 이용한 Langchain agent 내부 동작 구조 이해
앞의 예제는 agent를 생성할때 initialize_agent를 사용하는 방식으로 Langchain 0.1.0 까지는 지원하지만 deplicate 될 예정이고 새 버전의 create_react_agent 함수를 사용하기를 권장하고 있다. create_react_agent를
bcho.tistory.com
https://www.youtube.com/watch?v=1scMJH93v0M
'Study > NLP' 카테고리의 다른 글
| Korean RAG - with gemini (2) | 2024.01.28 |
|---|---|
| Emotion Analysis (감정 분석) (4) | 2023.12.20 |
| It's all about the Data - Data Cascade의 위험성 (0) | 2023.12.13 |
| 한국어 띄어쓰기 모델 (0) | 2023.11.16 |
| 감성 분석이란? (0) | 2023.11.16 |
댓글