본문 바로가기

전체 글36

LangSmith HUB의 프롬프트 활용법 및 등록하기 LangSmith LangSmith란 Langchain에서 만든 온라인 기반 LLM 애플리케이션의 성능을 추적하고 분석하는데 도움을 주는 도구이다. 주로 LLM을 활용한 애플리케이션의 성능을 모니터링하거나, 잘못된 답변을 생성했을 때의 오류를 분석하는 데 사용이된다. 이번 글에서는 LangSmith의 이러한 기능보다 LangSmith에서 제공하는 프롬프트를 활용하는 방법을 알아볼 예정이다. LangSmith HUB LLM을 활용할 때 가장 중요한 작업 중 하나가 Prompt Tuning이다. 어떤 프롬프트를 작성하는지에 따라 LLM의 성능이 크게 좌우되기 때문이다. 이때, Langchain에서 제공하는 기본 프롬프트를 사용해도 좋지만, Langsmith의 HUB를 사용하면 다양한 검증된 프롬프트를 사용해.. 2024. 2. 21.
Korean RAG - with gemini 석사 코스워크 시절, 논문을 하나하나 읽고, 방대한 양의 전공서적을 하나하나 읽는 게 너무 힘들었던 기억이 있어서 이번에 RAG를 알게된 기념으로 PDF, Word, PPT 파일을 제공해주면 답을 해주는 웹사이트를 만들어봤다! 체험 사이트 링크 : https://korean-gemini-rag.streamlit.app/ 사용법 사실 사용법이라고 적을 것도 없다. UI 자체가 직관적으로 구성되어있고 뭐 큰 기능들도 없어서... 우선 가장 먼저 필요한건 gemini API 키 발급이다. 위 링크를 참고해서 API 키를 발급 받았으면 잘 복사해두었다가 아래 빨갛게 표시한 섹션에 붙여넣으면 된다. 그 후 빨간 섹션 위에 파일 업로드 섹션에 본인이 정보 추출에 사용할 파일을 입력하면 된다. 현재 다중 파일 입력을.. 2024. 1. 28.
Gemini API 키 발급 받는 방법! 최근 토이프로젝트로 gemini 기반 RAG 시스템을 개발 중인데 이때 필요한 LLM api 키 발급 방법에 대한 설명을 내 블로그를 통해 정리해두면 많은 사람들에게 도움이 될거 같아 정리해둔다! 우선 gemini를 시작으로 차근차근 다른 llm의 api키 발급 법에 대해서도 설명할 예정! Google Gemini API What is Gemini? Gemini는 구글에서 2023년 12월 7일 공개한 차세대 AI 모델이다. 발표상으로는 GPT-4의 성능을 넘었으며, AI가 최초로 human expert를 넘어섰다고 발표했다. Gemini는 텍스트와 프로그래밍 코드만 이해가능했던 Bard와 는 다르게 텍스트, 오디오, 이미지, 동영상 등 다양한 미디어 형태를 이해가능한 Multi Modal이다. 총 17.. 2024. 1. 20.
Emotion Analysis (감정 분석) 1. 감정 분석(Emotion Analysis, EA)이란? 감정 분석은 감성 분석(Sentiment Analysis, SA)과 비슷하게 텍스트에 나타난 감정을 분석하는 자연어처리 태스크이다. 하지만 주로 긍,부정 혹은 긍정, 부정, 중립으로 분류되는 감성 분석과는 다르게 감정 분석은 텍스트에 나타난 더 세분화된 감정을 분석하는 것에 중점을 두고 있다. 감정에 관한 연구들은 심리, 사회, 철학 등 많은 분야에서 연구되어왔지만 언어적 표현의 관점에서 이루어진 연구는 매우 드물다. 감정은 Emotion, Affect, Mood 등의 용어로 사용되지만 학자들에 따라 위 용어들에 대한 정의가 다르다. Affect를 emotion, feeling, mood를 모두 포함하는 개념으로 정의하기도 하며 위 표현들을 모.. 2023. 12. 20.
It's all about the Data - Data Cascade의 위험성 Data is a foundational aspect of machine learning (ML) that can impact performance, fairness, robustness, and scalability of ML systems. - Nithya Sambasivan, Research Scientist, Google Research 최근 대학원 졸업과 나의 취업 준비가 진행되면서 내가 어떤 일을 하면서, 어떤 가치관과 어떤 목적성을 가지고 직장을 선택하고, 직무를 고를지에 대한 고민이 계속 되었다. 학창 시절부터 만들고 싶었던 그 누구와도 친구가 될 수 있는 AI에 대한 꿈은 어찌저찌 시대의 흐름을 잘타게 되어 관련 공부를 대학원에서도 할 수 있는 기회도 생겼다. 대학원을 진학할 때와 비슷하.. 2023. 12. 13.
한국어 띄어쓰기 모델 수업 때 실수?로 교수님 질문에 대한 답을 해버려서 떠맡게 된 한국어 띄어쓰기 모델들 소개이다. 아는 것을 공유하는 것은 좋지만 발표까지 맡게될 줄은 전혀 몰랐다... 이 기회에 안그래도 필요했던 띄어쓰기 모델들을 정리해보자. 1. 한국어에서 띄어쓰기란? - 한국어 어문 규범에서의 띄어쓰기 제2항 문장의 각 단어는 띄어 씀을 원칙으로 한다. 국어에서 단어를 단위로 띄어쓰기를 하는 것은 단어가 독립적으로 쓰이는 말의 최소 단위이기 때문이다. ‘동생 밥 먹는다’에서 ‘동생’, ‘밥’, ‘먹는다’는 각각이 단어이므로 띄어쓰기의 단위가 되어 ‘동생 밥 먹는다’로 띄어 쓴다. 그런데 단어 가운데 조사는 독립성이 없어서 다른 단어와는 달리 앞말에 붙여 쓴다. ‘동생이 밥을 먹는다’에서 ‘이’, ‘을’은 조사이므로 .. 2023. 11. 16.

티스토리툴바