Study41 LLM 시스템 보안의 취약점과 공격 벡터: 인공지능 시대의 새로운 보안 과제 서론인공지능 기술의 급속한 발전으로 대규모 언어 모델(LLM)이 다양한 응용 프로그램에 통합되고 있습니다. ChatGPT, Claude, Bard와 같은 LLM은 코드 작성부터 콘텐츠 생성, 정보 검색까지 광범위한 작업을 수행할 수 있습니다. 그러나 이러한 강력한 기능은 새로운 보안 위협을 동반합니다. 이 글에서는 LLM 시스템의 주요 취약점과 공격 벡터에 대해 살펴보겠습니다.LLM의 구조적 취약점LLM은 트랜스포머 아키텍처를 기반으로 하며, 이 구조는 본질적으로 몇 가지 보안 취약점을 내포하고 있습니다. 자기회귀적 생성 방식은 이전 토큰을 기반으로 다음 토큰을 예측하는 방식으로 작동하며, 이는 악의적인 프롬프트가 모델의 동작을 조작할 수 있는 경로를 제공합니다. 또한, 주의 메커니즘은 입력 시퀀스의 모.. 2025. 3. 24. 0302 AI 뉴스 이전에 공유했던걸 늦었지만 여기에 백업 겸으로 작성해둡니다...이번에는 새로운 모델들이 쏟아져서...모델 관련된 내용이 많습니다. 모델GPT-4.5가 출시했습니다. 비싸서...테스트는 아직 못해봤는데 여론상으로는 추론 모델에 비해 성능은 떨어지지만, hallucination에 대한 성능은 좋다고 하네요.https://youtu.be/3YL_MQZJgxE claude-3.7-sonnet에 관한 글입니다. 증강할때 테스트해봤는데, 성능이 꽤 좋은 거 같아요.https://news.hada.io/topic?id=19407 이번에 공개된 Grok-3에 관한 내입니다. Grok 2보다 10배 이상 성능이 향상되었고, “Think 버튼”을 이용한 고급 추론 기능으로 답을 깊이 고민하거나, “딥 서치(Deep .. 2025. 3. 23. 0310 AI 뉴스 정리 일주일마다 트랜드로 회사에 공유하는 내용을 정리합니다.짧게 1~3문장 정도로만 요약할 예정입니다.주로 제가 관심갖는 분야가 중점이 될거 같지만 LLM이나 NLP가 주 주제가 될 것 같습니다.AI 트랜드2025년 AI 에이전트 트랜드에 관한 내용입니다.https://news.hada.io/topic?id=19613&utm_source=weekly&utm_medium=email&utm_campaign=202510AI 활용법OpenAI 공동창업자인 Andrej Karpathy가 설명한 LLM에 대한 기본과 추론 모델을 활용하는 방법 등 적절하게 LLM을 사용하는 방법에 대해 적은 글입니다.https://news.hada.io/topic?id=19543&utm_source=weekly&utm_medium=ema.. 2025. 3. 23. LangSmith HUB의 프롬프트 활용법 및 등록하기 LangSmith LangSmith란 Langchain에서 만든 온라인 기반 LLM 애플리케이션의 성능을 추적하고 분석하는데 도움을 주는 도구이다. 주로 LLM을 활용한 애플리케이션의 성능을 모니터링하거나, 잘못된 답변을 생성했을 때의 오류를 분석하는 데 사용이된다. 이번 글에서는 LangSmith의 이러한 기능보다 LangSmith에서 제공하는 프롬프트를 활용하는 방법을 알아볼 예정이다. LangSmith HUB LLM을 활용할 때 가장 중요한 작업 중 하나가 Prompt Tuning이다. 어떤 프롬프트를 작성하는지에 따라 LLM의 성능이 크게 좌우되기 때문이다. 이때, Langchain에서 제공하는 기본 프롬프트를 사용해도 좋지만, Langsmith의 HUB를 사용하면 다양한 검증된 프롬프트를 사용해.. 2024. 2. 21. 이전 1 2 3 4 5 ··· 11 다음
