728x90 반응형 finetuning2 프롬프트 튜닝 이론적 소개프롬프트 튜닝은 효율적인 매개변수 미세 조정 방법입니다. 핵심 아이디어는 다음과 같습니다. 지식이 풍부한 교과서(사전 훈련된 대형 모델)를 수정하는 대신 기술자는 책의 시작 부분(입력 계층)에 몇 개의 매우 똑똑하고 학습하기 쉬운 스티키 노트 (소프트 프롬프트/가상 토큰(소프트 프롬프트) 또는 가상 토큰)를 추가합니다. 스터키 노트의 내용은 고정된 텍스트가 아니라, 모델이 스스로 학습하고 조정할 수 있는 매개변수(벡터)입니다.훈련하는 동안 우리는 원래 모델의 대부분의 매개변수를 동결하고 새로 추가된 스티키 노트 매개변수만 훈련합니다. 그러면 모델이 특정 스티키 노트를 볼 때 우리가 예상하는 방식으로 작업을 수행하게 됩니다.핵심 원리 다이어그램PLM(사전 학습된 모델)은 변경되지 않고, W(모델.. 2025. 4. 22. RAG 핵심 기술! 10가지 방법 오늘날 정보 폭발 시대에 AI 시스템은 우리 삶의 모든 측면에 침투했습니다. 의료 및 건강 보조원부터 교육 튜터링 도구, 기업 지식 관리 로봇에 이르기까지 AI는 우리가 지식을 더 효율적으로 습득하고 처리하는 데 도움이 됩니다. 그러나 적용 시나리오가 점점 더 복잡해짐에 따라 기존 AI 시스템은 많은 과제에 직면하게 됩니다. 정말로 관련성 있는 답변을 생성하는 방법은 무엇일까요? 복잡하고 여러 차례 주고받는 대화를 이해하는 방법은? 오류 메시지를 자신있게 피하는 방법은? 이러한 문제는 RAG(Retrieval-Augmented Generation) 기반 시스템에서 특히 두드러집니다.RAG는 문서 검색 능력과 언어 생성의 유창성을 결합하여 시스템이 맥락에 따라 정보에 기반한 응답을 제공할 수 있도록 합.. 2025. 4. 21. 이전 1 다음 728x90 반응형
