반응형 프롬프트튜닝1 프롬프트 튜닝 이론적 소개프롬프트 튜닝은 효율적인 매개변수 미세 조정 방법입니다. 핵심 아이디어는 다음과 같습니다. 지식이 풍부한 교과서(사전 훈련된 대형 모델)를 수정하는 대신 기술자는 책의 시작 부분(입력 계층)에 몇 개의 매우 똑똑하고 학습하기 쉬운 스티키 노트 (소프트 프롬프트/가상 토큰(소프트 프롬프트) 또는 가상 토큰)를 추가합니다. 스터키 노트의 내용은 고정된 텍스트가 아니라, 모델이 스스로 학습하고 조정할 수 있는 매개변수(벡터)입니다.훈련하는 동안 우리는 원래 모델의 대부분의 매개변수를 동결하고 새로 추가된 스티키 노트 매개변수만 훈련합니다. 그러면 모델이 특정 스티키 노트를 볼 때 우리가 예상하는 방식으로 작업을 수행하게 됩니다.핵심 원리 다이어그램PLM(사전 학습된 모델)은 변경되지 않고, W(모델.. 2025. 4. 22. 이전 1 다음 반응형
