'23년까지는 모델의 크기가 계속 확장되었으나, 현재는 더 효율적이고 컴팩트한 모델, 소위 Small Language Models(SLMs)로 자리를 옮겨가고 있음
Grok이나 Llama 3와 같은 많은 새로운 모델은 크기가 작지만 불과 1년 전 모델과 비교했을 때 성능이 유지되거나 향상
소규모 언어 모델의 개념
소규모 언어 모델(SLM : Small Language Models)은 자연어 콘텐츠를 처리, 이해 및 생성할 수 있는 인공 지능(AI) 모델로 이름에서 알 수 있듯이 대규모 언어 모델(LLM : Large Language Models) 보다 규모와 범위가 작지만 최근 뛰어난 성능을 보여주고 있음
SLM이 작은 규모임에도 LLM처럼 잘 작동하는 이유는 효율적으로 똑똑해지도록 훈련했기 때문으로 선택적으로 중요한 정보만 학습하고, 작지만 정밀한 구조로 설계됐으며, 특정 작업에 맞게 잘 튜닝되었기 때문에, 큰 모델처럼 낭비 없이 똑똑하게 대답
모델 병합 (Model merging)
과거에는 AI가 여러 모델의 답을 모아 다수결처럼 더 정확한 답을 만드는 방법인 앙상블 방식으로 예측을 생성
기존 앙상블 방법과 달리 ' 모델 병합 또는 가중치 평균 '은 여러 개의 모델을 별도로 유지하지 않고 단일 모델을 생성
모델 병합은 여러 AI 모델의 '좋은 점만 골라서 하나로 합치는' 기술로 기존 앙상블의 단점인 과도한 리소스 요구없이 여러 LLM을 하나의 더 나은 LLM으로 결합하여 전반적인 성능과 견고성을 향상시킴
즉, 여러 개의 똑똑한 모델들의 장점만 합쳐서, 작은 몸집에도 똑똑한 SLM을 만들 수 있는 기반 기술
가중치 평균 (Weight Averaging)
AI 모델을 여러 번 학습하면 성능이 조금씩 다른 여러 버전이 생기며, 이 중 몇 개는 잘 맞고, 몇 개는 덜 맞을 수 있음
가중치 평균은 여러 모델이 가진 지식(가중치, weight)을 숫자 평균 내듯이 합치는 방식 (예: “모델 A는 2라고 말하고, 모델 B는 4라고 말하면 평균인 3으로 결정)
가중치 평균은 모델 병합의 핵심 기술 중 하나로 모델을 병합할 때 가장 쉽고 효과적인 방식
전문가 조합 (Mixture of Experts)
전문가 조합(MoE : Mixture of Experts)의 전문가 조합은 문제마다 "가장 잘 아는 AI"만 골라서 쓰는 똑똑한 방식으로 비유를 들자면 요리를 할 때, 면 요리는 파스타 셰프, 디저트는 케이크 셰프에게 맡기는 것과 같이 모든 걸 잘하는 한명 보다, 분야별 전문가들을 조합해서 효율과 성능을 높임
전문가 조합 기술은 SLM이 작은 크기로도 똑똑하게 동작할 수 있게 도와주는 비법으로 SLM 안에 여러 "전문가 모델"을 넣어두고, 상황마다 제일 잘하는 전문가만 불러서 사용하기 때문에 정확도가 높고, 모든 전문가를 한꺼번에 쓰지 않아서 가볍고 빠른 성능을 보임
전문가 조합의 성능
최근 AI계의 뜨거운 감자 Mistral AI에서 Mistral 8x7B라는 좋은 성능의 모델을 오픈소스로 공개하였으며 작은 사이즈로 LLaMA-2 70B의 성능을 뛰어넘는 결과를 보여줌 (비유를 들자면 Mistral 8x7B는 똑똑한 7B 전문가 8명을 상황에 따라 선택해서 쓰는 스마트 팀플레이어고, LLaMA-2 70B는 혼자 모든 걸 다 하려는 근육질 천재로 LLaMA-2는 Mistral 8x7B보다 전체 크기는 1.25배 크지만, 실제 계산은 약 5배 더 무거움)
현존 최강 LLM인 GPT도 GPT-3까지는 모든 파라미터를 항상 사용하는 전통적인 구조를 취하다가 GPT-4부터는 내부적으로 전문가 조합 구조를 도입하였으며, 여러 개의 전문가(서브 모델) 중 일부만 선택적으로 활성화되는 방식으로 효율성과 성능을 모두 높임
직접 선호도 최적화 (Direct Preference Optimization)
기존에는 보통 사람이 좋다고 한 답변에 점수를 주는 모델을 먼저 만들고, 그 점수를 기준으로 AI를 훈련시키는 보상 모델(RLHF)을 따로 만들고, 복잡하게 학습
직접 선호도 최적화 (DPO : Direct Preference Optimization)는사람이 직접 두 개의 모델 답변 중 어떤 게 더 나은지 선택하고, 이 비교만으로도 보상 모델 없이 바로 튜닝
훈련이 더 빠르고 가벼워져서, 작은 모델(SLM)도 쉽게 사용자 취향에 맞게 튜닝 가능
프록시를 통한 언어 모델 튜닝 (Proxy Tuning)
Proxy Tuning은 작은 모델(SLM)을 먼저 똑똑하게 튜닝한 뒤, 그 지식을 큰 모델(LLM)로 옮기는 똑똑한 학습 전략
예를 들어서 우선 작은 모델이 고객 질문에 잘 대답하도록 먼저 훈련하고, 큰 모델이 옆에서 그 결과를 보고 작은 모델이 어떤 식으로 답했는지를 큰 모델이 흉내 내면서 지식 전이(knowledge distillation) 발생
Proxy Tuning은 SLM을 튜닝해서, 그 결과를 이용해 LLM을 저비용으로 더 잘 튜닝하는 간접 학습 전략
대형 모델 경쟁의 종말과 소규모 언어 모델의 증가
소규모 언어 모델의 개념
모델 병합 (Model merging)
가중치 평균 (Weight Averaging)
(예: “모델 A는 2라고 말하고, 모델 B는 4라고 말하면 평균인 3으로 결정)
전문가 조합 (Mixture of Experts)
전문가 조합의 성능
직접 선호도 최적화 (Direct Preference Optimization)
프록시를 통한 언어 모델 튜닝 (Proxy Tuning)
예를 들어서 우선 작은 모델이 고객 질문에 잘 대답하도록 먼저 훈련하고, 큰 모델이 옆에서 그 결과를 보고 작은 모델이 어떤 식으로 답했는지를 큰 모델이 흉내 내면서 지식 전이(knowledge distillation) 발생
Proxy Tuning은 SLM을 튜닝해서, 그 결과를 이용해 LLM을 저비용으로 더 잘 튜닝하는 간접 학습 전략
※ 관련 제품 및 서비스 : PaaSXpert LLMOps
📞 문의 및 상담