학습이 끝났다고 모델이 완성된 것은 아니다
파인튜닝 학습이 끝나면 파일 하나가 남습니다. 직원들이 그것을 믿고 쓸 수 있는지는 또 다른 문제입니다.
어댑터를 고객 환경에 넣기 전에 저희는 그에 관한 네 가지 질문에 답하고, 각 답의 근거를 함께 전달합니다. 답이 없는 질문이 하나라도 있으면 그 어댑터는 아직 준비되지 않은 것입니다.
일을 해내는가?
학습시킨 목적이 된 일로, 학습을 시작하기 전에 귀사와 합의한 예시를 써서 테스트합니다. 범용 품질 점수로는 귀사의 조항을 제대로 작성하는지, 귀사의 화면을 제대로 읽는지 거의 알 수 없습니다.
숫자가 무엇을 뜻하는지 분명히 말합니다. Mac 소프트웨어를 다루도록 Qwen3.5-9B 어댑터를 학습시켰을 때, 고정된 477단계 테스트에서 동작 점수가 0.33에서 0.77로 올랐습니다. 향상의 일부는 모델이 답변 형식을 익힌 데서 왔기 때문에 그대로 보고하며, 실제 작업 성공률이 아니라 저희 자체 오프라인 테스트의 결과로 다룹니다.
무엇을 망가뜨렸는가?
어댑터는 모델을 한 가지 일에서는 낫게 만들면서 다른 일에서는 조용히 나쁘게 만들 수 있습니다. 베이스 모델이 원래 잘하던 일로 베이스 모델과 비교합니다.
- 약해지거나 모호해진 답변
- 흐트러지거나 깨지는 형식
- 너무 자주 거절하거나, 답하지 말아야 할 때 답하는 것
- 베이스 모델에는 없던 새로운 약점
돌아가야 할 곳에서 돌아가는가?
실제로 놓일 장비에서, 그 장비가 허용하는 메모리, 속도, 컨텍스트 길이로 확인합니다. 저희 하드웨어에서만 돌아가는 어댑터는 테스트하지 않은 것과 같습니다.
끌 수 있는가?
누군가 의존하기 전에 실제 런타임에서 불러오고, 끄고, 바꾸고, 롤백해 봅니다. 무엇이 롤백의 계기가 되는지, 누가 그것을 실행할 수 있는지 미리 정해 둡니다.
어댑터와 함께 전달하는 것
어댑터를 파일 하나만 달랑 넘겨서는 안 됩니다. 짧은 증빙 패키지를 함께 전달합니다.
- 어떤 베이스 모델로 학습했는지
- 어떤 데이터가 어댑터를 만들었는지, 데이터셋 카드 참조와 함께
- 학습 설정
- 테스트 예시와 결과
- 어디에서 실패했거나 나빠졌는지
- 켜는 방법, 끄는 방법, 롤백하는 방법
- 누가 검토했는지, 수용되었는지
이 패키지는 어댑터를 좋아 보이게 하려는 것이 아닙니다. 누구나 그 동작을 확인할 수 있게 하려는 것입니다.
출시 전 여섯 가지 질문
- 어떤 작업을 개선하려는 것인가? 개선을 보여 주는 예시는 무엇인가?
- 개선이 없거나 퇴보한 예시는 무엇인가?
- 테스트에 쓴 베이스 모델과 런타임은 무엇인가?
- 어떻게 켜고, 어떻게 끄는가?
- 무엇이 있으면 롤백하는가?
- 직원이나 고객에게 쓰는 것을 누가 승인하는가?
여섯 가지 모두에 답이 나오면 어댑터는 귀사 환경에 들어갈 준비가 된 것이고, 그곳에서 검토하고, 켜고, 되돌릴 수 있습니다.