2026-10-21 · TANGYI AI DAILY
IBM ALTK-Evolve 연구를 통해 같은 모델에 경험에서 정리한 지침을 제공하면 무엇이 달라지는지, 숫자를 어떻게 읽어야 하는지 살펴봅니다.
말은 친절하지만 회사의 환불 규정을 읽어 본 적 없는 신입을 떠올려 보세요. 더 유창한 사람으로 교체하기 전에 제대로 된 인수인계가 필요할 수 있습니다. AI 상담에도 같은 질문을 던질 수 있습니다.
새 모델이 아니라 일할 때 참고하는 지침
IBM Research가 10월 20일 소개한 고객 서비스 연구에서 ALTK-Evolve는 과거 작업의 성공과 실패를 재사용 가능한 지침으로 정리합니다. 모델 가중치를 다시 학습하는 방식은 아닙니다. 공개 저장소는 개발 프레임워크이며 바로 영업에 투입하는 완성형 상담 제품은 아닙니다.
TangYi라면 고객의 전화번호보다 ‘현재 강좌 가격표를 먼저 확인한다’는 규칙을 남기겠습니다. 경험에서 얻은 지침이 회사의 공식 정책을 마음대로 바꾸어서는 안 됩니다.
67.5%는 무엇을 뜻할까?
GPT-4.1로 소매 분야의 별도 평가 문제 40개를 각각 네 번 실행한 결과입니다.
| 설정 | 평균 성공률 | 네 번 모두 성공한 문제 비율 |
|---|---|---|
| 추가 지침 없음 | 78.1% | 57.5% |
| 간결한 지침 | 78.8% | 60.0% |
| 전체 지침 | 82.5% | 67.5% |
Pass^4는 같은 문제를 네 번 모두 성공해야 점수를 줍니다. 57.5%에서 67.5%로 오른 것은 10퍼센트포인트의 변화이며 범용 지능 점수가 아닙니다. 보고서의 순위 비교는 다른 데이터 분할과 10월 12일 시점의 순위를 사용합니다. 내 서비스에서도 같은 효과가 난다는 뜻은 아닙니다.
지침이 많다고 항상 더 좋지는 않다
IBM의 이전 연구도 지침의 양과 선택을 조절할 변수로 봅니다. 이번 항공 작업에서는 간결한 지침이 전체 지침보다 네 번 연속 성공하는 비율이 높았습니다. 입력이 길면 추론 비용도 늘어날 수 있습니다.
TangYi에는 강좌 문의, 제작 협업, Workshop 문제 해결마다 별도의 자료와 담당자 연결 조건을 두는 방식이 적합해 보입니다. 이는 우리의 설계 제안이며 실제로 연결하거나 성능을 검증한 결과는 아닙니다.
작은 검증부터 시작하기
- 개인정보를 제거한 연습 사례와 처음 보는 검증 사례를 분리합니다.
- 모델과 도구 권한은 고정합니다.
- 연습 중 실패를 구체적인 지침으로 바꾸고 버전을 관리합니다.
- 오답뿐 아니라 누락된 질문, 잘못된 약속, 사람에게 넘겨야 할 때를 기록합니다.
- 비용과 응답 시간도 함께 비교합니다.
환불 승인과 본인 확인은 시스템 권한으로 통제해야 합니다. 프롬프트에 주의하라고 쓰는 것만으로 충분하지 않습니다.
TangYi의 관점
얼마나 똑똑하게 말하는가보다 얼마나 꾸준히 일을 맞게 처리하는가가 중요합니다. 인수인계를 먼저 정리한 뒤 더 비싼 모델이 필요한지 검토해도 늦지 않습니다. 이번 보도에서는 프레임워크 설치, 유료 API 호출, TangYi 서비스 실측을 수행하지 않았습니다.
공식 자료와 연구 저장소
확인: 2026년 10월 21일. 공식 연구 해설과 TangYi 분석이며 로컬 실측이 아닙니다.