2026-10-21 · TANGYI AI DAILY
同一個 AI，補上從成功與失敗整理出的守則，能不能做得更穩？拆解 IBM ALTK-Evolve 的客服研究、四次都成功的評分方式，以及小企業真正該先整理的 SOP。
想先看哪一段？
想像一位新同事第一天站上櫃檯。客人問課程價格，他很有禮貌；客人問能不能退費，他也很有自信。問題是，他根本還沒看過公司的退費辦法。
這時候，你會立刻換一位更會說話的同事，還是先把交接本拿給他？
AI 客服常讓人有同樣的困惑：回答很順，事情卻不一定辦對。IBM Research 在 10 月 20 日分享的 ALTK-Evolve 客服研究，值得注意的正是這條路：讓模型參考從過往任務整理出的工作守則，再看它能否更可靠地完成任務。
重點先看：這不是又一顆新模型
它改變的是 AI 工作時拿到的指引，不是重新打造它的大腦。
這項研究不是把 GPT-4.1 變成另一個版本，也不是宣稱老模型在所有工作上都贏過新模型。它在固定客服環境裡，比較同一套系統收到不同守則時的表現。
把它當作「新人有沒有拿到好的交接資訊」，比把它當作「模型突然進化」更容易理解。模型要知道什麼、工具能做什麼、什麼動作必須先確認，都是任務的一部分。
工作守則怎麼來？從結果往回找原因
ALTK-Evolve 的方法，是從任務執行紀錄找出可重用的經驗，整理、合併，再於後續任務提供相關指引。官方開源專案提供的是開發框架；不是一鍵安裝就能接待客人的完整客服產品。
這裡的記憶，也不只是把所有聊天紀錄原封不動塞回去。以我們的服務來想：某次回答錯誤，真正需要留下的可能是「課程報價先查當期表單」，而不是客人的姓名、電話和整段私訊。
同樣要區分：從經驗整理提醒，不代表 AI 可以自行修改公司的政策。 守則應有來源、版本和適用範圍；過期活動、特例折扣，不能因為出現過一次，就變成所有客戶都適用的規則。
57.5% 到 67.5%，究竟在量什麼？
研究採用 τ²-bench 的客服任務。測試不是只看回覆像不像人，而是檢查工作完成後的資料狀態是否符合要求。
以下是作者回報的 GPT-4.1 零售保留測試結果，共 40 題，每題獨立嘗試四次。這張表全部屬於同一組測試，不和榜單其他切分混用。
| 零售測試設定 | 平均成功率 | 四次全成功的題目比例 |
|---|---|---|
| 沒有額外守則 | 78.1% | 57.5% |
| 精簡高支持度守則 | 78.8% | 60.0% |
| 完整守則 | 82.5% | 67.5% |
平均成功率像是看所有考卷的平均成績；Pass^4則要求同一題四次都成功，才替那一題計分。後者想測的是穩定性。
57.5% 到 67.5% 是提高 10 個百分點。它不是「AI 現在有 67.5% 的通用智慧」，也不是你的網站接上去就會提高同樣幅度。
另外，保留測試與榜單使用的全量切分是不同比較範圍。作者提到的榜單名次採 10 月 12 日快照，不能拿來宣稱今天所有客服模型的永久排名。
守則越厚越好？交接本也可能讓人找不到重點
IBM 先前對記憶用量的研究，已經把「給多少」當成需要調整的變數。不同模型、任務，未必適合相同份量。
這次客服研究裡，零售任務受益於完整守則；航空任務的四次全成功比例，反而是精簡版本較高。這也是為什麼「把資料全部丟給 AI」不等於完成知識管理。
我們會這樣解讀：一張課程詢問單，應先找到當期課程規則；一張設備租借單，則先找到租借與歸還條件。把兩套不相干流程全塞進去，可能增加閱讀負擔，還讓規則彼此打架。這是瑭宜的應用判斷，並非研究替我們測過的結果。
對 tangyi.mx 與 Workshop，可以先做哪些事？
比起讓 AI「自己學會接案」，更務實的第一步，是先把人工處理時其實很清楚的判斷整理出來。
| 服務情境 | 應先整理的資訊 | 不讓 AI 自行決定的事 |
|---|---|---|
| 課程詢問 | 當期日期、價格、程度、名額查詢方式 | 承諾尚未確認的名額或折扣 |
| 影片與網站合作 | 需求、交期、素材、預算的補問順序 | 直接承諾交期或合約條件 |
| Workshop 使用問題 | 版本、錯誤訊息、已試過的操作 | 把尚未實測的修法說成已解決 |
這些是建議的服務設計方向，目前沒有因這篇報導就接上正式客服，也沒有替你跑出轉換率或省時數據。
不必先買新工具：用十個匿名案例驗收
- 準備十個真實但已去除個資的常見問題，另外保留幾個未看過的問題做驗收。
- 用同一模型、同一工具權限，先跑沒有補充守則的版本。
- 只根據練習案例修訂守則，不偷看驗收答案。
- 再跑驗收案例，記錄答錯、漏問、錯誤承諾、該轉人工卻沒轉等問題。
- 同時看費用與回覆時間；不要只挑最漂亮的一次答案。
這是一個人工驗收提案，不等於重現官方 benchmark。若之後要讓 AI 呼叫訂單或會員工具，身分驗證、人工確認與權限控管要在系統層實作，不能只靠提示詞拜託它記得。
瑭宜觀點：別只問它多聰明，也問它多常把事做對
模型更新很容易成為話題，工作流程整理卻比較不熱鬧。但對小公司來說，一個每次都先查價、先補問、先確認的助理，往往比偶爾說出驚人答案更有價值。
這則研究讓我們多了一個值得驗收的方向：先把交接本寫好，再決定需不需要換一位更昂貴的新同事。
當然，交接本不是魔法。ALTK-Evolve 仍需要工程整合；更長的輸入也可能增加推論費用。本次僅閱讀官方資料，沒有安裝框架、呼叫付費 API 或測試瑭宜客服。
官方原文與研究入口
- IBM Research：ALTK-Evolve 客服研究，10/20 公告
- ALTK-Evolve 官方開源專案
- IBM Research：記憶用量研究（8/18，背景資料）
- IBM Research：記憶整理與檢索方法（8/11，背景資料）
本篇查核：2026-10-21。官方研究解讀與瑭宜觀點，非本機實測。