直接說結論,「產品底層的 LLM 底層根本不應該任意更換。」 更精確地來說應該是底下這句: API 可以抽換,但產品行為無法零成本、無回歸地抽換。越接近 Agent、工具操作與真實工作流程,模型與系統的耦合就越深。 真正的產品單位從來不是「一個 LLM」,而是一整條鏈: Model × System Prompt × Tools × Memory × Agent Scaffold × Safety Policy × Evaluations × UX 換模型,理論上只是換公式裡的一個變數;實際上,其他七個變數全部都是「圍繞這個變數的舊值」校準出來的, 換一個變數,等於要重新解一次整條方程式。 講幾個整理出來的不同面向案例。 真實案例:當團隊真的按下「切換模型」的那一刻 案例一|企業搜尋工具,一次「小升級」讓 CI 全紅 Tursio 是一套跑在企業內部的搜尋系統,原本建立在 GPT-4-32k 上,提示詞經過長時間打磨,已經能穩定推斷使用者沒講明的欄位、抓出時間趨勢、自動排序結果。團隊只是想把模型升級到 GPT-4.1、後來又試了 GPT-4.5 Preview——理論上是「同一家供應商、同一個系列、只是新一點的版本」。 結果隔天早上打開 CI,測試大片變紅:GPT-4.1 不再主動推斷隱含欄位和排序邏輯 GPT-4.5 則開始在輸出裡夾雜多餘的說明文字,把原本乾淨的 JSON 弄壞,解析器直接噴錯。工程團隊最後得重寫提示詞、補上大量範例,還額外建了一套專門用來做模型遷移回歸測試的 testbed。連在同一家供應商內部升版,都得走這一遭。 案例二|客服機器人想省成本,卻先卡在「格式」這一關 一套每月處理 530 萬次對話的企業客服系統,原本用 Claude 3 Haiku。為了省錢,團隊評估了好幾個開源替代方案。第一關根本輪不到比「回答得好不好」——GPT-OSS 20B 和 120B 連穩定輸出既有的 XML 格式都做不到,直接被淘汰;Qwen3-32B 也有一樣的毛病,得在提示詞裡硬塞進格式範例才勉強修好。 案例三|寫作助手為了轉換率,多花了好幾個月 HyperWrite 是一款 AI 寫作工具,原本跑在 Claude 3.5 Sonnet 上。為了降低成本,團隊嘗試把好幾個候選模型接上去測試,離線 benchmark 分...
熱血,是一輩子的事! Answer is there, dig it.