跳到主要內容

發表文章

LLM 是基礎架構，無法任意更換，所有老師都不想談『假議題』

直接說結論，「產品底層的 LLM 底層根本不應該任意更換。」 更精確地來說應該是底下這句： API 可以抽換，但產品行為無法零成本、無回歸地抽換。越接近 Agent、工具操作與真實工作流程，模型與系統的耦合就越深。 真正的產品單位從來不是「一個 LLM」，而是一整條鏈： Model × System Prompt × Tools × Memory × Agent Scaffold × Safety Policy × Evaluations × UX 換模型，理論上只是換公式裡的一個變數；實際上，其他七個變數全部都是「圍繞這個變數的舊值」校準出來的， 換一個變數，等於要重新解一次整條方程式。 講幾個整理出來的不同面向案例。 真實案例：當團隊真的按下「切換模型」的那一刻 案例一｜企業搜尋工具，一次「小升級」讓 CI 全紅 Tursio 是一套跑在企業內部的搜尋系統，原本建立在 GPT-4-32k 上，提示詞經過長時間打磨，已經能穩定推斷使用者沒講明的欄位、抓出時間趨勢、自動排序結果。團隊只是想把模型升級到 GPT-4.1、後來又試了 GPT-4.5 Preview——理論上是「同一家供應商、同一個系列、只是新一點的版本」。 結果隔天早上打開 CI，測試大片變紅：GPT-4.1 不再主動推斷隱含欄位和排序邏輯 GPT-4.5 則開始在輸出裡夾雜多餘的說明文字，把原本乾淨的 JSON 弄壞，解析器直接噴錯。工程團隊最後得重寫提示詞、補上大量範例，還額外建了一套專門用來做模型遷移回歸測試的 testbed。連在同一家供應商內部升版，都得走這一遭。 案例二｜客服機器人想省成本，卻先卡在「格式」這一關 一套每月處理 530 萬次對話的企業客服系統，原本用 Claude 3 Haiku。為了省錢，團隊評估了好幾個開源替代方案。第一關根本輪不到比「回答得好不好」——GPT-OSS 20B 和 120B 連穩定輸出既有的 XML 格式都做不到，直接被淘汰；Qwen3-32B 也有一樣的毛病，得在提示詞裡硬塞進格式範例才勉強修好。 案例三｜寫作助手為了轉換率，多花了好幾個月 HyperWrite 是一款 AI 寫作工具，原本跑在 Claude 3.5 Sonnet 上。為了降低成本，團隊嘗試把好幾個候選模型接上去測試，離線 benchmark 分...
張貼留言
繼續閱讀>>
最近的文章

Qwen + Obsidian：打造第二大腦的完整指南

你的第二大腦有個問題： 它不會給予回應。 花了幾個月的時間建立你的 Obsidian 知識庫（Vault）。數百篇筆記、相互連結的原子化想法，還有一個看起來像星系般的關聯圖。接著，你需要實際去使用它。 搜尋、滑動頁面，隱約記得哪篇筆記裡有那個洞見。你打開了五個檔案，試圖找出三週前建立的關聯。你開始寫一篇新筆記，因為找出舊筆記太花時間了。 當我們的第二大腦充滿了知識。但它無法回答問題、無法浮現關聯，也無法幫你思考。 Qwen 可以將改變這一切。 為什麼選擇 Qwen 而不是 ChatGPT、Claude 或 Kimi？ 將 Obsidian 結合 Hugging Face 上的 Qwen 系列模型 ，你能獲得其他閉源 AI 無法提供的三大優勢： 超長文本與頂級推理能力 Qwen2.5 開源模型（如 72B 或 Coder 版本）原生支援高達 128K 的上下文窗口；若使用雲端 API（ qwen-long ），甚至支援 1M+ Tokens。你可以一次把 50 篇筆記丟給 Qwen，它能同時閱讀並跨筆記回答問題，不會像 ChatGPT 一樣截斷，也不會產生嚴重的遺忘。 絕對的隱私與「零成本」選項 這是 Qwen 最大勝出點。你可以從 Hugging Face 下載模型，透過 Ollama 或 LM Studio 完全在本地端（Localhost）離線執行 。你的私人日記、公司機密、未發表的研究， 完全不需要上傳到任何外部伺服器 。且推論成本為 $0。 強大的工具調用（Agent 能力） Qwen 擁有極強的程式碼與工具調用能力（Tool Calling）。當你的知識庫出現缺漏時，Qwen 可以輕易串接聯網搜尋（Web Search），執行深入的多來源研究，並結構化為可以直接放回 Obsidian 的筆記。 身為工程師，管理者，有 llm 導入問題，歡迎透過連結加入 AI For Taiwan 社群！ https://line.me/ti/g2/D2m1DA83Qb0KJCjd2mLyHD7y4yB1CA0WUJsOMA?utm_source=invitation&utm_medium=link_copy&utm_campaign=default 你需要準備什麼 Obsidian （免費） Qw...
張貼留言
繼續閱讀>>

技術不創造商業模式！字節開源 Bernini，戳破了 AI 廣告影片的什麼假象？

字節跳動剛開源的 Bernini 影片模型，這個框架其實處理掉很多付費平台在做的事情。 同時也打破了一個假象， 『大家以為只要畫質夠好，就能直接拿來做廣告印鈔票。』就可以獲得市場的這件事情。 影片製作真正的問題從來不是算力，而是「溝通與交付的摩擦力」。 以前用文字 Prompt 生影片，只要稍微修改一個場景或加入一個特定產品，整個模型就開始瞎編，視覺風格直接漂移。這種不可控的不確定性，在商業交付系統裡就是災難。它讓流程卡死在「反覆調整」的無限迴圈，時間成本直接吃掉所有毛利。 Bernini 最值得看是實際根據『市場需求』來建立的 video framework， 而這個商業交付流程。它把「多模態理解」和「影片渲染」拆成兩個獨立的工作流。 先讓模型看懂參考圖、精準規劃語意，再交給底層去渲染像素。這不是單純的技術升級，這是為了解決商業上的「精準控制」問題。 當你身邊已經有參考影片，能夠拿著一張特定的產品圖或品牌視覺作為 Reference，直接引導影片生成與局部編輯時，影片的邊際修改成本直接趨近於 0。 原本一個團隊一週只能產出一支合規的視覺素材，現在系統可以每天批量產出 100 支不同情境的測試影片。內容的交付效率提升 10 倍，CAC（客戶取得成本）直接拉低 30%，規模化能力這時候才真正發揮出來。 思考點 // 技術不創造商業模式，它只負責放大已經存在的系統效率。 // 單純的影像生成已經不值錢，能被精準控制、低成本修改的交付流程才值錢。 // 未來的內容競爭不是比誰的算力多，而是比誰的本地影音資產能先被 AI 結構化利用。 個人想法 Bytedance 放了這個大招。當影片生成的生產力被徹底解放、內容製作的邊際成本歸零時， 你的商業系統裡，還有什麼護城河是別人用 10 倍效率擊不穿的？ 有什麼想法，歡迎來討論， 加入「AI for Developer」！請點選以下連結加入社群！ https://line.me/ti/g2/D2m1DA83Qb0KJCjd2mLyHD7y4yB1CA0WUJsOMA?utm_source=invitation&utm_medium=link_copy&utm_campaign=default
張貼留言
繼續閱讀>>

當 AI 變成戰略物資：你的 API 護城河，隨時會被一道指令清空

美國政府把 Fable 5 / Mythos 5 當成可能具有國安風險的高階技術，臨時用出口管制手段要求 Anthropic 阻止外國人使用。 WHAT??? Anthropic 在 2026 年 6 月 12 日收到美國政府指令，要求停止「任何外國國民」存取 Fable 5 和 Mythos 5；範圍包含美國境內外的外國人，甚至包含 Anthropic 內部的外籍員工。 Anthropic 表示，為了避免違反命令，只能先把這兩個模型對所有客戶關掉；其他 Anthropic 模型不受影響。 Reuters 也報導，美國官員確認商務部確實發出這項出口管制指令，AWS 則被要求在所有區域撤銷這兩個模型的存取。 WHY??? 美國政府可能認為 Fable 5 / Mythos 5 已經接近「戰略級 AI 能力」，尤其在資安漏洞發現、漏洞利用、長時間自主工作等方面，若被外國對手或惡意行為者取得，可能加速網路攻擊或危害關鍵基礎設施。因此政府用國安和出口管制作為緊急煞車。Anthropic 則認為政府反應過度、程序不透明，而且技術證據不足。 個人看法 根據之前 Anthropic 反應，會透過媒體力量，立法施壓，同步遊說三步棋同時並進方式，讓美國政府鬆口鬆動。 讓大家思考的問題 - 大語言模型私人公司研發出來之後到底算是私有財還是國有財？ - 政府怎麼評判是否真的具備威脅？ 從某個層面來看，這作法，跟獨裁的方式無異，也讓我們從另外一個角度看到，『只能跟著老大走，你並非真的自由。』 不知道大家會有什麼想法？ 歡迎加入群組討論， 「AI for Developer」！請點選以下連結加入社群！ https://line.me/ti/g2/D2m1DA83Qb0KJCjd2mLyHD7y4yB1CA0WUJsOMA?utm_source=invitation&utm_medium=link_copy&utm_campaign=default
張貼留言
繼續閱讀>>

看 AI 時代的孩子，如何用嘴巴「說」出創造力

大家常問我：「現在科技發展得這麼快，到底該怎麼讓小孩子接觸？」 身為一個在軟體圈打滾多年的人，前陣子我幫兒子做了一個新嘗試，我拉了 Roblox Studio （一款現在全世界小學生都在玩的遊戲製作工具），再加上 AI 小幫手（Codex） ，讓他開始試著自己動手「做遊戲」，而不是每天只會對著螢幕「玩遊戲」。 結果，這個過程給了我大大震撼。 巨大的挫敗 首次果然是個大挫敗， 開始教他怎麼操作 Roblox Studio 整個開發介面， 同時也開許多 youtube 教學（自己認為很簡單）讓他知道如何入門， 想當然爾，超級失敗，沒有五分鐘就跑開閃人了，留下一句，『無聊的爸爸』 震撼：AI 時代的小孩，根本不用「學鍵盤打字」 我們這代人學電腦，都要先背鍵盤、學打字、記按鈕、熟悉一大堆複雜的操作流程。但我發現，這群「生來就有 AI」的孩子完全不一樣。 他甚至不打算用鍵盤。我後面發現，他已經透過 Mac F5 的功能流暢的進行語音輸入，他直接用大聲說話（語音輸入）的方式，劈頭就對 AI 下指令，讓 AI 去幫他寫程式、調功能。這流程順暢到像在跟朋友講話，前置作業基本上是「秒上手」。 這點醒了一件事： 打字，是我們那時代的事情， 如果在這個時代，我們還逼孩子非得先花幾個月去死背工具、熟悉死板的流程，才准他們開始操作，那絕對是最糟糕的學習體驗。 他們缺的不是聰明，而是「耐心」 說真的，現在的孩子被短影音、快節奏的網路餵養，最缺乏的就是「耐心」。 要怎麼讓他們重新找回「願意沉下心來做好一件事」的樂趣？ 過去那套「苦行僧式」的學習法已經行不通了。 我們必須透過 AI 的即時回饋，把流程重新規劃， 先用 AI 快速實現想像力 ，讓他看到成果。 引導他去探索： 怎麼在 Roblox 商店裡挑選免費的3D素材？怎麼利用官方的公開資訊，組合出自己想要的效果？ 一開始，我只給了他非常粗淺的入門教學。 但我後面發現，只要點起那把火，後續的發展完全超乎想像——他開始瘋狂挖出自己平常的「遊戲經驗」，把腦袋裡那些酷炫的打鬥效果，一項一項透過 AI 實做出來。 從「消費者」變成「創造者」 最後，他真的東拼西湊，做出了一款他自己邊玩邊大笑的遊戲。 他甚至自己一臉嫌棄地戲稱：「 這絕對是全地球最難玩、最爛的 99夜（ ...
張貼留言
繼續閱讀>>

AI 第二大腦，其實沒那麼玄

最近看到很多人在討論： Obsidian + Claude Code 可以打造 AI 第二大腦。 聽起來好像很硬、很技術、很像工程師才會用。 但如果用簡單一點的方式講，其實它在做的事情是： 把你散亂的筆記、資料、靈感、專案，整理成 AI 看得懂的知識庫。 這樣之後 AI 就不只是回答你通用答案，而是可以根據你的資料，幫你整理、查找、產出內容。 為什麼這件事值得關注？ 因為現在大家不是沒有資訊。 反而是資訊太多。 我們每天可能都有： 會議紀錄、課程筆記、文章收藏、靈感備忘、專案資料、聊天紀錄、AI 對話、客戶需求、研究資料、內容素材。 但問題是： 真正要用的時候，常常找不到。 就算找到了，也要重新整理一次。 更麻煩的是，每次問 AI，都要重新解釋背景。 所以很多時候不是 AI 不夠強，而是我們自己的資料沒有整理成 AI 可以使用的樣子。 這件事可以解決什麼？ 簡單說，它可以幫你把「散亂資訊」變成「可用產能」。 例如： 把課程筆記整理成重點 把會議紀錄整理成待辦 把靈感整理成文章大綱 把專案資料整理成進度報告 把研究資料整理成簡報或企劃 把過去的 AI 對話變成可重複使用的知識庫 重點不是多學一個工具。 而是讓你手上的資料，真的可以被再次使用。 誰適合？ 我覺得特別適合這幾種人： 常常做筆記的人 資料很多但很難整理的人 內容創作者 學生、研究者 PM、行銷、顧問 老師、講師 創業者 想把 AI 放進工作流程的人 尤其是這種人： 明明累積很多資料，但一直沒有把資料變成成果。 這套方法可能會很有幫助。 可以怎麼開始？ 其實不用一開始就搞得很複雜。 可以先分三步： 第一步：先把資料集中 先找一個地方放資料。 例如 Obsidian 這類筆記工具。 把你的筆記、靈感、專案、素材、課程內容，先集中起來。 不用一開始整理得很完美。 先做到一件事就好： 之後找得到。 第二步：讓資料有一點基本結構 不用很複雜。 先簡單分成幾類就好： 工作 學習 專案 靈感 素材 已完成資料 重點不是分類漂亮，而是你自己看得懂，AI 也看得懂。 第三步：讓 AI 幫你整理和產出 當資料有基本結構之後，就可以用 Claude Code 這類工具協助： 幫你找資料 幫你整理重點 幫你產出摘要 幫你檢查缺漏 幫你把素材變成文章、簡報、企劃或報告 這時候 AI 才會開始變得真正好用。 因為它不是憑空回答，而是根...
張貼留言
繼續閱讀>>

In the AI Era, We Do Not Lack Output — We Lack Verifiable Output

  In the AI Era, We Do Not Lack Output — We Lack Verifiable Output If we agree that AI can produce different thinking models and working methods when it takes on different roles and identities, then we should no longer use the old PM, RD, and Designer workflow to structure how work should happen in the AI era. Traditional workflows were essentially formed because humans have limited role flexibility and cannot freely switch between different areas of expertise. Over time, this created a collaboration structure based on fixed roles and handoffs. But with the emergence of AI, output capability has been greatly amplified. The real question is no longer “Who will do the work?” but rather: Who can verify whether the output is correct, feasible, and deliverable? From Prompt Output to Domain Calibration In the past, many people believed that the key to AI was the prompt. But in enterprise and manufacturing contexts, the real focus is not the prompt. The real questions are: After AI genera...
張貼留言
繼續閱讀>>