地端 AI 值不值得？九個講者給了九個答案：2026/8/19 AI 小聚心得

2026/8/19 AI 小聚心得

2025 年 2 月 20 號，下午四點半，快下班了。

臺大兒童醫院的辦公室，Teemo 桌上的電話響了。不只他的。整個資訊室 120 個人的電話，同時都響了。

中山南路在挖馬路，中華電信的線被挖斷。整間醫院對外斷線。

35 分鐘後服務全部恢復，但那半個小時裡，醫事人員在等報告，病人在等回家。Teemo 說他那天晚上睡得不太好，腦中只有一句話：

雲端的 AI 很強，模型很強很厲害，但我的連外線路被挖斷了，我哪裡來的 AI？

我以為會聽到一個答案，結果聽到九個

8 月 19 號的小聚主題是「企業地端」。九位講者，兩個小時，講的都是同一件事：要不要把 AI 搬進自己的機房。

我本來以為會聽到一個答案，結果聽到九個。而且這九個答案還會互相撞。第四位講者一上台就說「我自己覺得問題很多」，然後把前面兩位的論點各挑一個出來討論；第五位投了一百多萬硬體，結論卻是「地端不是第一個要考慮的重點」；第七位一張顯卡就導入成功，順便提醒第一位的成本公式漏了一個變數。

一開始整理筆記的時候，我想把這寫成「他們在互相反駁」。寫到一半發現不對。

小聚從來就不是辯論賽。它是一個晚上，把數個不同領域的人放到同一個台上，讓每個人講自己遇到的問題。這天是醫院、製造業、電商、IC 設計、GPU 通路商、模型訓練社群、學術研究。他們的答案會撞在一起，不是因為誰想反駁誰，是因為他們站的位置不一樣。

站的位置不一樣，看到的問題就不一樣。看到的問題不一樣，撞出來的答案當然不一樣。

所以這篇的寫法會有點不一樣。與其說是九場演講的整理，比較像九個位置的採樣。

一、算錢給你看的人

第一位講者 YC（陳宜昌，Noopher AI 創辦人）直接把整件事變成一張試算表，先把地端模型的成本可能性攤開給你看。

他的題目就叫〈給企業打個算盤：導入 LLMs 應該怎麼花錢〉。這題是慕約給他的：如果你今天進一家 500 人的公司當 AI 長，今年預算 2,000 萬，你可以怎麼分配？

YC 的算法是這樣。500 個人，每人每週 40 小時裡有 75% 拿來開發，整年大概 78 萬個工時，抓每小時完成一個任務。Claude Opus 每個任務 US$2.03，開源的 Kimi K3 大概 US$0.94，差不多一半。私有雲加價 10%。

四條路線畫成四條線：官方 API、閉源私有雲、開源加雲端 GPU、開源加地端。前三條起點都在零，只有第四條要先砸錢。

500 人的 75% 工時同時在線，大概 375 個並發。Kimi K3 在每張 GB300 上的並發數大概 33，一個副本 8 張卡，大概 260，不夠，所以要兩個副本。兩個副本 2,800 萬，加上電費跟營運大概 80 萬。

然後他講了一句話：可是你不要覺得做地端很貴，第一年，你就已經贏過用官方 API 的價錢了。

回到慕約的問題，YC 的答案是：如果這家公司是 IC 設計、製程要保護、只能走地端，第一年基礎設施 3,800 萬，用 66% 的基礎設備比例回推，整包 5,800 萬。

2,000 萬，不太夠⋯⋯

這個數字幫這一次小聚的開場給了一個很好的定調。

硬體會漲

第七位的 Wisely Chen（創智動能執行副總）補了一個 YC 公式裡沒有的變數。

他手上有三張真實報價，同一張 5090 顯卡：5 月 10 萬，7 月 12 萬，8 月 11 號 17 萬。

三個月，漲 70%。

現場哄堂大笑。但這件事的本質其實沒那麼好笑（ 因為有人笑，就表示有人受傷了 XD ），因為 YC 剛提到那條曲線的起點，是會自己往上跑的。

帳單不只有那一行

第六位的劉詩雁（納曦智能 CEO）講的是另一個大部分人算漏的地方。

企業以為的流程是：問一個問題，進 LLM，得到答案，成本就是 token。但實際上背後那條管線，每一節都在收錢。資料檢索要錢（不管你走向量搜尋還是 BM25 關鍵字查找），重排序要錢（Cohere 或 Jina），網頁搜尋要錢，工具呼叫也要錢。

他自己踩過一次：上個月誤用了微軟的搜尋服務，做一個簡單的 BM25，花掉七八萬。他說，那還不如自己鋪索引。

他們算過，電商客戶的客服成本中位數大概 3 到 10 萬台幣，但如果再疊上情緒偵測、問題分類批次處理、使用者貼標、生成 persona 這些數據分析需求，一個月的 token 費用會跑到 8 到 10 萬。

所以真正的問題不在 LLM 那一行。要問的是這條管線上，哪幾節可以不用即時處理，搬回自己家非同步跑。

所以，價格本身合理嗎？

第四位的胡嘉璽（嘉崎人智技術長）一上台就說，前面都在講理論，他來講應用。然後他把 YC 的算式往回推了一層。

他問：現在的 token 價格夠不夠合理？

美國的電費多少、美國工程師領的是 NBA 球員等級的薪水、美國只能用輝達的 GPU；中國工程師是十分之一的薪水、用便宜很多的華為 GPU、電費也低。

所以你現在拿來算的那個單價，有多少是技術成本，有多少是地緣結構？

他沒有給答案。但這個問題一問出來，YC 那張試算表的每一格似乎可以重新審視。

然後有一個人，算完之後說不划算

第五位的 OSSLab 熊大，講的內容給了我們另外一個觀點。

他不是來唱反調的。他是來分享他怎麼做的。全公司的行政、財務、採購都跑在 AI agent 上，客戶從蝦皮聊聊或 email 進來，接 ERP、接知識庫、接 Chrome 自動操作，連要填信用卡的環節都設計好人怎麼接手。硬體投了一百多萬，MacBook M4 Max 128G、RTX 6000 96G、伺服器 DRAM 768G。

他也真的撞到雲端的隱私問題，所以自己做了一套脫敏匝道：資料往雲端送之前先遮掉敏感欄位，回來的時候再組回去。他特別強調，沒有還原機制的脫敏是沒用的。你傳過去說張三買了一萬二的東西，回來還是張三，那你根本對不到是哪個客戶。

講完這些，他說：不算工時成本，我個人覺得成效是挫折感比較大一點。

接著他掏出一個數字。他公司也賣 GPU 硬體。他把報表調出來，四千萬營業額裡面，GPU 佔多少？

一百萬。

「並沒有很多中小企業真的花錢投入 GPU 設備。」

這是全場最誠實的一句話，而且說話的人屁股坐在賣方。台上八個人在講地端怎麼做，台下真實市場只有 2.5% 在買。

他的結論更直接：企業要讓 AI 系統真的開始運作，前面那些很麻煩的權限、資安流程化、職務調動，那個才是最重要的。地端模型不是第一個要考慮的重點。

二、可是有一個人，根本沒在算

聽到這裡，你會以為這個晚上的主軸是「划不划算」。

然後 Teemo 上台了。

他是臺大醫院的資訊工程師，桌上放了三樣東西：一台金色的 NVIDIA GB10、一台銀色的機器，還有蒜頭。他說他每天大概都會聞一下。充滿了算力的神清氣爽 XD。

（ 對，這真的發生在台上 XD ）

然後他講了開頭那個故事。中山南路、中華電信、35 分鐘。

那天晚上睡不好之後，他做的事情是去寫一份公文，申請一個「可以在自己桌上處理」的 AI 方案。2025 年 11 月 13 號，他去原價屋查資料、做比較表、跟長官報告，最後 9 萬 5 買了台 GB10。

我想了很久才想清楚，為什麼他的答案跟前面那幾位差這麼多。

因為前面那些人在算投資報酬，Teemo 在算保費。

這是兩件完全不同的事。投資要問回本，保險不問。你不會問你家的滅火器什麼時候回本，也不會問醫院那台柴油發電機划不划算。你買的不是效益，是「萬一那件事發生的時候，我還有東西可以用」。

九個人算出九個答案，很大一部分是因為這條線沒有人畫出來。有些人在買投資，有些人在買保險，兩種帳混在同一場討論裡，本來就永遠不會有共識。

而且保險型的地端，規格需求低到讓人意外。Teemo 那台 9 萬 5，跟 YC 算的 2,800 萬根本不是同一個量級的東西，因為它們要解的不是同一個問題。

三、最被小看的應用，可能是現在最成熟的

這件事我是後來才想到的：有三場分享其實在做同一件事，只是那天晚上沒有人把它們連起來。

Denise 講財報。輸入是 PDF，輸出是結構化的 JSON 跟 CSV。

胡嘉璽現場示範機密文件去識別化，輸入是充滿個資的 Word，輸出是遮掉個資的版本。

Teemo 的 demo 是急診醫生手寫的檢查單，輸入是手機拍的照片，輸出是重災現場的即時儀表板。

三個都是同一句話：把紙變成資料，而且不准它出門。

我原本想像的地端 AI，大概就是「公司自己的 ChatGPT」。實際上現在最成熟、最容易說服老闆掏錢的，是這件又土又不性感的事：讀文件。

而且理由都一樣：資料不能上雲。

順便講一下 OCR 跟 VLM 差在哪

Denise 的架構是兩個引擎一起跑，一邊 OCR、一邊 VLM。第一次聽會覺得多此一舉，為什麼不用一個就好？

先講差別。OCR 是傳統的文字辨識，做兩件事：先找出文字框在哪（bbox，也就是偵測框），再認出框裡的字是什麼。VLM（Vision Language Model，視覺語言模型）則是直接「看懂」整張圖，你可以把它想成一個會看圖說話的模型。

兩邊的個性完全不同：

看到「會憑空生字」那一格了嗎？在財報這種場景，那是致命的。

所以 Denise 的設計不是要 VLM 取代 OCR。她講了一句我覺得是全場最好的設計哲學：跑兩個引擎，是要讓錯誤現形。

兩邊輸出一致，信心就高，可以放行。兩邊不一致的那幾格，才送人工看。人力不用拿來檢查全部，只要檢查兩台機器吵架的地方。

她講的坑也很具體。財報裡的括號代表負數，所以括號不見就是數字正負顛倒。有時候是括號跟數字被切開，信心值變低就被丟掉；有時候是框跟括號太近，辨識模型以為那裡沒東西。還有一種是兩個格子的數字排太密，被判斷成同一串。

這些不能怪模型笨。現實世界的文件，本來就長得很醜。

這邊老實說，我原本以為 OCR 是一個已經解決的問題。聽完才知道，「認得出字」跟「知道這個字屬於表格的哪一格」根本是兩件事。

四、把它關進廁所，然後發現廁所補不了判斷

胡嘉璽塞的東西比誰都多（體感上講了快二十分鐘吧），而他開場丟的那個定義最實際：

Agent 只有兩個東西，一個是 LLM，一個是 Harness。除了 LLM 以外，所有的東西都叫 Harness。

（ Harness 這個詞我四月寫過一整篇，這裡就不重複了，有興趣可以看〈鞍前工程〉那篇。簡單說它就是馬具：韁繩、馬鞍、馬銜那一整套。重點不在控制馬的腳步，在讓馬的力氣跑向你要去的方向。）

他的重點是：這兩樣東西，都應該要關起來。

他用的詞是爆炸半徑。當你這個應用炸了，你會炸死誰？

「最好的做法就是把它關進廁所。廁所爆了，外面沒事。」

接著他把隔離程度排成七個等級。

最底層 L1，是很多人每天在做的事：Claude Code 加上 --dangerously-skip-permissions。講到這裡他說了一個故事。上次跟保哥打賭，保哥賭他不敢，結果他就把自己 Windows 的 C 槽用 Claude Code 刪掉了。

「大家為我默哀。」

往上，L2 是 Harness 關進虛擬機但模型還在雲端，L3 換成可以檢視原始碼的開源 Harness，L4 把 Harness 關進容器或沙箱，L5、L6 把模型也拉回私有雲，最上面的 L7 是全部在本機，Harness 關在 NVIDIA 的 OpenShell 沙箱裡（ 這東西是開源的，Apache 2.0，有興趣可以去 GitHub 上翻 ）。

他示範 L7 的方式很直接：在沙箱裡 ping GitHub，不通。ping Google，也不通。沙箱裡完全斷網，但它照樣把去識別化做完了。

他還講了一個親身經歷，我覺得可以直接當資安教材。他把好幾萬筆身分證跟姓名丟上 Claude Code 做去識別化。

五分鐘後，資安把他叫過去。

「所以一般來說，這在一般公司內部是不可能被接受的事情。」

可是廁所補不了判斷

聽到這裡，你會覺得 Harness 幾乎無所不能，連斷網都還能把事情做完。

他自己也是這樣想的。台上他回應了黃亮勳「模型能力是 agent 天花板」的說法，說上限其實是 Harness 的門檻下降。

而黃亮勳在他前面說的是：模型能力基本上就是 agent 跟 app 的天花板。你以為自己在玩很厲害的工程，做的事情還是被那顆模型的能力決定的。

老實說，這部分我很有感，因為四月我寫過一篇文章，明確站在胡嘉璽那一邊，我寫了一句：

以後 AI 的護城河不在模型本身。模型越來越像日用品，大家都買得到差不多的。真正拉開差距的，是誰的 Harness 做得比較好。

那是我四月寫的。所以那天晚上聽黃亮勳講的時候，我心裡有不同想法。

結果後來剛好看到一則 X 貼文，把我的想法修正了。

Jason Wei 是 2022 年那篇 chain-of-thought 論文的第一作者，「讓模型一步一步想」會變成整個產業的預設動作，有他一份。他現在戳的泡泡是：小模型加一堆工具，就能頂替大模型的智慧。

他用羽毛球打比方。教練教的每一個動作，你都能照做；但要在實戰裡流暢串聯，跟練了上萬次、長出肌肉記憶的人，完全是兩個等級。

「把知識內化在大腦」跟「現查現用」，是兩回事。

他的結論很短：工具能補的是檢索和執行，補不了判斷。

然後我想起熊大在台上講的一句話。他描述地端跟雲端的差別時說：

地端模型很像要一步一步交代它才會做，雲端的 agent 你講方向，它會自己去找方法。

熊大講的是現象，Jason Wei 講的是原因。兩個合起來就是同一件事。

所以我四月那篇的理解差不多，但只踏到半邊。Harness 降低的是門檻，模型決定的是天花板。門檻和天花板是兩條線，不是同一條。

胡嘉璽站在導入實務的位置，他每天面對的是「怎麼讓一般企業做得起來」，所以他看到門檻在降。黃亮勳站在模型訓練的位置，他面對的是「這件事能做到多好」，所以他看到天花板還在原地。

兩個人都對。他們在講天平的兩端。

五、你搬回來的是資料，不是主權

接下來這段是我自己的位置，也是那天晚上台上九個人沒有一個站的地方。

我不是企業 IT，也不是在幫企業導入 AI 的顧問。我就是一個用 Claude Code 做東西的人。所以我遇到的問題跟他們都不太一樣。

我玩地端模型的時候，速度慢我可以忍，記憶體不夠我可以換小一點的模型。真正讓我卡住的是，有些問題它會閃躲。

你問它一件很普通的事，它繞開。再問，還是繞開。那個閃躲很難描述，不是拒絕，比較像是它突然變得非常官腔。

這件事我是去年開發自己的小說神器時撞到的。想說用地端模型來寫小說，結果發現小說內容會自我審查是怎麼回事 XD（ 這樣我是要怎麼寫瑟瑟小說 XD，大誤 ）

原因很簡單。現在能下載的開放權重模型，幾乎都是中國訓練的。胡嘉璽在台上講得更直白：「開放模型呢，很可惜，現在全部收斂到中國去了。」

模型的價值觀對齊是訓練的時候做進去的。你把權重載下來，也一起載了它的價值觀。

當時我的解法是 abliterated（消融版）。這個字是 ablation（消融）加 obliteration（抹除）拼出來的，2024 年由一個叫 FailSpy 的開發者命名。研究上已經知道，模型會不會拒絕你，是由內部某一個「方向」決定的。abliteration 做的事情就是把那個方向找出來，從權重裡拿掉。拿掉之後，它就不會再閃了。

胡嘉璽在台上也提了一句，一句話帶過：「什麼叫破解模型？就是把 Guardrail 拿掉了，它不去擋。有時候你問千問說台灣是不是獨立的國家，它就說是。」

但這個手術有代價，而且剛好接上前面那一段。

第一，拒絕這件事在模型裡不是只有一條路，它是擴散的，所以這個手術不保證清得乾淨。第二個更麻煩：做完之後，模型整體的品質會下降。

換句話說，你為了讓它別再閃躲，親手把自己的天花板又壓低了一點。

而這還沒完。你花錢買機器、拉電、找人維運，把 AI 搬進自己的機房，為的是資料不要出去。這件事你做到了。

但那顆在你機房裡跑的模型，它的價值觀是別人幫你決定的。你拿回的是資料主權，不是模型主權。

而且這筆帳算不進 YC 那張試算表，因為它不是錢。

所以那兩場看起來離題的分享，是最後一塊拼圖

大家在講怎麼部署，這兩場在講怎麼訓練。

但順著上面那個推論看下來，他們補的就是這一塊。

黃亮勳（Twinkle AI 創辦人）講的是 model as infrastructure（模型即基礎設施）。他說得很重：

如果台灣的模型國力是掌控在一個外國的國家上面的話，隨時人家拔了插頭，今天我們台灣號稱擁有的那些應用，其實瞬間都不在了。

（ 這邊剛好也呼應到前陣子 Fable 5 的短暫下線，上線才三天就被美國商務部的出口管制令拔掉。GPT–5.6 則是反過來，正式上線之前先過了政府那關，首波只放給約 20 家夥伴，之後才逐步開放。這不是特例，是一個正在成型的模式：頂尖模型上不上得了線、上線之後留不留得住，都要看政府。我們的電，不只一個插座在別人手上，是所有的插座都在別人手上。

我們總不能一邊用著別人的電，一邊用愛發電，一邊假裝自己不需要電吧。 XD ）

Twinkle AI 的吉祥物是石虎，理由是「我們走了一圈國外才發現，我們繁體中文模型在整個世界上已經快滅絕了」。

而那天他現場首發了一件很實際的東西：一套開源的 training skills。以前訓練模型要懂調參、要養資料科學家，現在他把常見的 trainer 整併好，你只要跟 Claude Code 說你有什麼資料、想做什麼，它會自己去偵測顯卡剩多少記憶體、自己算要跑幾步。兩行安裝指令。

他放的 demo 是在一張 3090 上跑法律資料集，跑 20 步。

在 2026 年，train model 這件事，你只要用你的自然語言告訴它你有什麼資料、請它怎麼做。

Eric Lam 那場則是當晚最硬的十分鐘，他自己開場就說：「這一段會變得非常硬，所以希望大家就當個 10 分鐘這樣子過去就好了。」

（ 這段真的很硬，我盡量消化，希望我的理解都是正確的，雖然當下我覺得 Eric 好像唐三藏⋯⋯我是被唸緊箍咒的悟空 XD ）

他做的 openformosa 是從零開始訓練，不是拿現成模型接著練。名詞多到會讓人斷線，所以我試著用白話講一次。

訓練一個模型，大概像養一個學生，分三步。

第一步 pre-training（預訓練），讓它把圖書館讀完。讀完之後它只是「會講話」，還不會回答你的問題。

第二步 SFT（監督式微調），給它看幾十萬份「題目加好答案」的範本，教它被問到的時候該怎麼回。

第三步 RL（強化學習），讓它自己作答，答對加分、答錯扣分，它自己修正。

Eric Lam 帶來的 2026 年新消息是：第二步做好，可以不用做第三步。關鍵全在資料怎麼挑。他總結的原則裡，最反直覺的一條是「更強的老師不一定教出更好的學生」。分數更高的模型拿來當老師，SFT 出來的效果不見得比較好。

其他幾個名詞也順便講一下。

reward hacking（獎勵作弊）是第三步會出現的作弊行為。模型發現「講愈多字，愈容易矇到正確答案」，於是把答案寫到爆長，一路寫到上限。解法很土：寫太長就扣分。

on-policy distillation（同軌蒸餾）是學生自己先寫，老師在旁邊逐字改考卷，對的字給高分、錯的字給低分。這比叫學生整篇背老師的答案好，因為學生不會忘掉自己本來就會的東西。

SAE（Sparse Autoencoder，稀疏自編碼器）這個最有趣，可以把它想成模型內部的螢光筆。它把模型的思考攤成一大排格子，問到狗會點亮某幾格，問到貓點亮另外幾格。這樣你就看得出來：這批訓練資料，哪些格子從頭到尾沒亮過。沒亮過的，就是它沒學到的東西。

有一篇論文用這招專門去補那些沒亮的格子，結果 2,000 筆資料打贏 300,000 筆。

Eric Lam 最後說，他一樣做了一個 skill，燒了很多 token，把 openformosa 的第一個原型做出來。

（ 我自己理解的概念是，這些模型的訓練方式主要針對不同的方式做「加權」，找到一個甜蜜點，就容易水到渠成了。）

跟黃亮勳一樣，都是用 AI 來訓練 AI。

六、三件沒有人講的事

整場聽下來，回家路上有三個問題卡在腦裡。台上沒有人講，但只要你真的要做，遲早會撞上。

第一，買了之後誰來顧？

熊大提了半句：搞定一套最低可用版本，如果不靠雲端模型，最低也要半個工作天，「這還是技術中高手的水準」。

但那只是第一天。之後呢？推論引擎要升級、模型跑到一半 OOM（記憶體爆掉）要處理、新版模型出來要重新測相容性。這些事情在雲端是供應商的責任，搬回來之後就是你的了。YC 那張試算表裡的「營運費用 80 萬」，涵蓋的是電費跟維護，但沒有涵蓋「你公司裡有沒有這種人或是培養這樣的人的成本」。

第二，這批硬體會折舊，而且可能比你想的快。

你今天花 2,800 萬買兩個副本跑現在最強的開放權重模型。八個月後新一代出來，參數量更大，你這批卡跑不跑得動？

熊大講了唯一相關的半句：「地端模型確實在進步⋯⋯但同樣重要的是，雲端模型也是一起在進步的。」

雲端的進步你不用付升級費，地端的進步你要重買。這件事沒有進到任何一條成本曲線裡。

第三，電。

這件事全場零討論，但我覺得很實際。一台 GB300 報價 9 萬 9 美金，Teemo 提醒不要把三台 GB10 疊在一起，因為很熱、會一直吹風。那如果是機房等級的部署呢？

台灣一般中小企業的辦公室，拉不拉得到那個電？機房的空調撐不撐得住？

YC 算了電費，那是「用電要花多少錢」。但在那之前還有一題：你有沒有這個電。（ 前面講的插座在誰手上還是比喻，這一條是真的電。）

這三件事我不是要挑講者的毛病，而是每個人只有十分鐘，能講的本來就有限。只是聽完之後我一直在想，如果真的有老闆聽完當晚就決定要買機器，這三件事大概會在三個月後找上他。

你心裡那個不能動的東西是什麼

回到開頭那條被挖斷的線。

Teemo 那天晚上睡不好，跟投報率沒有關係。他是發現自己沒有 Plan B。他要的是「線斷掉的時候還在的 AI」，便不便宜是另一回事。

這一晚我最大的收穫跟地端划不划算沒什麼關係。是看到九個人各自站在哪裡，然後發現他們的答案之所以不一樣，是因為每個人心裡都有一樣東西是不能動的。

YC 的是核心資料不能出去，所以其他全部變成算式。

熊大的是投報率要說得通，所以他寧可先不做。

Teemo 的是不能斷線，所以錢根本不是變數。

Wisely 的是客戶付得起的價格，所以一張顯卡就夠。

劉詩雁的是合規，所以他去找哪些任務可以搬回來非同步跑。

Denise 的是錯誤必須被抓到，所以她讓兩個引擎互相對照。

胡嘉璽的是爆炸半徑要能關起來，所以他把 Harness 關進廁所。

黃亮勳跟 Eric Lam 的是模型不能被別人拔插頭，所以他們回頭去做最難的那件事。

而我的，大概是那顆會閃躲的模型。我不太在意它跑多快，我在意的是我問它問題的時候，它是不是誠實的。

所以「地端值不值得」這個問題，可能一開始就問錯了。

先問的應該是：你站在哪個位置，你那個位置上最痛的是什麼，那個東西是不是真的不能動。

想清楚這件事，剩下的都是算術。

你呢？如果現在有人問你要不要把 AI 搬進自己的機房，你心裡那個不能動的東西，是什麼？