數位關鍵字263.Apple、Google 為什麼都擁抱 NPU？雲和端並存的 AI 新算盤 ft. 耐能劉峻誠 Albert

數位關鍵字263.Apple、Google 為什麼都擁抱 NPU？雲和端並存的 AI 新算盤 ft. 耐能劉峻誠 Albert23 okt58 min

Luister in SpotifyWerkt ook in je browser

11 andere apps

最近好幾家企業的主管都說，一年的雲端預算因為 AI，幾個月就燒光了。大家都知道訓練模型很貴，但真正每天在燒錢的其實是推論，也就是每個人每天打開 AI 問問題時用掉的 token。當雲上的模型從 300B 擴大到號稱 3T 參數，企業還該追求最大的模型嗎？數位時代創新長黃亮崢 James 第三度邀請耐能（Kneron）創辦人暨執行長劉峻誠 Albert，這次不解釋晶片，而是從 AI 帳單切入，拆解推論為什麼這麼貴、Apple 與 Google 為什麼都走向 NPU，以及端雲並存的時代，AI 究竟該放在哪裡。

聽完這集你可以學到：

推論貴，是因為拿訓練晶片來跑：Albert 形容，用訓練用的大晶片跑推論，就像開墾完荒地，還用同一台重型開墾機去插秧。雲上模型從去年的 300B 擴大到號稱 3T 參數，等於拿十倍大的機器做插秧的事，浪費也跟著放大。AI 分三階段，各有擅長的晶片：訓練階段是 GPU 的優勢；推論階段需要便宜、專做推論的 AI ASIC，博通、聯發科都在投入；到了端側裝置，就是功耗低、面積小的 NPU 的主場。CPU、GPU、ASIC 與 NPU 各有自己的市場。模型要剛剛好，不是越大越好：臺灣一家市值前三大的企業，每月付給公有雲業者約 200 萬美元，而且只開放給主管以上使用。Albert 建議把行政、改錯字這類簡單工作交給小模型或免費工具，估計能省下 40% 到 50% 的花費，就像切水果不必拿殺牛刀。指標要看場景：機器架在自家地端、電費自己付，就會在意 tokens per watt，也就是每瓦電能產出多少 token；用雲端服務、錢由業者付的時候，在意的則是速度，也就是 tokens per second。端與雲會並存，關鍵是誰擁有：Albert 認為太陽底下沒有新鮮事，從個人電腦對上超算中心，到 Chromebook 主張全部上雲，同樣的爭論一再出現，最後端與雲都會各自找到位置。他用 Uber 與自己買車比喻：用雲端 AI 是需要時叫車，模型、資料與機器都在自己手上，掌握度才高。Apple、Google 都在走 NPU 路線：Albert 觀察兩家公司都開始公開談 NPU，Google 稱為 TPU，但屬於類似架構。家裡的裝置要像人一樣溝通順暢，最好用同一種腦，他比喻，貓腦與狗腦的裝置很難聽懂彼此。TOPS 不是最重要的數字：同樣 3 TOPS，CPU、GPU、NPU 擅長的運算完全不同。Albert 用跑車比喻，900 馬力但轉換率只有一成，有效馬力只剩 90，反而跑不贏轉換率百分之百的 300 馬力。整合有代價，獨立 NPU 有空間：CPU、GPU、NPU 整合在同一顆晶片，效能會各掉約 30%。手機這類面積受限的裝置適合整合，超算中心則一定用獨立晶片，就像有人買瑞士刀，也有人只要一把好用的水果刀。臺灣談主權 AI，繞不過水電：Albert 提到韓國政府計畫讓超算中心以 NPU 為主。他粗估臺灣若全走 GPU 路線，一年電費約 60 億美元、需要 169 GW 的電，等於得多蓋一座電廠。水電在臺灣是政治敏感題，但他強調，不研究、不仔細談就不會前進。