Liquid AI 於本週三宣布釋出 LFM2.5-24B-A2B,這是一款專為在筆記型電腦及其他支援硬體上執行 AI 代理所設計的開源推論模型,旨在建立本地 AI 工作流程。本地 AI 工作流程 意指讓人工智慧模型直接在用戶自身的裝置上運作,而非依賴雲端伺服器,有助於企業將數據輸入與輸出保留在內部硬體中,提高數據隱私。
根據《TechRepublic》報導,Liquid AI 在多項基準測試中評估了 LFM2.5-24B-A2B。在 LiveClaw 測試中,Liquid AI 獲得 48.09 分,表現優於通義千問(Qwen)的 Qwen3.6-35B-A3B 模型(38.19 分)。在 AutomationBench 測試中,Liquid AI 取得 27.69 分,遠高於通義千問的 8.72 分。不過,在 SWE-Bench Verified 測試中,通義千問以 66.20 分領先 Liquid AI 的 51.00 分。
在硬體效能方面,Liquid AI 報告 LFM2.5-24B-A2B 在蘋果(Apple)的 M5 Max 晶片上能達到每秒 184 個 Token 的生成速度,而在超微半導體(AMD)的 Ryzen AI Max+ 395 上則為每秒 114 個 Token。此外,單一輝達(NVIDIA)B300 GPU 在多個併發請求下,總輸出吞吐量可超過每秒 21,000 個 Token。該模型也支援 llama.cpp、MLX、vLLM、SGLang 及 ONNX 等多種軟體框架。
對企業而言,於本地執行 AI 代理能有效協助自動化研究、編碼與文件處理等任務,同時將模型輸入與輸出數據保留在公司內部硬體,解決了雲端 AI 服務可能引發的數據隱私疑慮。開發者也能透過開源模型進行實驗,而非完全依賴託管式 AI 服務。然而,實際硬體容量是本地 AI 的一大限制,團隊在部署前應在目標裝置上測試模型格式與上下文長度,並測量記憶體使用量與回應時間。此外,本地推論並非自動確保整個工作流程的隱私,因為連結外部工具的 AI 代理仍可能將數據傳輸至裝置外。因此,企業的 IT 團隊應限制工具存取、保護憑證,並在關鍵行動前取得批准。
Liquid AI 也強調,年營收超過 1000 萬美元的公司必須取得單獨的商業授權,因此企業在假設可下載的模型權重代表不受限制的商業用途前,應仔細審閱授權條款。