輝達（Nvidia）近日推出新一代開源人工智慧模型 Nemotron 3.5 Lightning，其設計目標並非作為包羅萬象的通用問答引擎，而是專注於提升長時間運作的 AI 代理人系統內部的工作效率與速度。

根據報導，Nemotron 3.5 Lightning 是一款擁有 300 億參數的「專家混合模型」（mixture-of-experts model），這是一種讓大型模型僅啟動部分參數來處理特定任務的架構。該模型每個「權杖」（Token，AI 模型處理文字或數據的基本單位）僅會啟動 30 億個參數，並能支援高達 100 萬個「上下文視窗」（context windows，模型能同時處理和參考的輸入資訊量）。輝達指出，Nemotron 3.5 Lightning 的輸出速度，可達到其他同規模模型的四倍。

輝達以其 OpenMDW-1.1 授權條款，提供 Nemotron 3.5 Lightning 的開放權重、訓練資料及模型配方。公司設想，未來 AI 系統將由不同的模型共同協作，各自處理不同類型的任務。例如，一個大型推理模型負責規劃工作流程或處理複雜決策，而一個速度更快、更專業的模型則執行重複的工具呼叫、驗證、格式化等日常操作，以實現代理人計畫。

這種「模型系統」的方法在當前 AI 應用中日益重要。隨著 AI 應用從單一提示和回應，轉向能夠在完成任務時產生數十甚至更多模型呼叫的 AI 代理人，模型的選擇不僅考量原始能力，延遲、推理成本、部署位置和任務專業化都成為關鍵決策因素。 Nemotron 3.5 Lightning 的設計正是為了平衡這些考量，其專家混合架構讓模型在每次處理權杖時，能以較少啟動參數達到更高的整體容量。

為進一步強化此概念，輝達同時發布了 NeMo Switchyard，這是一個開源路由函式庫。 NeMo Switchyard 旨在根據品質、延遲和成本等不同需求，將個別請求導向不同的模型。輝達表示，企業組織可以透過 NeMo Switchyard，在無需重新撰寫應用程式的情況下，無縫整合和使用自家現有的開源、專有及輝達模型。這項組合預示著 AI 架構的演變，未來的模型選擇將成為即時運行中的決策，而非一次性的平台選擇。