高德納諮詢公司(Gartner)建議,企業應針對不同AI工作負載,採取精準的部署策略。例如,對於重複性高且頻繁執行的任務,可採用小型、特定領域的語言模型;而對於高價值且複雜的推理任務,則保留昂貴的尖端模型。高通(Qualcomm)全球市場運算銷售副總裁 Jason Banta 指出,許多企業IT主管在預算規劃時,並未充分考量這類多模型互動的工作流程。他表示:「領導者需要用全新的方式來計算AI時代的總體擁有成本(Total Cost of Ownership, TCO)。」
Jason Banta 進一步說明,許多常規的代理式工作流程,例如分類與摘要,都能透過小型或中型模型直接在裝置上完成。他強調:「將AI工作負載部署在最合理的位置,無論是終端裝置或雲端,都始於一個基礎性選擇:為組織AI策略提供動力的晶片平台。」高通提供的解決方案,旨在協助企業在成本、效能、安全性和使用者體驗之間取得平衡,從而實現永續的企業級AI應用。因此,企業需要建構一套客製化的AI架構框架,並以實現價值與控制成本並重,才能確保AI的規模化擴張能帶來最大的效益。