雲端監控服務供應商 Datadog 於 6 月 2 日發布了「2026 年版 AI Engineering 現狀報告」日文版，並為此舉辦線上記者會。該報告根據 Datadog 用戶的統計數據，深入剖析了企業導入生成式人工智慧（AI）與自主代理（autonomous agent）的現況與挑戰。

報告指出，日本市場的生成式 AI 導入率已達 55.2%，但僅有 13% 的企業表示獲得超出預期的顯著成效。相較之下，包含中國、德國、美國等地的全球平均值則超過 84%，顯示日本企業在將生成式 AI 應用轉化為商業成果方面，仍有巨大的成長空間。

Datadog 強調，國內企業面臨的挑戰正從「導入生成式 AI」的初期階段，轉變為如何管理、衡量成效並安全擴展 AI 的全面營運階段。隨著 AI 應用的普及，管理對象也日益複雜化，從核心的 AI 模型，延伸至涵蓋多種模型選擇及外部 API 整合的「資料層」，管理範圍快速擴大，包含機密資訊、日誌及 Prompt（提示語）。近年來，用於自動化多步驟處理的「代理層」也增加了流程的複雜性，使得最外層的「資安與治理」變得不可或缺。

這種多層次相互影響的結果，導致企業難以精確追蹤成本來源，且一旦出現問題，原因追蹤的時間成本也隨之增加。許多企業仍停留在實證實驗（Proof of Concept，簡稱 PoC）或部門級應用，缺乏全公司層面的營運規範，這導致了四大風險：不必要的高成本模型使用造成「成本增加」、整合至業務時的「品質下降」、現場主導使用導致的「資安風險擴大」，以及規則形同虛設的「治理失效」。

報告也揭露了 AI 應用的多模型趨勢。在 2025 年 3 月至 2026 年 3 月間，企業的 AI 應用已從單一模型轉向多模型策略。儘管 OpenAI 仍佔據主要市場份額，Google 的 Gemini 和 Anthropic 的採用率正迅速提升。目前，超過 70% 的組織使用至少 3 種 AI 模型，更有 41% 的企業運作 6 種以上的模型。其背後原因在於企業會依據不同用途，選擇輕量型模型進行分類，高性能模型則用於高階生成處理，然而這也使得管理對象快速增加。

此外，LangChain 和 LangGraph 等大型語言模型（LLM）框架的企業採用率，從去年同期的 9.1% 大幅成長至 17.5%。儘管這些框架提升了處理能力，卻也加劇了內部處理的「黑箱化」問題，使延遲發生點的定位及故障排除變得更困難。平均每個請求的 Token（模型處理的最小資訊單元）使用量也從 2058 個增加到 5251 個，翻倍成長，這意味著高昂的推論成本。因此，針對資訊進行結構化處理的「情境工程（context engineering）」投資，正成為提升競爭力的關鍵。

Datadog 資深開發者倡議者萩野先生指出，AI 工程失敗的企業往往因營運複雜性而停滯不前，而成功的企業則能透過端到端的全面可視化，持續且預防性地改善營運。Datadog 提供的解決方案，能跨越資料、基礎設施、模型、代理、應用程式以及治理等各層面，一元化管理 Token 成本、請求追蹤及資安風險。

守屋先生強調，AI 應用的重點正從「快速試驗」轉向「建立安全可運作的體制」。為此，企業應將 AI 的使用狀況、模型、資料、成本與效能透明化，並持續衡量 AI 應用對品質、效率與商業成果的實際助益。最後，萩野先生補充，在確保資安與治理的前提下，將 AI 從 PoC 階段過渡到全面生產環境部署，並透過可視化與營運管理來兼顧速度與控管，將是實現 AI 商業價值的關鍵。