醫療 AI 使用率從 68% 降至 30%，企業該如何驗證部署成效？
醫療 AI 使用率從 68% 降至 30%，企業該如何驗證部署成效？
企業導入 AI，經常面臨一個容易被忽略的問題：技術團隊證明了 AI「能做」，但誰來證明它真的讓工作「變好」？
一項發表於《Nature Medicine》的急診 AI 研究，提供了值得思考的案例。研究團隊在以色列一家醫院測試 SHAKED，一套協助急診醫師進行臨床判斷的 AI 系統。
四週研究觀察到三個結果：
第一，專家抽樣審查 100 件 AI 輸出，其中 99 件被評為臨床上適當。
第二，系統使用率從 68% 降至 30%。
第三，使用 AI 與維持常規工作的兩個急診單位，病患平均停留時間都是 4.9 小時，沒有統計顯著差異。
這不是一項能夠判定 AI 有效或無效的最終試驗。
研究屬於早期、非隨機評估。99 件輸出獲得適當評價，不代表診斷準確率達到 99%。現有證據也無法確認使用率下降的原因，或認定它造成急診流程未能改善。
但這項研究提醒我們： AI 的技術能力、實際使用與工作成果，是三件需要分別驗證的事。
這個區別對企業尤其重要。假設一家製造業者導入 AI 影像檢測系統。技術團隊證明模型可以準確辨識瑕疵，是否就代表專案成功？工廠主管可能還有不同的驗收要求。如果 AI 增加了人工複檢時間、拖慢生產節拍，即使模型表現良好，整體營運效益也未必改善。
這是企業可能面對的應用情境，而不是上述醫療研究已證實的製造業結果。因此，企業在決定 AI 是否從 PoC 進入正式營運時，不能只依賴技術測試報告，還需要建立清楚的驗收責任。
CIO 與技術團隊，應負責確認 AI 能否可靠、安全地完成預定任務。實際使用 AI 的部門主管，則應確認工作流程、品質、效率或成本是否產生可衡量的改善。
CIO 與技術團隊，應負責確認 AI 能否可靠、安全地完成預定任務。實際使用 AI 的部門主管，則應確認工作流程、品質、效率或成本是否產生可衡量的改善。
兩者是不同的驗收責任，卻共同影響企業是否值得繼續投資。當然，不同 AI 系統需要不同的成果證據。
員工主動使用的 AI 助理，需要檢查採用情況、人工覆核及工作成果。
提供預測或警示的 AI，需要檢查誤報、漏報、警示處理與實際成效。
能自主執行任務的 AI 代理，則需要檢查任務完成率、例外處理、人工接管及權限控制。
這些指標應該在測試前，就由技術與業務部門共同確認，而不是等 PoC 結束，再從測試結果中挑選成功的證據。對準備擴大 AI 投資的企業而言，真正需要回答的，不只是：「這套 AI 的技術表現是否達標？」，還包括：「我們是否已經取得足夠的現場證據，支持下一階段的部署與預算決策？」這是技術驗收與經營決策之間，不能省略的一步。
最終決策權可以依企業的治理制度與風險分工而有所不同，但技術能力與實際營運成果，都應成為決策依據。
如果你是企業負責人、CIO 或部門主管，當 AI 技術測試已經達標，但實際營運成效仍不明確時，誰應該負責決定是否正式部署？又應要求什麼成果證據？
https://www.infoai.com.tw/blog/ai-deployment-evidence-business-value-fullstory
如果你希望持續從 AI 模型測試與實際部署成果的落差，看懂企業如何設定 AI 驗收標準與擴大投資的條件，，歡迎訂閱 InfoAI 電子報 https://www.infoai.com.tw/newsletter，或造訪 www.infoai.com.tw
Turning Global AI Signals into Business Decisions