負責任的AI與模型測試
報告原文：Responsible AI and model testing
AI技術快速變化，為測試工作帶來新的要求。許多組織開始反思該如何建立與新系統間的信任，伴隨著對AI基準測試的熱烈討論，帶動測試與監控措施的採用。
- 模型測試重要性提升
- AI改變模型測試
- 模型測試提升AI投資回報
- 模型測試的關鍵行動
模型測試重要性提升
- 生成式人工智慧（GenAI）和自主型人工智慧（Agentic AI）的興起，讓許多組織開始反思該如何建立與新系統間的信任，伴隨著對AI基準測試的熱烈討論，帶動測試與監控措施的實施。
- 模型測試與監控指的是一系列提升AI系統品質、韌性、穩定性及永續決策的實際作為，且能在系統偏離預設的基準時及時察覺。
- 舉例來說，組織若想導入一套用以評估求職者的AI系統，必須確認系統能提供可靠的建議，不會錯過合適的求職者，也不會誤用不合適的求職者。而模型測試可持續評估AI招聘系統，確保其在面對不同的求職者、職務需求、地理區域以及其他條件變化，都能如期運作。
- 實務上，這意味組織需要針對AI應用程式生命週期中的各階段建立測試程序：
- 部署前：驗證品質、評估限制，並確認系統穩定性。
- 部署後：監測偏移、資料變化，以及實際影響。
- 法遵：根據法規要求，進行獨立審查或驗證。
- 上述這些測試與監控工作，可交由第一線人員——AI應用程式開發與管理團隊，第二線人員——隸屬於內部風險管理部門的獨立團隊，或者完全獨立的第三方單位執行。
AI改變模型測試
- 部分組織過去並未針對機器學習和統計模型進行嚴格且合乎法規的測試，而今，這些組織開始意識到模型測試與監控的重要性。這些組織多半尚未建立一套可用以持續評估AI系統之品質、韌性與效能的系統，甚至連執行相關工作的團隊都還未建立。
- 即便是測試經驗豐富的組織，也因生成式AI及自主型AI的興起而面臨挑戰。AI技術快速變化，為測試實務帶來新的要求。有些組織會認為，過去的軟體部署測試經驗已足夠，但實際上，這些經驗多半建立在輸入與輸出的離散測試（即QA測試）上。然而，AI系統與傳統軟體系統不同，其輸出結果往往難以預測及重現。
- 以下是傳統軟體與AI模型的關鍵差異：
- 軟體開發模式偏向線性，模型開發則是經由反覆試驗、迭代進行的。
- 軟體輸出具確定性，而AI輸出則有變動性，主要由底層資料偏差所致。
- 要使AI模型測試的時程，對上軟體固定開發周期並不容易。而健全的AI模型治理，需根據不同應用的風險進行持續性測試。
- 部署後，需透過定期監控與週期性的測試，維持AI系統的準確性與韌性。
- 組織在測試方面，可能面臨既有文化、組織性與治理上的隔閡。常見挑戰如，監控活動的權責分散，AI開發與使用過程高度去中心化，且尚未建立明確的監管架構。
- 組織若想運用AI模型驅動關鍵且複雜的決策，必須先投入資源建立標準化流程，在整個AI模型的生命週期及各個使用階段，都進行測試與監控，且落實的力道必須超越傳統軟體測試，包括要測試什麼、由誰來測試、何時測試，以及問題如何升級和解決都需要達成共識。
模型測試提升AI投資回報
- 適當的AI模型測試不僅能管理風險，還能增強系統可靠度，帶來可預測、持續的結果，提升模型開發與AI系統投資回報。此外，模型測試能幫助組織了解系統的侷限及如何調整，以最有效率的方式進行人為介入。
- 好的模型測試能提升組織信心，帶動更多AI應用落地，並確立更廣泛的轉型目標。過去被認為需要高度信心且難以實現的AI應用案例，如今已在組織可承受的風險範圍內。
模型測試的關鍵行動
- 統一模型開發生命週期：其可能與現有的軟體開發生命週期一致，也可能不一致。組織應調整相關內容，就AI模型的生命週期達成共識；提供各類型AI系統的測試範例，包括嵌入第三方應用程式中的代理人及功能，以及獨立的機器學習預測引擎。此外，也應說明如何針對運用生成式AI、代理人框架所建構的系統，進行測試與監控。
- 建立測試文化：僅將測試列為強制性項目可能不夠，還必須輔以強而有力的獎勵措施，鼓勵員工執行必要的測試，促使團隊找出AI系統及軟體環境中潛在的故障點，並主動設計控制措施。
- 連結測試指引與組織治理框架：風險較高的應用須進行更嚴格的測試。組織應釐清開發團隊、AI系統所有者，以及在AI平台上進行開發的員工，這三者間的權責，並提供風險與法遵支援。根據組織對AI風險的態度，訂定測試與監控協議。
- 思考應透過哪些實際作為滿足最新法遵要求：舉例來說，部分法規要求進行獨立的偏見測試或其他特定測試。與法務部門合作，將相關作為納入治理框架、風險評估流程以及模型測試實務中。
負責任的AI與資料治理
報告原文：Responsible AI and data governance
資料治理的基本原則並未改變，但AI的興起放大了正確落實這些原則的重要性。尤其AI模型還可能以動態的方式使用資料。若能及早行動，組織將處於更有利的位置，安全並充滿信心的擴展AI應用規模。
- AI改變資料治理
- 可信任的AI始於可信任的資料治理
- 資料治理的關鍵行動
AI改變資料治理
- AI根本性的改變組織對資料的定位。資料不再只是需要管理或利用的資產，它已是每一項AI計畫的基石。無論組織是在訓練大型語言模型（LLM），還是利用商用LLM部署AI聊天機器人，系統的成功都取決於資料是否完整、品質是否足夠且可信賴。
- 過去，資料治理多半由「法遵行動」驅動。對身處受高度監管產業的企業來說，這是強制性要求；而對監管較寬鬆的企業，則是「可有可無」的選項。然而，隨著AI的興起，資料治理從後勤法遵任務，變成強大的第一線業務工具。企業不再只是為了稽核工作進行資料溯源與編目，資料治理同時也是降低風險、釋放價值並建立信任的重要手段。
- 事實上，資料治理的基本原則並未改變，但AI的興起放大了正確落實這些原則的重要性。尤其AI模型還可能以動態的方式使用資料，因此，若能及早行動，組織將處於更有利的位置，安全並充滿信心的擴展AI應用規模。
- AI凸顯了資料譜系、溯源與使用權的相關疑問，對於所有組織而言，問題的關鍵在於資料如何支援各種應用案例。此外，AI的應用亦增加了對於資料品質、齊全度以及取用性的要求。
- 對高度監管產業的影響：AI是更嚴格且新的監管領域。監管機構將關注AI模型輸出及資料輸入，即使高度監管產業的組織多半已具備嚴謹的資料治理框架，要支援AI運作仍然是一項挑戰，尤其是在確保輸出結果的準確度方面。
- 對監管較寬鬆產業的影響：AI成為催化劑，將資料治理提升至高階主管甚至是董事會層級的職責。對於任何想要成為「資料驅動」的企業來說，這都是首要任務。然而，由於過往缺乏法遵及監管經驗，這些企業會需要從零開始建立資料治理體系。許多公司缺乏資料治理所需的架構、工具以及高層支持，尤其是那些藉併購擴展規模，資料環境分散且格式不統一的企業來說，情況又將更為複雜。
- 不論是監管嚴格還是寬鬆的產業，資料治理都不再只是「護欄」，而是「發射台」。若沒有強而有力的治理，AI系統將生成不可靠的結果，加劇整體風險。而有健全的治理，企業則能建立信任，縮短探索的時間，更有自信的擴展應用案例。
可信任的AI始於可信任的資料治理
- 健全的資料治理將是強而有力的AI驅動力，它將建立信任，簡化法遵程序，並確保AI系統可靠、透明且公平。
- 在技術層面，資料治理可以提升結果的準確度、減少幻覺，並強化AI應用的可用性及潛在可擴展性。
- 可信任的AI始於可信任的資料。投入資料治理，有助於確認AI使用可靠、獲得授權且具備完整譜系的資料。如此一來，更能滿足監管機構的期望，並提升利害關係人的信心。
- AI有助於多項治理工作的自動化，包括異常偵測與資料品質驗證。組織不需要手動建立規則，而是運用機器學習模型分析大量資料，並自動判斷各個資料節點的常態數值分布。人員可以運用AI模型提供的資訊，來決定要在哪些情況下標記出異常。
- 最終，實現負責任AI資料管理的企業，將能在客戶、供應商以及監管方面脫穎而出。運用資料治理提升AI模型的可解釋性及公平性，並確保所有資料輸入都經過允許，為企業建立獨特優勢，並定位為「負責任創新的領導者」。
資料治理的關鍵行動
- 將資料治理提升至董事會層級的優先事項：資料治理應是AI 策略的核心，而非事後補救的措施。企業應協助董事會與高階管理層了解資料驅動之AI計畫的風險與機會，將資料治理納入企業的關鍵績效指標（KPI）與董事會報告中。
- 現代化架構與工具：投資能集中管理、清理與治理資料的平台，並做好AI相關準備。將資料通用性、譜系追蹤及後設資料管理列為優先事項，打造透明、可解釋的AI系統。
- 合適的資料來源：減少資料孤島並將關鍵資料的輸入標準化，提升控制力與可信度。為高價值的資料資產建立「單一事實來源」，並跨部門建立一套標準化的資料定義和取用協議。
- 將AI相關考量納入治理：確認資料治理框架涵蓋模型訓練、資料生成和下游資料重用等AI應用案例。並統一資料政策與AI風險評估及負責任的使用指引。
- 釐清資料治理與模型治理間的關係：建立清晰的視角，確認兩者是否以及如何交集，尤其是針對高風險的應用案例。企業應明確定義角色與職責，在完整的AI生命週期中（從資料擷取、到模型部署與監控），整合各個治理觸點。
相關連結：
- Report > Delivering Responsible AI: Insights for risk leaders
- Further reading > 實現負責任的AI：給風險管理高層的洞見（1）
報告摘要時間：2025年9月11日
PwC Taiwan相關服務：
數位轉型服務基地
關注我們
