無論組織處於AI導入的哪個階段,以下是著手建立符合審計要求之AI的方法:
- 建立健全的治理:
治理須涵蓋如何決定要採用哪個模型與工具,隨著時間推移這些工具如何被監控,以及如何處理可解釋性與資料血緣的議題,尤其是當結果涉及財報或者對外揭露資訊時。內部稽核可以扮演關鍵角色,包括評估新興風險、驗證控制措施的設計,並審視治理措施是否如期運作。
組織須將AI風險整合進現行的風險管理體系中,包括企業風險分類體系以及風險與控制自我評估(RCSAs),這些措施可協助組織證明其確實理解AI帶來的獨特風險,且具備相應的流程、工具及能力,有效評估、監控並減緩風險。
- 提升職能並使團隊一致:
審計是否準備就緒,取決於團隊能否解釋AI如何被使用、治理,以及其結果為何可靠且準確。流程與控制措施的管理者,必須接受訓練、具備相關背景知識,以確保其能參與審計對話,並清楚解釋AI的用途、如何被監控,以及為什麼可信。
- 建立AI應用案例清單:
組織要能清楚辨認AI被用在那些商業層面上,最有效的方法就是建立一份清單,並維護其完整性與準確性,將這份應用案例清單與核心業務流程串聯,並標示出與監管領域相關的部分。關鍵在於展現組織對AI應用案例及其風險等級的了解。
組織不能只仰賴員工自述來建立這份清單,必須建立一套流程以識別潛在的「影子AI」,或者第三方工具的嵌入式功能、未經准許的部署,以及系統更新帶入的新AI功能等容易被忽略的部分。這將有助於確實盤點所有AI應用案例。組織應確保所有AI應用案例的可視性,包括嵌入式工具或者由第三方支援的功能,這對於風險評估與審計準備至關重要。
- 採取以風險應對為基礎的做法:
並不是所有AI應用的風險都一樣。因此,治理的方法,包括政策、程序及控制措施,也要因應AI使用方式做出調整。組織可以考慮採用分類模型,使AI應用案例的評估標準化。結構化的分類方式及後設資料策略,將有助於持續推動治理,並確保確信工作能跟上創新的腳步。
以文件摘要為例,其風險可能低於許多複雜的應用(如AI草擬財報與監管文件提交時的自主決策)。因此,明確的分類方法將有助於組織更快釐清,哪些地方需要更嚴謹的治理測試或是更多驗證要求。為了能建立這套方法,企業必須針對每個應用案例建立正確的後設資料,例如業務功能、監管背景、相關法案以及資料敏感度。不只是審計準備,當企業將AI導入到組織內部上百甚至上千個應用案例中時,此做法也相當重要。
- 驗證AI輸出結果:
組織須針對每個應用案例,定義如何確認其AI生成結果的可靠性,包括找出所有為解決模型設計中揭露的風險而進行的額外審查。當AI被用於財報時,輸出結果的驗證更為重要。當組織能對AI輸出結果展現信心時,與審計員等外部利害關係人的溝通也將更順暢。
驗證用於審計的AI輸出,意味著能夠具體證明結果是可靠、經過驗證且受到適當治理的。而有助於展現審計準備度的文件包括:模型風險評估或驗證簽核、審閱註記或批准流程、異常記錄及問題呈報文件、附有人工審核證明的輸出樣本、監控報告、備用控制措施或人工推翻決策的文件等。
- 明確定義並審查流程與結果、備用機制及預期的效能。由於許多AI系統是基於可能性而非固定規則生成結果,其結果可能不具確定性,審計人員會想了解組織如何應對這樣的風險,包括當AI放大或取代控制流程時,如何定義及實施測試和審查要求。當生成式AI被拿來製作敘述性揭露或總結財務績效時,要定義一套固定、準確的生成模式可能不切實際。因此,審計人員會透過了解指令是如何被建構的、輸出結果如何被審查及批准,以及如何識別與監控幻覺風險等方式,來確認控制措施是否被落實。