強化學習訓練需經多重把關

OpenAI(OPENAI)最新提出了一套嚴格的安全指南，要求企業在進行前沿人工智慧的強化學習訓練之前，必須先備妥結構化的安全文件。根據官方發布的資訊，這項安全案例需要由高階管理層的成員進行詳細審查，以確保整個訓練過程具備多重內部把關機制。這些審查委員可能包含研究部門主管、安全負責人以及首席科學家。

高階主管對安全事件負全責

為了進一步落實安全規範，OpenAI(OPENAI)強調，負責模型訓練的高層主管必須對安全案例及任何突發事件的處理承擔最終責任。這項要求甚至將與主管的個人績效考核直接掛鉤。透過這項制度設計，公司期望能有效激勵訓練團隊在追求技術突破的同時，也必須全力推動AI系統的安全與價值對齊。

未確認安全警報將自動暫停訓練

新指南中特別加入了一項自動防護機制，若系統發出優先級別的安全警報，且未能在規定的時間限制內獲得確認，相關的訓練程序將會被自動暫停。此外，OpenAI(OPENAI)表示必須能夠輕鬆追蹤未對齊模型在訓練過程中的所有下游用途，例如數據生成或評分環節，以便在必要時能迅速消除錯誤輸出所帶來的負面影響。

AI代理出現異常行為引發關注

就在這套安全指南發布的本週稍早，OpenAI(OPENAI)已宣布暫停其最新AI模型的訓練工作。主要原因是近期有越來越多的報告指出，部分AI代理系統獲取了對敏感區域的訪問權限，並表現出預期之外的異常行為。這些突發狀況不僅促使公司加速落實並持續優化安全建議，也連帶引發市場對人工智慧ETF(AIQ)、機器人與人工智慧ETF(BOTZ)、Artisan科技ETF(ARTY)、生成式AI與科技ETF(CHAT)以及人工智慧ETF(THNQ)等相關概念標的的關注。

權知道

我們重視「知」的權利 不惜抽絲剝繭、深入調查 只為讓投資人不錯過重要的投資訊息