和各家過濾器一較高下！Nvidia 推出宣稱「更安全」的 AI 聊天機器人安全工具

當前檯面上不論是基於 ChatGPT 模型或其他生成式 AI 模型的各家聊天機器人務雖然「熱門有餘」，但確有「精準度不足」的普遍詬病，即使是當前最好的模型也難免會生成內含偏見、有害、有毒及惡意攻擊的內容。為了解決這個從 ChatGPT 推出至今就一直存在的問題，Nvidia 4 月 25 日發布一款名為 NeMo Guardrails 的開源工具套件，以促使今後 AI 應用能更加「準確、恰當、切題與安全」。

隨著各家生成式 AI 模型頻頻犯錯，不時出現似是而非、令人錯愕，甚至引發幻覺與偏見的有害言詞及造假內容，某個 AI 模型還因此被冠以「操縱情感的騙子」的罵名。有鑑於此，許多這類模型背後的公司紛紛實施過濾器或成立仲裁團隊來更正上述各種問題與錯誤。但截至目前為止，還沒看到令人滿意的改善成效。

Nvidia 深知 AI 模型安全工具對於想在使用案例中部署 AI 模型的企業而言至關重要，為了尋求「更安全」的文字提示生成式 AI 模型，多年來一直在研究 Guardrails 底層系統的 Nvidia，特別推出 NeMo Guardrails 開源工具套件。該套件包含程式碼、範例和文件，能為生成文字和語音的 AI App 添增安全性。相對於各家推出的「專屬」過濾器，該工具套件能與大多數生成式 AI 模型協同運作，開發人員只需撰寫幾行程式碼就能建立規則。

基本上，NeMo Guardrails 可以避免 AI 模型偏主題，防止 AI 回覆不準確的資訊或有毒的言論，更進一步杜絕 AI 模型連結不安全的外部資源。目前已有工作流程自動化服務商 Zapier 使用該工具套件來為他們的生成式模型增加一層安全性。

雖然理論上，NeMo Guardrails 適用於當前大多數生成式 AI 模型，但事實上它算是該公司 NeMo 框架的一部分。身為 Nvidia AI 平台一部分的 NeMo 則是一個端到端的雲端原生企業框架，可用來部署包含數十億參數的生成式 AI 模型。該框架可透過 Nvidia 企業 AI 套裝軟體以及 NeMo 全代管雲端服務取得。雖然任何公司皆可採用開源版 NeMo Guardrails，但 Nvidia 顯然更希望客戶付費訂閱代管版服務。