研究：「AI 幻覺」會捏造軟體套件造成安全隱憂

不少程式開發都會用軟體套件（Software Package）引入現成功能，若套件有問題也會一起侵入系統，最近更有研究發現生成式 AI 讓問題變嚴重。

研究發現，生成式 AI 的「AI 幻覺」會讓 AI 回應時添加似是而非內容，程式編寫常用的軟體套件也變成捏造內容。ASSO Security 研究員 Bar Lanyado 表示，有些企業開發專案錯誤相信 AI 建議，加入不存在的軟體套件，如阿里巴巴 GraphTranslator 使用 Python 軟體套件 huggingface-cli 而不是正確的 huggingface_hub[cli]，實際以 huggingface-cli 名義製作軟體套件，就可由 GraphTranslator 採用，結果測試軟體套件三個月內就下載超過 15,000 次。

Lanyado 表示，這證實程式設計時放入惡意軟體，「AI 幻覺」問題會變得更容易，令人擔憂。研究顯示不同 AI 平台，某些因 AI 幻覺使軟體套件名稱重複出現率更高，這一致性恰好將 AI 失誤轉成強力攻擊載體，使駭客可利用漏洞攻擊。他表示，未發現有利用這方式攻擊，不過要辨識這種攻擊相當複雜，因不會留下太多痕跡。