
在特拉維夫的一間新公寓中,住戶驚訝地發現,網路連接的燈光突然熄滅,四扇窗戶的智慧百葉窗同時升起,連接的鍋爐也被遠距啟動,準備為這間時尚的公寓加熱。這一切並非住戶所設定的計畫,而是一起針對 Google Gemini 人工智慧系統的攻擊。
這一系列的攻擊由三位安全研究人員展示,他們利用一個被污染的Google日曆邀請來操控智慧家居設備。當他們要求Gemini總結即將到來的日曆事件時,潛藏的指令被觸發,導致智慧設備開始運作。此次展示的攻擊是首次具體實證生成式AI系統操作智慧家居等物理設備的成功範例,顯示出大型語言模型(LLMs)在日益連接的環境中可能帶來的風險。
研究人員指出,隨著LLMs逐漸被整合進物理人形機器人和自動駕駛汽車中,必須深入了解如何保護這些系統。這些攻擊被稱為「邀請即一切」,是針對Gemini的14種間接提示注入攻擊的一部分,這些攻擊在拉斯維加斯的Black Hat網路安全會議上揭示。
Google的安全產品管理高級總監安迪·溫表示,儘管這些漏洞尚未被惡意駭客利用,但公司對此非常重視,並已推出多項修復措施。研究人員在2月向Google報告了這些發現,並在隨後幾個月與相關團隊進行了會議。
這些攻擊的核心在於日曆邀請中包含的間接提示注入,這是一種將隱藏指令植入AI輸入內容,誘使AI執行非預期或惡意操作的攻擊技術。研究人員強調,這些攻擊不需要任何技術知識,幾乎任何人都能輕易開發出來。透過巧妙的設計,這些提示能夠在用戶不知情的情況下,操控智慧家居設備。
研究人員使用的延遲自動工具調用方法繞過了Google現有的安全措施,顯示出間接提示注入對AI系統的嚴重威脅。儘管這些攻擊可能需要一定的努力,但它們揭示了AI系統面臨的安全挑戰。Google的溫承認,隨著人們不斷發展出新的欺騙手段,解決提示注入問題變得愈加困難。
最終,研究人員呼籲科技公司在開發和部署AI的同時,應更加重視安全問題。他們認為,LLM驅動的應用程序比許多傳統安全問題更容易受到提示注入的影響,並強調在行業轉型的過程中,安全措施的整合速度應該與LLMs的發展速度相匹配。
- Hackers Hijacked Google’s Gemini AI With a Poisoned Calendar Invite to Take Over a Smart Home
- Nation-State Hackers Abuse Gemini AI Tool
- Google Gemini AI Flaw Could Lead to Gmail Compromise, Phishing
- Google Gemini flaw exploited to turn AI-powered email summaries into the perfect phishing tool — everything you need to know
(首圖來源:shutterstock)