換臉 App ZAO 爆紅後,不少人擔心自己的臉部資訊洩露後,刷臉支付會被破解進行盜刷,雖然後來支付寶表示 AI 換臉無法破解刷臉支付,但已經有人開始利用 AI 語音合成軟體進行詐騙了。
據《華爾街日報》報導,有騙子透過 AI 合成的語音,冒充一家英國能源公司德國母公司的 CEO ,成功詐騙該公司員工進行大額轉帳,成功騙走了 22 萬歐元(近台幣 770 萬元)。
AI 語音真有這麼逼真嗎?據稱這家英國能源公司的 CEO 接到自稱是德國母公司 CEO 的電話,要求他將一筆 22 萬歐元資金轉帳給一個匈牙利供應商,十萬火急,必須在一個小時之內完成。
這位英國 CEO 一開始並沒有意識到有什麼問題,他表示對方操著德國口音,語調也跟德國母公司的 CEO 幾乎一樣,因此他不覺得可疑,就把款項轉了過去。
有意思的是,在收到這筆轉帳之後,騙子還沒有收手,而是再次打電話,要求英國公司向德國母公司進行一筆匯款來償還一些費用,不過這次的電話號碼卻顯示來自奧地利,英國公司這才開始懷疑,沒有再次轉帳。
這起案件發生在今年 3 月,事後調查發現,這 22 萬歐元並沒有轉給所謂的匈牙利供應商,而是被轉移到墨西哥等多個國家。
幸運的是,這筆損失並不需要這家英國能源公司承擔,而是全部由投保的保險公司 Euler Hermes 負責。警方對這起事件進行調查後發現,騙子用了一種 AI 語音合成軟體來模仿德國母公司 CEO 的聲音,但至今仍無法找到幕後的詐騙者。
該保險公司的反詐騙專家 Rüdiger Kirsch 表示,他們之前從未處理過使用人工智慧進行犯罪而造成的索賠案件,這種透過 AI 技術進行詐騙的模式也被稱為 vishing(語音網路釣魚)。
更令人擔憂的是,這起案例很可能不會是個案,隨著這樣的 AI 技術不斷進步,且門檻逐漸降低,類似的 AI 語音詐騙很可能會一發不可收拾。
根據一家開發語音詐騙軟體的網路安全公司的調查報告,從 2013 年到 2017 年,語音詐騙的數量增長了 350%,其中每 638 個詐騙電話中就有一個是機器合成的。
實際上我們很多人可能都已經接到過 AI 打來的電話,這些 AI 電話的對話、語調都和真人十分相近,每個機器一天能打 1,000 通電話,效率遠高於人類。
而 DeepFake 技術現在已經發展到可以任意篡改影片和語音,之前史丹佛等幾所學校發布了一項新研究,只要輸入任意文本,就能讓影片中的演講者說出對應的話,還能修改原影片的語句,比如將電視台主持人報導的「蘋果股價收盤於 191.45 美元」的數字改為「182.25 美元」。
儘管這兩個數字的發音和嘴型完全不同,但幾乎看不出修改痕跡。研究者經過調查發現,59.6% 的受試者認為被修改過的影像是真的,這項技術成功騙過了大部分人的眼睛。
這些 AI 技術不斷發展,逐漸就出現像 ZAO 這樣便捷、低門檻的工具,讓每個人可以使用類似的機遇合成換臉影像,或者模仿別人的聲音,同時也難以避免被不法分子利用在犯罪用途。