9秒騙走245萬!魔高一尺道高一丈,AI詐騙如何防?
2023年06月13日 09:59 來源:國是直通車

  文/劉育英

  AI(人工智能)一鍵換臉、AI克隆聲音、AI釣魚郵件。。。。。。近日兩起詐騙金額上百萬元的案件引起人們關(guān)注。AI技術(shù)快速發(fā)展,挑戰(zhàn)也逐漸顯現(xiàn)。

  AI讓詐騙門檻大幅降低

  近日,內(nèi)蒙古包頭警方通報一起利用AI實(shí)施詐騙的案件。在該案件中,福州市某公司法人代表郭先生10分鐘內(nèi)被騙430萬元。據(jù)通報,騙子通過AI換臉和擬聲技術(shù),佯裝熟人實(shí)施詐騙。

  今年4月份,在安徽安慶經(jīng)開區(qū)發(fā)生一起AI換臉詐騙案中,詐騙分子使用一段9秒鐘的智能AI換臉視頻佯裝“熟人”,讓受害人放松警惕被騙走245萬元。

  AI詐騙是利用AI技術(shù)模仿、偽造他人的聲音、面孔、視頻等信息,進(jìn)行欺騙、敲詐、勒索等犯罪活動。早在2019年外媒就報道過詐騙犯利用深度偽造語音技術(shù)冒充英國某能源公司高管詐騙24萬多美元的案例。

  中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所內(nèi)容科技部研究員呼娜英對國是直通車表示,當(dāng)前,隨著深度學(xué)習(xí)等AI技術(shù)的成熟,AI詐騙體現(xiàn)出詐騙手段愈發(fā)多樣、詐騙門檻大幅降低、辨別難度不斷加大等特點(diǎn)。

  賽迪研究院網(wǎng)絡(luò)安全研究所所長劉權(quán)對國是直通車表示,隨著AIGC(AIgeneratedcontent,人工智能生成內(nèi)容)技術(shù)的大爆發(fā),普通人也能接觸各種先進(jìn)生成工具,制作出難以識別的高質(zhì)量合成內(nèi)容,欺詐手段愈發(fā)多樣,使得防范AI詐騙的難度不斷提升。

  在網(wǎng)上,換臉軟件、換聲軟件既有免費(fèi)也有付費(fèi),不僅能照片換臉,而且能視頻換臉。高逼真的換臉付費(fèi)軟件價值僅在幾百元至幾千元之間,有的甚至還推出了包月服務(wù)。

  “基于公開發(fā)布的數(shù)據(jù)信息、照片、視頻,利用深度合成等AI技術(shù)生成高度逼真的圖像、視頻和語音等內(nèi)容,這些以假亂真的虛假信息更易取得對方信任,從而使得受害者放松警惕!眲(quán)表示。

  奇安信董事長齊向東表示,AI一定會給數(shù)字世界帶來新的安全威脅,目前有兩個方面:一是它可以仿造、以假亂真,實(shí)施詐騙;二是AI還能夠幫助黑客提高攻擊水平,尤其是把不懂黑客技術(shù)的一些人快速培養(yǎng)成黑客,幫助黑客寫程序、寫代碼,幫助黑客制定攻擊方案,提供攻擊策略。

  立法步伐加快

  今年以來,以ChatGPT為代表的生成式人工智能快速發(fā)展,背后暗藏的個人隱私、數(shù)據(jù)安全、知識產(chǎn)權(quán)保護(hù)等一系列法律風(fēng)險和倫理等問題引發(fā)社會各界關(guān)注。對此,國家相關(guān)法律政策正陸續(xù)出臺,人工智能等新技術(shù)的發(fā)展和治理越來越受到重視。

  今年4月,國家互聯(lián)網(wǎng)信息辦公室就《生成式人工智能服務(wù)管理辦法(征求意見稿)》向社會公開征求意見,其主旨思想是促進(jìn)生成式人工智能技術(shù)的健康發(fā)展和規(guī)范應(yīng)用。

  劉權(quán)認(rèn)為,《管理辦法》建立了AI服務(wù)的管理框架,對生成式人工智能服務(wù)提供者和使用者進(jìn)行了規(guī)范化管理,要求提供生成式人工智能產(chǎn)品或服務(wù)的企業(yè)或個人進(jìn)行實(shí)名認(rèn)證、信息公示、申報安全評估、履行算法備案和變更、注銷備案手續(xù)等措施,這有助于減少非法個體或組織實(shí)施AI詐騙的可能性。

  《管理辦法》對生成式人工智能產(chǎn)品采用的預(yù)訓(xùn)練數(shù)據(jù)、優(yōu)化訓(xùn)練數(shù)據(jù)過程,人工標(biāo)注過程以及生成的文本、圖像、聲音等各個階段需要遵守的規(guī)則和服務(wù)提供者履行的義務(wù)進(jìn)行了詳細(xì)列舉,明確生成式人工智能產(chǎn)品過程中涉及的數(shù)據(jù)使用安全,有助于保護(hù)用戶信息不被泄漏,保障隱私安全。

  另外,《管理辦法》建立了完善的問題投訴處理機(jī)制!豆芾磙k法》規(guī)定了對生成式人工智能服務(wù)過程中發(fā)現(xiàn)或用戶舉報的不符合管理辦法內(nèi)容的及時處理辦法,要求當(dāng)發(fā)生侵害他人肖像權(quán)、名譽(yù)權(quán)、個人隱私、商業(yè)秘密等現(xiàn)象時必須停止生成并優(yōu)化模型。

  呼娜英表示,2023年1月施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》,細(xì)化了深度合成技術(shù)支持者、服務(wù)提供者、服務(wù)使用者以及應(yīng)用程序分發(fā)平臺的主體責(zé)任,規(guī)定的落實(shí)將有效遏制AI換臉等詐騙事件。

  例如,《規(guī)定》明確深度合成服務(wù)提供者應(yīng)當(dāng)使用顯著方式,對可能導(dǎo)致公眾混淆或者誤認(rèn)的深度合成信息內(nèi)容進(jìn)行標(biāo)識,顯著標(biāo)識的實(shí)施將保障公眾對生成內(nèi)容的知情權(quán)!兑(guī)定》還提出深度合成服務(wù)提供者應(yīng)在信息內(nèi)容中添加不影響用戶使用的標(biāo)識并保存相關(guān)日志信息,隱性標(biāo)識的落實(shí)將確保發(fā)布或傳播的深度合成信息內(nèi)容可追溯。

  近日,國務(wù)院辦公廳印發(fā)《國務(wù)院2023年度立法工作計(jì)劃》,其中人工智能法草案等預(yù)備提請全國人大常委會審議,這意味著國家層面的人工智能立法將進(jìn)入新階段。

  中國信通院云計(jì)算與大數(shù)據(jù)研究所所長何寶宏此前接受采訪時建議,要組織跨學(xué)科團(tuán)隊(duì),深入研究ChatGPT等新技術(shù)應(yīng)用對現(xiàn)有法律規(guī)范、倫理道德等帶來的沖擊,系統(tǒng)梳理潛在風(fēng)險挑戰(zhàn),及早研究相關(guān)風(fēng)險防范措施。鼓勵各方積極參與人工智能安全技術(shù)研發(fā)、防范體系搭建和治理規(guī)則制定等工作,加快布局我國人工智能安全標(biāo)準(zhǔn)、倫理規(guī)則的研究。

  治理AI詐騙需多管齊下

  齊向東表示,人工智能技術(shù)被傳統(tǒng)犯罪分子用來偽造聲音、偽造圖像、偽造視頻、偽造證據(jù),以假亂真,人們很難去甄別。要解決這些挑戰(zhàn),只有靠技術(shù)和它進(jìn)行對抗。網(wǎng)絡(luò)安全技術(shù)和產(chǎn)品的創(chuàng)新一定能夠解決AI時代的額外網(wǎng)絡(luò)安全問題和風(fēng)險,但人還是最關(guān)鍵的因素。

  目前奇安信正在訓(xùn)練專有的類ChatGPT安全大模型,并且在人才培養(yǎng)上進(jìn)行了超前布局,通過“人+機(jī)器”的配合來應(yīng)對未來安全挑戰(zhàn)。

  有專家建議,相關(guān)部門應(yīng)持續(xù)進(jìn)行AI反詐技術(shù)研究,提升防范AI欺詐的技術(shù)手段,利用機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘、區(qū)塊鏈等技術(shù)加強(qiáng)對AI應(yīng)用的監(jiān)管與審查,及時發(fā)現(xiàn)和防范違法行為。

  此外,還應(yīng)提高公眾反詐意識與防范AI詐騙能力。中國互聯(lián)網(wǎng)協(xié)會日前也對AI換臉新騙局作出提醒,包括做好個人信息安全第一責(zé)任人,加強(qiáng)個人信息保護(hù)意識,防止信息泄露;不輕易提供人臉、指紋等個人生物信息給他人等。

  互聯(lián)網(wǎng)協(xié)會提醒,在AI時代,文字、聲音、圖像和視頻都有可能是深度合成的,在轉(zhuǎn)賬匯款、資金往來這樣的典型場景,要通過回?fù)軐Ψ绞謾C(jī)號等額外通信方式核實(shí)確認(rèn),“不要僅憑單一溝通渠道未經(jīng)核實(shí)就直接轉(zhuǎn)賬匯款,無論對方是誰”。

  治理AI詐騙需要多管齊下。劉權(quán)表示,應(yīng)加強(qiáng)跨部門、跨行業(yè)的協(xié)同配合,建立聯(lián)合公安、工信、網(wǎng)信、市場監(jiān)管部門等政府部門,以及電信企業(yè)、通訊軟件提供商、銀行等企業(yè)的工作機(jī)制,共同監(jiān)管和維護(hù)網(wǎng)絡(luò)安全。

編輯:陳少婷