無(wú)論是中國(guó)還是美國(guó)，很多人在選擇餐館或者酒店的時(shí)候，主要依靠網(wǎng)上的點(diǎn)評(píng)，比方說(shuō)大眾點(diǎn)評(píng)或者Yelp等等。

某種程度上，口碑已經(jīng)成為不少企業(yè)的命脈，變成服務(wù)和產(chǎn)品質(zhì)量的永久記錄。與此同時(shí)，不公平或者虛假的點(diǎn)評(píng)也讓企業(yè)憂心忡忡，這些有可能來(lái)自憤怒的顧客，也有可能來(lái)自競(jìng)爭(zhēng)對(duì)手。

水軍，在全球都是一個(gè)讓人頭疼的問(wèn)題，以后可能會(huì)更疼了：

人工智能（AI）已經(jīng)學(xué)會(huì)自動(dòng)編寫(xiě)虛假點(diǎn)評(píng)了。

整個(gè)點(diǎn)評(píng)口碑界正面臨潛在卻是嚴(yán)重的沖擊。如果AI創(chuàng)造的虛假點(diǎn)評(píng)泛濫，最終將導(dǎo)致全部點(diǎn)評(píng)信息可信度急劇下降。技術(shù)進(jìn)步，這一次又給社會(huì)帶來(lái)了（令人擔(dān)憂的）影響。

不知道許知遠(yuǎn)會(huì)不會(huì)更焦慮了。

“這對(duì)整個(gè)社會(huì)是一個(gè)巨大的威脅，不但會(huì)讓依靠點(diǎn)評(píng)信息的用戶失望，而且會(huì)動(dòng)搖人類(lèi)對(duì)于真實(shí)和虛假的信念，我認(rèn)為后者更讓人擔(dān)心”，芝加哥大學(xué)計(jì)算機(jī)科學(xué)教授趙燕斌（Ben Y． Zhao）說(shuō)。

　以假亂真

《在線點(diǎn)評(píng)系統(tǒng)中的自動(dòng)眾包攻擊和防御》是趙燕斌等芝加哥大學(xué)研究人員發(fā)布的一篇論文。他們的研究說(shuō)明，人工智能可以被用來(lái)生成復(fù)雜的點(diǎn)評(píng)信息。這些虛假的點(diǎn)評(píng)不僅機(jī)器無(wú)法檢測(cè)出來(lái)，就連人類(lèi)讀者也分辨不出來(lái)。

這篇論文今年晚些時(shí)候會(huì)在計(jì)算機(jī)安全頂級(jí)會(huì)議ACM CCS上展示。

所謂復(fù)雜的點(diǎn)評(píng)信息，大概是這個(gè)樣子：“我喜歡這個(gè)地方。我跟我哥一起去的，我們點(diǎn)了素食意大利面，很好吃。啤酒不錯(cuò)，服務(wù)也很棒。推薦這個(gè)地方，是個(gè)吃早餐的好去處。地兒小但是買(mǎi)賣(mài)大”。

乍一看這個(gè)點(diǎn)評(píng)沒(méi)有什么奇怪的，里面包含一些具體的建議和可信的描述，雖然最后一句有點(diǎn)奇怪，但整體仍然是一段說(shuō)人話的表達(dá)。

實(shí)際上，這句話是一種稱為RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的深度學(xué)習(xí)技術(shù)生成的。這個(gè)RNN網(wǎng)絡(luò)使用了上千條真實(shí)在線點(diǎn)評(píng)訓(xùn)練而成。

研究人員表示，AI生成的點(diǎn)評(píng)已經(jīng)做到了“以假亂真”，有600個(gè)用戶參與的調(diào)查顯示，這些虛假的點(diǎn)評(píng)不僅能逃過(guò)人類(lèi)的法眼，而且還被用戶認(rèn)為“有用”。

“有用”是更可怕的事情：這表明虛假點(diǎn)評(píng)已經(jīng)可以對(duì)人類(lèi)造成影響。

反抄襲軟件也對(duì)這些虛假點(diǎn)評(píng)無(wú)能為力，因?yàn)檫@些點(diǎn)評(píng)是逐字生成的，而不是簡(jiǎn)單的替換已有點(diǎn)評(píng)中的用詞。如果使用反抄襲軟件檢測(cè)，不但很難檢測(cè)出虛假點(diǎn)評(píng)，而且會(huì)“誤傷”一大批真實(shí)的點(diǎn)評(píng)。RNN可不僅僅是對(duì)現(xiàn)有點(diǎn)評(píng)的復(fù)制。

人類(lèi)水軍面臨下崗

人類(lèi)手寫(xiě)的虛假點(diǎn)評(píng)，已經(jīng)是一個(gè)興盛的地下行業(yè)。只要有錢(qián)，你就能找到人幫你的產(chǎn)品寫(xiě)下正面的點(diǎn)評(píng)，后者給對(duì)手寫(xiě)下負(fù)面的評(píng)價(jià)。

現(xiàn)在，傳統(tǒng)水軍行業(yè)未來(lái)可能也要被AI取代了。

美國(guó)市場(chǎng)上，一段質(zhì)量較高的Yelp點(diǎn)評(píng)，可能價(jià)格能到10美元。不過(guò)一旦有了AI的幫助，君心叵測(cè)的人可以一分錢(qián)不用就生成上千條點(diǎn)評(píng)，而且一起放出以免引起懷疑。

好消息是，現(xiàn)在還沒(méi)有AI在現(xiàn)實(shí)世界中生成惡意虛假點(diǎn)評(píng)的案例。

壞消息是，構(gòu)建一個(gè)這樣的人工智能系統(tǒng)，并不需要太長(zhǎng)的時(shí)間，所需硬件市面上都能買(mǎi)到，所需的點(diǎn)評(píng)數(shù)據(jù)庫(kù)可以在網(wǎng)上輕易獲得。

　仍有對(duì)策

如果有人開(kāi)始大規(guī)模生產(chǎn)這種假點(diǎn)評(píng)，大眾點(diǎn)評(píng)、Yelp這樣的網(wǎng)站恐怕就沒(méi)有好日子過(guò)了，畢竟，它們的招牌就是來(lái)自用戶的真實(shí)點(diǎn)評(píng)，如果每一條都可能是假的，誰(shuí)又會(huì)繼續(xù)相信它們呢？

接下來(lái)淪陷的，會(huì)是淘寶京東亞馬遜之類(lèi)的電商，雖然趙燕斌說(shuō)至少它們還能限制只有買(mǎi)過(guò)該商品的用戶才能點(diǎn)評(píng)，但情況也不容樂(lè)觀。

不過(guò)，也有好消息。

研究者們說(shuō)，這種假點(diǎn)評(píng)也不是完全沒(méi)法防范，人類(lèi)覺(jué)得它們能以假亂真，但機(jī)器不見(jiàn)得這么看。用計(jì)算機(jī)去分析字符的分布等特征，他們就會(huì)發(fā)現(xiàn)真假點(diǎn)評(píng)之間存在著細(xì)微的差異。

假點(diǎn)評(píng)是從真實(shí)點(diǎn)評(píng)里學(xué)出來(lái)的，在這個(gè)過(guò)程中，難免會(huì)有信息流失。假點(diǎn)評(píng)注重的是流暢、可信，但像字符分布這種平時(shí)沒(méi)人關(guān)注的特征，就做得不那么好了。

“在訓(xùn)練過(guò)程中發(fā)生的信息遺失，會(huì)傳遞到生成出的文本中，”研究者們?cè)谡撐闹袑?xiě)道，“因此生成文本和人類(lèi)文本在基本字符分布上，有著統(tǒng)計(jì)上可檢測(cè)的差異。”

當(dāng)然，攻擊者也可以騙過(guò)檢測(cè)，換好一點(diǎn)的硬件，做更復(fù)雜一點(diǎn)的神經(jīng)網(wǎng)絡(luò)就行。但這種檢測(cè)的意義在于至少提高了攻擊的門(mén)檻，為他們?cè)O(shè)置了一些障礙。

如果攻擊的成本高到一定程度，大部分沒(méi)那么執(zhí)著的攻擊者也就收手了。趙燕斌說(shuō)：“這就是一種勝利，所有的安全工作都是這樣，提高攻擊的門(mén)檻。你永遠(yuǎn)沒(méi)辦法阻止那種目標(biāo)堅(jiān)定、身手老練的攻擊者。”

在一份郵件聲明中， Yelp發(fā)言人Rachel Youngblade說(shuō)他們“很欣賞這份研究指出了隨著欺騙點(diǎn)評(píng)系統(tǒng)的方法持續(xù)進(jìn)化，越來(lái)越復(fù)雜，Yelp這類(lèi)大型用戶點(diǎn)評(píng)網(wǎng)站在保障內(nèi)容真實(shí)性上面臨著重大挑戰(zhàn)。十年來(lái)，Yelp一直有保護(hù)內(nèi)容的系統(tǒng)，而正因?yàn)槠垓_手段越來(lái)越復(fù)雜，我們也持續(xù)迭代這些系統(tǒng)，來(lái)識(shí)別假點(diǎn)評(píng)，以及偏頗、沒(méi)有幫助的內(nèi)容。這份研究的作者們以Yelp系統(tǒng)作為‘真實(shí)’的代表，并承認(rèn)它的有效性，我們非常感激。”

“不過(guò)，這份研究創(chuàng)造的僅僅是看起來(lái)真實(shí)的點(diǎn)評(píng)文本，Yelp的推薦軟件使用了更整體的方法，除了文本之外，還使用了很多其他因素來(lái)決定是否推薦一條點(diǎn)評(píng)。如果某條點(diǎn)評(píng)沒(méi)有價(jià)值或有失偏頗，就算它是人類(lèi)做出的，我們也不會(huì)推薦。”

　不止于點(diǎn)評(píng)

點(diǎn)評(píng)是測(cè)試文本生成技術(shù)的理想場(chǎng)所。這個(gè)領(lǐng)域有明確的方向和目的，主體單一，遵循一個(gè)相當(dāng)標(biāo)準(zhǔn)的結(jié)構(gòu)，而且不長(zhǎng)。#虛假點(diǎn)評(píng)越長(zhǎng)，越容易被發(fā)現(xiàn)問(wèn)題#

但技術(shù)不會(huì)止步于此。

“所以，我們只是從在線點(diǎn)評(píng)開(kāi)始。你能相信某某人說(shuō)的那些關(guān)于餐館、商品的話嗎？但這類(lèi)研究還會(huì)繼續(xù)進(jìn)步。”

“它會(huì)進(jìn)步到更大的攻擊，可能博客上的整篇文章都完全是由機(jī)器人根據(jù)某個(gè)主題自動(dòng)生成的，這時(shí)候你就真的得想想信息是哪來(lái)的、如何驗(yàn)證……這是我們所有人過(guò)些年將要面對(duì)的，一個(gè)更大的挑戰(zhàn)。”

趙燕斌說(shuō)他想傳遞的信息很“簡(jiǎn)單”：“我希望人們能關(guān)注這類(lèi)攻擊途徑，把它們看做真實(shí)、迫切的威脅，”如果Yelp、亞馬遜這些網(wǎng)站的工程師們還沒(méi)有開(kāi)始考慮如何抵御，他希望他們立刻開(kāi)始思考。

教授希望“我們希望能吸引更多注意，不僅為了設(shè)計(jì)出能防御這類(lèi)攻擊的系統(tǒng)，還想讓更多人從平凡的視角，看到‘好AI’帶來(lái)的威脅。”

“我認(rèn)為，那么多人都在關(guān)注奇點(diǎn)、天網(wǎng)這些引人注目的AI威脅，但是那些很好很好的AI，能帶來(lái)很多更實(shí)際的、有顯示影響的威脅，而這只是冰山一角。”

他補(bǔ)充說(shuō)：“所以，我以希望安全界的人能和我一起，關(guān)注這類(lèi)問(wèn)題，這樣我們才有希望趕上。我認(rèn)為，AI以驚人的速度和加速度在發(fā)展，如果我們不立刻開(kāi)始研究如何抵御，可能永遠(yuǎn)都趕不上了。”

來(lái)源：量子位/李林 問(wèn)耕