光明圖片/視覺中國

如果要問DeepSeek、ChatGPT、文心一言、豆包、Kimi等生成式大模型最廣泛的用法是什么，學生黨的回答可能是：寫作業(yè)。很多人發(fā)現(xiàn)，AI生成的文字，可能比自己寫得更優(yōu)美、更流暢、更嚴謹。但這種便利無疑給學校管理者帶來了麻煩——如何監(jiān)督學生，不把自主思考讓位給人工智能？在操作層面，這個難題就是——如何精準識別AIGC（AI生成內(nèi)容）？

專家也難辨真假

記者調(diào)研發(fā)現(xiàn)，現(xiàn)如今，大學生利用AI輔助完成作業(yè)、畢業(yè)論文（設(shè)計）的情況已非常普遍。對此，全國多所高校都在試行或出臺相關(guān)規(guī)定辦法，規(guī)范大學生對AI工具的使用。今年畢業(yè)季，部分高校提出要求，學生的畢業(yè)論文除了要通過查重外，還需檢測AIGC工具使用情況。

但現(xiàn)實中，不少學生反映，一些AI檢測工具存在誤判問題：有的學生在同一平臺對同一文檔進行AI檢測，第一天的檢測率為10%，第二天上升至20%多；有的學生論文中的原創(chuàng)內(nèi)容被系統(tǒng)判定為AI生成；更有學生發(fā)現(xiàn)，即便論文主要內(nèi)容是公式、著名作家的經(jīng)典文章，系統(tǒng)也會顯示AI檢測率超標……

AIGC，很難選、很難評？確實如此。

發(fā)表在《應用語言學研究方法》上的一則研究，討論了頂級期刊的語言學家、評論家能夠在多大程度上區(qū)分AI寫作和人工寫作——72位專家參與了這項調(diào)研，結(jié)果專家的正確率不足40%。

從共同處找不同

目前，如何精準識別AIGC，已經(jīng)成為人工智能學術(shù)界研究的熱點。這不單單是為了督促學生們認真學習，更在科研、法律、政策、經(jīng)濟管理等方面，有巨大的潛在需求。那么，如何研發(fā)出一款“靠譜”的檢測工具呢？

西湖大學自然語言處理實驗室負責人張岳認為，要在共同處找不同。

他說：“盡管我們作為‘人’，很難準確揪出AI生成的文字，但面對AI撰寫的文字時，總有一種說不上來的‘別扭’。這種別扭，或許是來自潛意識里的直覺判斷，但卻說不清道不明?！?/p>

事實上，機器生成的文本與人類生成的文本看起來很像，但在語義、語法、用詞習慣等細節(jié)處理上，存在許多不同。

“人類的思考是‘因果性’的，而機器的思考則偏向‘統(tǒng)計性’?！睆堅肋M一步解釋，“以寫文章為例，AI的寫法是學習現(xiàn)有數(shù)據(jù)，從中挑選最‘安全穩(wěn)妥’的詞，也就是按照概率高低來選詞，這和人寫作的創(chuàng)造性是有本質(zhì)區(qū)別的?！?/p>

如果現(xiàn)在有一個數(shù)據(jù)庫，里面裝著人類歷史上100位著名作家的文章。當AI用“統(tǒng)計性”學習這個數(shù)據(jù)庫，它學到的不是這些作家的“神來之筆”，而是他們之間共用的、出現(xiàn)頻率更高的詞。

這個詞，叫“平庸”。

因何如此？

張岳認為，癥結(jié)在于AI缺少“泛化性”，即模型的“適應能力”。換言之，模型不能借助訓練數(shù)據(jù)中學到的因果邏輯舉一反三，并將這種能力拓展應用至未曾接觸過的領(lǐng)域。

用AI識別AI

日前，西湖大學自然語言處理實驗室研發(fā)出的一款AI程序Fast-DetectGPT，試圖用AI“打敗”AI。而這款工具，本質(zhì)上就是“找不同”。

張岳介紹，目前已知主要有三類技術(shù)來識別AI生成的內(nèi)容：監(jiān)督分類器法、零樣本分類器法、文本水印法，用起來各有利弊。

監(jiān)督分類器法比較實在，它需要收集大量的已知數(shù)據(jù)并做分類學習，就像學生上課，碰到?jīng)]有見過、學過的數(shù)據(jù)，就會找不著北，導致準確率下降。

零樣本分類器法，顧名思義無需收集數(shù)據(jù)，它主要是學習AI寫的文本有什么特征，以此來做區(qū)分判斷。但是，AI寫文章到底有什么特征呢？如果AI寫得越來越像人，特征越來越不明顯怎么辦？這便是其中難點。

文本水印法，與前兩種方法的邏輯不同，它是在AI生成的文本上打上水印，準確率比前兩種都要高，但可能存在水印被人為弱化甚至移除的風險。

作為Fast—DetectGPT主要研發(fā)者，西湖大學博士研究生鮑光勝選擇用零樣本分類器法完成這項實驗。

他提出一種假設(shè)——在給定上下文情況下，人類和AI在選擇詞匯時會存在明顯差異，但不同AI模型之間的差異并不明顯。研究團隊針對這種差異，開發(fā)了一種自動化的指標進行區(qū)分。

“我們可以把它理解成，面對一篇文章，F(xiàn)ast—DetectGPT作為AI會先想想，自己會怎么寫？然后根據(jù)這個自問自答的參考答案，去比對原文，看看重合度有多高——以子之矛，攻子之盾?！滨U光勝說。

他進一步解釋，當程序接收到一個文本片段，首先會在不改變原意的情況下進行改寫，把局部的同義詞替換掉，再將這份替換后的文本與原始文本進行對比，如果是AI寫的，兩者之間的相似性會比較明顯。

簡單來說，AI對AI寫的內(nèi)容更“熟悉”，可以“認出”同類的作品。

效果怎么樣？

張岳介紹，目前，F(xiàn)ast—DetectGPT及其私有模型擴展Glimpse能夠支持26種語言。2024年4月上線至今，已經(jīng)有450多萬人次用它做過“是AI還是人”的檢測。與上一代DetectGPT相比，F(xiàn)ast—DetectGPT在速度上提升了340倍；在檢測準確率上相對提升約75%——在ChatGPT生成文本上，檢測正確率為96%；在GPT—4生成的文本上，檢測的正確率達到了90%；針對DeepSeek—v3生成文本的檢測，正確率則達89%。

“當然，面對當前不斷迭代更新的大模型，科研團隊將持續(xù)研究，以幫助公眾精準識別AIGC?！睆堅勒f。（記者晉浩天 通訊員張弛）