來源：機器之心
要問最近 AI 圈哪個模型最火爆，你不得不把 OpenAI 推出的 ChatGPT 排在前面。自從發布以來，這個對話模型可謂是出盡風頭，很多人更是對其產生了一百個新玩法，讓它寫個代碼、修改修改 bug、開發個小游戲、解答一下物理知識、去參加一場考試 …… 仿佛沒有它不會的。
" 上周三才上線的 ChatGPT，短短幾天它的用戶已經突破 100 萬大關！"OpenAI 的 CEO Sam Altman 表示。
就連馬斯克都忍不住好奇地問了一句：" 你們每次聊天的平均成本是多少？"
" 每次聊天的平均費用可能只有個位數，我們試著找出更精確的方法以及正在嘗試如何優化它。"Sam Altman 回答道。
由于 ChatGPT 在解決各種問題上的能力過于優秀，很多用戶都表示 ChatGPT 可以取代 Google 等搜索引擎和 Stack Overflow 等編程問答社區了。
不過，雖然許多用戶對 ChatGPT 的功能印象深刻，但其他人也注意到它一直傾向于生成似是而非的錯誤答案。例如，要求 ChatGPT 寫一個公眾人物的傳記，它可能會很自信地插入不正確的傳記數據。再比如要求它解釋如何為特定功能編寫軟件程序，它同樣可以生成可信但最終不正確的代碼。
圖源：https://twitter.com/CT_Bergstrom/status/1598212037901160448
ChatGPT 隨時都有可能出錯情況也促使 Stack Overflow 做出了一些反應。前兩天還有人信誓旦旦的表示 ChatGPT 可以取代 Stack Overflow 了，令人沒想到的是，今天 Stack Overflow 反手就把 ChatGPT 給封殺了。
這是怎么回事，原來在試用了一段時間后，人們很快發現，雖然 ChatGPT 以接近人類的方式回答提示，但它給出的答案可能存在缺陷。OpenAI 也提到這一點，ChatGPT 有時會給出看似合理但不正確或荒謬的答案。
對于這一問題，Sam Altman 也表示：" 我們正在試圖阻止 ChatGPT 隨機編造，現階段讓其與當前技術保持平衡是很棘手的。隨著時間的推移，我們會根據用戶反饋來改進它，相信 ChatGPT 會變得更好。"
關于 Stack Overflow 為何禁用 ChatGPT，官方表示：" 主要問題在于，雖然 ChatGPT 產生的答案錯誤率很高，但我們很難看出來它哪里錯了。" 這會造成問題回答魚目混珠的情況。
接下來，Stack Overflow 將制定關于使用此工具和其他類似工具的具體要求。
Stack Overflow 宣布暫時封禁 ChatGPT 是因為它生成的答案正確率太低，發布由 ChatGPT 創建的答案對網站和查詢正確答案的用戶來說是非常有害的。
雖然 ChatGPT 生成的答案有很高的錯誤率，但這些答案通常看起來不錯，而且生成答案的操作簡單容易，許多人愿意嘗試使用 ChatGPT 創建答案，但卻沒有專業知識或不愿意在發布之前驗證答案是否正確。
最近幾天，由于使用 ChatGPT 生成答案迅速簡單，所以 Stack Overflow 上涌現了大量該模型生成的答案。這些答案通常需要具備一些專業知識的人詳細閱讀才能確定答案實際上 是錯誤的。這種情況讓 Stack Overflow 的質量管理遭到沖擊。
對于 Stack Overflow 封禁 ChatGPT，網友們紛紛表達了自己的看法。
有人表示贊成，認為 AI 短時間內根本不可能生成完全正確的答案：
有人表示問題出在 Stack Overflow 用戶在發布答案之前，沒有認真檢查和測試 ChatGPT 生成的代碼，他們只是用 ChatGPT 快速生成答案并發布，導致答案中出現嚴重錯誤，甚至編程語言都是錯亂的。
有趣的是，Stack Overflow 宣布封禁 ChatGPT 之后，有網友 " 詢問 "ChatGPT：" 為什么 Stack Overflow 禁止用 AI 生成答案？"
ChatGPT 的回答非常誠實：" 因為 AI 生成的答案不總是準確或相關的，可能會導致 Stack Overflow 上混淆錯誤答案，誤導在尋求幫助的用戶。" 并且還表態："Stack Overflow 禁止用 AI 生成答案是合理的。"
然后該網友又追問 ChatGPT：" 為什么 Stack Overflow 允許用 AI 生成答案？" 即使這只是個假設情況，但 ChatGPT 還是對答如流：
在 Stack Overflow 上允許 AI 生成的答案有一些潛在的好處。一方面，人工智能可能會為用戶的問題提供更準確和詳細的答案。這對于人類專家可能難以回答的復雜技術問題特別有用。此外，AI 生成答案可以幫助減少人類專家的工作量，使他們能夠專注于更重要的任務。
然而，使用 AI 生成答案也有一些潛在的缺點需要考慮。例如，AI 生成的答案可能并不總是準確或有幫助的，而且人們可能擔心用于生成答案的算法存在偏見。用戶可能也對使用 AI 生成答案有顧慮，更愿意從人類專家那里得到答案。
總的來說，是否允許 AI 在 Stack Overflow 上生成答案是一個復雜的決定，需要社區仔細考慮。
綜合上面回答，我們發現 ChatGPT 頗有自知之明，對 Stack Overflow 禁用 AI 生成答案的問題也闡述得有理有據。這說明從語言模型的角度講，ChatGPT 已經非常成熟，但生成知識型內容并不是一件簡單的事。
類似地，上個月 Meta 的模型 Galactica 上線僅兩天后就火速下架，因為該模型生成的知識型內容存在嚴重錯誤。現在 ChatGPT 被 Stack Overflow 禁用再度證明構建 " 知識型模型 " 是一個巨大的挑戰。
ChatGPT 的研究團隊此前表示將根據用戶反饋持續改進模型，但生成錯誤答案的現狀表明，讓語言模型生成正確的知識內容還有很長的路要走。
