人工智慧「突破」：神經網路具有類似人類的語言泛化能力
科學家們創建了一個具有類似人類能力的神經網絡，可以對語言進行概括1。人工智慧 (AI) 系統在將新學到的單字折疊到現有詞彙中並在新的上下文中使用它們方面的表現與人類差不多，這是人類認知的關鍵方面，稱為系統泛化。
科學家們創建了一個具有類似人類能力的神經網絡，可以對語言進行概括1。人工智慧 (AI) 系統在將新學到的單字折疊到現有詞彙中並在新的上下文中使用它們方面的表現與人類差不多，這是人類認知的關鍵方面，稱為系統泛化。
研究人員為聊天機器人ChatGPT背後的人工智慧模型賦予了同樣的任務，結果發現，儘管聊天機器人具有以類似人類的方式進行交談的不可思議的能力，但它在此類測試中的表現比新的神經網絡或人類要差得多。
這項研究於 10 月 25 日發表在《自然》雜誌上，它可能會導致機器與人類的互動比當今最好的人工智慧系統更自然。儘管基於大型語言模型的系統（例如 ChatGPT）擅長在許多上下文中進行對話，但它們在其他上下文中表現出明顯的差距和不一致。
馬裡蘭州巴爾的摩約翰霍普金斯大學專門研究語言的認知科學家保羅‧斯莫倫斯基 (Paul Smolensky) 表示，神經網路類似人類的表現顯示「訓練網路系統化的能力取得了突破」。
語言課程
系統概括表現為人們在新環境中毫不費力地使用新學到的單字的能力。例如，一旦有人掌握了「photobomb」一詞的含義，他們將能夠在各種情況下使用它，例如「photobomb 兩次」或「photobomb 在 Zoom 通話期間」。同樣，理解「貓追狗」這句話的人也無需多加思考就能理解「狗追貓」。
但紐約大學認知運算科學家、研究的合著者布倫登·萊克(Brenden Lake) 表示，這種能力並不是神經網路與生俱來的，神經網路是一種模擬人類認知的方法，主導了人工智慧研究。與人類不同的是，神經網路很難使用一個新單詞，直到它們接受了許多使用該單詞的樣本文本的訓練。近 40 年來，人工智慧研究人員一直在爭論，如果神經網路無法證明這種系統性，它們是否可以成為人類認知的合理模型。DeepMind AI 像嬰兒一樣學習簡單的物理
為了解決這個爭論，作者首先測試了 25 個人，以了解他們在不同情況下運用新學到的單字的能力。研究人員透過使用兩類無意義單字組成的偽語言進行測試，確保參與者第一次學習這些單字。諸如“dax”、“wif”和“lug”之類的“原始”詞代表基本的、具體的動作，例如“跳過”和“跳躍”。更抽象的「功能」字詞（例如「blicket」、「kiki」和「fep」）指定了使用和組合基元的規則，從而產生「跳三次」或「向後跳」等序列。
參與者接受訓練，將每個原始單字與特定顏色的圓圈聯繫起來，因此紅色圓圈代表“dax”，藍色圓圈代表“lug”。然後，研究人員向參與者展示了原語和功能詞的組合以及將功能應用於原語時會產生的圓圈圖案。例如，短語「dax fep」以三個紅色圓圈顯示，「lug fep」以三個藍色圓圈顯示，表示fep表示將原語重複三次的抽象規則。
最後，研究人員透過提供參與者原語和函數的複雜組合來測試參與者應用這些抽象規則的能力。然後，他們必須選擇正確的顏色和圓圈數量，並將它們按適當的順序放置。
認知基準
正如預測的那樣，人們在這項任務上表現出色。平均而言，他們在大約 80% 的時間內選擇了正確的彩色圓圈組合。當他們確實犯了錯誤時，研究人員注意到這些錯誤遵循了反映已知人類偏見的模式。
接下來，研究人員訓練一個神經網路來完成類似於向參與者展示的任務，透過對其進行程式設計以從錯誤中學習。這種方法允許人工智慧在完成每項任務時進行學習，而不是使用靜態資料集，這是訓練神經網路的標準方法。為了使神經網路變得像人類一樣，作者訓練它重現他們在人類測試結果中觀察到的錯誤模式。當神經網路在新的謎題上進行測試時，它的答案幾乎與人類志願者的答案完全一致，並且在某些情況下超過了他們的表現。
相較之下，GPT-4 在完成相同的任務時遇到了困難，平均失敗率在 42% 到 86% 之間，具體取決於研究人員如何呈現任務。「這不是魔法，而是練習，」萊克說。“就像孩子在學習母語時也會得到練習一樣，這些模型通過一系列作曲學習任務來提高他們的作曲技能。”
新墨西哥州聖塔菲研究所的電腦和認知科學家Melanie Mitchell 表示，這項研究是一個有趣的原理證明，但這種訓練方法是否可以擴展到更大的資料集甚至更大的資料集上，還有待觀察。到圖像。萊克希望透過研究人們如何從小培養系統概括的技巧，並結合這些發現來建立更強大的神經網絡，從而解決這個問題。
德國奧斯納布呂克大學自然語言處理專家 Elia Bruni 表示，這項研究可以讓神經網路成為更有效率的學習者。這將減少訓練 ChatGPT 等系統所需的大量數據，並最大限度地減少“幻覺”，當人工智慧感知到不存在的模式並創建不準確的輸出時，就會出現“幻覺”。「將系統性注入神經網路是一件大事，」布魯尼說。“它可以同時解決這兩個問題。”
doi：https://doi.org/10.1038/d41586-023-03272-3
