人工智慧系統的持續學習和記憶

AI讓計算機幾乎能夠像人類一樣行動和回應。通過向計算機提供大量信息並訓練其識別其中的模式,AI可以進行預測、解決問題,甚至從自己的錯誤中學習。除了數據外,AI還依賴於算法 - 一系列必須按照正確順序遵循的規則來完成任務。

Share
人工智慧系統的持續學習和記憶

近年來,人工智慧(AI)技術的發展飛速,正在改變現代生活的各個方面。然而,一些專家擔心AI技術可能被用於惡意目的,並對工作帶來威脅。

AI技術及其運作方式

AI讓計算機幾乎能夠像人類一樣行動和回應。通過向計算機提供大量信息並訓練其識別其中的模式,AI可以進行預測、解決問題,甚至從自己的錯誤中學習。除了數據外,AI還依賴於算法 - 一系列必須按照正確順序遵循的規則來完成任務。這項技術應用在語音控制的虛擬助手Siri和Alexa上,使Spotify、YouTube和BBC iPlayer能夠推薦下一步要播放的內容,並幫助Facebook和Twitter決定向用戶展示哪些社交媒體帖子。

AI讓亞馬遜能夠分析客戶的購買習慣,推薦未來的購買,該公司還利用這項技術打擊虛假評論。

人工智慧的挑戰

然而,要達到這樣的高度,科學家們仍然需要克服一個主要障礙,即學會如何規避機器學習中的「記憶損失」,即在AI代理中被稱為「災難性遺忘」的過程。當人工神經網絡接連訓練一個新任務之後,它們往往會失去先前任務獲得的信息,這個問題在社會越來越依賴人工智慧系統的情況下可能變得問題重重。俄亥俄州立大學計算機科學和工程學教授Ness Shroff表示:「在自動駕駛應用或其他機器人系統學習新知識時,重要的是它們不要忘記已經學過的知識,以確保我們的安全和它們的安全。」

持續學習是一種讓電腦持續學習一系列任務的過程,利用其從舊任務中累積的知識來更好地學習新任務。然而,學者們發現要克服災難性遺忘這個問題還有一個關鍵:讓機器學習算法更加類似人類學習。他們發現,就像人們在回憶相似情境的對立事實時有困難,但對於內在不同的情況卻可以輕易回憶,人工神經網絡在連續接收多樣任務時更容易回憶信息,而不是接收具有相似特徵的任務。

研究人員發現,在持續學習過程中,任務的相似性、正面和負面的相關性以及算法學習任務的順序都會影響人工網絡保留特定知識的時間。為了優化算法的記憶,不同的任務應該在持續學習過程的早期進行教導。這種方法擴展了網絡對新信息的容量,並提高了其隨後學習更相似任務的能力。

研究報告背後的意義

這項研究對於AI的持續學習和記憶機制具有重要意義。學會這種動態、終身的學習能力,將使科學家能夠更快速地擴展機器學習算法,並輕鬆地適應不斷變化的環境和意外情況。而最終目標是使這些系統在某一天能夠模仿人類的學習能力。

此前傳統的機器學習算法都是一次性地對數據進行訓練,但該研究小組的發現顯示,像任務的相似性、正面和負面的相關性以及算法接收任務的順序這樣的因素在人工網絡保留特定知識的時間方面都有影響。

未來展望

該研究的結果為機器和人腦之間的相似性提供了理解,為更深入了解人工智慧鋪平了道路。Shroff表示:「我們的工作預示著一個新的智能機器時代,這些機器可以像人類一樣學習和適應。」未來,這將使得科學家們能夠更好地設計智能系統,使其在不斷學習和應用中更加靈活和智能。

此項研究得到了美國國家科學基金會和美國陸軍研究辦公室的支持。科學家們相信,通過深入研究機器學習中的持續學習和記憶機制,未來AI系統將能夠更好地滿足人類社會的需求,並為人類生活帶來更多便利和安全。然而,他們也表示,這只是AI技術發展的開始,仍需要進一步的努力和探索。隨著人工智慧技術不斷進步,我們將迎來更多關於機器學習的驚人發現,並期待AI技術在未來為我們帶來更多的創新和進步。

(原文出自:https://www.sciencedaily.com/releases/2023/07/230720124956.htm)

Read more

智譜 Z.ai 官方發布:Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure

智譜 Z.ai 重磅揭密「模型自造基礎設施」!GLM-5.3 帶領 Infra Agent 於 10 萬國產算力卡兩週吞吐飆 3 倍:Ox Alpha 身分正式揭曉、稠密反饋擊破 GIL 鎖死瓶頸與遞歸自我改進(RSI)黎明深度解析

智譜 AI(Z.ai)發表《Toward Recursive Self-Improvement》技術震撼彈!證實 8 月在 OpenRouter 橫掃 62 兆 Token 的匿名模型 Ox Alpha 真身為 GLM-5.3-Flash。更首度揭露 GLM-5.3 驅動的 Infra Agent 如何在超過 10 萬張國產算力卡叢集上自主修復底層算子精度與 Python GIL 鎖死,兩週內將推論吞吐拉升 3 倍,能效逼平 NVIDIA。深度剖析稠密反饋機制與「模型優化系統,系統運行模型」的 RSI 黎明。

Google DeepMind Dream-RSI 遞歸自我改進框架官方主視覺海報

讓 AI 在歷史中「做夢」實現自我進化!Google DeepMind 發表 Dream-RSI:告別微調權重,探索算力成本暴降 162 倍,揭開遞歸自我改進(RSI)新範式

Google DeepMind 震撼發表 Dream-RSI(arXiv:2609.14858)!首創將歷史發現樹轉化為經驗回放模擬器,讓 AI 在低成本「夢境」中自我進化探索策略。Lasso 算法任務算力調用縮減 162 倍且超越 scikit-learn,刷新幾何極值與 GPU Kernel 性能,開啟安全高槓桿的 AGI 自展新範式。

QuiverAI 正式發表新一代向量生成模型 Arrow 2 與 Arrow 2 Telos

告別點陣像素與描摹地獄!a16z 押注 830 萬美元,QuiverAI 正式發表 Arrow 2 與 Arrow 2 Telos:首款原生代碼向量世界模型登場,幾何拓撲優化、微動畫與 MCP 代理革命深度解析

傳統生成式 AI 沉溺於像素點陣,但真實的軟體與設計世界由向量(SVG)統治!由 Mila 頂尖學者 Joan Rodríguez 創立、a16z 領投 830 萬美元的 QuiverAI,重磅發表新一代雙旗艦模型 Arrow 2 與 Arrow 2 Telos。徹底終結傳統「AI 生圖再描摹」的節點爆炸災難,以原生代碼生成精準、少控制點的乾淨幾何,並首創 SVG 微動畫引擎與原生 MCP 協議支援。本文深度拆解雙模型架構、拓撲優化技術、動畫原理解析、Cursor/VS Code Agent 整合實務與完整計費定價。