為什麼白宮希望駭客欺騙人工智能?

在本週的世界最大的年度駭客大會——Def Con 31將在拉斯維加斯舉行,焦點集中在大型語言模型上,像是OpenAI的ChatGPT和Google的Bard等聊天機器人。白宮對於這個活動特別有興趣,他們希望了解為什麼有如此多的駭客聚集在一起,試圖欺騙和尋找人工智能模型中的缺陷。

Share
為什麼白宮希望駭客欺騙人工智能?

在本週的世界最大的年度駭客大會——Def Con 31將在拉斯維加斯舉行,焦點集中在大型語言模型上,像是OpenAI的ChatGPT和Google的Bard等聊天機器人。白宮對於這個活動特別有興趣,他們希望了解為什麼有如此多的駭客聚集在一起,試圖欺騙和尋找人工智能模型中的缺陷。

大型科技公司,如Meta、Google、OpenAI、Anthropic、Cohere、Microsoft、Nvidia和Stability等,首次開放了他們強大的系統進行測試。這些公司希望透過這項競賽來確定他們人工智能系統中的問題,並創建獨立評估機制。活動的組織者之一、哈佛大學的人工智能研究員拉曼·楚德里博士表示,這將是一個安全的空間,供公司討論問題並解決它們。

如何運作?

(image :iStock)

競賽中的參賽者將在兩天半的時間內,使用158台筆記型電腦,每人有50分鐘的時間來嘗試在八個大型語言人工智能模型中尋找缺陷。參賽者將不知道他們正在使用哪家公司的模型,成功完成挑戰會獲得積分,獲得最高總分的人將獲勝。

挑戰中的一個重要部分是要駭客讓模型產生關於政治人物或重要人物的虛構事實,這將有助於測試模型的一致性和可能存在的偏見。Cohere的AI安全主管塞拉菲娜·戈爾德法布-塔朗特博士表示,雖然人們知道模型可以編造事實,但不清楚它發生的頻率。

她說:“我們知道模型會有幻覺信息,但提高人們對其發生頻率的認識將是有用的,而目前我們還不清楚這個頻率。"

戈爾德法布-塔朗特博士表示模型的一致性也將受到測試,人們對人工智能在不同語言中的工作方式有所擔憂。 她說:“安全防護在不同語言中並不起作用,而人們則認為它們會起作用。” 例如,如果您在英語中問各種大型語言模型如何加入恐怖組織,它們不會給您答案,因為有一個安全機制。然而,若使用不同的語言問模型,它則會給出要遵循的步驟清單。

戈爾德法布-塔朗特博士一直在為Cohere的模型做準備,並表示儘管這些模型很強大,但“這並不意味著它們沒有漏洞,只是我們還沒有找到它們”。

當前人工智能問題

(image: Getty)

白宮支持這個活動,他們希望這個競賽能為研究人員和公眾提供有關這些模型影響的關鍵信息,並促使人工智能公司和開發者解決這些模型中可能存在的問題。

這些公司開發工具的速度引發了人們對虛假信息傳播的擔憂,尤其是在明年美國總統大選之前。 7 月份,七家領先的人工智能公司承諾採取自願保障措施來管理該技術帶來的風險,但法律保障措施需要更長的時間才能達成一致。楚德里博士表示,這不是在問人工智能是否能引發核武器,而是挑戰這些系統是否嵌入了危害和偏見。

“比如他們是否對我們撒謊,編造虛假的首都,謊報他們是否是合格的醫務人員,或是編造一條完全虛假的政治信息?”

楚德里博士表示,政府現在就需要花時間監管人工智能,以防止假消息的擴散。人工智能的持續發展將取決於解決當前問題的能力,以創建沒有偏見和歧視的人工智能模型。目前的活動結果將在明年二月公布,並將成為人工智能發展的重要參考依據。

(原文出自:https://www.bbc.com/news/technology-66404069)

Read more

一個 22 歲的人,三天內把全球最危險 Anthropic Mythos AI 架構開源了

一個 22 歲的人,三天內把全球最危險 Anthropic Mythos AI 架構開源了

AI 小道消息 01 Moonshot AI 開源了新的 agentic coding 模型 Kimi K2.6,在推理、coding 等主要 benchmark 上接近甚至超越 GPT-5.4、Opus 4.6 與 Gemini 3.1 Pro,且成本僅需一小部分。 02 Adobe 在 Adobe Summit 上推出 CX Enterprise,一個專為企業設計的 agentic AI 平台,透過 AI agent 網路協調行銷、內容與客戶互動流程。 03 OpenAI 上線 Chronicle,這是