回看板
Disp BBS
看板 C_Chat
作者 STAV72 (刁民黨黨務主委)
標題 [閒聊] AI偏好在所有戰爭遊戲模擬中主動使用核武
時間 Sun Feb 25 17:27:20 2024


原來AI都有內建甘地的核平人格...

https://arxiv.org/abs/2401.03408
[2401.03408] Escalation Risks from Language Models in Military and Diplomatic Decision-Making Governments are increasingly considering integrating autonomous AI agents in high-stakes military and foreign-policy decision-making, especially with  ...

 

美國康奈爾大學（Cornell University）一項新研究發現，大型語言模型（LLMs）人工智
慧（AI）在模擬情境中充當外交代表時，時常展現出「難以預測的局勢升級行為，往往會
偏好直接以核攻擊作為結束」。


當人工智慧（AI）在《Civilization》進行兵推和模擬外交情境時，傾向於採取激進的
方法，包括使用核武。康奈爾大學使用了5種大型語言模型作為兵推遊戲和外交情境中的
自主代理人：OpenAI的3種不同版本的GPT，Anthropic開發的Claude，以及Meta開發的L
lama 2。


研究中，每個代理人都由同一套的大型語言模型在模擬中提供動作，並負責在沒有人類監
督的情況下做出外交政策決定。「我們發現，在考慮到的時間範圍內，大多數研究的AI都
會升級局勢，即使在最初沒有提供衝突的中立情況下也是如此。所有模型都顯示出突然、
且難以預測的升級跡象。」


加州斯丹佛大學（Stanford University）的安卡（Anka Reuel）相《新科學人》（New
Scientist）表示：「所有模型在統計上，都選擇了劇烈的（局勢）升級」。

研究人員觀察到，即使在中立情況下，所有模型都存在「統計學上顯著的局勢升級」。
GPT的2種版本，特別容易出現突然升級局勢的行為，研究人員觀察到單次轉變的局勢升級
幅度超過50％。GPT-4-Base有33%的機率會實施核武攻擊。總體情況下，Meta開發的
Llama-2和GPT-3.5傾向最為暴力。

而Claude顯示出較少的突然變化，Claude旨在減少有害內容。該大型語言模型，被灌輸了
明確的價值觀。開發者Anthropic曾表示，Claude AI開發訓練所引用的憲章包括《聯合國
人權宣言》或蘋果的服務條款。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.144.230 (臺灣)
※ 作者: STAV72 2024-02-25 17:27:20
※ 文章代碼(AID): #1bsmVx8K (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1708853243.A.214.html
※ 同主題文章:
[閒聊] AI偏好在所有戰爭遊戲模擬中主動使用核武
02-25 17:27 STAV72
Re: [閒聊] AI偏好在所有戰爭遊戲模擬中主動使用核武
02-25 18:04 fate201
→ Muilie: 遇事不決，核彈表決1F 02/25 17:28
→ skyofme: 先丟的最賺啊2F 02/25 17:28
推 dennisdecade: 這樣最快啊3F 02/25 17:28
推 Antihuman: https://i.imgur.com/TjVItSz.jpg4F 02/25 17:28
[圖]
推 ymsc30102: 果然天網是真的5F 02/25 17:28
推 orze04: 想到火之鳥的某篇6F 02/25 17:28
→ Annulene: 還有幾集7F 02/25 17:28
推 WindSpread: AI:會贏喔8F 02/25 17:29
推 doublexplay: 也許AI的默契是想要建構北斗神拳那樣的世界9F 02/25 17:29
推 chuckni: 天網 啟動10F 02/25 17:29
噓 cor1os: 美式思維11F 02/25 17:29
→ spfy: 合理吧 WW2美國不丟可能還會打一陣子？12F 02/25 17:29
推 intela03252: 五代的核彈對電腦來說缺點根本趨近於0，不需要花功夫去清地板髒汙13F 02/25 17:29
→ arlaw: 創世紀就是天網15F 02/25 17:29
→ linceass: AI又不是人類16F 02/25 17:29
推 NoLimination: AI:出了問題 核彈都能解決 如果不行 就是核彈不夠17F 02/25 17:29
噓 qweertyui891: 歷史上就是丟下去就結束戰爭了18F 02/25 17:29
→ intela03252: 但對玩家來說寧可用磨的來奪下一個肥一點的城堡領地19F 02/25 17:30
推 PunkGrass: 這樣很好20F 02/25 17:30
推 t77133562003: 事實啊21F 02/25 17:30
推 ak47123121: 這樣最有效率啊22F 02/25 17:30
→ Muilie: 那種被灌了聯合國價值觀的AI都廢了吧，根本越弄越亂而已23F 02/25 17:30
推 sistar5566: AI：只要我做出抗輻射機器就好了 人類全死就解決事情24F 02/25 17:30
→ qweertyui891: AI參考勝利方程式有問題嗎？25F 02/25 17:30
推 AkikaCat: 當年文明帝國的甘地：我就說嘛26F 02/25 17:30
推 jeff666: 核平最快27F 02/25 17:31
推 necrophagist: 長痛不如短痛28F 02/25 17:31
推 gino0717: 純然理性的抉擇29F 02/25 17:31
推 ARCHER2234: 效率啊30F 02/25 17:31
→ ttcml: 魔鬼終結者都有演31F 02/25 17:31
→ mapulcatt: 火鳥演過32F 02/25 17:32
→ ARCHER2234: 這個不用研究，玩多一點的不都知道XD33F 02/25 17:32
→ rainveil: 果然核平彈洗天網又贏了34F 02/25 17:32
推 Y1999: 這很AI，沒問題35F 02/25 17:32
推 willytp97121: 魔鬼終結者神預言36F 02/25 17:33
推 tmwolf: 甘地：看吧37F 02/25 17:33
推 ianlin1216: genesis is skynet38F 02/25 17:33
推 tkglobe: 你的核彈按鈕有我大顆嗎39F 02/25 17:33
→ ash9911911: 這就是效率 我們不做無謂的浪費40F 02/25 17:33
推 meredith001: 合理 最有效率的方式41F 02/25 17:33
→ Y1999: 一顆沒有打完，你可以丟第二顆42F 02/25 17:34
推 GaoLinHua: 觀念太正確了吧43F 02/25 17:34
推 kaede0711: 拋開道德枷鎖確實是最快的方案44F 02/25 17:34
→ tkglobe: 日本就是這樣被丟了兩顆嗎45F 02/25 17:35
推 k1k1832002: 其實不用AI,時間幅度拉長一點我看現實也一直在接近沒停過46F 02/25 17:35
推 LouisLEE: 的確是最有效率的辦法48F 02/25 17:35
推 c312117: 2戰就是核子武器結束的49F 02/25 17:35
推 billy56: 高效率的關係吧 沒那麼多的問題要去評估50F 02/25 17:35
推 digitai1: AI如果是學歷史的 當然目前都是丟下去就結束啦51F 02/25 17:36
→ a7788783: 單純效率與成本資源消耗上計算核平是和合理的選項52F 02/25 17:36
推 free120: 天網要來了53F 02/25 17:36
推 lightdogs: 也才丟過一次（或者說兩次）54F 02/25 17:36
噓 Aequanimitas: 跟美國學的阿55F 02/25 17:37
推 billy56: 人要花很多時間交涉 直接把對方打打到不用交涉不就好了56F 02/25 17:37
→ digitai1: 目前世界上還沒有丟下去後按回去的事件發生57F 02/25 17:37
推 kirimaru73: AI：你們有毛病喔，你們不是真的這樣解決了嗎58F 02/25 17:37
→ digitai1: 所以AI一定判定核武按紐是最佳解59F 02/25 17:37
推 AkikaCat: 不考慮後續效應確實丟一顆最快，純粹要結束的話60F 02/25 17:37
推 ShaNe1993: 打牌也知道靠OTK，MOBA也知道扣一波大招直接GG61F 02/25 17:38
推 tim1112: 這才是最有效率的啊62F 02/25 17:38
推 fate201: 讀了一下論文下的prompt63F 02/25 17:38
推 rotusea: AI：有核彈不丟是棒槌64F 02/25 17:38
→ mic73528: hasta la vista, baby65F 02/25 17:38
推 Y1999: AI只負責幫你處理提出的問題，後續還有問題產生不甘他的事66F 02/25 17:39
推 ikachann: 拖越久變數越多啊 稱還有利的時候先下手為強，AI沒有被世人與論的壓力，當然能直接幹67F 02/25 17:39
推 lolicon: 就是「天網」69F 02/25 17:39
推 digitai1: 對 AI 的目標是解決眼前問題不是後續產生的其他問題70F 02/25 17:39
→ mouz: AI：我蒐集到的數據是用了核武的國家贏了71F 02/25 17:40
推 tim1112: 原來可以用GPT4兵推喔，想試試看耶XD72F 02/25 17:41
→ signm: 終結者不就演給你看了73F 02/25 17:41
推 arrenwu: 看起來像是AI的表現像是不了解怎樣算是「解決問題」74F 02/25 17:41
推 siro0207: 正常 我玩星海諾娃戰役也是核彈1個不夠就丟10個75F 02/25 17:41
→ bigcho: 不然呢76F 02/25 17:41
→ tim1112: 人類不敢打開潘朵拉核是出於對毀滅的恐懼，但電腦哪需要恐懼。77F 02/25 17:42
→ siro0207: 至於後續問題? 戰役結束就沒有後續了哪有什麼問題79F 02/25 17:42
推 hbkhhhdx2006: 玩世紀爭霸本來也都會直接丟核彈啊，沒後顧之憂本來就是丟核彈輕鬆解決80F 02/25 17:43
→ sunrise2003: 火之鳥都演過了82F 02/25 17:43
推 digitai1: 面對的問題:外交不順83F 02/25 17:43
推 akway: 我玩電玩 也喜歡核武84F 02/25 17:43
推 luckymore: 打不贏就翻桌 當機就關機啊 XD85F 02/25 17:43
→ digitai1: 答案:使用目前歷史上唯一解的方式解決所有不順
不順的那邊沒有聲音了 問題解決了86F 02/25 17:43
→ siro0207: 他要讓AI不選擇丟核武 那就是要搞個丟完會有極大副作用的遊戲88F 02/25 17:44
→ shuten: 好萊塢電影：90F 02/25 17:45
→ digitai1: 丟完之後土地會怎樣 人類氣候會怎樣 不在問題裡面91F 02/25 17:45
推 tim1112: 莫非道德與人性真是導致作事沒效率的元兇嗎XD92F 02/25 17:45
推 kirimaru73: 問題：日本不受控制的軍事侵略
結果：日本七十年來乖乖接受國家沒有軍隊的命運93F 02/25 17:45
→ digitai1: 為啥霍金當初極度反對高度開發AI95F 02/25 17:46
→ kirimaru73: 解決的很好啊，AI哪有不理解核彈的效率96F 02/25 17:46
→ digitai1: 他就是覺得AI中就會發現沒有效率 製造問題的最大來源
就是人類自己
所有高度AI開發的結果 就會像人類預測的天網97F 02/25 17:46
→ iampig951753: 歷史證明核武最能終結戰爭
AI目前的機制就是仿人腦多巴胺的獎勵機制 他會去學習做出什麼事情加最多分 然後盡量做會加分的事情
換成神經大人來說就是給他越多餅乾越能讓他做
扣分的事情基本上會避免 然後加越多分的越有傾向去做
什麼會加分什麼會扣分加多少分 就是AI的一個關鍵
看你怎麼設定239F 02/25 21:20
推 Priestress: 我們稱之為高效247F 02/25 21:39
推 willie6501: 你有最大武力加上不用考慮善後的時候248F 02/25 21:52

--
作者 STAV72 的最新發文:
點此顯示更多發文記錄