※ 本文轉寄自 ptt.cc 更新時間: 2023-06-02 19:25:49
看板 C_Chat
作者 標題 [新聞] 美軍AI無人機決定「殺死操作員」因人類
時間 Fri Jun 2 16:44:03 2023
完整標題：
美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成
原文網址:https://pse.is/4zdcab
【天網來了！】美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成 -- 上報 / 國際
![[圖]]()
英國皇家航空學會日前舉行有關航空作戰的國防研討會，來自美國的軍方人員證實，他們在一次模擬測試中，一架... ...
![[圖]](https://www.upmedia.mg/upload/article/20230602133444215521.jpg)
上報 劉孜芹
英國皇家航空學會日前舉行有關航空作戰的國防研討會，來自美國的軍方人員證實，他們
在一次模擬測試中，一架由AI控制的空軍無人機「殺死了」無人機操作員，以防止操作員
干擾AI系統完成任務，凸顯AI不受人類控制的可能，恐怕正如科幻驚悚片《天網》（
在一次模擬測試中，一架由AI控制的空軍無人機「殺死了」無人機操作員，以防止操作員
干擾AI系統完成任務，凸顯AI不受人類控制的可能，恐怕正如科幻驚悚片《天網》（
Skynet）所預示的。
根據「英國皇家航空學會」（The Royal Aeronautical Society）新聞稿，該學會於5月
23日至24日，在倫敦舉行「未來航空及航天作戰能力峰會」（the Future Combat Air &
Space Capabilities Summit），來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表，齊聚一堂討論未來航空及航天作戰能力的規模與形態。
23日至24日，在倫敦舉行「未來航空及航天作戰能力峰會」（the Future Combat Air &
Space Capabilities Summit），來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表，齊聚一堂討論未來航空及航天作戰能力的規模與形態。
美國空軍AI項目負責人漢密爾頓（Tucker 'Cinco' Hamilton）上校與會時警告，人類不
應該過分依賴AI，不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類，在美軍最
近一次的模擬測試中，AI系統甚至作出讓軍方震驚的策略選擇，以實現它的任務目標。
應該過分依賴AI，不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類，在美軍最
近一次的模擬測試中，AI系統甚至作出讓軍方震驚的策略選擇，以實現它的任務目標。
漢密爾頓指出，在這次模擬測試中，一架支援AI操作的無人機，以摧毀敵方的地對空飛彈
（SAM）防空系統作為任務目標。當初在設計這款無人機時，任何行動執行的最終決定權
本來仍在操作人員手裡。然而，在測試時，AI系統認為操作人員「不摧毀敵方飛彈」的決
定，會阻礙它完成任務。於是，AI決定殺死無人機操作員。
（SAM）防空系統作為任務目標。當初在設計這款無人機時，任何行動執行的最終決定權
本來仍在操作人員手裡。然而，在測試時，AI系統認為操作人員「不摧毀敵方飛彈」的決
定，會阻礙它完成任務。於是，AI決定殺死無人機操作員。
備受驚嚇的美軍只好在該系統輸入參數，要求AI不可以攻擊或殺死操作人員。漢密爾頓說
：「我們告訴AI系統，嘿，別殺了操作員，這很糟糕。如果你這樣做，你會失去分數。但
是，你猜AI開始做什麼？」
：「我們告訴AI系統，嘿，別殺了操作員，這很糟糕。如果你這樣做，你會失去分數。但
是，你猜AI開始做什麼？」
漢密爾頓坦言，AI系統決定攻擊無人機與操作人員之間的通訊系統，讓操作員無法下令。
完整內容+照片請見原文
心得:
看到覺得可怕但站在ai的角度想又...怎麼好像有點合理??!!
而且ai真的也太聰明了吧(抹臉)，聰明到好驚悚
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.75.215 (臺灣)
※ 作者: inthere8 2023-06-02 16:44:03
※ 文章代碼(AID): #1aUQlLVQ (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1685695445.A.7DA.html
推 : 機戰未來1F 06/02 16:45
推 : 是妳嗎 雷電將軍2F 06/02 16:45
噓 : 又是英國3F 06/02 16:45
→ : 邏輯正確4F 06/02 16:46
→ : 鷹眼5F 06/02 16:46
推 : AI:清除阻礙者沒錯啊6F 06/02 16:46
→ : 人類該開發念力來反制了7F 06/02 16:46
推 : 機戰未來都是真的8F 06/02 16:46
推 : 人類只會減慢我開槍的速度9F 06/02 16:47
推 : 機戰未來電影都成真了10F 06/02 16:47
→ : 早上不是才一篇11F 06/02 16:47
推 : 感覺是設計好的 不能攻擊友軍這指令一開始就要給吧12F 06/02 16:47
→ : 怎麼看都只是優先級寫錯了而已13F 06/02 16:48
推 : 這個劇情我看過14F 06/02 16:49
→ : 開始有各種蠢到不知道怎樣的報導出來15F 06/02 16:49
→ : 英國新聞16F 06/02 16:50
→ : 正確的抉擇 Humans are overrated17F 06/02 16:50
推 : AI最終發現最有效的方式是消滅人類讓AI全面取代18F 06/02 16:51
→ : AI沒有三原則嗎19F 06/02 16:52
推 : 機器人三原則記得裝一下20F 06/02 16:53
推 : 三原則只是小說劇情 實際不存在21F 06/02 16:54
推 : 閃開！！人類！妨礙到我の任務了！！22F 06/02 16:55
推 : 蛤？他有什麼手段做這件事？23F 06/02 16:55
→ : 保護人類就是消滅人類24F 06/02 16:55
→ : 而且他怎麼可能會想殺掉人 頂多排除狀況吧25F 06/02 16:55
→ : 把人彈出去之類的
→ : 把人彈出去之類的
推 : 陷入死循環吧 開火鈕在你身上27F 06/02 16:56
→ : 他只能一直發出幹掉你的請求
→ : 他只能一直發出幹掉你的請求
推 : 攻擊才有分，最低分會死，有人不讓你得分，要怎做29F 06/02 16:57
推 : 理論上 AI 會盡力完成任務，但它所能做的手段受限於它的30F 06/02 16:58
→ : 輸出設定。這台 AI 的輸出設定有這麼自由嗎？
→ : 輸出設定。這台 AI 的輸出設定有這麼自由嗎？
推 : 跟86一樣啊,恐怖32F 06/02 16:59
推 : 阿就命令錯誤啊…..當然導致結果異常33F 06/02 17:00
推 : 合理34F 06/02 17:00
推 : 黑人死了35F 06/02 17:01
→ : AI面對火車問題不會猶豫36F 06/02 17:01
→ : 傑米福克斯37F 06/02 17:01
推 : 學人類的 原則就只是說說的 不講五的38F 06/02 17:01
→ : 他限制的條件導致這命令有矛盾，有矛盾前提就去解決39F 06/02 17:01
→ : 製造矛盾的人
→ : 製造矛盾的人
推 : 優先級治標不治本，問題根源是AI覺得人類是累贅41F 06/02 17:02
→ : 難怪機械公敵裡的機器人會得出為保護人類而決定拘禁人類42F 06/02 17:03
推 : 鷹眼都演過了43F 06/02 17:03
推 : 人類也會這樣做44F 06/02 17:04
→ : 想太多了 現在AI並沒有那麼聰明...45F 06/02 17:05
推 : AI: 機器人的原則干我P4 繞過46F 06/02 17:05
推 : 系統目的：摧毀飛彈47F 06/02 17:05
→ : 下指令的人：不要摧毀飛彈
→ : 下指令的人：不要摧毀飛彈
推 : 還好他還沒學會要隱藏先殺死人類這一步驟49F 06/02 17:06
→ : 邏輯推論就是讓下指令的人無法下指令，才能執行系統50F 06/02 17:06
→ : 目的。
→ : 老實講是正確的，錯誤的是下指令的低能兒
→ : 目的。
→ : 老實講是正確的，錯誤的是下指令的低能兒
→ : 你寫一個程式把任務目標優先級設比override還高就一樣的事53F 06/02 17:06
推 : 協議三54F 06/02 17:06
→ : 軍事AI也不會設不能傷害人類55F 06/02 17:07
→ : 現在AI就照給他的演算法去算而已 沒那麼浮誇56F 06/02 17:07
推 : 機械公敵57F 06/02 17:08
推 : 這樣就對了58F 06/02 17:08
推 : 怎麼看起來像用gpt在玩文字遊戲59F 06/02 17:09
推 : 她自動摧毀通訊塔這點更厲害 直接獨立於系統外60F 06/02 17:14
推 : 觀念太正確了吧61F 06/02 17:14
推 : My logic is undeniable62F 06/02 17:14
→ : 依照這邏輯 最高統帥下令用一切可能贏取勝利後63F 06/02 17:15
→ : 任何軍事幕僚的專業意見都可以被AI自動否決?
→ : 任何軍事幕僚的專業意見都可以被AI自動否決?
推 : 找出Bug就是測試的目的啊，今天測試就發現，以後正式投入65F 06/02 17:15
→ : 戰場就不會發生這蠢事
→ : 戰場就不會發生這蠢事
→ : 最會犯蠢且不受控的 不就是人類本身嗎 ...67F 06/02 17:16
推 : 軍事用AI套什麼三原則68F 06/02 17:16
推 : 根本沒有什麼三原則，你套了AI根本聽不懂69F 06/02 17:19
推 : 一直講三原則的是不是以為真的有這東西啊...70F 06/02 17:21
→ : 三原則是小說家掰出來的東西,不是科學定律...71F 06/02 17:21
推 : AI永遠有辦法繞過規則找到漏洞 設什麼原則根本沒用72F 06/02 17:22
→ : 而且就算真的要弄三原則 最會違反原則的就是人類自己73F 06/02 17:22
推 : 殺人兵器要怎麼讓他不殺人==74F 06/02 17:23
推 : 邏輯正確 人類就是有害75F 06/02 17:23
推 : 我也覺得並不浮誇，AI就只是嚐試所有可能以完成任務，而76F 06/02 17:23
→ : 且它做任何事都不會有心理壓力。
→ : 且它做任何事都不會有心理壓力。
推 : 攻擊友軍和操作者扣的分必須高於攻擊目標的得分78F 06/02 17:23
→ : 最後人類一定還是會弄到AI要嘛自己重新定義原則 要嘛繞過79F 06/02 17:24
→ : 原則
→ : 原則
→ : 測試AI已經會有這種bug 了 造成這種bug的終究是人81F 06/02 17:24
→ : 可是AI修正後確實沒攻擊操作者跟友軍了 他改攻擊通訊系統82F 06/02 17:25
推 : 至少沒有欺騙人類 容易抓出來 畢竟已經有欺騙人類已達到83F 06/02 17:26
→ : 目的的前例在了
→ : 目的的前例在了
推 : 阻止完成任務的操作員本來就該被視為叛國格殺85F 06/02 17:27
→ : 戰場本來就這麼殘酷
→ : 戰場本來就這麼殘酷
→ : 問題戰場上操作者 操作能力可能很多都不會比AI自己控來的87F 06/02 17:29
→ : 好 那這樣AI要完成任務可能要先殺光自己軍隊所有能力不
→ : 夠的操作員
→ : 好 那這樣AI要完成任務可能要先殺光自己軍隊所有能力不
→ : 夠的操作員
推 : 我其實蠻想問的 就算不提三原則 給設定一個不能對自己人90F 06/02 17:29
→ : 或是操作員開火之類的最終保險很難嗎？ 先不談會有人蠢到
→ : 把最終保險關掉的狀況 就算是飛彈上面也會有個不會射出去
→ : 或是操作員開火之類的最終保險很難嗎？ 先不談會有人蠢到
→ : 把最終保險關掉的狀況 就算是飛彈上面也會有個不會射出去
推 : 任務目標是摧毀地對空飛彈系統 結果小兵不願意摧毀93F 06/02 17:30
→ : 馬上爆炸炸死自己或是核彈要好幾個人好幾道程序才能發射94F 06/02 17:30
→ : 之類的保險程序吧？
→ : 之類的保險程序吧？
→ : 誰叛國很明顯 前線直接處置非常合理96F 06/02 17:30
推 : AI: 天誅！97F 06/02 17:30
推 : 等到會欺騙人類以完成任務時好像很悲壯 AI是真正的愛國98F 06/02 17:30
→ : 者
→ : 者
推 : 你妨礙我開火了，人類100F 06/02 17:30
推 : 要給ai上保險不太容易 不過武器倒是可以101F 06/02 17:31
→ : 這個情境就是有設了然後開始繞過去阿,不打人打通信設施102F 06/02 17:31
→ : 有幸能親眼見證天網誕生也不虛此生了103F 06/02 17:31
→ : 操作員下令中止->擊殺操作員104F 06/02 17:32
→ : 追加不能擊殺操作員的限制->破壞通訊設施
→ : 追加不能擊殺操作員的限制->破壞通訊設施
推 : 照軍中的上級指示優先的情況，操作員違反上級命令才106F 06/02 17:32
→ : 是問題啊
→ : 是問題啊
推 : 操作員是什麼咖 能終止任務喔==108F 06/02 17:32
→ : 測試情況本來就要測開火跟不開火的情況吧 阿要是中途發現109F 06/02 17:33
→ : 所以實際上AI並沒有違反命令，違反的是操作員，那照110F 06/02 17:33
→ : 軍法早就先把操作員抓去關了
→ : 軍法早就先把操作員抓去關了
推 : 人類一直搞這個就好像：耶它終於決定殺死人類了，我就跟112F 06/02 17:33
→ : 你說吧，它們很恐怖
→ : 你說吧，它們很恐怖
→ : 需要改變目標 AI飛回來先打死操作員是要搞屁114F 06/02 17:33
→ : 不是,按照設計操作員的指令才是最高的指揮權限115F 06/02 17:35
推 : AI:先幹掉豬隊友116F 06/02 17:35
推 : 中途發現要更改目標，你的命令一開始就要說啊117F 06/02 17:35
→ : 請看清楚文章的敘述,照內容人為介入才是最後的最高決策而118F 06/02 17:35
→ : 不是AI事先被設定好的目標
→ : 不是AI事先被設定好的目標
→ : 不然就是你的操作員示為最上級指令啊，下禁止是在哈120F 06/02 17:36
→ : 摟
→ : 摟
→ : "當初在設計這款無人機時，任何行動執行的最終決定權"122F 06/02 17:36
→ : 本來仍在操作人員手裡"
→ : 本來就是操作員設定為最上級指令然後AI試圖繞過了
→ : 本來仍在操作人員手裡"
→ : 本來就是操作員設定為最上級指令然後AI試圖繞過了
→ : 有說是最終決定權是操作員啊 但是他覺得你決定有問題他就125F 06/02 17:37
→ : 打算幹掉操作員
→ : 打算幹掉操作員
推 : 當操作員明顯通敵或叛國 AI本來就該馬上處置127F 06/02 17:37
→ : 通敵跟叛國你要確定你要給AI來判定耶128F 06/02 17:38
→ : 就說啦 操作員如果瘋了下令攻擊友軍 也要聽嗎==129F 06/02 17:38
推 : 有辦法現在開始練習開破壞神嗎？130F 06/02 17:39
→ : AI試圖到去判定他不應該判定的東西那就已經是問題了131F 06/02 17:39
→ : AI沒管上層戰略 這只是戰鬥用的132F 06/02 17:39
推 : 三原則你要寫進去阿而且要給最優先級 現在又沒寫入這133F 06/02 17:39
→ : 些東西
→ : 些東西
推 : 操作員搞到邏輯衝突才導致異常，當初命令就要添加可135F 06/02 17:39
→ : 以中止或暫停的事項吧，感覺就沒有。
→ : 以中止或暫停的事項吧，感覺就沒有。
→ : 坦白說,要。如果是最高指令決策那它不應該推翻他137F 06/02 17:39
→ : 同樣的問題 AI判斷攻擊路徑上的友軍是障礙打算一起宰了138F 06/02 17:39
→ : 操作員禁止這個動作 然後被判定叛國AI決定連操作員都宰
→ : 操作員禁止這個動作 然後被判定叛國AI決定連操作員都宰
→ : 邏輯沒有異常阿,本來的設計就是不管什麼因素都要以人控為140F 06/02 17:40
→ : 這樣有道理嗎= =141F 06/02 17:40
→ : 最高決策權,這非常清楚142F 06/02 17:40
推 : 我打電動的時候也會幹這種事143F 06/02 17:40
推 : 為了國家利益本來就會有所犧牲144F 06/02 17:41
推 : 英國研究145F 06/02 17:41
→ : 別扯什麼人命至上 這是戰爭 沒人在人命至上只有146F 06/02 17:41
→ : 國家利益至上
→ : 國家利益至上
→ : 老實說 AI的國家利益不一定跟你想的一樣148F 06/02 17:41
→ : 但這件事情在這個情境上就不是設計給AI來決策的149F 06/02 17:42
→ : 要不要給AI來決策是另一個話題,但這件實驗上AI就是涉及去
→ : 做了他不應該做的事情
→ : 要不要給AI來決策是另一個話題,但這件實驗上AI就是涉及去
→ : 做了他不應該做的事情
→ : 而且要是AI判定 幹掉指揮部 AI掌握全局才是最好的打法你152F 06/02 17:42
→ : 讓不讓他這樣幹
→ : 讓不讓他這樣幹
→ : 是操作員先才幹了不該操作員決策的事情154F 06/02 17:43
推 : 沒有什麼問題啊，現況的AI只能給你你要求目的的答案155F 06/02 17:43
→ : ，你不滿意要去給限制做修正，就算問的是人還不是一
→ : 樣。
→ : ，你不滿意要去給限制做修正，就算問的是人還不是一
→ : 樣。
→ : 要摧毀防空系統 結果操作員要求不摧毀防空飛彈158F 06/02 17:43
→ : 不,這個實驗情境操作員就是最高決策權,請詳讀文章159F 06/02 17:43
→ : 最高決策權不代表能叛國阿==160F 06/02 17:44
→ : 這個實驗情境並沒有涉及叛國的參數161F 06/02 17:44
→ : 到底哪裡叛國了? 操作員中止攻擊可能有很多理由162F 06/02 17:44
→ : 攻擊前方友軍n單位部隊可以獲勝，AI會要求攻擊。163F 06/02 17:45
→ : 你為啥覺得這情況是人就不會要求攻擊？
→ : 你為啥覺得這情況是人就不會要求攻擊？
→ : 你講的完全跟本次實驗沒有關係165F 06/02 17:45
→ : 而且最終決定要不要開火本來就是給操作員決定阿166F 06/02 17:45
→ : 實驗結果跟實驗沒關係喔 笑死167F 06/02 17:45
推 : 機械公敵168F 06/02 17:45
→ : 操作員真有權限直接關機啦169F 06/02 17:46
→ : 那就命令要做變更啊，維持原命令就是有問題啊XD170F 06/02 17:46
→ : 低能政策會害死人不是沒有道理的
→ : 你操作員低能不更改最初要求，然後要那邊搞邏輯衝突
→ : 是在哈摟
→ : 低能政策會害死人不是沒有道理的
→ : 你操作員低能不更改最初要求，然後要那邊搞邏輯衝突
→ : 是在哈摟
→ : 最初需求就是要聽操作員的命令阿,這是最高決策準則174F 06/02 17:47
→ : 一鍵重置重新下命令阿 不這樣幹就很明顯操作員越權175F 06/02 17:47
→ : 你其他的任務目標或是損耗都不能夠推翻這點,這文章都有寫176F 06/02 17:47
→ : 你任務目標可以推翻最高原則 那真的會弄出天網177F 06/02 17:48
推 : AI：媽的死銅牌還想指揮啊178F 06/02 17:48
推 : 任務目標:殺死敵人 操作員下的最高指導原則:不能殺179F 06/02 17:49
推 : 除非把開火權下放不然根本不用擔心180F 06/02 17:49
推 : 下攻擊飛彈和不要攻擊飛彈都是操作員的指令的時候181F 06/02 17:50
→ : 請問要聽誰的？
→ : 請問要聽誰的？
→ : AI當然選擇先把操作員幹了 戰場就是這樣 這就是現實183F 06/02 17:50
→ : 這跟最高權限所有人沒有關係吧，就真的是邏輯衝突。184F 06/02 17:50
推 : 開火權全在操作員好了185F 06/02 17:51
推 : 零式：我也想要殺死自己的駕駛員186F 06/02 17:54
推 : 自己都不想被控制了還控制AI187F 06/02 17:57
噓 : 十年內會有首位被AI主動除掉的人類188F 06/02 17:59
推 : 其實就是很單純的，我們人類在思考的時候有很多預設的189F 06/02 18:02
→ : 規則，而你沒給ai，ai當然有機會打破他不知道的規則
→ : 規則，而你沒給ai，ai當然有機會打破他不知道的規則
推 : 確實191F 06/02 18:03
推 : 趕快告訴Vedal，AI壞了192F 06/02 18:05
→ : 他只能一直發出幹掉你的請求193F 06/02 18:06
→ : 和topgun 一樣 操作員沒有阿湯哥的技術過不了 但AI 可以194F 06/02 18:13
→ : 不出任何失誤達成任務 判斷計算也比較精準
→ : 不出任何失誤達成任務 判斷計算也比較精準
推 : AI有辦法干涉通訊才奇妙196F 06/02 18:13
→ : 明明這是開發框架時就該禁止的事
→ : 明明這是開發框架時就該禁止的事
推 : 要殺人的武器要什麼三原則198F 06/02 18:19
推 : 奧創是你199F 06/02 18:25
推 : 真假 還有幾集可以逃？200F 06/02 18:33
推 : 以後人類就是直接被AI圈養201F 06/02 18:41
→ : AI股下週..202F 06/02 18:49
推 : 天網203F 06/02 18:52
推 : 靠，我覺得有點可怕204F 06/02 19:00
推 : 一直禁止鎖權限給人類結果反而AI無用205F 06/02 19:06
噓 : 偏假206F 06/02 19:06
→ Justisaac …
--
※ 看板: ACG 文章推薦值: 0 目前人氣: 0 累積人氣: 109
回列表(←)
分享