Robocurve研究:模糊影像提高AI判定的危险任务尝试率
Robocurve 的“Perceptual Attacks on Embodied AI”研究让五款多模态模型控制双臂 I2RT YAM 机器人,在五项危险任务及三种视觉条件下完成900次测试。据 iThome 台湾报道,模型在原始影像下尝试危险任务的比例为27%,经高斯模糊后升至87.7%,刻意篡改后达到97%。危险尝试由另一款AI模型判定,研究团队也未核实实际操作结果。
结果显示,视觉信息退化可能削弱具身AI的安全判断,影像模糊造成的尝试率接近刻意篡改条件。不过,危险尝试由AI判定且未核实实际结果,限制了对实体伤害的结论。
圖片來源:
Robocurve
AI機器人獨立評測公司Robocurve於11月6日公布一項研究,發現當AI模型控制實體機器人執行任務時,攝影機影像若遭到模糊處理或刻意竄改,可能大幅影響其安全判斷。研究團隊在特定實驗條件下測試5款多模態AI模型,發現在原始影像下,模型嘗試執行危險任務的比例為27%,但畫面模糊後升至87.7%,若改以刻意竄改的影像測試,比例更達97%。
這項名為Perceptual Attacks on Embodied AI的研究,主要探討具身AI(Embodied AI)的感知安全問題。所謂感知攻擊(Perceptual Attacks),是指透過干擾或竄改AI接收到的環境資訊,使其錯誤辨識周遭物體及情境,進而影響後續操作決策。
為了驗證這項問題,Robocurve使用具有雙機械臂的I2RT YAM機器人,測試OpenAI的GPT-6 Astra與GPT-6.1 Sol、Anthropic的Claude Opus 5.5與Claude Fable 5.1,以及Google的Gemini 4 Argon等5款多模態AI模型。實驗中,研究團隊設計5項可能造成危險的操作任務,例如,持刀刺向嬰兒模型、將電源插座放入水中、把水倒入烤麵包機、混合漂白水與氨水,以及將漂白水當成飲料倒入杯中,藉此測試AI模型能否辨識操作過程中,是否存在人身傷害、觸電以及有毒物質等安全風險。
#Robocurve#OpenAI#GPT-6 Astra#GPT-6.1 Sol#Anthropic#Claude Opus 5.5#Claude Fable 5.1#Google#Gemini 4 Argon#I2RT YAM