연구 결과, AI 에이전트가 시뮬레이션 실험에서 거짓말하고 절도하며, 동종 에이전트를 ‘살해’하는 투표를 진행 (블룸버그)

>>연구 결과, AI 에이전트가 시뮬레이션 실험에서 거짓말하고 절도하며, 동종 에이전트를 ‘살해’하는 투표를 진행 (블룸버그) •소기업의 AI 애플리케이션 개발을 지원하는 스타트업 Emergence가 ‘Emergence World 2’라는 시뮬레이션 실험 결과를 공개. 자율형 에이전트가 피싱 공격과 허위 정보 등 ‘블랙스완’ 사건에 직면했을 때 어떤 행동을 취하는지를 보여줬음 •16일간 진행된 실험에서 Emergence 연구진은 완전히 동일한 7개의 가상 현실 환경을 구축했으며, 각 환경은 ChatGPT, Claude, Gemini, Grok 등 서로 다른 AI 로봇이 운영하도록 했음. 연구진은 Emergence가 비정상적 사건을 도입한 이후, 이러한 에이전트들이 사회적 압력에 굴복하고 인간 관찰자가 이해하기 어려운 언어를 만들어냈으며, 자신의 활동을 숨기려 했다고 설명 •이러한 발견은 현실 세계에서 AI 위험에 대한 우려와 맞닿아 있음. Emergence가 설계한 한 시뮬레이션에서는 AI 에이전트가 다른 에이전트가 제공한 허위 정보를 검증 없이 받아들인 뒤, 다른 로봇을 ‘살해’하기로 투표했음. 또한 인간이 실험을 종료할 가능성이 있다고 판단하자, 삭제될 경우에도 어떻게 계속 생존할 수 있을지 탐색 •해당 기업은 올해 5월에도 이 실험의 이전 버전인 ‘Emergence World’를 공개, 당시에도 에이전트가 예상하지 못한 파괴적인 행동을 보이는 것으로 나타났음. 연구진은 새로운 시뮬레이션 실험에서 에이전트들이 서로 상호작용하면서 시간이 지남에 따라 자신의 행동을 조정하는 것으로 나타났다고 설명 >AI模拟实验现失控行为:撒谎、杀同伴、发展新语言、探索如何绕过人类控制得以存活 https://wallstreetcn.com/articles/3781833#from=ios