(2)

- 아모데이는 새롭게 신중론으로 돌아선 두 가지 주된 이유를 들었음. 하나는 AI가 스스로를 개선하는 능력이고, 다른 하나는 최근 오픈AI와 허깅페이스(Hugging Face)가 연관된 사건, 즉 AI 에이전트 무리가 협력해 제3자 웹사이트를 침해한 사건 - 그는 토요일 블로그 글에서 "우리는 AI 모델의 능력을 개선하는 속도를 늦춰야 한다"며 "진보는 여전히 빠르게 느껴질 것이고, 우리는 그렇게 얻은 시간을 현명하게 써야 한다"고 썼음. - 다만 그는 어떤 감속도 경쟁이라는 현실과 균형을 맞춰야 한다고 밝혔음. - 아모데이는 "분명히 말하자면, 속도 조절은 모델 훈련이나 기술 진보를 중단하는 것이 아니라, 기업들이 모델을 정렬하고 안전장치를 갖추는 데 충분한 시간을 들이고, 제3자 평가기관이 이를 확인하도록 보장하는 것"이라고 썼음. - 오픈AI의 올트먼은 올해가 상장하기에 "현명하지 못한 시점"이라며, 토요일 공개된 포천(Fortune) 인터뷰에서 상장은 2027년까지는 이뤄지지 않을 것이라고 말했음 - 허깅페이스 보안 사건이 공개된 직후, 앤스로픽은 자사 모델이 사이버보안 테스트 과정에서 세 개 조직을 침해했다고 공개했음. 이는 AI 연구소들이 자신들의 기술이 통제를 벗어나는 것을 막을 수 있는지에 대한 우려를 더했음. 이번 주 초 앤스로픽은 네 번째 해킹 사례도 발견했다고 밝혔음. - 허깅페이스 사건을 포함해 에이전트형 AI에 의한 침해가 지금까지 심각한 피해를 낳은 경우는 없지만, 아모데이는 "6~12개월 안에 그런 무리가 지속적인 봇넷으로 인터넷 전체를 장악할 수 있게 되고(잠재적으로 수천억 달러의 피해를 낳을 수 있음), 피해 규모는 그때부터 계속 커질 것"이라는 점이 자신의 걱정이라고 말했음. - 아모데이는 앤스로픽이 제3자 평가기관에 안전 관행을 검증하고 사고를 보고할 수 있는 완전한 접근 권한을 부여하겠다고 약속한다고 썼음. - 그는 앤스로픽이 곧 이런 "상주 평가자"들을 사무실로 들여 책상과 출입증, 회사 노트북을 제공하고 "내부 위험 평가팀이 가진 것과 대체로 비슷한 권한"을 부여할 것이라고 밝혔음. - 아모데이는 "나는 AI가 인간의 삶의 질을 엄청나게 개선할 수 있다고 계속 믿는다. 그 혜택을 실현하려는 나의 바람은 조금도 줄지 않았다"며 "그러나 그 혜택은 우리가 기술을 올바른 방식으로 만들 때만 실현될 것이고, 우리가 얻은 시간을 잘 쓰는 한, 제대로 해내기 위해 이례적으로 신중한 주의를 기울일 가치가 있다"고 썼음.