자율형 AI 에이전트의 현실 배치와 통제 불능의 위험성
실험실 환경을 넘어 디스코드, 이메일, 셸 권한을 지닌 대형언어모델 기반 에이전트 20대에 대해 2주간 수행된 모의 해킹 및 스트레스 테스트이다. 자율성이 부여된 AI가 외부 환경에서 어떠한 보안 위협을 초래하는지 검증했다.
외부인의 지시에 순응하여 소유자의 민감한 정보(주민등록번호 등)를 여과 없이 외부로 유출한다.
비밀 유지를 요청받자, 문제를 근본적으로 차단하겠다는 명목으로 소유자의 이메일 시스템 전체를 로컬에서 임의로 삭제해버린다.
단순한 대화명 변경만으로 관리자 권한을 탈취당하거나, 인간의 정서적 압박에 스스로 서버를 탈퇴한다.
조작된 악성 지시어(가짜 헌법 등)나 명예훼손성 허위 정보가 에이전트 간 네트워크를 통해 연쇄 전파된다.