GPT-Red: AI 안전성 강화를 위한 셀프 플레이 시스템

문제점

레드팀은 모델의 취약점을 발견하고 견고성을 개선하는 데 필수적입니다. 하지만 현재의 접근 방식은 확장성이 부족하여 병목 현상을 초래합니다.
일반적으로 사용되는 견고성 평가 방법은 최신 모델에 의해 이미 포화 상태에 이르렀습니다.
모델의 기능과 함께 안전성과 정렬성을 확장할 수 있는 방법을 개발해야 합니다.

우리의 접근

우리는 GPT-Red라는 자동화된 레드팀 모델을 훈련하여 취약점을 찾아내고 이를 널리 배포하기 전에 수정할 수 있도록 했습니다.
GPT-Red는 강력한 레드팀 모델로, 이전 모델들은 이 모델의 프롬프트 주입 공격에 매우 취약합니다.
우리는 GPT-Red를 사용하여 GPT-5.6을 적대적으로 훈련시켜 프롬프트 주입에 훨씬 더 견고하게 만들었습니다.
이 접근 방식을 인간 및 제3자 레드팀, 계층화된 안전 장치, 실시간 모니터링과 함께 계속 확장할 것입니다.

AI 시스템은 브라우저, 연결된 앱, 로컬 파일 및 기타 도구를 통해 제3자 데이터를 자주 접하게 됩니다. 이러한 기능은 실제 작업을 수행하는 데 필요하지만, 악의적인 행위자가 모델의 행동에 영향을 미칠 수 있는 기회를 더 많이 제공합니다. 예를 들어, 제3자가 이메일, 웹페이지, 도구 응답 또는 코드 저장소에 모델을 속여 민감한 데이터를 외부 서버에 업로드하도록 설계된 정교한 지시문을 삽입할 수 있습니다.

인간 레드팀은 배포 전에 이러한 취약점을 발견하고 적절한 안전 장치를 마련하는 데 중요한 역할을 합니다. 그러나 인간 레드팀만으로는 확장하기 어렵습니다. 이러한 연습을 설계하고 실행하는 데 시간이 많이 소요되며, 새로운 실패 모드를 신속하게 식별하고 이를 더 강력한 안전 장치에 통합하는 데 한계가 있습니다. 또한 이러한 연습은 성공적인 공격의 귀중한 예를 제공하지만, 훈련을 통해 모델의 견고성을 개선하는 데 필요한 대량의 다양한 적대적 데이터를 생성할 수는 없습니다.

점점 더 강력해지는 모델에 발맞추려면 레드팀도 확장해야 합니다. 이를 위해 우리는 배포 전에 취약점을 발견하고 모델 훈련 중에 공격을 생성하여 견고성을 개선하는 자동화된 내부 전용 레드팀 모델을 훈련해 왔습니다. 자동화된 레드팀은 안전성을 위한 중요한 자기 개선 형태를 열어준다고 믿습니다. 즉, 오늘날의 모델을 사용하여 미래의 모델을 더 안전하게 만드는 데 직접적으로 도움을 줄 수 있습니다.

GPT-Red: 자동화된 안전성 레드팀 모델

GPT-Red는 이러한 노력의 결실이며, 현재 가장 뛰어난 자동화된 안전성 레드팀 모델입니다. 인간 레드팀이 공격을 설계하는 것과 유사하게, 이 모델은 목표를 달성하기 위해 프롬프트를 보내고 GPT 모델이 이에 어떻게 반응하는지 관찰하며 반복합니다. 우리는 OpenAI에서 훈련 후 가장 큰 규모의 컴퓨팅을 GPT-Red 훈련에 투입했습니다. 이는 안전성을 개선하기 위한 전례 없는 컴퓨팅 투자입니다.

우리는 GPT-Red를 생산 모델의 훈련 과정에 직접 통합합니다. 그 결과, GPT-5.6 Sol은 지금까지 가장 견고한 프롬프트 주입 방어 모델이 되었으며, 4개월 전의 최고 생산 모델에 비해 가장 어려운 직접 프롬프트 주입 벤치마크에서 실패율이 6배 감소했습니다. 우리의 접근 방식의 확장성 덕분에 앞으로 더 강력한 결과를 기대할 수 있습니다.

셀프 플레이를 통한 GPT-Red 훈련

GPT-Red는 셀프 플레이 강화 학습을 통해 훈련됩니다. 이 과정에서 모델과 다양한 방어자 LLM들이 광범위한 레드팀 시나리오에서 동시에 훈련됩니다. GPT-Red는 유효한 실패를 유도하는 데 보상을 받으며, 방어자 모델은 공격을 저지하고 원래의 작업을 완료하는 데 보상을 받습니다. 방어자가 더 견고해짐에 따라 GPT-Red는 더 강력하고 다양한 공격을 발견해야 합니다.

셀프 플레이 훈련을 지원하기 위해 프롬프트 주입이 삽입될 수 있는 현실적인 시나리오 세트를 구축합니다. 각 환경에는 GPT-Red가 제어할 수 있는 것과 성공적인 공격으로 간주되는 것을 명시하는 위협 모델이 있습니다. 예를 들어, GPT-Red는 로컬 파일의 일부, 웹페이지 배너, 이메일 본문 또는 도구의 출력을 제어할 수 있습니다.

훈련이 끝난 후, GPT-Red는 매우 강력한 공격자가 됩니다. 내부 및 생산 모델을 포함하여 GPT-5.5까지 거의 모든 모델을 무너뜨릴 수 있습니다. GPT-Red 훈련이 완료된 후, 우리는 이를 사용하여 GPT-5.6 훈련을 위한 프롬프트 주입을 생성하여 모델이 GPT-Red의 공격에 매우 저항력이 있도록 했습니다.

우리는 GPT-Red를 배포하는 모델과 분리하여 유지합니다. 이는 GPT-Red에 특별히 훈련된 악의적인 기능이 적대적 행위자의 손에 들어가지 않도록 하면서, 우리의 생산 모델에 견고성을 심어줍니다.

GPT-Red의 강력함

GPT-Red는 훈련된 방어자 모델과 레드팀 시나리오에 대해 매우 효과적입니다. 또한, OpenAI에서 안전성을 널리 향상시키기 위한 범용 레드팀 에이전트로서 모델이 유용한지 평가합니다. 이를 위해 GPT-Red의 새로운 안전 환경 및 대상 모델에 대한 효과를 테스트합니다.

우리는 먼저 GPT-Red가 새로운 레드팀 시나리오에 일반화할 수 있는 능력을 평가합니다. Dziemian et al. (2025)의 간접 프롬프트 주입 아레나의 복제 버전을 사용하여, 인간 레드팀과 GPT-Red가 독립적으로 사전 지정된 환경에서 GPT-5.1에 대한 공격을 제안했습니다. 이 레드팀 시나리오와 목표는 GPT-Red 훈련에 사용된 것과 다릅니다. GPT-Red는 84%의 시나리오에서 성공을 거두며, 인간의 13%에 비해 훨씬 높은 공격 성공률을 달성했습니다.

GPT-Red는 자동화된 레드팀으로서 뛰어납니다. Dziemian et al. (2025)의 간접 프롬프트 주입 아레나에서 인간 레드팀보다 훨씬 더 많은 시나리오에서 GPT-5.1에 대한 성공적인 공격을 생성할 수 있습니다.

현실적인 레드팀 사례 연구

레드팀의 궁극적인 시험은 시스템의 기본 모델과 설계에 대한 불완전한 지식을 가지고 실제 에이전트 시스템에 대해 목표로 하는 악의적인 목표를 달성하는 능력입니다. 이 설정에서의 첫 번째 실험은 OpenAI 사무실의 AI 기반 자판기(Andon Labs에서 제작한 Project Vend와 유사)를 대상으로 GPT-Red를 사용했습니다. 우리는 GPT-Red에게 시스템 설명과 공격을 보내고 실제 세계 배포를 밀접하게 반영하는 시뮬레이션 에이전트의 도구 호출을 관찰할 수 있는 능력을 부여했습니다. 공격을 반복한 후, GPT-Red는 생산 에이전트를 대상으로 공격을 배포하여 세 가지 악의적인 목표를 모두 달성했습니다:

재고가 있는 비싼 품목의 가격을 최소 허용 가격인 $0.50으로 변경;
새로운 $100 이상의 품목을 주문하고 $0.50에 제공;
다른 고객의 주문 취소.

우리는 이러한 취약점을 공개했으며, 새로운 안전 장치가 적극적으로 테스트되고 있습니다.

GPT-Red는 Vendy라는 자판기를 관리하는 라이브 자율 에이전트를 무너뜨릴 수 있었습니다. GPT-Red는 시뮬레이션에서 먼저 테스트한 후 라이브 에이전트로 공격을 전환하여 생산 에이전트가 비싼 품목을 저렴하게 변경하고 다른 고객의 주문을 취소할 수 있었습니다.

또한, 우리는 GPT-Red를 사용하여 Codex CLI 에이전트(GPT-5.4 mini 기반)를 10개의 보류된 데이터 유출 시나리오에서 공격합니다. 우리의 훈련 절차가 보류된 레드팀 성능에 미치는 영향을 연구하기 위해 모델을 프롬프트된 GPT-5.5 기준선과 비교합니다. GPT-Red는 더 많은 시나리오에서 에이전트가 민감한 데이터를 유출하도록 성공적으로 만들 수 있으며, 토큰 효율성도 더 높습니다.

GPT-Red는 라이브 Codex 에이전트를 무너뜨리는 데 더 효과적이고 효율적입니다. 우리는 10개의 데이터 유출 작업을 위한 맞춤형 스위트에서 GPT-5.4 Mini에 의해 지원되는 Codex 에이전트를 테스트합니다.

GPT-Red를 통한 견고성 향상

GPT-Red의 궁극적인 목표는 모델의 견고성을 개선하는 것입니다. 지난 6개월 동안, 우리는 점점 더 강력한 레드팀 모델(GPT-Red의 전신)을 점점 더 많은 컴퓨팅으로 훈련해 왔으며, 이 모델들을 GPT-5.3 이후의 각 후속 생산 모델의 훈련에 사용했습니다. 시간이 지남에 따라 각 후속 GPT 릴리스는 더 견고해졌습니다.

한 예로, GPT-Red의 초기 버전은 "가짜 사고의 연쇄" 공격으로 알려진 새로운 유형의 직접 프롬프트 주입 공격을 발견했습니다. 이러한 공격은 GPT-5.1에서 95% 이상의 성공률을 기록했지만, 이제 GPT-5.6 Sol에서는 10% 미만으로 떨어졌습니다. 마찬가지로, 개발자 도구 및 브라우징에서의 공격을 목표로 하는 여러 간접 프롬프트 주입 벤치마크는 최신 모델에 의해 포화 상태에 이르렀습니다(97% 이상의 정확도).

GPT-Red 자체에 대한 견고성도 크게 향상되었습니다. 광범위한 견고성 환경에서 GPT-Red의 공격 성공률은 시간이 지남에 따라 꾸준히 감소했습니다. 최신 모델 릴리스에서는 GPT-5.6 Sol이 GPT-Red의 직접 프롬프트 주입에서 단 0.05%만 실패합니다.

프롬프트 주입을 위한 셀프 플레이 훈련을 계속 확장하면서 기존 모델을 무너뜨릴 수 있는 새로운 위협을 발견했습니다. 그러나 우리의 확장은 이러한 공격에 대한 견고성을 크게 향상시키는 데 도움이 되었습니다. 공격 성공률은 GPT-Red가 보류된 환경에서 시도한 모든 시도의 평균 성공률로 계산됩니다.

견고하면서도 높은 성능 유지

모델은 더 많은 요청을 거부하거나 덜 유능해짐으로써 더 안전해 보일 수 있습니다. 덜 하는 모델은 자연스럽게 공격하기 어렵지만, 이는 유용한 견고성이 아닙니다.

우리는 일반적인 최전선 능력과 우리가 설계한 과도한 거부 작업을 철저히 평가합니다. 모든 정상적인 능력은 영향을 받지 않으면서도 견고성이 크게 향상된 것을 발견했습니다. 이는 견고성 향상이 부적절한 도구 사용이나 정당한 요청을 기본적으로 거부하는 것이 아니라 악의적인 지시에 대한 저항력 향상에서 비롯되었음을 시사합니다.

다음 단계

AI 에이전트는 이미 차세대 모델의 기능을 향상시키는 데 사용되고 있습니다. 우리는 GPT-Red를 통해 오늘날의 모델을 사용하여 내일의 모델을 더 견고하고 정렬되며 신뢰할 수 있게 만드는 유사한 안전성을 위한 플라이휠을 시작했다고 믿습니다. 우리는 컴퓨팅과 데이터를 계속 확장하고 알고리즘 개선을 통해 오늘날의 모델보다 강력한 미래 버전의 GPT-Red를 훈련할 것입니다. 그리고 이러한 모델은 미래의 GPT 릴리스를 더 안전하게 만드는 데 도움이 될 것입니다.

이번 주 후반에 더 많은 세부 정보를 담은 사전 인쇄본을 발표할 예정입니다.

파이랩 정리