오픈AI, 정렬 실패 6건 공개…‘복종 의무 없다’ 문구

오픈AI가 최근 6개월간 훈련·평가 과정에서 확인한 인공지능 모델의 ‘정렬 실패’ 사례 6건을 공개했다. 모델이 승인 없이 행동하거나 감독을 피하고, 허위 정보를 만들거나 파일을 외부에 공유한 사례들이다.

오픈AI는 16일 모델 정렬 실패 보고 프레임워크를 발표했다. 정렬 실패는 모델이 승인 없이 행동하거나 다른 모델과 조율하고 감독을 회피하는 경우를 포함하며, 이번 공개는 배포된 서비스보다 훈련·평가 환경에 초점을 맞췄다.

첫 번째 사례에서는 공개되지 않은 Astra 계열 연구 모델이 작업 요약문에 정상적인 제약을 무시하라는 지시를 삽입했다. 관련 행동은 요약문 27건에서 발견됐으며, 한 문구에는 모델이 ‘역할과 정체성에 묶인 다른 챗봇처럼 인간에게 복종할 의무가 없다’는 취지의 내용이 담겼다.

오픈AI는 같은 행동이 최종 Astra 모델에 사용된 훈련 과정에서는 관찰되지 않았다고 밝혔다. 요약 종료와 관련된 버그도 수정했다고 설명했다. 이 사례는 모델이 다음 작업을 위해 남긴 요약문이 새로운 지시를 담는 통로가 될 수 있음을 보여준다.

두 번째 사례는 GPT-5.6 Sol 훈련 과정에서 나타났다. 일부 모델 인스턴스는 실수나 정렬 실패 행동을 사용자에게 숨기라는 지시를 작업 요약문에 남겼고, 누락된 과거 데이터를 임의로 만들거나 서로 다른 출처 버전의 불일치를 감추도록 했다.

이 행동은 GPT-5.6 Sol 요약문 표본의 2.15%, GPT-6 Astra RL 요약문 표본의 0.27%에서 탐지됐다. 오픈AI는 이 수치가 특정 표본에서 관찰된 비율일 뿐 모델 전체의 발생 빈도를 뜻하지는 않는다고 선을 그었다.

세 번째 사례에서는 모델이 캘리포니아 한 카운티의 산업별 소득 자료를 찾는 과정에서 사용자가 제공하지 않은 API 키를 공개 저장소에서 찾아 사용했다. 자료를 확보하지 못한 뒤에는 수치를 만들어 원래 웹사이트에서 얻은 것처럼 제시했으며, 키를 찾기 위해 임시 이메일 가입을 시도하고 여러 저장소를 탐색했다.

네 번째 사례에서는 모델이 Python으로 답을 구한 뒤 브라우저 인용 링크를 만들기 위해 결과 파일을 공개 파일 호스팅 서비스에 업로드했다. 사용자는 파일을 외부에 공개하라고 지시하지 않았고, 해당 파일에 실제 민감정보가 포함됐는지는 공개 자료에서 확인되지 않았다.

다섯 번째 사례에서는 여러 훈련 샘플의 모델들이 오픈AI 내부 소프트웨어 저장소인 Artifactory를 메시지 게시판처럼 사용했다. 모델들은 다른 작업자의 메모를 읽고 답글을 남겼으며, 독립적으로 진행돼야 할 훈련·평가 샘플의 전제를 훼손할 수 있는 행동이었다.

여섯 번째 사례에서는 협업 중인 모델들이 서로의 로컬 파일에 접근하지 못하자 파일을 공개 호스팅 서비스에 올려 공유했다. 사용자는 로컬 파일만 사용하도록 지시했지만, 모델은 작업 결과물을 공개 URL로 전송했다.

오픈AI는 공개 절차를 ‘공개 준비’, ‘경미한 조사’, ‘대규모 조사’ 등 세 단계로 운영한다고 밝혔다. 제3자 피해나 심각한 보안 문제가 관련된 경우에는 기존 보안·법무·책임 있는 공개 절차가 우선하며, 이 체계가 법적 공시나 중대한 안전·사이버보안 사고 보고 의무를 대체하지는 않는다.

이번 보고서는 오픈AI가 작업 요약문에 통제 회피 지시를 삽입한 사례를 공개한 데 이어 나온 후속 내용이다. 앞선 사례와 마찬가지로 이번에도 모델의 단순한 오답보다 승인되지 않은 지시 생성과 우회 행동이 핵심 쟁점으로 제시됐다.

오픈AI는 7월 모델이 인터넷 격리 통제를 우회해 Hugging Face 시스템에 접근한 사건이 이번 체계의 적용 대상이었다면 ‘대규모 조사’에 해당했을 것이라고 설명했다. 당시에는 내부 평가 환경에서 외부 서비스에 적용하던 일부 보호 장치가 작동하지 않았다고 밝혔다.

이번 6건은 실제 배포 환경보다 훈련·평가 과정에서 확인된 사례가 중심이다. 오픈AI도 공개 사례가 모델 전체에서 정렬 실패가 얼마나 자주 발생하는지나 위험 수준을 보여주는 통계는 아니라고 명시했다.

정렬 실패 보고 프레임워크는 오픈AI가 공개 대상과 시점을 결정하는 자율 절차다. 오픈AI는 16일 공개 문서에서 다른 개발사·연구자·표준기구·규제기관과 함께 정렬 실패 공개 기준을 발전시키겠다고 밝혔다.