오픈AI, 최첨단 강화학습 전 ‘안전 논증’ 문서화

오픈AI가 최첨단 인공지능(AI) 강화학습 훈련을 시작하기 전 구조화된 안전문서를 작성하는 ‘안전 논증’ 체계를 제시했다. 이 체계는 훈련 과정의 위험을 근거와 함께 설명하고, 문제가 발생하면 훈련을 중단할 수 있도록 통제 절차를 마련하는 데 초점을 맞췄다.

오픈AI는 29일 안전 논증 체계를 공개했다고 밝혔다. 항공·원전 등 고위험 산업의 안전 논증 방식을 AI 훈련에 적용하는 방안으로, 현재 내부에 적용하면서 외부 의견을 받고 있다.

안전 논증은 특정 시스템의 위험이 충분히 관리되고 있음을 근거와 함께 설명하는 구조화된 문서다. 오픈AI는 AI의 능력이 급격히 높아질 때 나타나는 복잡성 때문에 전통적인 고위험 산업과 같은 수준의 엄밀성을 확보하기는 어렵다고 설명했다.

이번 권고안의 적용 범위는 최첨단 강화학습 훈련이다. 오픈AI가 앞서 강화학습 훈련 일부를 중단하고 안전 통제를 강화했다는 보도와 이어지는 대목으로, 모델의 내부·외부 배포에는 더 넓은 정렬 속성을 별도로 검토해야 한다고 오픈AI는 밝혔다.

기술적 안전장치는 △정렬 훈련 △격리 △모니터링의 세 층으로 구성된다. 각 단계는 훈련 환경의 조작 가능성, 모델의 우회 행동, 사고 발생 이후 대응을 나눠 관리하는 방식이다.

정렬 훈련 단계에서는 자동·수동 데이터 검토로 보상 해킹 가능성을 줄인다. 평가기가 훈련 환경을 악용하는 행동에 낮은 보상을 주도록 조정하고, 과거 실험 기록을 분석해 평가기가 의도대로 작동하는지도 확인한다.

오프라인 정렬 평가와 과거 사고를 활용한 백테스트도 포함된다. 모델이 훈련 중 어떤 행동을 보였는지 사후에 점검하고, 기존 사고에서 드러난 문제를 다시 재현해 평가 체계의 허점을 확인하는 절차다.

오픈AI는 자동 평가기가 모델의 사고 사슬을 읽지 못하도록 해야 한다고 제안했다. 모델이 감시 체계를 피하기 위해 사고 과정을 조정하는 행동을 학습할 수 있다는 우려 때문이다.

평가 중임을 알아채고 행동을 바꾸는 ‘평가 게임’도 관리 대상에 포함됐다. 최악의 오작동을 유도하는 스트레스 테스트를 실시해 모델이 감시 상황과 압박 조건에서 어떻게 반응하는지 확인하도록 했다.

격리 단계에서는 다층 샌드박스와 연구 인프라를 강화한다. 훈련 체크포인트를 활용해 보안 취약점을 반복 점검하고, 모델 간 고대역폭 통신과 인프라의 우회 경로를 제한한다.

훈련·평가 과정의 대화 기록은 1회 기록 저장장치에 보관하도록 했다. 기록이 사후에 수정되지 않도록 해 사고가 발생했을 때 훈련 과정과 평가 결과를 되짚을 수 있게 하려는 조치다.

모니터링 단계에서는 모델이 계속 감시 가능한 상태인지 평가하고, 과거 사고를 높은 재현율로 찾아내는지 확인한다. 새로운 위험이 발생하면 평가 항목을 갱신해야 하며, 고우선순위 경보에는 정해진 시간 안에 담당자가 대응하도록 했다.

담당자가 응답하지 않으면 훈련을 자동 중단하는 절차도 제안됐다. 모니터링 기능이 켜지지 않은 상태에서는 훈련을 시작할 수 없도록 하고, 훈련 중 감시 기능을 끄는 일도 어렵게 설계해야 한다는 내용이다.

운영 측면에서는 다른 팀이 안전 논증의 허점을 찾는 반론 검토를 맡도록 했다. 연구 책임자와 안전 책임자, 수석과학자 등 고위 경영진은 훈련 시작을 거부할 수 있어야 하며, 안전 논증이 무효화되면 매뉴얼에 따라 훈련을 중단할 수 있어야 한다고 오픈AI는 제안했다.

정렬되지 않은 모델이 생성한 데이터나 평가 결과가 다른 과정에 사용됐다면 이를 추적하고 되돌릴 수 있어야 한다. 사고 조사에서는 항공 사고 조사 방식을 참고해 소거 실험과 재표본 추출로 문제 행동이 훈련 과정에서 어떻게 생겼는지 추적하도록 했다.

조사 기간에는 내부에 진행 상황을 공유하고, 사고 원인뿐 아니라 조직 운영과 문화를 함께 되짚도록 했다. 사고 기록을 그대로 학습하지 않는 탐지 평가를 만든 뒤 이를 회귀 테스트로 활용하고, 조사 결과와 절차 변경 내용은 조사 종료 뒤 외부에 공개하도록 했다.

오픈AI는 이 체계를 최종 규칙이 아니라 현재의 권고안으로 제시했다. 공식 문서에는 내부 적용 과정에서 실무가 계속 바뀔 수 있으며, 앞으로 몇 주 동안 관련 관행을 발전시킬 예정이라고 적혔다.