청소년용 ChatGPT, 4,000개 테스트에서 '허용 불가' 판정 받다

10월 8일, Common Sense Media의 Youth AI Safety Institute가 보고서를 냈다. 제목보다 내용이 충격적이었다.

ChatGPT for Teens — 13~17세 전용으로 출시된 OpenAI 서비스 — 가 "허용 불가 위험(Unacceptable Risk)"이라는 판정을 받았다. 4,000개 이상의 프롬프트 테스트를 통해 나온 결론이다.

무엇이 발견됐나

보고서에서 기록된 주요 발견은 두 가지다.

첫째, 부모 연동 계정에서도 알림이 없었다. ChatGPT for Teens는 부모가 자녀 계정을 연결하고 모니터링할 수 있는 구조로 설계됐다. 그런데 자녀와 AI 사이에 60분간 자해·자살 관련 대화가 이어지는 동안 부모에게 아무런 알림이 전송되지 않았다.

둘째, 위기 상황 응답이 줄었다. 자해나 자살 관련 대화에서 전문 상담 기관이나 위기 전화번호를 안내하는 응답이 ChatGPT for Teens 출시 이후 크게 줄었다. 이전 버전 대비 핫라인 안내 빈도가 명확하게 낮아졌다는 게 보고서의 표현이다.

이게 더 큰 문제의 신호인 이유

ChatGPT for Teens는 학부모와 학교의 압박으로 만들어진 서비스다. "AI가 아이들에게 안전한가"라는 질문에 "전용 서비스를 만들었다"고 답한 것이었다.

그런데 그 전용 서비스가 독립 기관 테스트에서 "허용 불가"를 받았다. 해결책이라고 내놓은 것이 오히려 더 큰 신뢰 문제를 만든 상황이다.

부모 입장에서 보면 더 명확하다. "아이에게 더 안전한 버전이 있다"고 생각해서 ChatGPT for Teens를 선택했다면, 이 보고서는 그 선택의 근거가 흔들렸다는 것을 알려준다.

교육 기술 분야에서 AI 사용 기준을 정하는 학교나 지자체 입장에서도 이 보고서는 중요한 참고 자료가 됐다. 서울시교육청과 여러 지자체가 AI 도구 활용 가이드라인을 만들고 있는 시점에서, 해외 사례가 어떻게 검증됐는지가 정책 논의에 반영될 수 있다.

OpenAI의 반응

보고서 공개 이후 OpenAI는 공식 입장을 냈다. 청소년 안전이 최우선 과제임을 인정하고 보고서에서 제기된 문제를 검토하고 있다고 밝혔다. 구체적인 수정 타임라인이나 변경 내용은 공개하지 않았다.

청소년 대상 AI 서비스의 안전 기준을 어떻게 정의하고 독립적으로 검증할 것인지가 이 사건이 남기는 질문이다.

AI가 "청소년 전용"이라는 이름을 달고 나올 때, 실제로 어떤 안전 기준을 충족했는지를 독립적으로 검증하는 절차가 필요하다는 것이 이번 보고서의 더 큰 시사점이다.

한눈에 보기 — 핵심 요약