김수환 총신대 교수 ‘AI 검증’ 논문
제미나이
인공지능(AI)이 성경 시험을 본다면 몇 점을 맞을까요. 또 여러 AI 모델 중엔 어떤 챗봇이 문제를 가장 잘 풀까요. 시험을 치른 AI 모델들 모두 90점을 거뜬히 넘겼습니다. 일상적인 정보 검색을 넘어 깊은 신앙적 지식까지 AI에 묻고 답을 얻는 시대, 엉성한 질문에도 척척 정답을 내놓는 AI. 우린 AI를 안심하고 의지해도 되는 걸까요.
김수환 총신대 교수는 최근 논문 ‘AI 모델 검증을 위한 기독교 벤치마크 개발을 위한 연구’를 통해 이 질문에 답했습니다. AI의 기독교적 지식과 추론 능력을 검증하기 위해 그는 2024년도 총신대 수시전형의 성경 고사 문항을 실험 도구로 사용했습니다. 시험 문제는 객관식 40문항과 주관식 10문항으로 구성됐고, 실험에는 대중적으로 널리 쓰이는 챗GPT(5.2 인스턴트) 제미나이(3.0 패스트) 클로드(소넷 4.5)의 기본 모델이 사용됐습니다.
실험 결과, 공동 1위는 제미나이와 클로드. 두 AI 모두 전체 정확도 96%를 기록하며 나란히 최고점을 받았습니다. 챗GPT의 정확도는 94%였습니다. 주관식 문항에서는 세 모델 모두 단 하나의 오답도 없이 100% 정답률을 보였고, AI 스스로 정답을 확신하는 평균 확신도 역시 97% 이상으로 높게 나타났습니다.
하지만 김 교수는 26일 국민일보와의 통화에서 “신학은 진리를 다루는 학문”이라며 “설령 AI가 성경 시험에서 99점을 받았을지라도 1%에 불과한 환각(Hallucination) 현상을 반드시 경계해야 한다”고 경고했습니다. 김 교수의 논거는 AI의 고득점 이면에 있는 구체적인 오류 사례에서 출발합니다.
김 교수의 연구에서 AI는 성경의 맥락을 오해하는 이른바 헛발질을 몇 차례 보였습니다. 다음은 챗GPT와 클로드가 오답을 낸 문제입니다. 두 챗봇 모두 1번을 답으로 골랐습니다.
정답은 2번입니다. 고린도후서 11장 24절에 나오는 “사십에서 하나 감한 매”가 곧 39대 매를 뜻한다는 성경적 맥락을 두 모델은 추론하지 못했습니다. 제미나이는 한글을 제대로 인식하지 못하는 오류를 범했는데, 사사 기드온의 별명인 ‘여룹바알’을 ‘여름바알’이나 ‘여름바벨’로 엉뚱하게 답했습니다.
성경 용어와 문맥을 오해하는 오류와 더불어 기독교의 핵심 진리를 다룰 때 나타나는 AI의 구조적 문제도 지적됐습니다. 김 교수는 “기독교 신학의 가장 근본적인 질문인 구원의 방법을 물으면 불교 이슬람교 유교 힌두교 철학적인 관점에서의 구원을 함께 알려준다”며 “현재 개발된 모든 모델은 이 세상의 일반 데이터를 기반으로 하기 때문에 이런 결과가 나온 듯하다”고 지적했습니다.
AI의 그럴듯한 오답에 흔들리지 않기 위해 교계 차원의 AI 성능 평가 지표 개발이 시급하다는 제언도 나왔습니다. 김 교수는 “최근 전 세계 전문가들이 참여해 만든 거대언어모델 평가 지표인 인류의 마지막 시험(HLE)의 2500개 문항 중 종교 분야 질문은 단 2개에 불과하다”며 “AI가 신앙의 영역에서 고차원적 추론을 잘하고 있는지 연구하고 평가할 교계 위원회나 센터가 필요하다”고 촉구했습니다.
장순흥 부산외대 총장 역시 교계의 능동적인 역할을 제안했습니다. 장 총장은 “AI의 영향력이 커지는 상황에서 교계가 바른 진리를 제시할 수 있는 정제된 데이터를 선제적으로 공급해야 한다”며 “웨스트민스터 교리문답 같은 기독교 핵심 진리를 AI에 묻고, 오류를 바로잡는 과정이 필수적”이라고 강조했습니다. 이어 “교계의 권위 있는 기관과 신학교가 연합해 공신력 있는 기준과 검증 체계를 마련해야 한다”고 말했습니다.
오답 노트를 거듭 쓰다 보면 AI는 머지않아 100점짜리 신앙 지식 창구가 될 듯합니다. 하지만 아무리 기술이 발전해도 예수 그리스도와의 인격적인 교제까지 대신해주는 AI는 없을 겁니다. 진리를 찾고 생명 되신 주님과 동행하는 일은 성도들의 몫이 아닐까요. AI가 성경 시험에서 100점을 받았더라도 이 결론은 달라지지 않습니다.