 |
| 17일 서울 종로구 교보문고 광화문점에 인공지능(AI) 서적들 뒤로 각종 자격증 등 시험 서적들이 진열돼 있다. 여당은 이날 세무사 시험 등 각종 시험에서 인공지능(AI)을 활용한 부정행위가 잇따르는 데 이어 대학수학능력시험에 대한 우려까지 제기되자 이를 제재할 특별법 제정에 착수하기로 했다. 연합뉴스
|
인공지능(AI) 모델이 올해 세무사 1차 시험의 회계학개론 문제 40개를 모두 맞혀 만점을 받은 것으로 확인됐다.
실제 시험에서도 회계학개론 90점 이상 고득점자가 지난해 2명에서 올해 66명으로 33배 급증한 것으로 확인됐다. 다만 AI 성능 향상과 고득점자 증가 사이의 연관성은 확인되지 않았다. 하지만 국가자격시험의 공공성 확보를 위해 고득점자 증가 원인을 분석하고 AI를 활용한 부정행위 방지 대책을 강화해야 한다는 지적이 나온다.
20일 국회 과학기술정보방송통신위원회 소속 황정아 더불어민주당 의원실에 따르면 지난 4월25일 시행된 제63회 세무사 1차 시험 문제를 미국 앤트로픽의 AI 모델 ‘클로드’에 풀게 한 결과, ‘클로드 오푸스 4.7’이 회계학개론 40문항을 모두 맞혀 100점을 기록했다. 오푸스 4.7은 시험 9일 전인 4우러 16일 출시된 당시 최신 모델이다.
지난해 출시된 ‘클로드 소네트 4.5’와 ‘클로드 하이쿠 4.5’, ‘클로드 오푸스 4.5’는 각각 62.5점, 25점, 75점을 받았으나 올해 2월 출시된 오푸스 4.6과 소네트 4.6은 모두 100점을 기록했다.
이 시기와 맞물려 실제 세무사 시험에서도 이례적인 고득점자 증가 현상이 나타났다.
한국산업인력공단에 따르면 회계학개론에서 90점 이상을 받은 응시자는 2024년 1명, 2025년 2명에서 올해 66명으로 늘었다. 최고점도 같은 기간 90점, 95점, 100점으로 높아졌으며 올해 만점자는 1명이었다.
또 다른 시험 과목인 세법학개론에서는 올해 90점 이상을 받은 응시자가 만점자 1명뿐이었다. AI가 문제지만 보고 만점을 받은 회계학개론에서 고득점자가 유독 급증한 것이다.
AI는 세법학개론과 법학적성시험(LEET·리트)에서도 추가 조건을 적용하면 모든 문제를 맞힐 수 있는 것으로 나타났다.
오푸스 4.7은 세법학개론에서 문제지만 보고 72.5점을 받았지만, 국가법령정보센터 등을 통해 관련 법령 원문을 확인하도록 하자 40문항을 모두 맞혔다.
지난 7월 시행된 2027학년도 리트에서도 시험 40일 전 출시된 AI 모델 ‘페이블 5’가 문제지만 보고 언어이해 30문항을 모두 맞히고 추리논증 40문항 중 39문항을 맞혔다. 최근 3개년 기출문제를 학습시키고 문항을 나눠 풀게 하자 추리논증도 전 문항 정답을 기록했다.
다만 이 실험은 시험 시행 후 진행된 것으로, 응시자들이 AI를 이용해 부정행위를 저질렀는지는 확인되지 않았다.
시험 이후 출시된 AI 모델들의 문제 풀이 능력은 더 높아졌다.
황 의원은 “AI 모델의 풀이 역량이 발전하자 고득점자가 30배 넘게 늘어난 것을 우연으로 보기는 어렵다”며 “고득점자들의 통계적 특이성 등을 전수조사해 부정행위 여부를 명확히 가려야 한다”고 강조했다. 이어 “이번 수능에 적용된 관리·감독 방안들을 검토해 모든 국가자격시험으로 확대하는 등 공정성을 확보하는 방안을 마련해야 한다”고 말했다.