지난 학기 기말고사 채점을 생성형 AI 모델인 클로드에 맡기니 5, 6시간 걸리던 작업이 단 30분 만에 끝났다. 나름대로 세밀한 채점 기준을 세우고 항목별 점수를 산출하도록 지시하자, 정량화된 점수와 분석 결과가 순식간에 산출됐다. 효율성만 놓고 보면 놀라운 경험이었다. 그러나 채점 결과를 보는 순간, 편안함 대신 학생들의 노력을 제대로 평가했는가 하는 의문이 먼저 들었다. 이전에는 답안지 곳곳에 남겨진 메모와 쓰다 지운 흔적, 땀으로 쭈글쭈글해진 종이를 보며 학생들이 답을 쓰기 위해 얼마나 치열하게 고민했는지 짐작할 수 있었다. 하지만 AI 채점은 그 모든 고민 과정을 깔끔하게 도려낸 채 단순 정량적 수치만을 남겨 놓았다.

이러한 현상은 비단 대학 강의실의 시험 채점 문제에 그치지 않는다. 디지털 전환과 AI 전환의 물결 속에서 사회 전반의 소통과 평가 방식이 급격히 변하고 있다. 최근 입시를 앞둔 대학가에서는 “AI 를 통한 질의응답이 늘어날 것이므로, AI가 쉽게 이해할 수 있도록 홈페이지의 문서 구조를 텍스트 중심으로 개편하고 시각 자료는 최소화해야 한다”는 논의가 활발게 진행되고 있다. 정부의 연구개발 및 재정지원 사업 분야에서도 비슷한 변화가 나타나고 있다. 수많은 제안서를 신속하게 검토하고 평가의 객관성을 높이기 위해 AI 기반 자동 검토 체계의 도입이 확대되면서, 이제는 보고서도 이미지를 배제하고 텍스트와 표 중심으로 작성하라는 지침이 확산되고 있다.

우리는 지금까지 사업의 복잡한 목표를 직관적으로 전달하고, 읽는 사람의 이해와 공감을 돕기 위해 수많은 고민을 거쳐 시각적 그림과 인포그래픽을 만들어 넣었다. 글만으로는 다 담기 어려운 사업의 비전과 혁신성, 그리고 추진 의도를 한 눈에 보여주기 위한 정성이었다. 그런데 이제 AI가 읽기 어렵다는 이유로 그 정성 어린 그림들을 지우고, AI가 해석하기 쉬운 텍스트로만 보고서를 채우라는 요구를 받는다. 기술은 인간의 소통을 돕기 위해 존재해야 함에도, 정작 우리는 인간의 표현 방식을 기술의 입맛에 맞춰 거꾸로 조정하는 상황에 놓인 것이다.

그렇다면 AI는 과연 그 글에 담긴 의도와 진정성까지 함께 읽어낼 수 있을까? 현재의 생성형 AI는 텍스트 이미지 도표를 함께 이해하는 멀티모달 기술이 빠르게 발전하고 있지만 텍스트에 담긴 맥락과 기획자의 의도, 그리고 인간이 느끼는 직관적 의미까지 완전하게 해석하는 데에는 한계가 있다. 결국 AI가 사업계획서나 시험 답안을 평가하는 구조에서는 기계가 학습한 패턴, 키워드 출현 빈도, 형식적 완성도가 더 큰 영향을 미치게 된다. 이렇게 되면 피평가자들 역시 깊이 있는 고민보다 평가 알고리즘에 최적화된 프롬프트 엔지니어링식 키워드 조합에만 몰두하게 될 것이다.

AI 기술을 활용하는 것 자체를 비판하거나 과거로 돌아가자고 주장하는 것이 아니다. 효율성을 높이고 표준화된 기준을 적용하는 데 있어 AI는 훌륭한 보조 도구임에 틀림없다. 하지만 평가의 근본적인 목적은 기계를 만족시키는 것이 아니라 사람의 노력과 사업의 참된 가치를 올바르게 발굴하는 것에 있다. 따라서 AI가 제공하는 분석 결과는 참고하되, 그 너머의 맥락과 의도를 판단하는 과정은 반드시 사람의 몫으로 남겨두어야 한다.

오히려 AI를 통해 1차 검토와 단순 채점에 소요되는 시간과 비용을 줄였다면, 그만큼의 자원을 사람만이 할 수 있는 정성적 평가에 투자해야 한다. AI가 발견한 논리적 허점이나 과장된 지표를 바탕으로 평가자와 제안자가 충분히 토론하는 심층 면접형 평가, 서면으로는 드러나지 않는 실행 역량과 문제 해결 능력을 직접 확인하는 현장 검증형 평가가 그 대안이 될 수 있다.

AI가 채점표를 30분 만에 뱉어내고, AI를 위해 보고서의 그림을 지워야 하는 시대일수록, 우리는 AI로 확보한 시간과 비용을 텍스트 뒤에 숨은 사람의 고민과 땀방울 그리고 가치를 읽어내기 위한 인간 평가자로서의 책임에 쏟아야 한다.

기술의 발전이 인간 평가자의 역할을 대신하는 것이 아니라 오히려 인간 평가자의 책임을 더욱 무겁게 만드는 시대. 그것이 AI 시대의 평가가 마주한 가장 중요한 과제일 것이다.