인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머

본 연구에서는 인공지능 기반의 서술형 문항 자동평가 시스템의 현재와 기술적 및 윤리적 도전을 살펴보고, 그 단기적인 활용 방안을 살펴보았다. 인공지능 서술형 문항 자동평가 시스템은 이미 광범위한 주제의 에세이 채점뿐만 아니라 정교한 과학적 개념을 묻는 문항에 대한 채점에도 사용될 만한 성능을 보이며 평가의 패러다임을 바꾸어가고 있다. 하지만 인공지능 서술형 자동평가 시스템은 (1) 자연어 처리의 기술적 한계, (2) 채점 신뢰도 문제, (3) 인간 사용자의 신뢰와 인위적 속임, (4) 고부담 시험에서의 윤리적 한계 등의 도전을 안고 있다. 이에 단기적으로는 인공지능 자동평가 시스템이 (1) 학습자에게 적응적인(adaptive) 학습 지원 도구로서, (2) 학습자에게 빠른 피드백을 제공하고, (3) 평가 준거의 빠른 분석을 가능케 하는 역할을 감당할 수 있다. 하지만 이러한 문제들이 기술적/윤리적으로 극복된다면, 인공지능 자동평가 시스템의 미래는 과학 등의 교과-특수적인 영역에서, 텍스트를 넘어서는 이미지 처리를 통해 (1) 시각적 표상에 대한 자동평가, (2) 실제 수행에 대한 자동평가, (3) 실시간 피드백과 과정중심 자동평가에 활용될 수 있을 것이다. 하지만 딥 러닝이 인공지능 기술의 급속한 발달을 주도하게 될 것을 누구도 예측하지 못하였듯이, 인공지능 자동평가 시스템의 미래적 가능성 역시 여전히 열려 있다고 하겠다.