자율주행을 위한 멀티에이전트 심화 강화학습

자율주행은 도로에서 차선 변경, 추월, 양보 등을 할 때 정교한 상황판단 기술을 적용해야 하는 멀티-에이전트 문제이다. 자율주행차량들의 연속적인 행동을 제어하기 위하여 본 논문에서는 심화 결정론적 정책 경사 강화학습 알고리즘을 적용하였다. 이를 위하여 차선변경이 빈번히 발생하는 도로 환경을 시뮬레이터로 구현하였고, 강화학습에서 적용된 보상은 개별 차량이 목적지 차선에 도착하면 높은 보상을 받지만, 차량이 다른 목적지 차선에 도착할 경우나 차량끼리 충돌이 발생할 경우에는 벌칙을 받도록 설계하였다. 16개의 멀티-에이전트 차량을 학습한 결과 학습시간이 충분할수록 차선변경을 제어할 수 있음을 알았다. 하지만 심화 강화학습과 시뮬레이터 환경의 한계로, 학습이 진행되는 과정에서 보상 값이 급격히 감소하였고, 이로 인하여 차량 주행은 매우 불안정한 주행을 하였다.