[공학저널 전찬민 기자] 현재 자율주행분야의 가장 큰 이슈를 꼽자면 딥러닝의 급격한 발전과 함께 대두되고 있는 엔드 투 엔드 자율주행 시스템을 들 수 있다. 특히, 엔비디아에서 2016년에 발표한 DAVE-2 모델이 가시적인 성과를 보여 업계의 주목을 받았으며, 테슬라, wayve, waymo 등 자율주행 기업에서도 궁극적으로는 엔드-투-엔드 자율주행 시스템 적용을 목표로 연구와 상용화 준비가 한창이다.
엔드 투 엔드 자율주행은 센서데이터를 입력받은 하나의 거대한 네트워크가 동작해 조향각, 속도, 제동의 출력을 내는 것을 말한다. 기존의 자율주행 시스템이 측위, 인지, 판단, 제어 등 자율주행을 수행하기 위한 시스템 구조를 여러 단계로 나눠 개발하는 모듈화된 구조로 돼 있는 것과 다르게 좀 더 직관적이고 한편으로는 인간 운전자가 운전을 하는 방식과 유사하게 자율주행을 수행한다고 볼 수 있다.
이에 따라 최근 Transformer나 GNN과 같은 고급 딥러닝 아키텍처가 개발되면서 이를 활용한 엔드 투 엔드 자율주행 관련 연구가 활발히 진행되고 있다. 이처럼 엔드 투 엔드 자율주행이 주목받고 있는 가장 큰 이유 중 하나는 단순화된 시스템 구조를 가지고 있기 때문이다.
기존 자율주행 시스템의 경우, 감지/인식/예측/계획/제어의 복잡한 모듈형 구조로 이뤄져 있는데, 이는 각각의 단계에서 발생하는 오류가 전체 성능에 영향을 미칠 수 있다는 한계를 드러냈다. 반면, 엔드 투 엔드 방식은 입력 데이터를 기반으로 직접적 제어 명령을 출력하는 단일 신경망 구조를 사용해 복잡한 모듈 간의 상호작용 문제를 줄일 수 있다는 것이 장점이다.
엔드 투 엔드 자율주행이 주목받는 또 다른 이유로 학습 기반 최적화를 들 수 있으며, 이 방식은 머신러닝 기술을 사용해 실제 주행 데이터를 바탕으로 최적화된 경로 학습을 통해 각종 상황에서의 대응 능력을 강화할 수 있다. 또한, 복잡한 수동 규칙 설정 대신 학습을 통해 다양한 도로 상황과 환경에 빠르게 적응할 수 있으며, 기존 시스템 대비 확장성(Scalable)이 뛰어나다는 것 또한 그 이유이기도 하다.
하지만, 엔드 투 엔드 자율주행을 실현하기 위해 몇 가지 기술적 보완이 필요한 상황이다.
엔드 투 엔드 학습 모델은 다양한 도로 상황을 학습해야 하고, 이를 위한 방대한 양의 고품질 데이터가 필요하기 때문에 대규모 데이터셋 확보와 처리가 중요하며, 딥러닝 모델의 학습과 추론을 위한 고성능 컴퓨팅 인프라, 특히 실시간 추론을 위해 GPU나 전용 AI 칩셋의 최적화가 필수적이다.
또한, 엔드 투 엔드 시스템의 출력이 어떻게 도출됐는지에 대한 해석 가능성의 부족 문제를 해결하기 위해 모델의 설명 가능성을 높이거나 안전성을 보장하는 방법론에 대한 연구도 필요한 부분이다.
이러한 상황에서 다양한 실증지역과 주행 환경에서의 데이터셋을 구축하고, 이를 효율적으로 전처리해 엔드 투 엔드 학습에 필요한 데이터를 제공하고 있는 기업이 있다. 자율주행 차량 제어 기술의 선두주자 ㈜에스유엠이 그 주인공이다.
현재 에스유엠은 다년간의 경험과 노하우를 바탕으로 다양하고 복잡한 도로 주행 환경에서의 학습을 위한 자율주행 시뮬레이션 환경을 구축하고 발전시켜나가고 있다. 또한, 딥러닝 기반의 추론을 실시간으로 실행할 수 있도록 최적화된 하드웨어와 소프트웨어 스택을 개발 중으로, 주행 중 발생하는 다양한 상황에 빠르게 반응할 수 있도록 준비하고 있다.
에스유엠 현영진 대표이사(사진)는 “엔드 투 엔드 자율주행 시스템이 가지고 있는 장점 중 하나인 주행 시스템의 간소화를 통해 다양한 모듈을 통합할 수 있기 때문에 유지보수와 개발 비용을 절감할 수 있을 것으로 기대된다”며 “데이터 기반 학습을 통해서는 인간이 사전에 정의하기 어려운 다양한 상황에 대한 대응이 가능하며, 새로운 환경에서도 빠르게 적응할 수도 있다”고 말했다.
그는 이어 “또한, 엔드 투 엔드 자율주행 시스템은 도로 상황에 맞춘 최적의 경로와 제어 명령을 생성해 주행 성능을 향상시키고, 복잡하고 다양한 상황이 발생할 수 있는 도심 환경에서 뛰어난 결과를 기대할 수 있다”며 “특히, 시스템이 자동으로 새로운 주행 데이터를 학습할 수 있기 때문에 다양한 지역이나 상황에 쉽게 적용할 수 있어 확장성 측면에서도 장점이 있다”고 덧붙였다.
에스유엠은 이러한 엔드 투 엔드 자율주행 시스템의 단순화와 확장성을 주목해 기존의 모듈형 자율주행 시스템이 가지고 있는 개발과 유지 관리의 복잡성, 다양한 도로 상황에 적응하기 위한 많은 개발기간과 비용 문제를 해결할 수 있도록 발 빠르게 연구 개발에 나섰다.
특히, 에스유엠의 다양한 플랫폼과 주행환경에서의 자율주행 실증 경험은 엔드 투 엔드 자율주행 개발에 매우 중요한 자산이 됐다. 이와 같은 에스유엠의 강점은 실제 도로와 다양한 환경에서 자율주행 시스템의 성능을 검증하고, 예측 불가능한 상황에 대한 데이터와 대응 방식을 축적할 수 있는 기반을 마련할 수 있었던 원동력이 됐다.
이를 통해 에스유엠은 다양한 환경에서 수집된 데이터를 통해 극한 상황, 희귀한 시나리오 등 범용적인 데이터로는 쉽게 얻기 어려운 데이터를 확보해 나가고 있다. 이러한 데이터 다양성 확보는 엔드 투 엔드 학습에 큰 도움이 돼 모델의 상황 인식 능력과 결정 신뢰성을 향상시키는 중요한 역할을 하고 있다.
현 대표는 “에스유엠의 다양한 주행환경에서의 실증 경험은 엔드 투 엔드 자율주행 시스템이 더욱 강력하고 신뢰성 높은 성능을 발휘할 수 있도록 기반이 제공했다”며 “이러한 경험은 시스템의 안정성과 일반화 능력을 극대화해 실제 도로 환경에서도 안전하고 효율적인 자율주행을 실현하는 데 중요한 역할을 할 것”이라고 말했다.
그는 이어 “또한, 에스유엠은 이러한 실증 경험을 바탕으로 개발한 주행 환경을 가상으로 재현하는 시뮬레이션 플랫폼을 개발했으며, 이를 통해 새로운 알고리즘을 신속하게 테스트하고 검증할 계획”이라며 “엔드 투 엔드 자율주행 기술뿐만 아니라 AI를 활용해 확장 가능한 자율주행 기술을 고도화시켜 자율주행 기술의 상용화를 앞당길 수 있는 데에 기여할 수 있도록 최선을 다하겠다”고 덧붙였다.
