생체 영감을 받은 카메라와 AI로 운전자가 보행자와 장애물을 더 빠르게 감지한다.

취리히 대학교(UZH) 연구진은 새로운 생체 ​​영감 카메라와 AI를 결합하여 현재 시스템보다 훨씬 빠르게 자동차 주변의 장애물을 감지할 수 있는 시스템을 개발했다.

더 적은 계산 능력을 사용하여 더 빠르게 감지

현재 자동차의 운전자 지원에 사용되는 카메라는 일반적으로 초당 30~50프레임을 캡처한다. 인공 신경망은 이미지 속 객체를 인식하도록 훈련될 수 있다. 그러나 연구원들에 따르면 두 스냅샷 사이의 20~30밀리초 동안 어떤 일이 발생하면 카메라가 이를 너무 늦게 인식할 수 있다고 한다.

해결책은 프레임 속도를 높이는 것이지만 이는 실시간으로 처리해야 하는 더 많은 데이터와 더 많은 계산 능력을 의미한다고 과학자들은 오늘 발표된 공개 액세스 네이쳐 논문에서 언급했다.

인간의 눈을 모방하기 위해 두 가지 카메라 유형의 장점과 AI를 결합

이벤트("뉴로모픽") 카메라는 다른 원리를 기반으로 한 최근의 혁신이다. 일정한 프레임 속도 대신 인간의 눈이 이미지를 인식하는 방식과 유사하게 빠른 움직임을 감지할 때마다 정보를 기록한다. 그러나 느리게 움직이는 것을 놓칠 수 있고, 그들의 이미지는 AI 알고리즘을 훈련하는 데 사용되는 종류의 데이터로 쉽게 변환되지 않는다.

연구에서는 두 분야의 장점을 결합한 하이브리드 시스템을 만들었다. 여기에는 초당 20개의 이미지(상대적으로 낮은 프레임 속도)를 수집하는 표준 카메라가 포함된다. 이미지는 자동차나 보행자를 인식하도록 훈련된 컨볼루셔널 신경망에 의해 처리된다. 이벤트 카메라의 데이터는 비동기 그래프 신경망이라는 다른 유형의 AI 시스템에 결합되는데, 이는 특히 시간에 따라 변하는 3D 데이터를 분석하는 데 적합하다.

이벤트 카메라의 감지는 표준 카메라의 감지를 예측하고 성능을 향상시키는 데 사용된다. 그 결과 초당 5,000개의 이미지를 촬영하는 표준 카메라만큼 빠르게 물체를 감지할 수 있지만 표준 초당 50프레임 카메라와 동일한 대역폭만 필요로 하는 시각 감지기가 탄생했다.

더 적은 데이터를 사용하여 100배 더 빠른 탐지

팀은 현재 자동차 시장에 있는 최고의 카메라와 시각적 알고리즘을 대상으로 시스템을 테스트한 결과 감지 속도가 100배 더 빠르면서도 카메라와 온보드 컴퓨터 및 컴퓨터 사이에 전송되어야 하는 데이터의 양을 줄이는 것으로 나타났다. 정확도에 영향을 주지 않고 이미지를 처리하는 데 필요한 전력이다.

결정적으로, 시스템은 표준 카메라의 두 후속 프레임 사이의 시야에 들어오는 자동차와 보행자를 효과적으로 감지하여 운전자와 교통 참가자 모두에게 추가적인 안전을 제공할 수 있으며, 이는 특히 고속에서 큰 차이를 만들 수 있다.

과학자들에 따르면, 이 방법은 현재 자율주행차에 사용되는 것과 같은 LiDAR 센서와 카메라를 통합함으로써 미래에 더욱 강력해질 수 있다.