더 나은 기계 인식을 위해 사마귀에서 영감을 얻은 인공 눈

자율주행 자동차의 시각 시스템이 3D 공간에서 정적이거나 느리게 움직이는 물체를 항상 처리할 수 없기 때문에 충돌이 발생하는 경우가 있다. 그런 점에서 그들은 많은 곤충의 단안 시력과 같다. 그 겹눈은 훌륭한 동작 추적과 넓은 시야를 제공하지만 깊이 인식은 좋지 않다.

사마귀 눈 기반 생체모방 비전 시스템 설계

사마귀의 시야도 왼쪽 눈과 오른쪽 눈 사이에 겹쳐서 3D 공간에서 깊이 인식이 가능한 양안 시야를 생성한다.

이러한 통찰을 멋진 광전기 공학 및 혁신적인 "엣지" 컴퓨팅(데이터를 캡처하는 센서 내부 또는 근처에서 처리하는)과 결합하여 버지니아 대학교 공학 및 응용 과학 대학의 연구원들은 방식으로 성가신 한계를 극복하는 인공 겹눈을 개발했다. 현재 기계는 실제 시각적 데이터를 수집하고 처리한다. 이러한 제한 사항에는 정확성 문제, 데이터 처리 지연 시간 및 상당한 계산 능력에 대한 필요성이 포함된다.

 “사마귀의 눈이 어떻게 작동하는지 연구한 후 사마귀의 생물학적 능력을 복제하는 생체모방 시스템을 실현하려면 새로운 기술 개발이 필요했다”고 찰스 L. 브라운 전기 및 컴퓨터 공학과 후보자인 배병준 박사가 말했다.

그 생체모방 엿보는 사람에 관하여

팀이 세심하게 디자인한 "눈"은 빛에 노출되면 전류를 생성하는 마이크로렌즈와 다중 포토다이오드를 통합하여 자연을 모방한다. 팀은 유연한 반도체 재료를 사용하여 사마귀 눈의 볼록한 모양과 다면체 위치를 모방했다.

"기능을 유지하면서 센서를 반구형 기하학으로 만드는 것은 넓은 시야와 뛰어난 깊이 인식을 제공하는 최첨단 성과이다."라고 배박사는 말했다. "이 시스템은 실시간으로 정확한 공간 인식을 제공하며 이는 역동적인 주변 환경과 상호 작용하는 애플리케이션에 필수적이다."

이러한 용도에는 저전력 차량 및 드론, 자율 주행 차량, 로봇 조립, 감시 및 보안 시스템, 스마트 홈 장치가 포함된다.

재료과학 및 공학부 부교수인 이규상 교수가 지도교수로 있는 배 교수는 팀의 최근 사이언스 로보틱스(Science Robotics) 논문의 제1저자이다.

연구실의 프로토타입 시스템에 대한 팀의 중요한 발견 중에는 기존 시각 시스템에 비해 전력 소비가 400배 이상 감소할 가능성이 있다는 것이었다.

엣지 컴퓨팅의 이점

클라우드 컴퓨팅을 사용하는 대신 이씨의 시스템은 시각적 정보를 실시간으로 처리할 수 있어 데이터 전송 및 외부 계산에 드는 시간과 자원 비용을 거의 없애고 에너지 사용량을 최소화할 수 있다.

"이 연구의 기술적 혁신은 유연한 반도체 재료, 장치 내의 정확한 각도를 보존하는 등각 장치, 센서 내 메모리 구성 요소 및 고유한 후처리 알고리즘의 통합에 있다."라고 배 교수는 말했다.

핵심은 센서 배열이 장면의 변화를 지속적으로 모니터링하여 어떤 픽셀이 변경되었는지 식별하고 이 정보를 처리를 위해 더 작은 데이터 세트로 인코딩한다는 것이다.

이 접근 방식은 곤충이 시각적 신호를 통해 세상을 인식하는 방식을 반영하여 장면 간의 픽셀을 구별하여 동작과 공간 데이터를 이해한다. 예를 들어, 다른 곤충 및 인간과 마찬가지로 사마귀는 가까운 물체가 멀리 있는 물체보다 빠르게 움직이는 것처럼 보이는 운동 시차 현상을 사용하여 시각적 데이터를 빠르게 처리할 수 있다. 효과를 얻으려면 한쪽 눈만 필요하지만 동작 시차만으로는 정확한 깊이 인식에 충분하지 않다.

사마귀의 눈은 우리처럼 주변을 이해하기 위해 반구형 겹눈 기하학과 운동 시차 외에도 입체시(깊이를 인식하기 위해 두 눈으로 보는 것)를 사용하기 때문에 특별하다.

"이러한 고급 재료와 알고리즘의 원활한 융합을 통해 실시간으로 효율적이고 정확한 3D 시공간 인식이 가능해졌다."라고 박막 반도체 및 스마트 센서 분야의 초기 연구자인 이 박사는 말했다.

"우리 팀의 작업은 복잡한 시각 처리 문제에 대한 영리하고 생체 모방적인 솔루션을 보여줌으로써 다른 엔지니어와 과학자에게 영감을 줄 수 있는 중요한 과학적 통찰력을 나타낸다."라고 그는 말했다.