NeurOSmart: Entwicklung eines smarten LiDAR Sensors mit integrierter neuromorpher Datenverarbeitung nimmt Fahrt auf

Pressemeldung /

Im Fraunhofer-Leitprojekt NeurOSmart forschen fünf Institute (ISIT, IPMS, IMS, IWU, IAIS)* gemeinsam an einem besonders energieeffizienten und intelligenten Sensor für die nächste Generation autonom agierender Systeme. Nach knapp einem Jahr Projektlaufzeit präsentieren die Fraunhofer-Forscherinnen und Forscher auf der Electronica das zu erwartende Sensorsystem und die hybride, neuromorphe Datenverarbeitungspipeline.

Aktuell geht der Trend für komplexe anspruchsvolle Anwendungen, wie etwa dem autonomen Fahren, zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung. Um dieser Eskalation entgegenzuwirken, setzen die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird und neue Ansätze der energieeffizienten Datenverarbeitung.

Der Grundgedanke des ambitionierten Vorhabens liegt darin, die Datenverarbeitung soweit es geht, direkt in den Sensor zu integrieren und durch aufeinander abgestimmte Komponenten möglichst energieeffizient zu werden.

Keyvisual des Projekts NeurOSmart, © Fraunhofer ISIT / Concrete Brandbuilding

Das erstrebte Resultat ist ein Entfernungssensor (LiDAR), welcher in einem Sichtfeld von 90° x 90° bei Arbeitsabständen bis zu 12 Metern, Objekte auf Basis individueller Pixel erkennt und klassifiziert. All dies in Echtzeit mit Bildwiederholraten von über 20 Hz und bei einem Energieverbrauch von ein paar 10 W. Damit kann dieses System als Sicherheitssystem für die Kollaboration zwischen Menschen und Industrierobotern und zukünftig auch für mobile Anwendungen genutzt werden kann.

Ermöglicht wird diese Leistungsfähigkeit durch eine Vielzahl an Innovationen im Bereich der Datenverarbeitung und Sensorik, die in diesem Vorhaben kombiniert werden.

Besonders hervorheben möchten wir die Rohdatenaufbereitung und -vorverarbeitung, welche über die Verbindung des RISC-V Manycore-Clusters AIRISC-N mit dem embedded AI Framework AIfES eine integrierte Lösung für die energieeffiziente Berechnung von KI-Algorithmen auf eingebetteter Hardware in Echtzeit bietet. Auf diese Weise reduziert sich die Menge der zu interpretierenden Daten um einen Faktor von 10 und ermöglichen es, auch nur Teile der Szene zu beobachten (Region of Interest), was den Energieverbrauch erneut senkt und die Reaktionszeit erhöht. 

NeurOSmart ForscherInnen bei der Erfassung erster anwendungsspezifischer Trainingsdaten für die KI des Systems, © Fraunhofer