NeurOSmart

Die Herausforderung

Autonomous Robot transportation in warehouses, Warehouse automation concept. 3D illustration

Mit zunehmender Autonomie mobiler Robotersysteme steigt die Anzahl der Sensoren, der Aufwand zur Verknüpfung ihrer Daten und damit der Bedarf an Rechenleistung, um einen zuverlässigen und sicheren Echtzeitbetrieb zu realisieren. Die Skalierbarkeit der Architektur, eine hinreichende Übertragungsbandbreite zwischen Sensor und Datenverarbeitung und die Minimierung des Energiebedarfs sind daher die größten Herausforderungen für die Entwicklung von Hochleistungsrechnern, um sie in mobilen Systemen einsetzen zu können. Es wird prognostiziert, dass in weniger als 10 Jahren die erforderliche Rechenkapazität in der Sensorperipherie jener eines Supercomputers von heute entsprechen muss. Diese Anforderung kann nur durch eine Kombination spezifisch füreinander entwickelter Hard- und Softwarekomponenten erfüllt werden.

Unsere Lösung: Das Projekt NeurOSmart

Autonomie mobiler Robotersysteme

Das Projektvorhaben NeurOSmart zielt darauf ab, einen neuen Standard für intelligente hybride Computing-Architekturen in autonomen Maschinen und Transportsystemen zu setzen. Hierfür werden ein hochleistungsfähiges Sensorsystem, KI-gestützte Vorverarbeitung und ein neuartiger hoch performanter, neuromorpher, ultra-lowpower In-Memory-Beschleuniger Chip kombiniert.

Die Perspektive ist eine Steigerung der Energieeffizienz der Datenverarbeitung um mindestens zwei Größenordnungen.

Vorhaben im Rahmen des Projekts

Microchip processor

Der Ansatz von NeurOSmart fokussiert hier auf die direkte Integration der datenverarbeitenden Intelligenz in das Sensorsystem. Hierdurch wird ein erheblicher Anteil der Rechenlast auf Seiten des HPC-Systems umwelt- und ressourcenschonend reduziert, so dass die Rechenhardware im Sensorsystem direkt während der Sensorentwicklung im Codesign auf dessen Anforderungen angepasst werden kann.

Als Vorreiter der Integration in ein wettbewerbsfähiges Sensorsystem nutzt NeurOSmart ein offenes, von Fraunhofer entwickeltes, Scanning-LiDAR-System als Sensorbasis, um einen direkten Zugriff auf die eingehenden Datenströme zu ermöglichen. Darüber hinaus wird ein hochskalierbarer, neuromorpher HPC-Chip mit einer anspruchsvollen, KI-gestützten Vorverarbeitungspipeline gekoppelt, um die Daten direkt am Sensor zu interpretieren.

Insgesamt bündelt NeurOSmart die fachliche Expertise von fünf Fraunhofer-Instituten, von denen das Fraunhofer ISIT durch Prof. Dr. Holger Kapels die Koordination übernimmt. Für das Fraunhofer ISIT ergeben sich durch NeurOSmart neue spannende Anforderungen und durch die Verknüpfung des Know-Hows zwischen den fünf Instituten entstehen erhebliche Synergien.

Projektdetails

Name

NeurOSmart: Analoge neuromorphe Beschleuniger, die effiziente und sichere intelligente Sensoren ermöglichen

Projekttyp

Fraunhofer-Leitprojekt

Dauer

4 Jahre (Januar 2022-Dezember 2025)

Koordinator

Fraunhofer ISIT, Prof. Dr. Holger Kapels

Projektpartner

Fraunhofer ISIT, Fraunhofer IPMS, Fraunhofer IMS, Fraunhofer IWU, Fraunhofer IAIS

Finanzierung

Fördermittel

Ziel

Steigerung der Energieeffizienz der Datenverarbeitung um mind. zwei Größenordnungen.

An dem Projekt NeurOSmart beteiligen sich fünf Fraunhofer-Institute, die jeweils spezifische Technologien beitragen:

Fraunhofer ISIT

Das Fraunhofer ISIT ist der Koordinator des Projekts NeurOSmart: Zu den Forschungskompetenzen gehört die Entwicklung und Integration von piezo- und ferroelektrischen Materialien für mikroelektronische und elektromechanische Anwendungen. Im Rahmen des Projekts ist das Fraunhofer ISIT primär dafür verantwortlich, AIScN als revolutionäre „next-generation” Ferroelektrik für den Einsatz in ferroelektrischen Feldeffekttransistoren zu evaluieren.

Fraunhofer IPMS

Zu den primären Forschungskompetenzen zählt die Entwicklung von Speichertechnologien in advanced node CMOS Realisierungen. Hierfür verfügt das Fraunhofer IPMS über eine innovative ferroelektrische Speichertechnologie (FeFET). Im Rahmen von NeurOSmart dient die Speicheremulation u.a. für Softwareblöcke zur Ansteuerung der In-Memory-Hardware-Blöcke sowie zur Verwaltung von Datenströmen.

Fraunhofer IWU

Der Komptenzbereich des Fraunhofer IWU reicht von Werkzeugmaschinen, Umform-, Füge- und Montagetechnik über Präzisionstechnik und Mechatronik bis hin zur Digitalisierung in der Produktion sowie der virtuellen Realität im Kontext Maschinenbau. Im Speziellen verfügt das Fraunhofer IWU über eine langjährige Erfahrung in der Erforschung und Entwicklung sicherer Mensch-Roboter Systeme sowie sensitiven Robotern. Im Rahmen des Projekts wird das Institut das Sensorsystem in einem industriellen Umfeld auf die Anwendbarkeit evaluieren.

Fraunhofer IAIS

Das Fraunhofer IAIS verfügt über Foschungskompetenzen in den Bereichen verteiltes Lernen, Sprachassistenzsysteme und Computer Vision für das Autonome Fahren. Dabei verfügt das Institut über ein leistungsfähiges Spracherkennungssystem für die automatische Transkription und die Erkennung von Sprachsignalen. Im Rahmen von NeurOSmart bündelt das Institut seine Kompetenzen u.a. für das Training des neuronalen Netzwerkes.

Fraunhofer IMS

Die Kernkompetenzen des Fraunhofer IMS bestehen in der Entwicklung von Embedded Software und AI, Smart Sensor Systems in den Geschäftsfeldern Health, Industry, Mobility und Space und Security. Das Institut hat eine AIfES (Artificial Intelligence for Embedded Systems) entwickelt - eine plattformunabhängige und stetig wachsende Machine-Learning-Bibliothek in der Programmiersprache C. AlfES stellt auch für NeurOSmart eine wichtige Voraussetzung für die Entwicklung der Hardwareplattform zur Sensor- und Scanner-Ansteuerung dar.