Registrierung von 3D Scans mit Hyperspektralen Scans im Kontext von Umweltanwendungen

Abgeschlossen
Songül Polat bei Ihren Forschungen im Hyperspektrallabor Vanessa Liebler für das i3mainz, CC BY SA 4.0

Die Verknüpfung hyperspektraler und geometrischer Daten ist für viele Anwendungsfelder von großem Interesse. Nennenswert sind hier die Bauwerksüberwachung, Landwirtschaft, Umweltfragen, Denkmalpflege und Prozesssteuerung in der Produktion.

Motivation

Songül Polat erforscht im Rahmen ihrer Dissertation die Verknüpfung hyperspektraler und geometrischer Daten.

Während geometrische Daten die morphologischen Eigenschaften beschreiben, liefern hyperspektrale Daten Informationen über Materialeigenschaften und erlauben somit eine wesentlich präzisere Analyse der Objekte.

Insbesondere für Umweltanwendungen und die Energiewirtschaft kann eine Kombination dieser Daten einen Mehrwert darstellen und erlauben, ein umfassenderes Bild der Welt und ihrer Ressourcen zu vermitteln.

Das für die Untersuchungen aufgebaute Hyperspektrallabor umfasst folgende Systeme:

  • Laborausstattung bestehend aus 2 Zeilenkameras, um den spektralen Bereich von 400 - 1700 nm abzudecken:

    • Specim FX 10 für den VIS Bereich (400 - 1000 nm)

      • 1024 Pixel pro Zeile
      • spektrale Auflösung 5.5 nm
    • Specim FX 17 für den NIR Bereich (900 - 1700 nm)

      • 640 Pixel pro Zeile
      • spektrale Auflösung 8 nm
  • Für Outdoor Messungen steht ein mobiles System zur Verfügung:

    • Senop HSC-2 für den VIS Bereich (500 - 900 nm)

      • Snapshot Kamera / flächenhaft erfassendes System
      • Für Drohneneinsätze konzipiert
      • 1 MPix räumliche Auflösung
      • Spektrale Auflösung < 2 nm

Aktivitäten

Das Projekt „Registrierung von 3D Scans mit Hyperspektralen Scans im Kontext von Umweltanwendungen“ in Kooperation mit der V&R Vision und Robotics GmbH wird von Prof. Dr. Alain Trémeau, Université Jean Monnet in Saint-Étienne und von Prof. Dr. Frank Boochs betreut. Die kooperative Promotion wird gefördert durch den Europäischen Fonds für regionale Entwicklung (EFRE) und durch die Fördermaßnahme InnoProm – Innovation und Promotion des Ministeriums für Wissenschaft, Weiterbildung und Kultur Rheinland-Pfalz.

Resultate

Die rasanten Entwicklungen in der hyperspektralen Bildgebung eröffnen aufgrund ihrer hohen räumlichen und spektralen Auflösung neue Möglichkeiten für ein besseres Verständnis der physikalischen Aspekte von Materialien und Szenen in einer Vielzahl von Anwendungen, während 3D-Technologien helfen, Szenen durch die Nutzung geometrischer, topologischer und Tiefeninformationen detaillierter zu verstehen. Die Untersuchungen dieser Arbeit zielen auf die kombinierte Nutzung von 3D- und Hyperspektraldaten ab und zeigen anhand verschiedener Anwendungen das Potential und den Mehrwert eines kombinierten Ansatzes. Besonderes Augenmerk liegt dabei auf der Identifikation und Extraktion von Merkmalen in beiden Domänen und der Verwendung dieser Merkmale zur Erkennung von Objekten von Interesse.

Insbesondere schlagen wir verschiedene Ansätze zur Kombination von 3D- und Hyperspektraldaten in Abhängigkeit von den verwendeten HSI/3D-Technologien vor und zeigen, wie jeder Sensor die Schwächen des anderen kompensieren kann.

Darüber hinaus wurde eine neue form- und regelbasierte Methode für die Analyse von spektralen Signaturen entwickelt und vorgestellt. Die Stärken und Schwächen im Vergleich zu bestehenden Ansätzen werden diskutiert und die Überlegenheit gegenüber SVM-Methoden anhand von praktischen Erkenntnissen aus dem Bereich des kulturellen Erbes und der Abfallwirtschaft demonstriert.

Zusätzlich wird eine neu entwickelte Analysemethode vorgestellt, die auf 3D- und hyperspektralen Merkmalen basiert. Die Evaluierung dieser Methodik erfolgt anhand eines Praxisbeispiels aus dem Bereich WEEE und konzentriert sich auf die Trennung von Materialien wie Kunststoffen, Leiterplatten und elektronischen Bauteilen auf Leiterplatten. Die erzielten Ergebnisse bestätigen, dass eine Verbesserung der Klassifizierungsergebnisse im Vergleich zu bisher vorgeschlagenen Methoden erreicht werden konnte. Der Anspruch an die einzelnen in dieser Arbeit entwickelten Methoden und Verfahren ist die Allgemeingültigkeit und einfache Übertragbarkeit auf beliebige Anwendungsbereiche.