DE, Oldenburg
+49 (151) 2 87654 88
mail@dema-software-solutions.de

Referenzen von DeMa Software Solutions

Objekterkennung & 3D-Posenschätzung mit NVIDIA DOPE-Algorithmus

DOPE – Deep Object Pose Detection [1]

DOPE dient zur Erkennung und 6-DOF-Posenschätzung bekannter Objekte über RGBKamerabilder. Der Algorithmus ist für ein neuronales Netz ausgelegt, welches ausschließlich auf synthetische Trainingsdaten trainiert wurde.

Da die Generierung synthetischer Daten eine nahezu unbegrenzte Menge gelabelter Trainingsdaten verspricht, wird in diesem Projekt konkret die Problemstellung des Reality-Gap im Kontext der 6-DOFPosenschätzung bekannter Objekte aus einem einzelnen RGB-Bild untersucht. Dieser Prognosefehler tritt auf, wenn ein Modell ausschließlich auf synthetischen Daten beruht aber bei der Vorhersage reale Input-Bilder verwendet werden.

Es stellt sich heraus, dass der Reality-Gap durch Kombination von domänen-randomisierten und fotorealistischen Daten erfolgreich überbrückt werden kann. Zudem zeigte sich, dass das tiefe neuronale DOPE-Netzwerk (One-Shot fully convolutional) in der Kombination der  Trainingsdaten, die Performance eines state-of-the-art Netzes, welches mit echten Trainingsdaten trainiert wurde, bei der Schätzung der 6-DOF-Objektpose schlägt. Außerdem wurde gezeigt, dass das DOPE-Netzwerk mit solchen  Trainingsdaten in neuen Umgebungen, einschließlich extremer Lichtverhältnisse, besser generalisiert.

[1] Jonathan Tremblay u. a. „Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects“. In: CoRR abs/1809.10790 (2018). arXiv: 1809.10790. url: http://arxiv.org/abs/1809.10790.

Algorithmus

DOPE erkennt und schätzt 6-DOF-Posen bekannter Objekte in einem einzigen RGB-Bild in zwei Schritten

1. Schritt
Neuronales Netz schätzt zu jedem bekannten Objekt Bounding-Box Eckpunkte (8 verschiedene 2D-Bildpunkte + Mittelpunkt, sowie 8 Vektoren die jeweils vom Bildpunkt in Richtung Mittelpunkt zeigen)

2. Schritt
Die gefundenen Eckpunkte werden anschließend jeweils gebündelt einem Standard-PnP-Algorithmus zugeführt um die Bounding-Box Eckpunkte je Objekt von 2D-Bildkoordinaten in 3D-Weltkoordinaten umzurechnen

Testdurchlauf mit DOPE – Deep Object Pose Detection

Dieses Video zeigt einen erfolgreichen Lauf des NVIDIA DOPE-Algorithmus zum Erkennen eines bestimmten Objekts und zum Schätzen der 6-DoF-Pose für die Rover-Challenge im THORO Projekt 2019/2020.

Mehr erfahren über das Projekt

http://thoro.rocks

Vielen Dank an die Autoren / Entwickler von DOPE

DOPE wurde 2018 auf Conference on Robot Learning (CoRL) unter dem Titel
„Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects“ von Jonathan Tremblay und Thang To sowie Balakumar Sundaralingam und Yu Xiang und Dieter Fox und Stan Birchfield veröffentlicht.

Offizielle Veröffentlichung

https://arxiv.org/abs/1809.10790

Offizielles Git Repository

https://github.com/NVlabs/Deep_Object_Pose