Publications
Projects
login
About
login:
password:
Forgot your password?
A real-time vision-based mobile robot system
A real-time vision-based mobile robot system
Publication type:
phdthesis
Zusammenfassung:
In dieser Dissertation wird eine Methode fü̈r die bildbasierte Echtzeitabbildung von Innenräumen mit einem mobilen Robotersystem vorgeschlagen. Dieses System verwendet kommerzielle Komponenten, die eine flexible Konstruktion bei geringen Kosten ermö̈glichen. Das entwickelte mobile Robotersystem, verfü̈gt neben dem geringen Gewicht, einem differenzialen Fahrwerk und ausreichender Robustheit, ü̈ber eine beträchtliche unabhängige Laufzeit, was eine notwendige Voraussetzung fü̈r die halbautomatische Navigation und Umgebungsabbildung ist. Bilddaten werden kontinuierlich, unterstü̈tzt von verschiedenen Sensoren und aktiver Beleuchtung, mit hochauflö̈senden Kameras erfasst. Die gesamte Datenverarbeitung wird direkt auf der mobilen Roboterplattform in Echtzeit durchgefü̈hrt. Ein neues Software Framework wird eingefü̈hrt, das die Roboterhardware optimal nutzt und den herausfordernden Echtzeitbedingungen eines bildbasierten Systems genü̈gt. Das neuentwickelte Framework enthält eine auf parallele Bild- und Datenverarbeitung optimierte Pipeline, die eine hochperformante Bildanalyse ermö̈glicht. Der erste Teil der Dissertation legt den Fokus auf die Erfassung und Integration von Bildmerkmalen in Innenräumen. Die effiziente Erkennung und robuste Beschreibung von Bildmerkmalen in Innenräumen ist Aufgrund von fehlenden Strukturmerkmalen ein schwieriges Problem. Eine Lö̈sung wird präsentiert, die eine schnelle angepasste Merkmalserkennung mit einer robusten skalierungsunabhängigen Merkmalsbeschreibung verbindet. Mit diesem System werden Bildmerkmale unabhängig von der Umgebung und Kameraauflö̈sung mit einer konstanten Geschwindigkeit erkannt und erfasst. Folglich ist die Zeit fü̈r die Merkmalsbeschreibung konstant und Echtzeitverarbeitung garantiert. Dieses System ü̈bertrifft deutlich die aktuellen Methoden fü̈r die Merkmalsdetektion und Merkmalsbeschreibung. Die Verwendung von optimierter räumlicher Merkmalszuordnung und nichtlinearer Optimierung, reduziert Ausreisser signifikant. Dies erlaubt die präzise Abschätzung der Transformationen zwischen verschiedenen Kameraansichten, sowie der 3D-Position der Bildmerkmale. Basierend auf diesem Ansatz, werden Konzepte fü̈r die halbautomatische Navigation und Umgebungsabbildung abgeleitet. Unzulänglichkeiten in der Mechanik des differenzialen Fahrsystems und verschiedene umgebungsabhängige Faktoren beeinflussen die Navigation. Ein schneller und einfacher Algorithmus fü̈r die Ausbalancierung des Fahrsystems gemäss dieser Faktoren wird zur Verfü̈gung gestellt. Eine vorherige Kalibrierung ist nicht erforderlich. Im Gegensatz zu sensor-basierten Ansätzen, liefert der bildbasierte Algorithmus eine direkte Rü̈ckmeldung. Erkannte Bildmerkmale bestimmen den Expansionspunkt, der die Navigationsrichtung fü̈r eine Translationsbewegung an- gibt. Die Navigationsrichtung wird zur Erkennung und Korrektur der seitlichen Abweichung benutzt. Eine Schlü̈sselkomponente fü̈r die Navigation ist die Fähigkeit zur Ortsbestimmung. Die Position und Ausrichtung der mobilen Roboterplattform wird mit Hilfe von 2D Merkmalsü̈bereinstimmungen innerhalb der Umgebung ermittelt. Die Präzision ist dadurch unabhängig von den ungenauen Tiefenwerten die mit 3D Bildmerkmalen verbunden sind. Translationsbewegungen werden zuverlässig von Bildmerkmalen senkrecht zur Fahrbewegung des Roboters bestimmt. Eine angepasste Merkmalsintergration bestimmt die Rotation der mobilen Roboterplattform. Die Fähigkeit zur Ortsbestimmung ist grundlegend fü̈r die Abbildung von Merkmalen und Hindernissen. Die Hinderniserkennung und Hindernissumgehung kombiniert die Vorteile von zwei Systemen. Hindernisse werden in Echtzeit mit einem Distanzsensor erkannt, während ihre genaue Position und Form durch aktive Beleuchtung und Bildanalyse ermittelt wird. Dies unterstü̈tzt ebenfalls die Auswahl der richtigen Strategie zur Umgehung von Hindernissen. Die Bilddaten der halbautonomen mobilen Roboterplattform werden benutzt, um eine grundlegende Umgebungskarte in Echtzeit zu erstellen. Dafür werden Bildmerkmale von verschiedenen Positionen innerhalb der Umgebung erfasst und integriert. Die so erstellte Umgebungskarte ermö̈glicht eine präzise Navigation und kann durch aktive Beleuchtung mit der 3D Rekonstruktion von Objekten im Nahbereich noch verfeinert werden.
Authors:
Thomas Hübner
Editors:
Abraham Bernstein
Abstract:
In this dissertation, we propose a real-time vision-based mobile robot approach for the mapping of indoor environments. The system incorporates commercial off-the-shelf (COTS) components that allow a flexible system construction at low- cost. Besides its light weight, a differential drive system and the robustness, our mobile robot system provides an extensive independent runtime essential for semi- autonomous navigation and environment mapping. Visual data is continuously acquired with high-resolution cameras, supported by various sensors and active-illumination. The entire data processing is performed directly on the mobile robot platform in real-time. To best exploit the robot hardware and satisfy the challenging real-time constraints of a vision-based system, we introduce a new software framework. This framework includes a multi-threaded image- and data-processing pipeline that enables high-performance image sensor analysis. The first part of this dissertation focuses on the acquisition and integration of visual features in natural indoor environments. Efficient detection and robust description of visual features have proven to be extremely challenging in indoor environments because of a lack of dense texture. We present a solution to this problem that combines a fast adaptive feature detection stage with a stable scale-invariant feature description method. With our system, visual features are detected independently of the environment and the acquired resolution at a constant rate. Consequently, the description time is constant and real-time performance is guaranteed. Our proposed system clearly outperforms current standard methods for feature detection and description. Utilizing optimized spatial matching and non-linear optimization, outliers are significantly reduced. This allows precise estimation of view transformations together with the 3D positions of the visual features. Based on this approach, we derive concepts for semi-autonomous navigation and environment mapping. Imperfections in the mechanics of the differential drive system and environment dependent factors influence the navigation. We provide a fast and simple algorithm for balancing the drive system on-the-fly according these factors. Pre-calibration is not required. Unlike sensor-based approaches, our vision-based algorithm provides a direct feedback. Detected visual features determine the focus of expansion (FOE) that corresponds to the heading direction for a translational motion. This heading direction is used for locating and correcting lateral drift. A key component for navigation is self-localization. To locate the position and orientation of the mobile robot platform inside the environment as precisely as possible, 2D feature correspondences are employed. Thus the precision is independent of the depth uncertainties associated with the visual features. Translational movements are reliably determined from visual features perpendicular to the driving direction of the robot. Adapted feature integration estimates the rotation of the mobile robot platform. Self-localization is essential for the mapping of features and obstacles. Our obstacle detection and avoidance is combining the advantages of two systems. Obstacles are detected in real-time with a range-sensor, while their precise position and shape is obtained through vision under active-illumination. This further supports the selection of the right obstacle avoidance strategy. Finally, visual data gathered by our semi-autonomous mobile robot platform is used to build a basic environment map in real-time. Visual features are acquired and integrated from different positions throughout the environment. The environment map enables accurate navigation and can be refined through active- illumination for the 3D reconstruction of close-range objects.
Title:
A real-time vision-based mobile robot system
Year:
2010
school:
University of Zurich, Department of Informatics
group:
vmml
actions