Smart Assistant For Enhanced Remote Digital Tower – Multimodal Artificial Intelligence in Air Traffic Management

Remote Digital Tower (RDT) is an emerging market in the field of airspace surveillance. RDT enables monitoring in a remote control center using real-time high-resolution videos. This enables drastic cost reductions, especially when several towers can be monitored from one control center. However, in such scenarios, considerable demands are placed on the safety and reliability of RDT systems. Assistance technologies that help the operator to identify objects and scenarios in the videos are of crucial importance for future systems.

The goal of the “Smart Assistant For Enhanced Remote Digital Tower (SAFER)” project is to enable the safety and reliability of RDT systems by using multimodal Artificial Intelligence (AI) technologies. The focus of the project is on the research and development of (1) video-centric object detection and object tracking methods. Both video and other available information such as radar, flight plans, and audio communication are used; (2) multimodal learning technologies to reduce data annotation effort; (3) Safety-centered evaluation and comparison to conventional data fusion strategies.

The project conducts innovative research for multimodal AI in the areas of computer vision, natural language processing and language understanding in the area of ​​safety-critical RDT. The goal is to perform reliable object detection and tracking in high-resolution videos. Particular attention is paid to objects that are still far away from the tower. The primary innovation lies in the use of multimodal information.

The results enable applications for significantly improved and smart assistance systems for controlling a tower. The results go far beyond existing technologies. The results allow safety-critical applications of object detection for the first time. This enables new functions in assistance technologies. The controller should be significantly relieved and warned of safety-critical events. This contributes significantly to the safety of airports and also serves to reduce costs.

[Original text]
"Smart Assistant For Enhanced Remote Digital Tower – Multimodal Artificial Intelligence in Air Traffic Management"
Remote Digital Tower (RDT) ist ein neu entstehender Markt im Bereich der Luftraumüberwachung. RDT ermöglich mittels real-time hochauflösender Videos eine Überwachung in einer entfernten Zentrale. Speziell wenn mehrere Towers von einer Zentrale überwacht werden können ermöglicht dies drastische Kostenreduktionen. Jedoch werden in solchen Szenarien erhebliche Anforderungen an die Sicherheit und Zuverlässigkeit von RDT-Systemen gestellt. Assistenztechnologien die dem Operator dabei helfen Objekte und Szenarien in den Videos zu identifizieren sind von entscheidender Bedeutung für zukünftige Systeme.

Das Ziel des Projektes „Smart Assistant For Enhanced Remote Digital Tower (SAFER)” ist es, die Sicherheit und Zuverlässigkeit von RDT systemen durch die Verwendung von multimodalen Artifical Intelligence (AI) technologien zu ermöglichen. Der Fokus des Projektes liegt in der Erforschund und Entwicklung von (1) video-zentrierter Objektdetektion und Objektverfolgungsmethoden. Sowohl Video als auch andere zur Verfügungstehende Information wie Radar, Flugpläne, und Audiokommunikation wird mit verwendet; (2) Multimodale Lerntechnologien zur Reduktion des Datenannotierungsaufwandes; (3) Sicherheitszentrierte Evaluation und Vergleich zu konventionellen Datenfusionsstrategien.

Das Projekt führt innovative Forschung für multimodale AI in den Gebieten Computer Vision, natürliche Sprachverarbeitung und Sprachverständnis im Gebiet von sicherheitskritschen RDT durch. Das Ziel ist es, verlässliche Objekterkennung und Verfolgung in hoch-auflösenden Videos durchzuführen. Besonders Augenmerk, liegt auf Objekten die noch weit vom Tower entfernt sind. Die primäre Innovation liegt in der Verwendung multimodaler Information.

Die Resultate ermöglichen Anwendungen für deutlich verbesserte und smarte Assistenzsysteme zur Kontrolle eines Towers. Die Ergebnisse gehen weit über bestehende Technologien hinaus. Die Ergebnisse erlauben erstmal sicherheitskritische Anwendungen der Objektdetektion. Damit werden neuartige Funktionen bei Assistenztechnologien ermöglicht. Der Controller soll deutlich entlastet werden, und vor Sicherheitskritischen Ereignissen gewarnt werden. Das trägt erheblich zur Sicherheit von Flughäfen bei, und dient auch der Kostenreduktion.