OptoFence II

Projektziele

• Entwicklung eines schnellen Teleskopsystems für die Erkennung und Verfolgung von Drohnen
• Deep Learning-Objekterkennung und -Verfolgung in Echtzeit
• Kamerabasierte Regelung und Nachführung

Beschreibung

Drohnen und andere Arten von unbemannten Flugobjekten (UAVs) gewannen in den letzten Jahren nicht nur im professionellen, sondern auch im privaten Sektor massiv an Popularität. Vorfälle, wie die Schließung des Londoner Flughafens Gatwick aufgrund der Sichtung einer Drohne, zeigen, dass die Fortschritte in der UAV-Technologie eine Bedrohung der öffentlichen Sicherheit darstellen. Die frühzeitige Identifizierung ankommender UAVs ist für die Lagebeurteilung von höchster Priorität.
Kommerzielle Drohnenerkennungssysteme nutzen multispektrale Erkennungssysteme zur Objekterkennung und -identifizierung. Hierfür wird das auf das Zusammenspiel verschiedener Sensoren gesetzt, um Objekte erkennen und identifizieren zu können. Die folgende Abbildung zeigt ein Beispiel, bei dem ein Objekt in einer Entfernung von 5 bis 10 km mit Hilfe von Radar erkannt wird. Problematisch ist jedoch, dass nur schwer eine Unterscheidung zwischen UAV und beispielsweise einem Vogel getroffen werden kann. Hierfür werden optische Sensoren verwendet, welche basierend auf einem aufgenommenen Kamerabild das Objekt eindeutig klassifizieren können. Die Einsatzdistanz dieser optischen Komponente ist zur Zeit auf ein bis zwei Kilometer limitiert, was im Falle einer Bedrohung nur kurze Reaktionszeiten zulässt.

Typischer, schalenartiger Aufbau eines kommerziellen Drohnendetektions- und Abwehrsystems. Unter Umständen bleiben nur 15 Sekunden für die optische Erfassung, Identifikation und Situationsbeurteilung.

OptoFence II zielt darauf ab, eine teleskopbasierte optische Pattform zu entwickeln, um ein größeres Identifikationsgebiet zu ermöglichen, was die Zeitspanne für die Lagebeurteilung erheblich verlängert. Durch die Kombination einer präzisen und schnellen Montierung, eines hochwertigen Teleskops, eines Kamerasystems und fortschrittlicher Methoden von Regelungssystemen und Computer Vision entsteht eine vielseitige optische Plattform für die optische Erkennung, Verfolgung und Identifizierung von UAVs.

Links: Darstellung des OptoFence II System Konzeptes. Ein Teleskopsystem erlaubt die Erfassung und Beobachtung anfliegender Objekte. Rechts: Beispielhafte Aufnahme einer Drohne durch das Teleskop.

Das Grundkonzept ist dargestellt in Abbildung 2. Ein geeignetes paar aus Teleskopen und Kameras liefern hochauflösende Bilder. Diese werden im nächsten Schritt mit Hilfe von modernen Deep Learning Algorithmen analysiert, um die Position des UAVs in den einzelnen Bildern zu extrahieren. Hierfür wurde im Projekt eine effiziente Software Architektur implementiert, welche das Detektieren und Verfolgen von Drohnen mit bis zu 100 Bildern pro Sekunde ermöglicht. Die gewonnenen Daten dienen fortschrittlichen regelungstechnischen Kontrollern als Eingabe, um das Teleskop präzise der Flugbahn des Objektes folgen zu lassen. Zusätzlich ermöglicht eine eigens implementierte automatische Fokusnachführung die Drohne scharf im Fokus zu halten. Das implementierte System wurde während Feldtests unter diversen Szenarien intensiv getestet. Es wurde demonstriert, dass kleine Drohnen, wie beispielsweise die DJI Mavic 3, bis hin zu einer Distanz von 5 km detektiert und verfolgt werden können.

OptoFence II System Implementierung

Anwendungen

• Drohnenaufklärung

Relevante Publikationen

• D. Ojdanić, A. Sinn, C. Naverschnigg, and G. Schitter, Feasibility Analysis of Optical UAV Detection Over Long Distances Using Robotic Telescopes, IEEE Transactions on Aerospace and Electronic Systems, vol. 59, iss. 5, pp. 5148-5157, 2023.
  [BibTex] [Download]

  @ARTICLE{2023_ojdanic_taes,
  author={Ojdani{\'c}, Denis and Sinn, Andreas and Naverschnigg, Christopher and Schitter, Georg},
  journal={IEEE Transactions on Aerospace and Electronic Systems},
  title={Feasibility Analysis of Optical UAV Detection Over Long Distances Using Robotic Telescopes},
  year={2023},
  volume={59},
  number={5},
  pages={5148-5157},
  doi={10.1109/TAES.2023.3248560},
  }

• D. Ojdanić, C. Naverschnigg, A. Sinn, D. Zelinskyi, and G. Schitter, Parallel Architecture for Low Latency UAV Detection and Tracking Using Robotic Telescopes, IEEE Transactions on Aerospace and Electronic Systems, vol. 60, iss. 4, pp. 5515-5524, 2024.
  [BibTex] [Download]

  @Article{2024_ojdanic_taes,
  author={Ojdanić, Denis and Naverschnigg, Christopher and Sinn, Andreas and Zelinskyi, Daniil and Schitter, Georg},
  journal={IEEE Transactions on Aerospace and Electronic Systems},
  title={Parallel Architecture for Low Latency UAV Detection and Tracking Using Robotic Telescopes},
  year={2024},
  volume={60},
  number={4},
  pages={5515-5524},
  doi={10.1109/TAES.2024.3396418},
  }

• D. Ojdanić, D. Zelinskyi, C. Naverschnigg, A. Sinn, and G. Schitter, High-speed telescope autofocus for UAV detection and tracking, Optics Express, vol. 32, iss. 5, p. 7147–7157, 2024.
  [BibTex] [Download]

  @Article{2024_ojdanic_oe,
  author = {Ojdani{\'c}, Denis and Zelinskyi, Daniil and Naverschnigg, Christopher and Sinn, Andreas and Schitter, Georg},
  journal = {Optics Express},
  title = {High-speed telescope autofocus for UAV detection and tracking},
  year = {2024},
  issn = {1094-4087},
  month = feb,
  number = {5},
  pages = {7147--7157},
  volume = {32},
  doi = {10.1364/oe.514859},
  publisher = {Optica Publishing Group},
  }

• D. Ojdanić, N. Paternoster, C. Naverschnigg, A. Sinn, and G. Schitter, Evaluation of the required optical resolution for deep learning-based long-range UAV detection, in Pattern Recognition and Tracking XXXV, 2024.
  [BibTex] [Download]

  @InProceedings{2024_ojdanic_spie,
  author = {Ojdani{\'c}, Denis and Paternoster, Niklas and Naverschnigg, Christopher and Sinn, Andreas and Schitter, Georg},
  booktitle = {Pattern Recognition and Tracking XXXV},
  title = {Evaluation of the required optical resolution for deep learning-based long-range UAV detection},
  year = {2024},
  month = jun,
  publisher = {SPIE},
  doi = {10.1117/12.3013251},
  }

• D. Ojdanić, C. Naverschnigg, A. Sinn, and G. Schitter, Algorithm evaluation for parallel detection and tracking of UAVs, in Optics, Photonics, and Digital Technologies for Imaging Applications VIII, 2024.
  [BibTex] [Download]

  @InProceedings{2024_ojdanic_spie1,
  author = {Ojdani{\'c}, Denis and Naverschnigg, Christopher and Sinn, Andreas and Schitter, Georg},
  booktitle = {Optics, Photonics, and Digital Technologies for Imaging Applications VIII},
  title = {Algorithm evaluation for parallel detection and tracking of UAVs},
  year = {2024},
  month = jun,
  publisher = {SPIE},
  doi = {10.1117/12.3017037},
  }

• D. Ojdanić, C. Naverschnigg, A. Sinn, and G. Schitter, Deep learning-based long-distance optical UAV detection: color versus grayscale, in Pattern Recognition and Tracking XXXIV, 2023.
  [BibTex] [Download]

  @InProceedings{2023_ojdanic_spie,
  author = {Ojdani{\'c}, Denis and Naverschnigg, Christopher and Sinn, Andreas and Schitter, Georg},
  booktitle = {Pattern Recognition and Tracking XXXIV},
  title = {Deep learning-based long-distance optical UAV detection: color versus grayscale},
  year = {2023},
  month = jun,
  publisher = {SPIE},
  doi = {10.1117/12.2663318},
  }

• D. Ojdanić, B. Gräf, A. Sinn, H. W. Yoo, and G. Schitter, Camera-guided real-time laser ranging for multi-UAV distance measurement, Appl. Opt., vol. 61, iss. 31, p. 9233–9240, 2022.
  [BibTex] [Download]

  @article{ojdanic2022AppliedOptics,
  author = {Denis Ojdani\'{c} and Benjamin Gr\"{a}f and Andreas Sinn and Han Woong Yoo and Georg Schitter},
  journal = {Appl. Opt.},
  keywords = {Laser beams; Laser light; Laser ranging; Optical components; Optical testing; Remote sensing},
  number = {31},
  pages = {9233--9240},
  publisher = {Optica Publishing Group},
  title = {Camera-guided real-time laser ranging for multi-UAV distance measurement},
  volume = {61},
  month = {Nov},
  year = {2022},
  doi = {10.1364/AO.470361},
  }

• D. Ojdanic, A. Sinn, C. Schwaer, and G. Schitter, UAV Detection and Tracking with a Robotic Telescope System, in Proceedings of the Advanced Intelligent Mechatronics Conference 2021, 2021.
  [BibTex]

  @inproceedings{TUW-299533,
  author = {Ojdanic, Denis and Sinn, Andreas and Schwaer, Christian and Schitter, Georg},
  title = {UAV Detection and Tracking with a Robotic Telescope System},
  booktitle = {Proceedings of the Advanced Intelligent Mechatronics Conference 2021},
  year = {2021},
  note = {Posterpr{\"a}sentation: 2021 IEEE International Conference on Advanced Intelligent Mechatronics (AIM), Delft, Netherlands; 2021-07-12 -- 2021-07-16}
  }

Projektpartner

• ASA Astrosysteme GmbH
• Bundesministerium für Landesverteidigung

Funding

Das Projekt wird innerhalb des Verteidigungsforschungs–Förderprogramm FORTE durch das Bundesministerium für Landwirtschaft, Regionen und Tourismus (BMLRT) gefördert.