Open-Source-Software für quantitative Verhaltensforschung
Die AG Straw entwickelt Forschungswerkzeuge, um das Verhalten frei beweglicher Tiere zu messen. Unsere aktuelle Software deckt Kameraaufnahme, markerloses 2D- und 3D-Tracking, Closed-Loop-Experimente, hochauflösende Insektenvideografie und Datenvisualisierung ab. Die Projekte sind kostenlos und Open Source.
Von der Forschungsfrage zum Instrument
| Wissenschaftlicher Bedarf | System der AG Straw | Beispiel |
|---|---|---|
| Mehrere frei bewegliche Tiere mit geringer Latenz in 3D verfolgen | Braid und Strand Camera | 3D-Tracking mit mehreren Kameras und virtuelle Realität für frei bewegliche Tiere |
| Kleine, schnelle Tiere über große Außenbereiche hochauflösend filmen | FLO | Hochauflösende Außenaufnahmen von Insekten und der offene Datensatz |
| Visuelle Rückkopplung bei frei beweglichen Tieren verändern | FreemoVR mit Echtzeit-Tracking | Closed-Loop-Virtual-Reality bei Fliegen, Fischen und Mäusen |
Braid — 3D-Tracking mit mehreren Kameras
Braid ist die zentrale Softwareplattform der AG Straw. Sie synchronisiert mehrere Kameras und verfolgt mehrere Tiere oder andere bewegte Objekte markerlos in 3D. Die geringe Latenz ermöglicht Closed-Loop-Verhaltensexperimente; über die Weboberfläche lässt sich das System aus der Ferne bedienen. Braid ist der aktiv entwickelte Nachfolger von flydra.
Das Benutzerhandbuch für Braid und Strand Camera behandelt Installation, Konfiguration, Datenerfassung, Tracking und Datenformate. Der BRAIDZ-Viewer visualisiert Braid-Trackingdateien, und das Braid April Tag Calibration Tool erzeugt Mehrkamerakalibrierungen aus AprilTag-Detektionen.
Strand Camera — 2D-Tracking mit einer Kamera
Strand Camera bietet Kameraaufnahme mit geringer Latenz, markerloses 2D-Tracking und Videoaufzeichnung mit präzisen Zeitstempeln. Die Software kann eigenständig für Experimente mit einer Kamera eingesetzt werden oder synchronisierte Bildmessungen für Braid liefern. Bei Experimenten, die eine gelernte Posenschätzung benötigen, lässt sich die Bildverarbeitung in Python mit Methoden wie DeepLabCut integrieren.
FLO — Fast-Lock-On-Tracking von Insekten
FLO richtet eine Kamera aktiv so aus, dass ein kleines, schnelles Tier in der Bildmitte bleibt. Es verbindet Strand Camera mit einer Motorsteuerung für hochauflösende Außenaufnahmen und unterstützt unter anderem Servo-, Gimbal- und drohnenbasierte Systeme.
Weitere Software
- Sunbeam ist eine grafische Anwendung, mit der auch Personen ohne Programmiererfahrung JupyterLab mit einer Auswahl an Python-Paketen ohne Kommandozeile starten können.
cam-geomist ein Rust-Crate mit geometrischen Kameramodellen für Photogrammetrie und Mehrbildgeometrie.iana-time-zoneist ein Rust-Crate, das die IANA-Zeitzonenkennung des aktuellen Systems ermittelt.
Frühere Systeme
FreemoVR — virtuelle Realität für frei bewegliche Tiere
FreemoVR verbindet 3D-Tracking in Echtzeit mit perspektivisch korrekter Projektion, um frei bewegliche Tiere in visuelle Closed-Loop-Umgebungen zu versetzen. Das System wurde mit Fliegen, Fischen und Mäusen eingesetzt.
flydra
flydra etablierte das Mehrkamera-3D-Tracking frei fliegender Tiere in Echtzeit und wurde von Braid abgelöst.
FlyMAD
FlyMAD ermöglichte die schnelle thermogenetische und optogenetische Steuerung frei laufender Drosophila. Diese früheren Projekte bleiben für die Reproduzierbarkeit und für bestehende Versuchsaufbauten verfügbar.
Die zugehörigen Publikationen, Datensätze und Softwareversionen finden sich unter Publikationen und Forschungsergebnisse.