Die Herausforderung
Die Aufgabe bestand darin, eine Anwendung zu entwickeln, die die Lidposition genau bewertet und Auffälligkeiten im Zusammenhang mit Proptosis erkennt – einer Erkrankung, bei der das Auge nach vorn verlagert ist.
Dazu musste die Anwendung zentrale ophthalmologische Kennwerte berechnen: Margin Reflex Distance 1 und 2 (MRD1 und MRD2), also die Abstände von der Pupillenmitte zum oberen und unteren Lidrand; die Augenbrauenhöhe, also den Abstand von der Pupillenmitte zur Augenbraue; die Proptosis-Distanz von der Pupillenmitte zum seitlichen Orbitaknochen; sowie Augenbewegungsdistanzen in verschiedene Richtungen. Genaue Messungen sind unerlässlich, um Proptosis zu erkennen und zu überwachen.
Unsere Lösung
Mit Deep Learning haben wir Eye Metrics entwickelt, eine plattformübergreifende Webanwendung, die auf iOS- und Android-Mobilgeräten sowie in Desktop- und Laptop-Browsern läuft. Die Nutzer, in erster Linie Patienten, nehmen Gesichtsbilder auf, und die Anwendung berechnet die relevanten ophthalmologischen Kennwerte. Die Vorhersagemodelle verbessern sich stetig, wenn neue Trainingsdaten hinzukommen.
Anschließend haben wir die Anwendung um Funktionen für die augenchirurgische Beurteilung erweitert, um medizinischem Fachpersonal einen umfassenderen und effizienteren Analyseablauf zu bieten.
- Berechnung von MRD1, MRD2, Augenbrauenhöhe, Proptosis-Distanz und Augenbewegungsdistanzen anhand von Gesichtsbildern
- Plattformübergreifender Zugriff über iOS, Android und Desktop-Browser
- Kontinuierliche Modellverbesserung mit neuen Trainingsdaten
- Stapel-Upload von Bildern vor und nach der Operation mit automatischem Vergleich der LAB-Farbwerte der Sklera
- Live-Videoaufnahme zur Schätzung der Veränderung der LAB-Werte der Sklera über ein festgelegtes Intervall, typischerweise 1 bis 5 Minuten
Das Ergebnis
Eye Metrics bietet Patienten und medizinischem Fachpersonal ein praktisches Werkzeug für die ophthalmologische Beurteilung. Das Modell übertrifft die Face-Mesh-Erkennung von Google, hilft Ärzten bei der Erkennung von Proptosis und ermöglicht Patienten, ihre Augengesundheit aktiv mitzuüberwachen.
Der automatisierte Vorher-nachher-Vergleich spart Ärzten Zeit bei der chirurgischen Beurteilung, da er die manuelle Durchsicht von Bilddaten ersetzt.
