Multimodale Karieserkennung mittels Deep Learning

Erkennt Karies pro Zahn aus Bissflügel-Röntgen und bis zu drei intraoralen Farbfotos: fünf Fusionsvarianten im Vergleich, trainiert auf einem eigens erhobenen, zahnärztlich doppelt befundeten Datensatz.

Der Referenzstandard entsteht durch Doppelbefundung: Zwei Zahnärzt:innen beurteilen jeden Zahn unabhängig voneinander — auf Basis eines Röntgen-Ausschnitts plus dreier Farbfotos (bukkal, lingual, okklusal). Die Übereinstimmung wird mit Cohen's κ gemessen, Konflikte löst eine zweite Konsens-Runde. Die Daten stammen aus einer prospektiven Studie mit Ethikantrag und werden ausschließlich pseudonymisiert verarbeitet.

Das Befundungs-Werkzeug dafür ist selbst entwickelt: eine self-hostete Flask-Web-App mit zufälliger Fallreihenfolge gegen Anchoring-Effekte, zoombarer Vollbild-Ansicht, Tastatur-Befundung, automatischer κ-Statistik und CSV-Export als sauber definierter Schnittstelle zur ML-Pipeline.

Die ML-Seite ist eine config-getriebene, reproduzierbare Pipeline (PyTorch, Hydra, MLflow): fünf Fusionsvarianten von unimodal bis multimodal, austauschbare Backbones und Loss-Funktionen, feste Seeds und ein zeitlich getrenntes, prospektives Testset. Komplette Experiment-Matrizen laufen unbeaufsichtigt durch und münden in einem automatisch generierten Report.

Alle Per-Zahn-Vorhersagen werden als CSV abgelegt, sodass Subgruppen- und Fehleranalysen — etwa zu röntgenologischen Artefakten wie zervikalem Burnout — ohne erneutes Training möglich sind.

Die Arbeit ist auf Nachnutzung angelegt: Die Ergebnisse sollen als Paper veröffentlicht und der erhobene, doppelt befundete Datensatz der Forschung zugänglich gemacht werden — angedacht ist zudem eine offene Challenge, in der sich andere Ansätze am selben Referenzstandard messen können.