Symptom-Checker
Symptom-Checker sind Web-Anwendungen oder APPs zur klinischen Entscheidungshilfe für Patienten bzw. Laien. Es sind digitale Werkzeuge, die sie bei ihrer Selbsteinschätzung unterstützen, ob und wie schnell sie professionelle ärztliche Hilfe in Anspruch nehmen sollten (Self-Triage) und welche wahrscheinliche Diagnose oder Differentialdiagnose hinter den geschilderten Symptomen und der medizinischen Vorgeschichte sich verbirgt.
Methoden und Regulierung
Methoden reichen von klassischen Bayes’schen Entscheidungsbäumen über andere statistische Verfahren, wie die Auswertung von Korrelationen (engl. associative inference) und Kausales Maschinelles Lernen bis zu neuronalen Netzwerken[1]. Testgütekriterien (Sensitivität, positiver Prädiktiver Wert) sind besser geeignit Richtig- und Falschbewertungen gegenüber zu stellen. Die Entwickler veröffentlichen in der Regel ihre Methodik nicht.
Symptom-Checker sollten in Europa zertifiziert sein. Man erkennt dies an der CE-Kennzeichnung oder dem Zusatz Medizinprodukt Klasse 1. Die amerikanische Food and Drug Administration (FDA) hat Symptom-Checker-Apps von den strengen Regeln ausgenommen, die normalerweise für Medizinprodukte gelten. Die Behörde unterscheidet aber zwischen „gesperrten“ (nicht lernenden) Algorithmen und auf künstlicher Intelligenz (AI)-basierten/ML-basierten Lernalgorithmen, wobei nur letztere unter ein strengeres Regelwerk fallen[2]..
Genauigkeit und Zuverlässigkeit
Die Evaluation, wie zuverlässig eine richtige Diagnose gestellt wird bzw. die korrekte Dringlichkeit eingestuft wird, kann entweder mit realen Patientendaten durch Vergleiche mit ärztlichen Diagnosen durchgeführt werden (kontrollierte Studie). Oder es werden standardisierte Vignetten als Eingangsdatensatz hergenommen. Vignetten sind fiktive Patientenbeschreibungen mit strukturierten Zusammenstellung von Symptomen, Umfeld, Vorgeschichte, Alter u. a.
Eine britische Vergleichsstudie aus dem Jahr 2015 mit 45 Vignetten erbrachte eine Übereinstimmung von 58 % mit richtigen Diagnosen[3].
In einem systematischen Review von Wallace[4] aus dem Jahr 2022 über 10 Studien lag die diagnostische Genauigkeit (der zu oberst genannte Diagnose) zwischen 19 und 38 % , während die Triage-Genauigkeit höher lag (49–90 %). Es fanden sich beträchtliche Unterschiede zwischen den einzelnen Symptom-Checkern.
Solche Arbeiten, die die Genauigkeit mehrerer Symptom-Checker zusammenfassen, finden oft eine hohe Heterogenität, sowohl was die einzelnen Symptom-Checker anbetrifft, wie auch die verschiedenen Medizinbereiche und die Settings, wo dieser eingesetzt wird. Daher sind auch gezielte Analysen entstanden:
In einer amerikanischen Notaufnahme wurden ankommende Patienten entweder durch den Symptom-Checker ADA-Health befragt oder von 3 Ärzten. Der Symptom-Checker lieferte bei 70% richtige Diagnosen, die Ärzte bei 69%. Die Ärzte bewerteten 62% der Triage-Entscheidungen als zutreffend, 24% als zu vorsichtig und 22 % als zu riskant[5].
Eine Arbeitsgruppe aus Berlin konnte zeigen, dass sich die Performance für Triage und Diagnostik im Durchschnitt zwischen 2015 und 2020 kaum verändert hat[6]. Dieselbe Arbeitsgruppe ermittelte 2021 mittels solcher Vignetten, dass medizinische Laien eine ähnlich gute Fähigkeit wie Symptom-Checker aufweisen, was die Einstufung der Dringlichkeit (Triage) anbetrifft[7]. J.G.Richens (von Babylon Health) veröffentlichte 2020 , dass durch die Methode der kontrafaktischen Schlussfolgerung (conterfactual inference) die Berücksichtigung der Kausalität von Symptom zur Diagnose zu besseren Ergebnissen führt, als die reine Korrelation, auf welcher die meisten Symptom.Checker beruhen[8].
Verbreitung
Laut EPatient Survey hatten 2020 bereits 13 % der Jugendlichen eine Diagnostik-App konsultiert[9]. Im deutschsprachigen Raum sind u. a. verbreitet: ADA Health (Berlin), Symptoma (Attersee, Österreich) und Netdoktor (München). In Großbritannien ist der Chat-Bot Babylon Health verbreitet. Deutschsprachig sind auch die spanische Anwendung Mediktor und die polnische App Symptomate. Letztere ist auch in die Medizinwelten von Sana Digital der Sana-Kliniken integriert. Weltweit sind 2022 ca. 100 Symptom-Checker freigeschaltet mit starker Tendenz nach oben, aber auch hoher Fluktuation. In China ist DoctorBot[10] sehr stark verbreitet.
Symptom-Checker für Covid-19
Durch die Covid-19-Pandemie breiteten sich spezialisierte Symptom-Checker weltweit aus. Die wichtigsten in Deutschland sind:
CovApp der Charité (Berlin) ist ein Open Source Web-Fragebogen mit MIT-Lizenz und kann auch von Ärzten in der Praxis verwendet werden. Der Symptom-Checker der Lungenärzte im Netz (Web-Fragebogen) gibt Hinweise ob Covid-19, Influenza oder eine Erkältung vorliegen.
Zukunftsaussichten
E-Health Analysten sehen in Symptom-Checkern großes Potential, sowohl in der Dritten Welt wie auch in Industrienationen[11]. Hier würde eine 5 % Reduktion von Arztbesuchen durch Benutzung der APP in Deutschland 1 Mrd. € dem Gesundheitswesen ersparen (in USA 8 Mrd. €. In Japan 6 Mrd. €).
Auch in Entwicklungsländern sind Arztpraxen und Kliniken oft schwer erreichbar, dafür ist aber das Mobilfunknetz gut ausgebaut, namentlich in Afrika. Hier können Symptom-Checker zur Überbrückung dringliche von weniger dringlichen Indikationen trennen und so unnötig lange Wege ersparen.
Kritik
Experten für Diagnostik und Analysten fiel auf, dass Symptom-Checker oftmals harmlose Symptome bzw. Erkrankungen als 'abklärungsbedürftig' erklären bzw. zum schnellen Arztbesuch raten (engl. overtriage). Eine Beruhigung und Angst-Bewältigung findet also nicht statt und die prophezeiten Sparziele werden verfehlt. Offenbar scheuen sich die Entwickler Verantwortung zu übernehmen[1][12][13].
Diese Kritiker konnten auch in mehreren Fällen widerlegen, dass Systeme, die sich mit dem Attribut „Lernendes System“ schmückten, in Wirklichkeit über einen definierten Zeitraum eine schlechtere Performance bei gleichen Eingangsparametern aufwiesen, was einem Lernvorgang widerspricht[1][6][12].
Auch unzureichender Datenschutz hat Kritik hervor gerufen: Analysten fanden 2019 heraus, dass bei der App von Ada-Health Krankheitssymptome und der Namen der Krankenkasse an Tracking-Firmen wie Facebook gelangten. Daraufhin nahm die Techniker Krankenkasse die App aus ihrem Portfolio[14].
Einzelnachweise
- ↑ a b c A. Ćirković, Evaluation of Four Artificial Intelligence–Assisted Self-Diagnosis Apps on Three Diagnoses; J Med Internet Res 2020;22(12):e18097 doi:10.2196/18097
- ↑ Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) US-FDA-Artificial-Intelligence-and-Machine-Learning-Discussion-Paper.pdf
- ↑ Semigran HL et al.: Evaluation of symptom checkers for self diagnosis and triage: BMJ 2015 Jul 08;351:h3480 doi:10.1136/bmj.h3480
- ↑ William Wallace et al.The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review, npj Digital Medicine (2022) 5:118 ; https://doi.org/10.1038/s41746-022-00667-w
- ↑ H. Fraser et.al.;Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study JMIR Mhealth Uhealth 2022;10(9):e38364) doi: 10.2196/38364
- ↑ a b ML Schmieding et al.: Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation JMed Internet Res 2022;24(5):e31810 doi:10.2196/31810
- ↑ M L Schmieding et al. Benchmarking Triage Capability of Symptom Checkers Against That of Medical Laypersons: Survey Study J Med Internet Res 2021;23(3):e24475) doi:10.2196/24475
- ↑ J. G. Richens et al. Improving the accuracy of medical diagnosis with causal machine learning NATURE COMMUNICATIONS | (2020) 11:3923 https://doi.org/10.1038/s41467-020-17419-7
- ↑ EPatient survey 2020. Health & Care Management. 2020. :https://www.hcm-magazin.de/epatient-survey-2020-digital%09-health-studie/150/10992/407743
- ↑ X. Fan et al. Utilization of Self-Diagnosis Health Chatbots in Real-World Settings: Case Study; J Med Internet Res 2021 23(1):e19928. doi:10.2196/19928.
- ↑ https://research2guidance.com/next-generation-of-symptoms-checkers-will-become-one-of-the-killer-applications-in-digital-health/
- ↑ a b Norbert Donner-Banzhoff: Die ärztliche Diagnose Abschn. 17.3 Hogrefe Bern 2022
- ↑ Marvin Kopka et al. The Triage Capability of Laypersons: JMIR Form Res . 2022 ;6(10):e38977. doi:10.2196/38977.
- ↑ c't 23/2019 https://www.heise.de/ct/artikel/Die-Folgen-des-Ada-Datenschutzskandals-4567809.html