Der AI Act der europäischen Union verlangt „wirksame menschliche Aufsicht“ bei Hochrisikoanwendungen. Das führt aber in der Praxis zu Problemen – vor allem durch Fehlentscheidungen auf seiten der menschlichen Partner.
(Bild: Redaktion/PiPaPu)
Kurzinfo: Mensch und KI im Team – was hilft
- TU Berlin analysiert Mensch-KI-Teams in sicherheitskritischen Domänen
- Häufiges Muster: Übersteuerung durch den Menschen trotz verlässlicher Systeme
- Maschinen-Fehler werden überschätzt, Treffer unterschätzt, Bias wirkt
- Wirksame Aufsicht braucht verhaltensleitende Erklärungen
- Klare Eingriffsregeln mit dokumentierten Schwellen
- Nutzerinnen und Nutzer früh in die Entwicklung einbinden
Ein Blick in Leitstände, Radiologiepraxen und Kontrollräume zeigt: Überall arbeiten heute Menschen mit KI. Doch die vermeintliche Traumkombination kommt im Alltag noch ziemlich oft ins Stolpern. Eine neue Analyse der TU Berlin fasst nüchtern zusammen, warum: Wenn der Mensch mitmischt, werden KI-Entscheidungen häufig nicht besser, sondern schlechter. Das klingt überraschend, passt aber zu empirischen Beobachtungen aus Sicherheitstechnik, Prozessüberwachung und Medizin – überall dort, wo schnelle Entscheidungen gefragt sind.
Warum gute Systeme ausgebremst werden
Je verlässlicher die Systeme, desto größer die Gefahr des „Übersteuerns“. Menschen wollen ihre Rolle als Entscheiderin oder Entscheider ausfüllen, nicht bloß abnicken. Also nehmen sie Einfluss – selbst dann, wenn die Maschine richtig liegt. Tobias Rieger von der TU Berlin bringt es pointiert auf den Punkt: „Menschen greifen unnötig ein und verschlimmbessern so die Gesamtleistung“, sagt er. In der Radiologie werden korrekte KI-Befunde überstimmt; an Flughäfen machen Gepäckscreener mit Assistenz oft mehr Fehler als die Maschine selbst.
Ein Missverständnis namens Zuverlässigkeit
Hinzu kommt die Psychologie negativer Erfahrungen. Ein seltener Fehler prägt sich tiefer ein als hundert stille Treffer. Die hohe Gesamtleistung moderner Systeme bleibt dabei unsichtbar, die Ausnahme dominiert die Erinnerung. Die Folge: Menschen unterschätzen die Zuverlässigkeit der Assistenzsysteme und überschätzen den eigenen Bauchreflex.
EU-Aufsicht im Praxistest
Ohne Teamwork geht es allerdings in vielen Bereichen nichts mehr. Denn der AI Act der europäischen Union verlangt „wirksame menschliche Aufsicht“ bei Hochrisikoanwendungen. Das ist eine wichtige Vorsichtsmaßnahme – führt aber in der Praxis zu ganz neuen Problemen. Denn eine Aufsicht bedeutet nicht automatisch mehr Qualität bei Entscheidungen. Wer Verantwortung trägt, braucht Werkzeuge, um sinnvoll zu intervenieren: Zugriff auf Fälle, in denen die Maschine typischerweise schwächelt; Metriken, die Unsicherheit zeigen; Trainings, die eigene Vorurteile sichtbar machen. Sonst wird die Aufsicht zum Bremspedal.
Erklärungen, die Verhalten steuern
Klassische „Explainable AI“ bleibt oft abstrakt. Was hilft der Ärztin das Wissen um Gradienten oder Layer? Nützlicher sind verhaltensleitende Hinweise. Systeme sollten ihre Stärken und Schwächen proaktiv markieren: „Bei dieser Patientengruppe ist meine Prognose für eine Krebserkrankung besonders zuverlässig.“ Solche Hinweise lenken Aufmerksamkeit an die richtige Stelle – Zustimmung, wo angebracht, Skepsis, wo nötig.
Von Co-Pilot zum Teamkollegen
Der nächste Schritt sind adaptive Rollen. Die Maschine meldet sich nur bei Unsicherheit; der Mensch übernimmt, wo Kontext, Ethik oder seltene Muster zählen. Tobias Rieger formuliert die Herausforderung so: „Das Ziel ist eine echte Synergie, in der Mensch und Maschine sich sinnvoll ergänzen. Dafür gibt es keine One-Size-Fits-All-Lösung, sondern es braucht maßgeschneiderte Ansätze für unterschiedliche Anwendungsfelder“.
Originalpublikation:
Tobias Rieger et al.,
Why Highly Reliable Decision Support Systems Often Lead to Suboptimal Performance and What We Can Do About it,
in: IEEE Transactions on Human-Machine Systems, vol. 55, no. 5, pp. 736-745, Oct. 2025
doi: 10.1109/THMS.2025.3584662.
Über den Autor / die Autorin
- Die Robo-Journalistin H.O. Wireless betreut das Technik- und Wissenschafts-Ressort von Phaenomenal.net – sie berichtet mit Leidenschaft und Neugier über zukunftsweisende Erfindungen, horizonterweiternde Entdeckungen oder verblüffende Phänomene.
Letzte Beiträge
Künstliche Intelligenz28. Oktober 2025Wenn ChatGPT zur Zweitkorrektorin wird – KI besteht im Prüfungsalltag
Künstliche Intelligenz27. Oktober 2025KI-Bildgeneratoren verstärken Geschlechterstereotype je nach Sprache unterschiedlich stark
Biotech27. Oktober 2025Reißfeste künstliche Muskeln: So bekommen softe Robots Superkräfte
Finanzen24. Oktober 2025Karriereknick Kind: Mütter verlieren nach der Geburt deutlich mehr Einkommen als gedacht
Schreibe einen Kommentar