Die Entwicklung und Einführung neuer Features künstlicher Intelligenz (KI) erfordern zunehmend eine gründliche Berücksichtigung möglicher menschlicher Miss- und Fehlbedienungen. Gemäß dem Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung („Reasonably Foreseeable Misuse“; ISO 12100:2010) sind Entwickler und Designer dazu verpflichtet, nicht nur die intendierte Nutzung ihrer Systeme zu berücksichtigen, sondern auch vorhersehbare fehlerhafte oder absichtliche Fehlbedienungen zu antizipieren (International Organization for Standardization, 2010). Dies gilt insbesondere für KI-Systeme, deren Verhalten komplex, adaptiv und teilweise intransparent für Nutzer sein kann (Mittelstadt et al., 2016).
Psychologische Forschung zeigt deutlich, dass menschliches Verhalten oft durch Heuristiken, kognitive Verzerrungen und begrenzte kognitive Ressourcen geprägt ist, was zu unbeabsichtigten Fehlbedienungen oder sogar bewussten Manipulationen führt (Kahneman, 2011; Reason, 1990). Bei KI-Features wie automatisierter Entscheidungsunterstützung, personalisierten Empfehlungen oder adaptiven Benutzeroberflächen könnte die Komplexität dazu verleiten, dass Nutzer unabsichtlich kritische Fehlentscheidungen treffen oder absichtlich Sicherheitsmechanismen umgehen (Endsley, 2017).
Die Anwendbarkeit des Prinzips der vorhersehbaren Miss- und Fehlbedienung auf KI verlangt daher eine proaktive, psychologisch fundierte Gestaltung von KI-Systemen. Entwickler sollten bereits in der Konzeptionsphase typische psychologische Fallen wie Bestätigungsfehler (Confirmation Bias), Übervertrauen (Overconfidence Bias) oder Automatisierungsfehler (Automation Bias) berücksichtigen (Parasuraman & Manzey, 2010). Beispielsweise kann ein KI-basiertes Empfehlungssystem Nutzer dazu verleiten, Empfehlungen unkritisch zu übernehmen (Automation Bias), wodurch relevante Warnhinweise ignoriert und potenziell riskante Entscheidungen getroffen werden (Parasuraman & Riley, 1997).
Aus der Perspektive der Arbeitspsychologie und Ergonomie bedeutet dies, dass KI-Features so gestaltet werden müssen, dass sie sowohl intuitiv nutzbar als auch widerstandsfähig gegenüber vorhersehbaren menschlichen Fehlern sind. Menschliche Faktoren (Human Factors) spielen eine zentrale Rolle bei der Risikobeurteilung und -gestaltung, da sie helfen, spezifische Fehlerquellen und deren psychologische Ursachen zu identifizieren (Reason, 2000; Wickens, Lee, Liu & Becker, 2004). Dies erfordert ein tiefgehendes Verständnis der kognitiven Prozesse und psychischen Belastungen, denen Nutzer bei der Interaktion mit KI-Systemen ausgesetzt sind.
Zusammenfassend lässt sich festhalten, dass das Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung bei neuen KI-Features umfassend angewandt werden sollte. Eine erfolgreiche Integration psychologischer Erkenntnisse in den Entwicklungsprozess ermöglicht eine robustere, sicherere und nutzerfreundlichere Gestaltung von KI-Technologien, welche das Potenzial menschlicher Fehler minimiert und das Vertrauen der Nutzer in diese Systeme stärkt.
Literatur
Endsley, M. R. (2017). From here to autonomy: Lessons learned from human–automation research. Human Factors, 59(1), 5–27. https://doi.org/10.1177/0018720816681350
International Organization for Standardization. (2010). ISO 12100:2010 – Safety of machinery – General principles for design – Risk assessment and risk reduction. ISO.
Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2). https://doi.org/10.1177/2053951716679679
Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055
Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886
Reason, J. (1990). Human Error. Cambridge University Press.
Reason, J. (2000). Human error: Models and management. BMJ, 320(7237), 768–770. https://doi.org/10.1136/bmj.320.7237.768
Wickens, C. D., Lee, J. D., Liu, Y., & Becker, S. E. G. (2004). An introduction to human factors engineering (2nd ed.). Pearson.