Direkt zum Hauptbereich

Vernünftigerweise vorhersehbare Miss- und Fehlbedienung von neuen KI-Features

Die Entwicklung und Einführung neuer Features künstlicher Intelligenz (KI) erfordern zunehmend eine gründliche Berücksichtigung möglicher menschlicher Miss- und Fehlbedienungen. Gemäß dem Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung („Reasonably Foreseeable Misuse“; ISO 12100:2010) sind Entwickler und Designer dazu verpflichtet, nicht nur die intendierte Nutzung ihrer Systeme zu berücksichtigen, sondern auch vorhersehbare fehlerhafte oder absichtliche Fehlbedienungen zu antizipieren (International Organization for Standardization, 2010). Dies gilt insbesondere für KI-Systeme, deren Verhalten komplex, adaptiv und teilweise intransparent für Nutzer sein kann (Mittelstadt et al., 2016).


Psychologische Forschung zeigt deutlich, dass menschliches Verhalten oft durch Heuristiken, kognitive Verzerrungen und begrenzte kognitive Ressourcen geprägt ist, was zu unbeabsichtigten Fehlbedienungen oder sogar bewussten Manipulationen führt (Kahneman, 2011; Reason, 1990). Bei KI-Features wie automatisierter Entscheidungsunterstützung, personalisierten Empfehlungen oder adaptiven Benutzeroberflächen könnte die Komplexität dazu verleiten, dass Nutzer unabsichtlich kritische Fehlentscheidungen treffen oder absichtlich Sicherheitsmechanismen umgehen (Endsley, 2017).

Die Anwendbarkeit des Prinzips der vorhersehbaren Miss- und Fehlbedienung auf KI verlangt daher eine proaktive, psychologisch fundierte Gestaltung von KI-Systemen. Entwickler sollten bereits in der Konzeptionsphase typische psychologische Fallen wie Bestätigungsfehler (Confirmation Bias), Übervertrauen (Overconfidence Bias) oder Automatisierungsfehler (Automation Bias) berücksichtigen (Parasuraman & Manzey, 2010). Beispielsweise kann ein KI-basiertes Empfehlungssystem Nutzer dazu verleiten, Empfehlungen unkritisch zu übernehmen (Automation Bias), wodurch relevante Warnhinweise ignoriert und potenziell riskante Entscheidungen getroffen werden (Parasuraman & Riley, 1997).

Aus der Perspektive der Arbeitspsychologie und Ergonomie bedeutet dies, dass KI-Features so gestaltet werden müssen, dass sie sowohl intuitiv nutzbar als auch widerstandsfähig gegenüber vorhersehbaren menschlichen Fehlern sind. Menschliche Faktoren (Human Factors) spielen eine zentrale Rolle bei der Risikobeurteilung und -gestaltung, da sie helfen, spezifische Fehlerquellen und deren psychologische Ursachen zu identifizieren (Reason, 2000; Wickens, Lee, Liu & Becker, 2004). Dies erfordert ein tiefgehendes Verständnis der kognitiven Prozesse und psychischen Belastungen, denen Nutzer bei der Interaktion mit KI-Systemen ausgesetzt sind.

Zusammenfassend lässt sich festhalten, dass das Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung bei neuen KI-Features umfassend angewandt werden sollte. Eine erfolgreiche Integration psychologischer Erkenntnisse in den Entwicklungsprozess ermöglicht eine robustere, sicherere und nutzerfreundlichere Gestaltung von KI-Technologien, welche das Potenzial menschlicher Fehler minimiert und das Vertrauen der Nutzer in diese Systeme stärkt.

Literatur 

Endsley, M. R. (2017). From here to autonomy: Lessons learned from human–automation research. Human Factors, 59(1), 5–27. https://doi.org/10.1177/0018720816681350

International Organization for Standardization. (2010). ISO 12100:2010 – Safety of machinery – General principles for design – Risk assessment and risk reduction. ISO.

Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2). https://doi.org/10.1177/2053951716679679

Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Reason, J. (1990). Human Error. Cambridge University Press.

Reason, J. (2000). Human error: Models and management. BMJ, 320(7237), 768–770. https://doi.org/10.1136/bmj.320.7237.768

Wickens, C. D., Lee, J. D., Liu, Y., & Becker, S. E. G. (2004). An introduction to human factors engineering (2nd ed.). Pearson.

Beliebte Posts aus diesem Blog

Psychologie der Echsenmenschen Verschwörungstheorie

Der Begriff „Echsenmenschen“ oder „Reptiloide“ bezeichnet ein populäres Motiv aus Verschwörungstheorien , das keinerlei wissenschaftliche Grundlage hat. Es handelt sich dabei um angeblich humanoide Wesen mit reptilienartigen Merkmalen, die in manchen Erzählungen als außerirdischen Ursprungs oder als uralte, unterirdisch lebende Spezies dargestellt werden. Die Grundidee ist, dass diese Wesen angeblich seit Jahrhunderten oder Jahrtausenden im Geheimen die Geschicke der Menschheit lenken – vor allem durch die Infiltration von Regierungen, Medien oder Großkonzernen. Ursprung der Vorstellung Die moderne Version dieser Verschwörungstheorie geht maßgeblich auf David Icke zurück, einen britischen Autor und ehemaligen Sportreporter, der seit den 1990er-Jahren behauptet, dass eine außerirdische Rasse von reptiloiden Wesen – die er als Teil einer „babylonischen Bruderschaft“ bezeichnet – die Welt kontrolliere. Laut Icke sollen viele prominente Persönlichkeiten, darunter Mitglieder von Königshä...
Mehr »

Der Barnum-Effekt – Psychologische Mechanismen selektiver Selbsttäuschung

Der Barnum-Effekt beschreibt die Tendenz von Menschen, unspezifische und allgemein gehaltene Aussagen über ihre Persönlichkeit als zutreffend zu akzeptieren. Dieser Effekt spielt eine zentrale Rolle in der Erklärung, warum Menschen an pseudowissenschaftliche Verfahren wie Horoskope, Graphologie oder bestimmte Persönlichkeitstests glauben. Der vorliegende Beitrag beleuchtet die kognitiven, affektiven und sozialen Mechanismen hinter dem Effekt, diskutiert seine empirische Basis und zeigt Implikationen für Beratung, Diagnostik und KI-gestützte Systeme auf. 1. Einleitung „Sie sind eher introvertiert, schätzen jedoch gute Gespräche. Manchmal zweifeln Sie an sich, wirken nach außen aber sicher.“ – Aussagen wie diese erscheinen individuell, treffen jedoch statistisch auf fast jede Person zu. Der Barnum-Effekt – benannt nach dem amerikanischen Zirkusunternehmer P. T. Barnum, der angeblich „für jeden etwas“ im Programm hatte – beschreibt genau dieses psychologische Phänomen. Ursprünglich wur...
Mehr »

Echokammern, Filterblasen und Rabbit Holes: Psychologische Mechanismen, empirische Evidenz und gesellschaftliche Implikationen

Im öffentlichen Diskurs rund um digitale Medien sind Begriffe wie Echokammern, Filterblasen und Rabbit Holes allgegenwärtig geworden. Sie beschreiben unterschiedliche, teils überlappende Phänomene, die die Art und Weise beeinflussen, wie Menschen Informationen aufnehmen, interpretieren und weitergeben. Aus psychologischer Sicht verspricht ihre Untersuchung ein vertieftes Verständnis dafür, wie individuelle Kognitionen mit digitalen Algorithmen und sozialen Dynamiken interagieren. Doch so plausibel die Konzepte erscheinen mögen, so notwendig ist eine differenzierte Betrachtung ihrer wissenschaftlichen Fundierung. Echokammern verweisen auf kommunikative Räume, in denen homogene Meinungen dominieren und abweichende Perspektiven systematisch ausgeblendet werden. Aus sozialpsychologischer Sicht werden Echokammern durch Prozesse wie Gruppenkohäsion, soziale Identifikation und normative Konformität verstärkt (Tajfel & Turner, 1986; Postmes et al., 2005). Empirische Studien zeigen, dass in...
Mehr »