Vernünftigerweise vorhersehbare Miss- und Fehlbedienung von neuen KI-Features

Die Entwicklung und Einführung neuer Features künstlicher Intelligenz (KI) erfordern zunehmend eine gründliche Berücksichtigung möglicher menschlicher Miss- und Fehlbedienungen. Gemäß dem Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung („Reasonably Foreseeable Misuse“; ISO 12100:2010) sind Entwickler und Designer dazu verpflichtet, nicht nur die intendierte Nutzung ihrer Systeme zu berücksichtigen, sondern auch vorhersehbare fehlerhafte oder absichtliche Fehlbedienungen zu antizipieren (International Organization for Standardization, 2010). Dies gilt insbesondere für KI-Systeme, deren Verhalten komplex, adaptiv und teilweise intransparent für Nutzer sein kann (Mittelstadt et al., 2016). Psychologische Forschung zeigt deutlich, dass menschliches Verhalten oft durch Heuristiken, kognitive Verzerrungen und begrenzte kognitive Ressourcen geprägt ist, was zu unbeabsichtigten Fehlbedienungen oder sogar bewussten Manipulationen führt (Kahneman, 2011; Reason, 1990). Bei KI...