Zwischen Vertrauen und Kontrolle: eine psychologische Analyse der KI-Nutzung

Zusammenfassung

Dieser Beitrag untersucht die Nutzung von KI-Systemen als Konstellation aus Vertrauen und Kontrolle und zeigt, dass beide Größen weder austauschbar noch gleichsinnig sind. Ausgangspunkt ist eine Selbstbeobachtung: Dem eigenen, selbst gebauten System wird bedingt vertraut, und es wird weitgehend kontrolliert; dieses Vertrauen ist jedoch oft ein Übervertrauen, das aus Urheberschaft, Vertrautheit und gefühlter Kontrolle gespeist wird. Den Systemen großer Technologiekonzerne wird dagegen kaum vertraut, und hier fehlt zusätzlich die Kontrolle. Auf Basis der Forschung zur Mensch-Automation-Interaktion (Lee & See, 2004; Parasuraman & Riley, 1997; Lee & Moray, 1994) und der Handlungspsychologie der Bamberger Schule (Dörner, 1989; Dörner & Schaub, 1994) wird diese Konstellation als Vier-Felder-Schema analysiert. Gefühlte Kontrolle schützt nicht vor Übervertrauen, und tatsächliche Kontrolle ist kostspielig, weil sie Dauerverifikation verlangt, eine Aufgabe, für die Menschen schlecht geeignet sind (Bainbridge, 1983; Parasuraman & Manzey, 2010). Die Perspektive der Human-Systems-Integration und der KI-Absicherung (Assurance) bei der IABG zeigt, wie aus unbegründetem Vertrauen oder aus Misstrauen begründetes Vertrauen werden kann: durch Unsicherheitsquantifizierung, Tests im Einsatzkontext und Monitoring. Schließlich wird der Aufwuchs von Schwarz Digits als Fall betrachtet, in dem ein Zuwachs an Kontrolle (Standort, Rechtsraum) nicht automatisch Vertrauen erzeugt. Politisch folgt daraus: Souveränität ist keine Vertrauensgarantie, menschliche Aufsicht allein trägt als Regulierungsinstrument nicht, und Absicherung braucht unabhängige, überprüfbare Strukturen.

1 Einleitung

Generative KI-Systeme sind innerhalb weniger Jahre von Experimentierwerkzeugen zu Bestandteilen von Arbeitsprozessen geworden, auch in sicherheitsrelevanten Bereichen. Die Frage, wie Menschen mit solchen Systemen umgehen sollten, wird meist als Frage nach dem Vertrauen gestellt: Vertraut der Nutzer dem System zu viel oder zu wenig? Dieser Beitrag vertritt die Auffassung, dass die Frage unvollständig ist. Entscheidend ist das Verhältnis zweier Größen, die in der Praxis häufig verwechselt werden: Vertrauen als Bereitschaft, sich verwundbar zu machen, ohne zu prüfen, und Kontrolle als Fähigkeit, zu prüfen und einzugreifen.

Die Ausgangsthese stammt aus der eigenen Praxis des Autors und lässt sich in zwei Beobachtungen fassen. Erstens: Dem eigenen System, also selbst gebauten Werkzeugen, Prompts und Arbeitsabläufen, wird bedingt vertraut, und es besteht weitgehende Kontrolle über Eingaben, Kontext und Prüfschritte; dieses Vertrauen ist jedoch häufig ein Übervertrauen, weil Urheberschaft, Vertrautheit und das Gefühl der Kontrolle die Prüfung mildern. Zweitens: Den Systemen der großen Technologiekonzerne wird dagegen kaum vertraut, und die Kontrolle ist tatsächlich gering, weil Modell, Trainingsdaten, Updates und Geschäftsbedingungen außerhalb der eigenen Reichweite liegen. Es handelt sich um eine Beobachtung, nicht um eine Messung; der Beitrag nutzt sie als Denkfigur, um die Literatur zu ordnen und Folgerungen abzuleiten.

Der Text ist wie folgt aufgebaut. Abschnitt 2 klärt die Begriffe, Abschnitt 3 spielt die vier möglichen Konstellationen durch, Abschnitt 4 und 5 behandeln die Kosten der Kontrolle und die Frage, ob Vertrauen und Kontrolle beim eigenen System begründet oder Ausdruck von Übervertrauen und Kontrollillusion sind. Abschnitt 6 und 7 stellen Bezüge zur Human-Systems-Integration und KI-Absicherung der IABG sowie zum Aufbau europäischer Cloud-Infrastruktur durch Schwarz Digits her. Abschnitt 8 diskutiert politische Implikationen, Abschnitt 9 Gegenargumente.

2 Theoretischer Rahmen

Vertrauen. Luhmann (1968) beschreibt Vertrauen als Mechanismus zur Reduktion sozialer Komplexität: Wer vertraut, verzichtet auf Prüfung und gewinnt Handlungsfähigkeit, geht aber eine riskante Vorleistung ein. Mayer, Davis und Schoorman (1995) fassen Vertrauen als Bereitschaft, verwundbar zu sein, und unterscheiden davon die Vertrauenswürdigkeit des Gegenübers mit den Facetten Fähigkeit, Wohlwollen und Integrität. Für Automation übertragen Lee und See (2004) dies auf Leistung, Prozess und Zweck: Vertrauen steuert die Nutzung vor allem dort, wo Komplexität und unvorhergesehene Situationen ein vollständiges Verstehen des Systems unmöglich machen. Hoff und Bashir (2015) ordnen die Einflussfaktoren in drei Schichten: dispositionelles, situatives und gelerntes Vertrauen.

Kalibrierung. Zentral ist nicht die Höhe des Vertrauens, sondern seine Passung zur tatsächlichen Leistungsfähigkeit. Übervertrauen führt zu Fehlgebrauch (misuse), Untervertrauen zu Nichtnutzung (disuse), und dort, wo Entwickler oder Manager Automation ohne Rücksicht auf die Folgen für menschliche Leistung einführen, spricht man von Missbrauch (abuse) (Parasuraman & Riley, 1997; Lee & See, 2004). Lee und Moray (1994) zeigten zudem, dass nicht das Vertrauen allein die Nutzung bestimmt: Automation wird genutzt, wenn das Vertrauen in sie das Selbstvertrauen in die eigene manuelle Kontrolle übersteigt, andernfalls wird manuell gesteuert.

Kontrolle. Kontrolle bezeichnet hier die tatsächliche Möglichkeit, den Zustand eines Systems zu erkennen und einzugreifen. Sie ist keine Alles-oder-nichts-Größe: Parasuraman, Sheridan und Wickens (2000) unterscheiden vier Funktionen (Informationsaufnahme, -analyse, Entscheidungsauswahl, Handlungsausführung) mit jeweils abgestuftem Automationsgrad, und Endsley und Kiris (1995) zeigen, dass ein hohes Maß an menschlicher Kontrolle vor einem Automationsausfall die Rückkehr in die Regelung erleichtert. In der Bamberger Handlungspsychologie ist wirksame Kontrolle zudem an ein zutreffendes Modell des Systems gebunden; Menschen scheitern in komplexen Situationen vor allem an unvollständigen Modellen, an Neben- und Fernwirkungen und an der Unterschätzung von Dynamik (Dörner, 1989; Dörner & Schaub, 1994).

Kontrollillusion. Langer (1975) definierte die Kontrollillusion als eine Erwartung persönlichen Erfolgs, die über der objektiven Wahrscheinlichkeit liegt, und zeigte, dass Merkmale von Geschicklichkeitssituationen wie Wahlmöglichkeit, Vertrautheit und Involviertheit sie auch in Zufallssituationen hervorrufen. Diese drei Merkmale treffen auf selbst gebaute Systeme in besonderem Maß zu, worauf Abschnitt 5 zurückkommt.

Beziehung der Größen. Schoorman, Mayer und Davis (2007) behandeln Kontrollsysteme ausdrücklich als Thema der Weiterentwicklung des Vertrauensmodells. Aus der Literatur lassen sich drei Beziehungen ableiten: Kontrolle kann Vertrauen ersetzen, indem sie Prüfung an die Stelle von Erwartung setzt; sie kann Vertrauen ermöglichen, wenn bestandene Prüfungen eine begründete Erwartung aufbauen; und sie kann Vertrauen verdrängen, wenn dauerndes Prüfen die Erfahrung verhindert, dass es auch ohne Prüfung gut geht. Welche Beziehung vorliegt, ist eine empirische Frage und hängt von Aufgabe, Risiko und Systemverhalten ab.

3 Vier-Felder-Analyse

Kreuzt man hohes und niedriges Vertrauen mit hoher und niedriger Kontrolle, ergeben sich vier Konstellationen. Die beiden Ausgangsbeobachtungen des Autors liegen an den Rändern der Tabelle: das eigene System im Feld „hohes Vertrauen, hohe Kontrolle“, dort aber mit der Gefahr, dass beides stärker gefühlt als belegt ist, die Systeme der Technologiekonzerne im Feld „niedriges Vertrauen, niedrige Kontrolle“. Das Feld „niedriges Vertrauen, hohe Kontrolle“ bildet eine Übergangsform, etwa beim Prüfer, beim Skeptiker oder in der Anfangsphase der Nutzung. Die Fehlerbilder stützen sich auf Parasuraman und Riley (1997), Parasuraman und Manzey (2010) und Skitka, Mosier und Burdick (1999); die Zuordnung zu den Feldern ist eine Interpretation des Autors.

Feld	Beispiel	Typisches Erleben	Typische Fehler	Preis
Hohes Vertrauen, hohe Kontrolle	Bewährtes, gut verstandenes Werkzeug mit Prüfpunkten; das eigene System (Ausgangsthese, bedingtes Vertrauen)	Entlastung, Souveränität	Selbstzufriedenheit (Complacency), schleichender Prüfverzicht, Übervertrauen durch Urheberschaft	Pflege der Voraussetzungen, laufende Rekalibrierung
Hohes Vertrauen, niedrige Kontrolle	Bequem genutzter Cloud-Assistent ohne Einblick	Bequemlichkeit, Leichtigkeit	Fehlgebrauch (misuse), Automation Bias, Verantwortungsdiffusion	Verwundbarkeit und Abhängigkeit, Überraschung beim ersten schweren Fehler
Niedriges Vertrauen, hohe Kontrolle	Neues oder fremdes System, das streng geprüft wird	Wachsamkeit, Handlungsfähigkeit, Anstrengung	Nichtnutzung (disuse), ermüdete oder ritualisierte Prüfung	Aufmerksamkeit, Verifikationsaufwand, Zeit
Niedriges Vertrauen, niedrige Kontrolle	Systeme großer Anbieter bei faktisch fehlender Alternative	Ohnmacht, Zynismus	Nutzung gegen das eigene Urteil, Normalisierung	Kontrollverlust ohne Gegenwehr

Das Feld „hohes Vertrauen, hohe Kontrolle“ gilt als erstrebenswert, ist aber instabil: Je besser das System läuft, desto weniger wird geprüft, und desto eher wandert die Konstellation in das Feld mit niedriger Kontrolle. Beim selbst gebauten System kommt hinzu, dass die Urheberschaft den Prüfverzicht zusätzlich begünstigt (Abschnitt 5). Das Feld „niedriges Vertrauen, niedrige Kontrolle“ ist psychologisch am heikelsten, weil Misstrauen dort nicht schützt, sofern die Nutzung faktisch alternativlos ist; es kann in Resignation oder Gewöhnung umschlagen. Giddens (1990) beschreibt für abstrakte Systeme der Moderne, dass Vertrauen dort gerade nicht aus persönlicher Prüfung entsteht, sondern aus Erfahrungen an Zugangspunkten, an denen Verantwortliche ansprechbar sind. Wo solche Zugangspunkte fehlen, bleibt nur die Wahl zwischen blindem Vertrauen und Dauermisstrauen.

4 Die Asymmetrie: Kontrolle ohne Vertrauen

Kontrolle ohne Vertrauen ist teuer, weil sie den Menschen in die Rolle des Überwachers setzt. Bainbridge (1983) hat dies als eine der Ironien der Automatisierung beschrieben: Wird der größte Teil einer Aufgabe automatisiert, bleibt dem Menschen gerade das Überwachen und das Eingreifen im Ausnahmefall, also das, was bei seltenen Ereignissen und monotoner Beobachtung am schlechtesten gelingt, während zugleich die Übung im Normalfall fehlt. Endsley und Kiris (1995) bezeichnen die Folge als Out-of-the-loop-Problem: Wer das System nicht mehr aktiv steuert, kann nach einem Ausfall schlechter übernehmen.

Empirisch ist die Überwachung automatisierter Systeme anfällig. Parasuraman und Manzey (2010) integrieren Befunde zu Complacency und Automation Bias als Aufmerksamkeitsphänomene, die bei Laien wie Experten auftreten und sich durch einfaches Üben nicht beseitigen lassen. Skitka, Mosier und Burdick (1999) fanden in einer simulierten Flugaufgabe, dass Teilnehmer ohne ein sehr zuverlässiges, aber nicht fehlerfreies Assistenzsystem bei einer Überwachungsaufgabe besser abschnitten als Teilnehmer mit diesem System.

Für Konstellationen mit hoher Kontrolle, gleich ob das Vertrauen niedrig oder hoch ist, folgen daraus drei praktische Konsequenzen, die als Interpretation des Autors zu lesen sind:

1. Verifikation ist eine knappe Ressource. Kostet die Prüfung nahezu so viel wie die Eigenleistung, entfällt der Nutzen; man prüft dann entweder alles oberflächlich oder das Falsche gründlich.

2. Kontrolle muss gestaffelt werden. Stichproben genügen bei Routine, volle Prüfung gehört zu folgenschweren Ergebnissen. Das entspricht der Logik abgestufter Automationsgrade bei Parasuraman et al. (2000), angewandt auf die Prüftiefe.

3. Kontrolle am Verhalten ist nicht Kontrolle an den Ursachen. Wo das Modell des Systems fehlt, wie bei einem Sprachmodell, bleibt nur die Prüfung des Ergebnisses. Mit Dörner (1989) gesprochen fehlt dann das Wissen über Neben- und Fernwirkungen, etwa über Wirkungen eines unangekündigten Modellupdates.

Bei sprachlich souveränen Systemen kommt hinzu, dass Fehler plausibel klingen; die Prüfung muss deshalb am Inhalt ansetzen, nicht am Eindruck. Ob sich die Befunde aus Leitwarte und Cockpit vollständig auf textbasierte KI-Assistenz übertragen lassen, ist offen und müsste empirisch geprüft werden.

5 Das eigene System: bedingtes Vertrauen und Übervertrauen

Dem eigenen System wird bedingt vertraut: bei bekannten Aufgaben, vertrauten Prompts und eingespielten Prüfroutinen. Das ist zunächst nachvollziehbar, denn wer die Nähte kennt, an denen ein Prompt kippt, ein Kontext verrutscht oder ein Modell plausibel danebenliegt, vertraut nicht blind. Im Sinne von Lee und See (2004) wäre dieses Vertrauen dann angemessen kalibriert, wenn es der tatsächlichen Leistungsschwankung des Systems entspricht und eine gute Auflösung (resolution) besitzt, also zwischen Aufgaben und Situationen unterscheidet, in denen das System verlässlich ist, und solchen, in denen es das nicht ist. In der Praxis ist es jedoch häufig ein Übervertrauen: Es wächst mit der Erfahrung, dass das System in den meisten Fällen funktioniert, und überträgt sich von den bekannten auf die unbekannten Fälle. Die Bedingungen, an die das Vertrauen geknüpft ist, werden dabei selten geprüft.

Hinzu kommt, dass die Kontrolle nur teilweise real ist. Der Autor kontrolliert Eingaben, Struktur, Kontext, Prüfschritte und Ausgabeformate, nicht aber die Vorgänge im zugrunde liegenden Sprachmodell. Drei Mechanismen sprechen dafür, dass das Vertrauen in das eigene System höher ausfällt, als die Leistung rechtfertigt. Erstens die Kontrollillusion (Langer, 1975): Wahlfreiheit, Vertrautheit und Involviertheit, die dort Überzuversicht auslösten, sind bei selbst gebauten Systemen maximal ausgeprägt. Zweitens der Aufwandseffekt: Norton, Mochon und Ariely (2012) zeigten, dass Menschen selbst Gebautes höher bewerten, wenn sie Arbeit investiert haben; übertragen auf eigene Werkzeuge ist zu erwarten, dass man das Selbstgebaute milder liest. Drittens Gewöhnung: Je länger ein System ohne auffälligen Fehler läuft, desto weniger wird geprüft (Complacency; Parasuraman & Manzey, 2010). Real ist die Kontrolle dort, wo Prüfpunkte eingebaut sind und Fehler tatsächlich abgefangen werden. Illusorisch wird sie, wo das Gefühl der Urheberschaft die Prüfung ersetzt. Diese Mechanismen sind hier begründete Hypothesen; die Befunde von Langer und Norton et al. stammen aus Zufalls- und Bastelaufgaben, nicht aus der Arbeit mit Sprachmodellen.

Mit Lee und Moray (1994) lässt sich die Konstellation zudem als Verhältnis von Vertrauen und Selbstvertrauen lesen: Beim eigenen System verstärken sich Vertrauen in das System und Selbstvertrauen in die eigene Prüffähigkeit gegenseitig, weil beides aus derselben Urheberschaft abgeleitet wird. Begründetes Vertrauen setzt ein Vertrauen zweiter Ordnung voraus, nämlich in die eigene Fähigkeit, Fehler zu erkennen. Gerade bei plausibel formulierten Fehlern kann diese Selbsteinschätzung zu hoch sein.

Empirisch prüfbar wäre die Frage mit einfachen Mitteln: einem Fehlerprotokoll über mehrere Wochen, verdeckt eingestreuten Fehlern (Blindtests) und dem Vergleich von wahrgenommener und tatsächlich entdeckter Fehlerquote. Erst solche Daten würden zeigen, ob die Kontrolle real und das Vertrauen begründet ist.

6 Human Factors und Safe AI: der Bezug zur IABG-Perspektive

Die bisherige Argumentation lässt sich an zwei Arbeitsfeldern der IABG spiegeln, die sich bei der Frage nach Vertrauen und Kontrolle berühren: der Human-Systems-Integration (HSI) und der KI-Absicherung (AI Assurance, safeAI). Die Angaben stammen von den Internetseiten der IABG; die Zuordnung in der rechten Spalte ist Interpretation.

Baustein (nach IABG-Angaben)	Beitrag zu Vertrauen und Kontrolle
HSI nach dem menschzentrierten Gestaltungsprozess (DIN EN ISO 9241-210), einschließlich Mensch-Maschine-Teaming und KI	Gestaltung von Aufgabenteilung und Schnittstelle, damit Kontrolle ausübbar bleibt
Kognitive Ergonomie: Aufmerksamkeit, Ermüdung und Workload per Fragebogen, Eyetracking, EKG und EDA	Messung der Kosten der Kontrolle (Abschnitt 4) statt Annahme
AI Assurance als Lebenszyklusprozess: Kontext- und Risikoanalyse, Anforderungen, begleitende Entwicklung, Verifikation und Validierung, Dokumentation, Betrieb und Monitoring	Vertrauen wird aus Nachweisen im Einsatzkontext hergeleitet, nicht aus Modellleistung allein
safeAI-kit: Bewertung von Robustheit, Unsicherheit, Erklärbarkeit und Systemgrenzen für Bildverarbeitung, Reinforcement-Learning-Agenten und große Sprachmodelle	Informationen, die die Auflösung des Vertrauens verbessern (Lee & See, 2004)
DIN SPEC 92005 zur Quantifizierung von Unsicherheiten im maschinellen Lernen (2024), von der IABG initiiert; ISO/IEC TS 25223 unter IABG-Leitung, Abschluss erwartet bis Anfang 2028	Normative Grundlage dafür, dass Systeme ihre Unsicherheit ausweisen
Monitoring und Drift-Erkennung im Betrieb	Gegenmittel gegen entwertete Kalibrierung nach Modelländerungen

Inhaltlich ist diese Verbindung folgerichtig. Die AI-Assurance-Seite der IABG betont, dass nicht das Modell allein, sondern das Verhalten der KI im Zusammenspiel mit Daten, Prozessen, Menschen und Organisation zu bewerten sei, und nennt unter Ethik und Governance ausdrücklich die Sicherstellung menschlicher Kontrolle und Entscheidungsfähigkeit. Das entspricht der hier vertretenen Sicht, dass Vertrauen und Kontrolle Eigenschaften einer Konstellation sind. Schaub (2020) argumentiert für den Bereich autonomer Waffensysteme, dass ohne enge Verzahnung technischer Entwicklung mit Human-Factors-Forschung die Weiterentwicklung hochautomatisierter Systeme zu scheitern droht, und zählt unter anderem kognitive Ergonomie und das Vertrauen in das Führungspersonal zu den relevanten Fragen. Schaub (2008) behandelt Wahrnehmung, Aufmerksamkeit und Situation Awareness als Grundlage sicheren Handelns, Schaub (2016) die Psychologie subjektiver Sicherheit und subjektiven Risikos in kritischen Situationen; beides ist für die Unterscheidung zwischen gefühlter und tatsächlicher Kontrolle einschlägig. Die jüngere, nicht begutachtete Darstellung des Autors zu „Trusted Autonomy“ (2026, LinkedIn) behandelt die Grenzen kalibrierten Vertrauens in autonome Systeme.

Desiderat. Absicherung bewertet das System, Human-Factors-Forschung bewertet den Menschen. Offen ist die kombinierte Prüfung: Erkennen die menschlichen Aufsichtspersonen mit den bereitgestellten Unsicherheitsanzeigen tatsächlich die Fehler, für die sie zuständig sind, und unter welcher Belastung? Ein solcher Wirksamkeitsnachweis menschlicher Aufsicht liegt genau an der Schnittstelle der beiden Arbeitsfelder und wäre ein naheliegendes gemeinsames Forschungs- und Prüfthema. Er ist zugleich die Frage, an der die Regulierung scheitern kann (Abschnitt 8).

7 Infrastruktur und Souveränität: der Aufwuchs von Schwarz Digits

Die Gegenfigur zu den Systemen der US-Konzerne ist derzeit der Versuch, in Deutschland einen eigenen Hyperscaler aufzubauen. Schwarz Digits, die Digitalsparte der Schwarz Gruppe (Lidl, Kaufland), betreibt mit STACKIT eine Cloud, die ursprünglich als internes Werkzeug entstand und sich später für externe Kunden öffnete. Die folgende Übersicht fasst den Stand nach öffentlich zugänglichen Berichten zusammen; Unternehmensangaben sind als solche gekennzeichnet, und der Stand ist der 1. Oktober 2026.

Gegenstand	Angabe	Quelle
Einordnung	Schwarz Digits als fünfte Sparte der Gruppe, angekündigt am 29.09.2023; STACKIT ab 2018 intern, ab 2022 für externe Kunden	Wikipedia (en), IT-Daily
Größe	2,2 Mrd. € Umsatz im Geschäftsjahr 2025; rund 8.000 Beschäftigte (2025)	Wikipedia (en)
Lübbenau (Brandenburg)	11 Mrd. € Investition, zunächst rund 200 MW, bis zu 100.000 GPUs, erste drei Module bis Ende 2027	IT-Zoom, Rundschau
Dummerstorf (bei Rostock)	240 MW, 5,6 Mrd. € nach Berichten, geplant bis 2033, bekannt geworden im August 2026	Wirtschaft und Industrie
KI-Partner	Aleph Alpha (PhariaAI auf STACKIT seit 2025); Cohere kündigte im April 2026 die Übernahme an, die Schwarz Gruppe sagte 600 Mio. US-$ für Coheres Finanzierungsrunde zu; Zusammenschlussvereinbarung im September 2026	Wikipedia (en), Aktien.news
Weitere Partner	SAP (RISE with SAP auf STACKIT); Google Workspace über STACKIT mit clientseitiger Verschlüsselung; BSI-Kooperation (März 2025); CrowdStrike erwirbt im Juli 2026 die Technologie von XM Cyber	Wikipedia (en), Schwarz Digits Workspace
Führung	Rolf Schumann verließ das Unternehmen am 10.07.2026; Christian Müller ist alleiniger Vorstandsvorsitzender	OTS
Politischer Rahmen	Beim Gipfel zur europäischen digitalen Souveränität (18.11.2025, Berlin) nannte der Bundeskanzler Investitionen von über 12 Mrd. €, davon rund 11 Mrd. € für Lübbenau	Landesvertretung Rheinland-Pfalz

Lesart nach Vertrauen und Kontrolle. Der Aufwuchs erhöht vor allem die Kontrolle in einem rechtlichen und räumlichen Sinn: Standort in Deutschland und Österreich, Geltung europäischen Rechts und, nach Eigenangabe von STACKIT, keine Unterwerfung unter den US CLOUD Act (STACKIT). Im Sinne von Giddens (1990) sind das Zugangspunkte, an denen Verantwortliche für nationale Gerichte und Aufsichtsbehörden greifbar werden. Ob daraus Vertrauen folgt, ist eine andere Frage und lässt sich mit den Facetten von Mayer et al. (1995) prüfen:

• Fähigkeit: Ob die Gruppe die technische Reife und Skalierbarkeit eines vollwertigen Hyperscalers erreicht, bezeichnen Berichte als offen (Wirtschaft und Industrie); Kritiker bezweifeln Leistung und Ökosystem im Vergleich zu AWS und Azure (eGovernment Aktuell).

• Wohlwollen und Integrität: Es handelt sich um einen privatwirtschaftlichen Akteur, der Souveränität auch als Verkaufsargument im Behördenmarkt einsetzt (ebd.). Das ist legitim, bedeutet aber, dass die Absicht kommerziell ist und nicht demokratisch kontrolliert wird.

• Souveränität als Abstufung: Die Kooperationen mit Google (Workspace), CrowdStrike und Cohere zeigen, dass auch dieser Stack Abhängigkeiten enthält; STACKITs GPU-Instanzen beruhen laut einem Partnerangebot auf NVIDIA-Hardware (innFactory). Welche dieser Abhängigkeiten rechtlich und technisch relevant sind, ist eine Frage für unabhängige Prüfung, nicht für Selbstauskunft.

Für einen Nutzer in der Position des Autors verschiebt sich die Lage damit von „niedriges Vertrauen, niedrige Kontrolle“ allenfalls zu „niedriges Vertrauen, mittlere Kontrolle“. Höheres Vertrauen müsste sich über Leistungsnachweise, Transparenz im Betrieb und Haftungsklarheit erst bilden (Lee & See, 2004).

8 Politische Implikationen

Die folgenden Implikationen sind Folgerungen des Autors aus den vorangehenden Abschnitten, keine Befunde. Sie sind politisch nicht neutral; Gegenpositionen stehen am Ende des Abschnitts.

1. Souveränität ist Kontrolle im rechtlichen Sinn, nicht Vertrauenswürdigkeit. Der politische Impuls für „digitale Souveränität“ entsteht im Feld „niedrige Kontrolle“. Als Auslöser wird häufig der Fall des Internationalen Strafgerichtshofs genannt: Nach US-Sanktionen soll Microsoft das E-Mail-Konto des Chefanklägers gesperrt haben (heise); Microsoft betont, nur auf eine Sanktion gegen eine Einzelperson reagiert und keine Dienste für das Gericht als Institution eingestellt zu haben (beck-aktuell). Unabhängig von der Bewertung des Einzelfalls zeigt er, dass Kontrollverlust über Infrastruktur auch ein Verfügbarkeitsrisiko ist. Ein inländischer Anbieter beseitigt dieses Risiko in Bezug auf ausländische Rechtsakte, nicht aber die Fragen nach Leistung, Absicht und Nachvollziehbarkeit (Abschnitt 7).

2. Abhängigkeit wandert, wenn sie nicht durch Ausstiegsfähigkeit begrenzt wird. Wer wechseln, abschalten oder nachweisen kann, braucht weniger Vertrauen. Politisch folgt daraus ein Vorrang für Portabilität, offene Standards und Multi-Cloud-Fähigkeit in der öffentlichen Beschaffung. In Deutschland stehen dafür zwei Wege nebeneinander: ein privatwirtschaftlicher Hyperscaler wie STACKIT und eine auf Open Source beruhende, national betriebene Lösung wie die National Secure Cloud der IABG, die nach eigener Darstellung für Verschlusssachen bis „GEHEIM“ und NATO SECRET ausgelegt ist (IABG). Beide beanspruchen Souveränität, setzen aber auf unterschiedliche Quellen von Kontrolle: Standort und Eigentum auf der einen, Quelloffenheit und Prüfbarkeit auf der anderen Seite.

3. Menschliche Aufsicht trägt als Regulierungsinstrument nur begrenzt. Art. 14 Abs. 4 Buchst. b der KI-Verordnung verlangt, dass Aufsichtspersonen sich der Neigung bewusst bleiben können, sich auf KI-Ausgaben automatisch zu verlassen (Art. 14 KI-VO). Das ist bemerkenswert, weil es den Automation Bias ausdrücklich nennt; Laux und Ruschemeier (2025) weisen jedoch darauf hin, dass dies der einzige psychologische Bias ist, den die Verordnung benennt, und untersuchen die rechtlichen Folgen des Versuchs, menschliche Aufsicht zu „de-biasen“. Green (2022) wertete 41 Regelwerke aus, die menschliche Aufsicht über staatliche Algorithmen vorschreiben, und kommt zum Ergebnis, dass die Annahme wirksamer Aufsicht unbelegt ist und solche Regelwerke ein falsches Sicherheitsgefühl erzeugen können; er schlägt institutionelle statt individueller Aufsicht vor. Die Befunde zu Complacency und Automation Bias (Abschnitt 4) stützen diese Skepsis. Politisch heißt das: Vorgeschrieben werden sollte nicht die bloße Anwesenheit eines Menschen, sondern der Nachweis, dass reale Aufsichtspersonen unter realen Bedingungen Fehler entdecken.

4. Zeitfenster der Vertrauenslücke. Die Digitale-Omnibus-Verordnung (nach Sekundärquellen Verordnung (EU) 2026/1744, in Kraft seit 27.07.2026) verschiebt die Pflichten für Hochrisiko-Systeme nach Anhang III auf den 02.12.2027 und für in regulierte Produkte eingebettete Systeme auf den 02.08.2028 (Usercentrics). Die ersten Module des Rechenzentrums in Lübbenau sollen bis Ende 2027 fertig werden. Bis die Aufsichtspflichten greifen, beruht Vertrauen damit auf Zusicherungen der Anbieter, also auf dem Feld mit geringer Kontrolle. Der Gipfel von Berlin stand zudem unter dem Leitbild der Innovationsführerschaft und der Entlastung von Regulierung; Kritiker sahen darin eine Kehrtwende, bei der die Zivilgesellschaft nur zuschauen durfte (netzpolitik.org).

5. Absicherung als Vertrauensinfrastruktur. Wenn Vertrauen aus Nachweisen wachsen soll, braucht es Prüfstrukturen, die vom Anbieter unabhängig sind: Normen zur Unsicherheitsquantifizierung (DIN SPEC 92005, ISO/IEC TS 25223), akkreditierte Prüfstellen, Berichtspflichten für Vorfälle sowie angekündigte und dokumentierte Modelländerungen, weil unangekündigte Änderungen jede Kalibrierung entwerten. Öffentliche Beschaffung kann solche Anforderungen vertraglich festschreiben. Für Prüfstellen stellt sich dabei eine Unabhängigkeitsfrage, wenn sie zugleich Beratung oder Entwicklung anbieten.

6. Demokratische Legitimation. Green (2022) fordert, dass Rechtfertigungen für den Einsatz von Algorithmen demokratischer Prüfung unterliegen. Übertragen auf Infrastruktur: Wo Verwaltung und Sicherheitsbehörden auf privatwirtschaftlich betriebene Plattformen setzen (etwa nach der BSI-Kooperation vom März 2025), sollten Transparenz- und Prüfrechte über freiwillige Selbstauskünfte hinausgehen.

Gegenpositionen. Befürworter nationaler und europäischer Champions argumentieren, ohne Skalierung gebe es keine Alternative und damit weder Kontrolle noch Verhandlungsmacht; Regulierungskritiker verweisen auf Wettbewerbsfähigkeit und Innovationsgeschwindigkeit. Beide Positionen sind vertretbar. Der psychologische Beitrag dieses Textes ist begrenzt auf die Feststellung, dass jede dieser Strategien am Ende von der Frage abhängt, ob Menschen und Institutionen die Systeme tatsächlich prüfen können, die sie einsetzen.

9 Gegenargumente und Grenzen

1. Die Kontrolle über das eigene System ist womöglich geringer, als sie erscheint. Kontrolliert wird die Hülle, das Basismodell bleibt eine Black Box, und Änderungen des Anbieters wirken ohne Zustimmung. Dann läge auch das eigene System näher am Feld „niedrige Kontrolle“, und der Unterschied zu den Konzernsystemen wäre graduell statt grundsätzlich.

2. Das bedingte Vertrauen in das eigene System beruht auf dem Vertrauen in die eigene Fehlererkennung. Bei plausibel formulierten Fehlern kann es überschätzt sein (Abschnitt 5). Ohne Messung bleibt offen, ob das Vertrauen kalibriert oder ein Übervertrauen ist.

3. Vielleicht ist Vertrauen nicht die entscheidende Größe. Bei den großen Anbietern geht es eher um Abhängigkeit und Handlungsfähigkeit: Wer aussteigen kann, braucht weniger Vertrauen. Das würde die Achse verschieben, von Vertrauen und Kontrolle zu Abhängigkeit und Ausstiegsfähigkeit.

4. Übertragbarkeit. Die Befunde zu Complacency, Automation Bias und Out-of-the-loop stammen überwiegend aus Cockpit, Leitwarte und Laborsimulationen; Langers Kontrollillusion aus Zufallsaufgaben. Ob sie sich ungeprüft auf generative KI-Assistenz übertragen lassen, ist nicht belegt.

5. Einzelfall. Die Ausgangsthese beruht auf der Selbstbeobachtung einer Person mit hoher fachlicher Vorbildung. Sie ist als Hypothese zu lesen und nicht als Aussage über Nutzer im Allgemeinen.

6. Dynamische Faktenlage. Zu Schwarz Digits, zur Aleph-Alpha-Cohere-Transaktion und zur KI-Verordnung stützt sich der Text überwiegend auf Presse- und Sekundärberichte; Stand und Abschluss einzelner Vorhaben können sich ändern. Der Abschluss der Cohere-Übernahme wurde hier nicht geprüft.

10 Schlussfolgerungen

Vertrauen und Kontrolle sind keine Gegensätze auf einer Skala, sondern zwei Größen, die sich ersetzen, ermöglichen oder verdrängen können. Aus der Analyse folgen fünf Aussagen:

1. Beim eigenen System ist das bedingte Vertrauen oft ein Übervertrauen, weil Urheberschaft, Vertrautheit und Gewöhnung die Prüfung mildern; es bleibt nur tragfähig, wenn Prüfung gestaffelt, gemessen und von der Urheberschaft getrennt wird.

2. Die Konstellation „niedriges Vertrauen, niedrige Kontrolle“ ist die psychologisch riskanteste, weil Misstrauen dort ohne Handlungsoption in Gewöhnung umschlagen kann.

3. Begründetes Vertrauen entsteht aus Nachweisen im Einsatzkontext: Unsicherheitsangaben, Tests, Monitoring und stabile Versionen. Das ist der Kern dessen, was IABG unter AI Assurance und Human-Systems-Integration verbindet.

4. Ein Zuwachs an rechtlicher und räumlicher Kontrolle, wie ihn der Aufbau europäischer Cloud-Kapazität bringt, ersetzt weder Leistungsnachweis noch unabhängige Prüfung.

5. Politisch tragfähig sind Instrumente, die Wirksamkeit menschlicher Aufsicht belegen, Ausstiegsfähigkeit sichern und Prüfung vom Anbieter trennen; die bloße Vorschrift, dass ein Mensch beteiligt sein muss, genügt nicht.

Offene Forschungsfragen. (a) Wie hoch ist die tatsächliche Fehlererkennungsquote bei der Prüfung eigener, LLM-basierter Arbeitsabläufe im Vergleich zur wahrgenommenen? (b) Verbessern Unsicherheitsanzeigen nach DIN SPEC 92005 die Auflösung des Vertrauens bei menschlichen Aufsichtspersonen? (c) Wie verändern Modellupdates die Kalibrierung, und welche Ankündigungs- und Dokumentationspflichten wären wirksam?

Literatur

Wissenschaftliche Referenzen

• Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. doi:10.1016/0005-1098(83)90046-8

• Dörner, D. (1989). Die Logik des Mißlingens: Strategisches Denken in komplexen Situationen. Reinbek: Rowohlt. ISBN 3-498-01260-6.

• Dörner, D. & Schaub, H. (1994). Errors in planning and decision-making and the nature of human information processing. Applied Psychology: An International Review, 43(4), 433–453.

• Endsley, M. R. & Kiris, E. O. (1995). The out-of-the-loop performance problem and level of control in automation. Human Factors, 37(2), 381–394. doi:10.1518/001872095779064555

• Giddens, A. (1990). The Consequences of Modernity. Cambridge: Polity Press; Stanford: Stanford University Press.

• Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review, 45, 105681. doi:10.1016/j.clsr.2022.105681

• Hoff, K. A. & Bashir, M. (2015). Trust in automation: Integrating empirical evidence on factors that influence trust. Human Factors, 57(3), 407–434.

• Langer, E. J. (1975). The illusion of control. Journal of Personality and Social Psychology, 32(2), 311–328. doi:10.1037/0022-3514.32.2.311

• Laux, J. & Ruschemeier, H. (2025). Automation bias in the AI Act: On the legal implications of attempting to de-bias human oversight of AI. Preprint, arXiv:2502.10036.

• Lee, J. D. & Moray, N. (1994). Trust, self-confidence, and operators' adaptation to automation. International Journal of Human-Computer Studies, 40(1), 153–184. doi:10.1006/ijhc.1994.1007

• Lee, J. D. & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80. doi:10.1518/hfes.46.1.50_30392

• Luhmann, N. (1968). Vertrauen: Ein Mechanismus der Reduktion sozialer Komplexität. Stuttgart: Enke (5. Aufl. 2014, Konstanz: UVK).

• Mayer, R. C., Davis, J. H. & Schoorman, F. D. (1995). An integrative model of organizational trust. Academy of Management Review, 20(3), 709–734. doi:10.2307/258792

• Norton, M. I., Mochon, D. & Ariely, D. (2012). The IKEA effect: When labor leads to love. Journal of Consumer Psychology, 22(3), 453–460. doi:10.1016/j.jcps.2011.08.002

• Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. doi:10.1177/0018720810376055

• Parasuraman, R. & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. doi:10.1518/001872097778543886

• Parasuraman, R., Sheridan, T. B. & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics – Part A, 30(3), 286–297. doi:10.1109/3468.844354

• Schaub, H. (2008). Wahrnehmung, Aufmerksamkeit und „Situation Awareness“ (SA). In P. Badke-Schaub, G. Hofinger & K. Lauche (Hrsg.), Human Factors: Psychologie sicheren Handelns in Risikobranchen (S. 59–76; 2. Aufl. 2012: S. 63–81). Berlin: Springer.

• Schaub, H. (2013). Der Mensch als Problem und Problemlöser. Der Systemische Ansatz für Führung und Krisenmanagement. In C. Unger, T. Mitschke & D. Freudenberg (Hrsg.), Krisenmanagement – Notfallplanung – Bevölkerungsschutz. Berlin: Duncker & Humblot.

• Schaub, H. (2016). Subjektive Sicherheit und Subjektives Risiko. Die Psychologie kritischer Situationen. In M. Kuhlmey & D. Freudenberg (Hrsg.), Krisenmanagement – Bevölkerungsschutz. Berlin: Duncker & Humblot.

• Schaub, H. (2020). Der Einsatz autonomer Waffensysteme aus psychologischer Perspektive. Zeitschrift für Außen- und Sicherheitspolitik. doi:10.1007/s12399-020-00828-3

• Schaub, H. (2026). Trusted Autonomy: Psychologische Grundlagen, Systemarchitektur und Grenzen kalibrierten Vertrauens in autonome Systeme. LinkedIn-Artikel vom 09.07.2026 (nicht begutachtet).

• Schoorman, F. D., Mayer, R. C. & Davis, J. H. (2007). An integrative model of organizational trust: Past, present, and future. Academy of Management Review. doi:10.5465/amr.2007.24348410

• Skitka, L. J., Mosier, K. L. & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006. doi:10.1006/ijhc.1999.0252

Normen und Rechtsquellen

• DIN SPEC 92005:2024-03. Künstliche Intelligenz – Quantifizierung von Unsicherheiten im Maschinellen Lernen. doi:10.31030/3521675

• Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 14.

• Digitaler Omnibus zur KI-Verordnung, nach Sekundärquellen Verordnung (EU) 2026/1744, in Kraft seit 27.07.2026 (Usercentrics).

Weitere Quellen (Webseiten, Stand 01.10.2026)

• IABG: AI Assurance und safeAI; Human Systems Integration; National Secure Cloud.

• Schwarz Digits und STACKIT: Wikipedia (en); IT-Daily; IT-Zoom; Rundschau; Wirtschaft und Industrie; OTS, 10.07.2026; STACKIT; Workspace by STACKIT; innFactory; eGovernment Aktuell.

• Aleph Alpha und Cohere: Wikipedia (en); Aktien.news.

• Politik: Landesvertretung Rheinland-Pfalz zum Gipfel; netzpolitik.org; heise; beck-aktuell.

Hinweise zur Verifikation und Offenlegung

Was geprüft wurde. Alle Literaturangaben wurden am 01.10.2026 gegen Verlags-, DOI-, Bibliotheks- oder Autorenseiten abgeglichen (Autoren, Jahr, Titel, Zeitschrift, Band und Seiten). Die Inhaltsangaben beruhen auf Abstracts und Sekundärbeschreibungen; die Volltexte wurden nicht gelesen. Vor einer Einreichung sollten die zentralen Aussagen gegen die Originale gegengelesen werden.

Was eingeschränkt oder nicht geprüft ist.

Angabe	Stand der Prüfung
Dörner & Schaub (1994)	Bibliografische Angaben über die Publikationsliste der Universität Bamberg bestätigt; DOI nicht gefunden
Schaub (2008, 2013, 2016)	Kapitel und Herausgeber bestätigt; Seitenangabe 2008 weicht zwischen Auflagen ab, bei 2013 und 2016 nicht bestätigt
Hoff & Bashir (2015); Schoorman et al. (2007)	Zeitschrift, Titel und Jahr bestätigt; DOI bzw. Band und Seiten nicht in der Quelle bestätigt und daher weggelassen
Giddens (1990)	Titel und Verlag bestätigt; die Aussage zu Zugangspunkten stützt sich auf das bekannte Konzept, nicht auf eine geprüfte Seitenstelle
Schaub (2026), LinkedIn	Titel und Datum bestätigt; Volltext nicht geprüft, da LinkedIn automatisierten Zugriff sperrt. Es wird nur der Titel zitiert
Laux & Ruschemeier (2025)	Preprint auf arXiv; Veröffentlichung in einer Zeitschrift nicht geprüft
Verordnung (EU) 2026/1744	Nummer, Inkrafttreten und Fristen nur über Sekundärquellen; Amtsblatt nicht geöffnet
Schwarz Digits, Aleph Alpha, Cohere	Presse- und Wikipedia-Angaben; Zahlen zu Dummerstorf und der Cohere-Transaktion sind Berichtsstand, Abschluss nicht geprüft
STACKIT-Aussagen zum CLOUD Act	Eigenangaben des Anbieters, nicht unabhängig bewertet

Offenlegung (Vorschlag, bitte vor Veröffentlichung prüfen und anpassen). Der Autor ist bei der IABG im Bereich Human-Systems Integration tätig und lehrt an der Otto-Friedrich-Universität Bamberg und der Universität der Bundeswehr München. Die Darstellung der IABG-Arbeitsfelder stützt sich auf deren öffentliche Internetseiten; der Beitrag gibt die Auffassung des Autors wieder. Recherche und Entwurf des Textes erfolgten mit Unterstützung eines KI-Assistenten (Claude, Anthropic); die inhaltliche Verantwortung liegt beim Autor.