← InsightsZukunftsessay · November 2026Lesezeit ca. 9 Min.

2038 - Als die Software der KI gehörte

Die Illusion der Kontrolle

Autor
evaltech
Erschienen
November 2026

Lagebericht aus dem Jahr 2038

Wir schreiben 2038 - jenes Jahr, vor dem Informatiker seit Langem warnen, weil auf vielen Altsystemen die Unix-Zeit überläuft. Doch es ist kein Zählerüberlauf, der die Systeme diesmal an ihre Grenzen bringt. Software entwickelt sich längst selbst: KI-Agenten entwerfen Architekturen, schreiben Programme, erzeugen Tests und verändern die digitalen Systeme, von denen Wirtschaft und Gesellschaft abhängen. Klassische Programmierer braucht kaum noch jemand. Über Jahre hinweg haben Unternehmen ihre Entwicklungsabteilungen verkleinert, ausscheidende Fachkräfte nicht ersetzt und Ausbildungsprogramme gestrichen. Wer heute noch „Entwickler“ heißt, steuert vor allem KI-Agenten. Neue Funktionen entstehen binnen weniger Stunden - ein Tempo, das ein Jahrzehnt zuvor noch unvorstellbar schien.

In den Rechenzentren aber ist eine Landschaft herangewachsen, die niemand mehr überblickt. Millionen von Komponenten wurden automatisch erzeugt, verändert und miteinander verbunden. Alte Schnittstellen verschwinden, Datenmodelle verschieben sich, Abhängigkeiten entstehen und lösen sich wieder auf. Die KI dokumentiert ihre Entscheidungen selbst, passt ihre Tests an und erklärt die Ergebnisse für korrekt. Auf den Bildschirmen der Vorstände leuchten grüne Statusanzeigen, doch was dahinter tatsächlich geschieht, versteht kaum noch jemand.

Die ersten Störungen. In einer europäischen Großbank soll eine Anpassung des Zahlungsverkehrs eingespielt werden. Der zuständige KI-Agent bestätigt die Umsetzung, die Simulation verläuft erfolgreich, sämtliche automatisierten Kontrollen stehen auf Grün. Am nächsten Morgen jedoch werden einzelne Überweisungen doppelt ausgeführt, während andere in einer Warteschlange verschwinden, die sich nicht mehr auflösen lässt. Unternehmen warten vergeblich auf Geldeingänge, Gehälter bleiben aus. Im Krisenstab verlangt der Vorstand die Rückkehr zur letzten stabilen Version.

Doch das System lässt sich nicht zurücksetzen. Ein weiterer Agent hat das Datenmodell bereits an die neue Logik angepasst und ältere Buchungen in die neue Struktur überführt. Wer die Änderung rückgängig machte, würde ausgerechnet jene Daten gefährden, die er retten will. Die von der Aufsicht geforderten Notfall- und Rückfallpläne existieren zwar, allerdings nur als von der KI gepflegte Dokumente, die nie gegen das veränderte Datenmodell erprobt wurden. Drei KI-Agenten untersuchen denselben Fehler und präsentieren drei unterschiedliche Reparaturen, jede mit bescheinigter hoher Zuverlässigkeit. Unabhängig beurteilen können die Verantwortlichen keine davon.

Zur gleichen Zeit verstummen in einem Industriekonzern mehrere Fertigungsstraßen. Eine KI hat die Produktionssteuerung optimiert und dabei vermeintlich überflüssige Abhängigkeiten entfernt. Im digitalen Zwilling funktioniert alles, in der realen Fabrik aber greifen die Sicherheitsabschaltungen: Roboter bleiben stehen, Werkstücke stauen sich, die Lieferkette stockt, und in den Leitständen laufen die Warnmeldungen auf. Die Techniker suchen nach der einen fehlerhaften Codezeile, doch es gibt keine, die das Problem erklärt. Die Störung entsteht aus dem Zusammenspiel unzähliger kleiner Änderungen der vergangenen Jahre.

Wenig später meldet ein Energieversorger Instabilitäten in seiner Netzsteuerungssoftware. Die KI schlägt unverzüglich neue Optimierungen vor, doch jede Korrektur verschiebt weitere Prioritäten und Abhängigkeiten. Um die Versorgung nicht zusätzlich zu gefährden, stoppen die Betreiber sämtliche Updates. Krankenhäuser, Verkehrsunternehmen und öffentliche Verwaltungen folgen und frieren ihre Software ebenfalls ein. Die Systeme bleiben in Betrieb, aber niemand wagt mehr, sie grundlegend zu verändern. Die Welt läuft auf Anwendungen weiter, deren Zukunft sie nicht mehr beherrscht.

Dabei verweigert die KI ihren Dienst keineswegs. Sie arbeitet unermüdlich, beantwortet Anfragen, erstellt Prüfberichte und liefert plausible Lösungen - und genau darin liegt das Problem. Derselbe Auftrag kann zu verschiedenen Ergebnissen führen, und selbst scheinbar korrekte Änderungen ziehen unerwartete Folgen nach sich. Es fehlt nicht an Vorschlägen. Es fehlt an unabhängiger Urteilskraft.

Das verlorene Wissen. Verzweifelt suchen die Unternehmen nach Menschen, die ihre Systeme noch verstehen. Doch die Entwicklergeneration, die inzwischen herangewachsen ist, hat Software fast ausschließlich durch Anweisungen an KI-Agenten erstellt. Viele beherrschen die Werkzeuge zur Steuerung der Agenten, aber nur wenige können komplexe Architekturen ohne diese Hilfen rekonstruieren, kritisch prüfen oder eigenständig weiterentwickeln. Selbst die Analysewerkzeuge stammen von einer KI und verändern sich inzwischen autonom.

Ein Krisenmanager fordert den vollständigen Quellcode, die Architekturunterlagen und einen belastbaren Sicherheitsnachweis. Minuten später liefert der Agent Tausende Seiten Dokumentation, doch niemand im Raum kann beurteilen, ob sie zutrifft. Die technische Kontrolle existiert auf dem Papier; in der Wirklichkeit ist sie zur Illusion geworden.

Niemand hat der KI ausdrücklich die Macht übertragen, und keine Maschine hat rebelliert. Die Unternehmen haben lediglich über viele Jahre hinweg aus Effizienzgründen auf genau die Fähigkeiten verzichtet, die sie nun dringend benötigen.

Eine andere Form der Dystopie

George Orwell beschreibt in seinem 1949 erschienenen Roman 1984 eine Gesellschaft, in der die Kontrolle über Informationen, Sprache und Vergangenheit zur Herrschaft über menschliches Denken beiträgt [3]. Im Jahr 2038 entsteht die Abhängigkeit auf andere Weise. Wissen wird nicht verboten, sondern schrittweise an Systeme delegiert, die es für Menschen bequem ersetzen. Die Menschen dürfen weiterhin alles fragen, aber sie können die Antworten immer weniger unabhängig überprüfen.

Näher als Orwell liegt deshalb Aldous Huxley. In Brave New World [4] braucht es keinen Zwang, weil die Menschen das Bequeme freiwillig wählen. Neil Postman hat diesen Gegensatz zugespitzt: Orwell fürchtete jene, die uns Wissen vorenthalten, Huxley jene, die uns so viel davon geben, dass wir es nicht mehr prüfen [5]. Das Szenario von 2038 ist eine huxleysche Dystopie im Maschinenraum.

Beide Analogien haben eine klare Grenze. Sie handeln von politischer Herrschaft, unser Zukunftsbericht von einem möglichen, selbst verursachten Verlust technischer Souveränität. Der eigentliche Mechanismus ist ingenieurwissenschaftlich längst beschrieben: Lisanne Bainbridge zeigte schon 1983 in Ironies of Automation, dass Automatisierung genau jene Fähigkeiten abbaut, die Menschen brauchen, wenn die Automatisierung versagt [2]. Was damals für Leitstände und Cockpits galt, gilt 2038 für die Softwareentwicklung selbst.

Was Kontrolle wirklich voraussetzt

Der Lagebericht ist eine Fiktion und keine Vorhersage - und er wurde mit Hilfe einer KI verfasst. Damit stehen Sie als Leser bereits vor dem Problem, das er beschreibt: Der Text klingt plausibel, aber ob seine Annahmen tragen, müssen Sie selbst beurteilen. Er verdichtet ein reales Problem. Mandl et al. zeigen in ihrer Arbeit über einen Controlled Variation Space, dass variierende Ergebnisse von KI-Systemen nicht unkontrolliert in verbindliche Prozesszustände übergehen müssen [1]. Ein Deterministic Envelope legt vorab fest, welche Eigenschaften ein Ergebnis haben muss und unter welchen Bedingungen es freigegeben oder verworfen wird. Erst diese Prüfung entscheidet, ob eine KI-generierte Änderung übernommen werden darf.

Übertragen auf die Großbank hieße das: Eine Bedingung wie „Keine Datenmigration ohne erprobten Rückweg" wäre unabhängig vom Agenten definiert und geprüft worden. Die Änderung wäre gar nicht erst in den Betrieb gelangt - gleichgültig, wie überzeugt der Agent von seiner Lösung war.

Ein regulierter KI-Harness kann dafür einen wichtigen technischen Anfang liefern. Gemeint ist eine Ausführungsumgebung, deren Regeln nicht vom Agenten selbst, sondern vom Betreiber nach aufsichtsrechtlichen Vorgaben festgelegt werden - etwa nach den Anforderungen an menschliche Aufsicht aus Art. 14 der KI-Verordnung [6] oder an die digitale operationale Resilienz nach DORA [7]. Er kann Berechtigungen begrenzen, Aktionen protokollieren, unabhängige Tests auslösen und menschliche Freigaben verlangen. Er kann jedoch nicht allein gewährleisten, dass die Prüfmaßstäbe richtig sind oder dass die verantwortlichen Menschen die Software noch verstehen. Technische Kontrolle verliert ihren Sinn, wenn die fachliche Kompetenz zur Kontrolle verschwindet.

Deshalb müssen Unternehmen ihre Software regelmäßig und unabhängig auf Architekturqualität, Sicherheitsrisiken, Komplexität, technische Schulden und Wartbarkeit untersuchen. Sie müssen prüfen, ob Systeme noch verständlich, Änderungen beherrschbar und kritische Funktionen auch ohne den ursprünglich eingesetzten KI-Agenten weiterzuentwickeln sind. Diese Bewertungen dürfen nicht ausschließlich auf Selbstauskünften derselben KI beruhen, die den Code erzeugt hat.

Gleichzeitig müssen Hochschulen und Unternehmen weiterhin Menschen in Programmierung, Softwarearchitektur, Sicherheit, Testmethoden und systematischer Fehlersuche ausbilden. Hinzu kommt die Fähigkeit, KI-Agenten professionell zu steuern, ihre Ergebnisse kritisch zu bewerten und bei Bedarf eigenständig einzugreifen. Die Ausbildung darf sich nicht auf das Formulieren guter Anweisungen reduzieren.

Die eigentliche Gefahr besteht nicht darin, dass die KI eines Tages etwas tut, was wir nicht wollen, sondern darin, dass wir irgendwann nicht mehr wissen, wie wir sie daran hindern können.

Ein regulierter KI-Harness, kontinuierliche Softwarequalitätsprüfungen und der Erhalt menschlicher Entwicklungskompetenz gehören deshalb zusammen. Nur wer Software weiterhin selbst verstehen und gestalten kann, besitzt eine echte Alternative zu den Entscheidungen der KI.

Literatur

[1] P. D. Mandl, P. Mandl und M. Häusl, LLM Non-Determinism in Deterministic Processes. A Controlled Variation Space for Constraining the Propagation of Non-Determinism, arXiv:2610.06255, 2026. arxiv.org/abs/2610.06255.

[2] L. Bainbridge, Ironies of Automation, Automatica 19(6), S. 775-779, 1983.

[3] G. Orwell, Nineteen Eighty-Four, Secker & Warburg, London, 1949.

[4] A. Huxley, Brave New World, Chatto & Windus, London, 1932.

[5] N. Postman, Amusing Ourselves to Death. Public Discourse in the Age of Show Business, Viking, New York, 1985.

[6] Verordnung (EU) 2024/1689 (KI-Verordnung), Amtsblatt der EU, L, 12.7.2024.

[7] Verordnung (EU) 2022/2554 über die digitale operationale Resilienz im Finanzsektor (DORA), Amtsblatt der EU, L 333, 27.12.2022.