Meaningful Human Control (MHC)

Details
Full Name

Meaningful Human Control (sinnerhaltende menschliche Kontrolle)

Also known as

MHC, sinnerhaltende menschliche Kontrolle über einzelne Angriffe

Kernkonzepte:

Substantielle menschliche Kontrolle

Menschen müssen echte, substanzielle Kontrolle über autonome Systeme behalten, die folgenreiche Entscheidungen treffen — nicht nur formelhafte "Human-in-the-Loop"-Aufsicht

Situationsbewusstsein

Menschliche Bediener benötigen ausreichende Informationen über Ziel, Kontext, Systemverhalten und vorhersehbare Auswirkungen, um fundierte Urteile zu fällen

Verantwortungskette

Die für die Informationsbewertung und Handlungsausführung Verantwortlichen müssen klar identifizierbar und rechenschaftspflichtig sein; Verantwortung kann nicht auf Maschinen übertragen werden

Sharkeys fünf Stufen

Operativer Rahmen für menschliche überwachende Kontrolle: (S1) Mensch deliberiert vor Angriff → (S2) Programm schlägt Ziele vor, Mensch wählt → (S3) Programm wählt aus, Mensch genehmigt → (S4) Programm handelt, Mensch hat eingeschränktes Veto → (S5) vollautonom ohne menschliches Eingreifen

Positive menschliche Handlung

Die Einleitung kritischer Aktionen (insbesondere Gewaltanwendung) erfordert eine aktive menschliche Autorisierung, nicht nur passive Überwachung

Vorhersagbare, zuverlässige, transparente Technologie

Autonome Systeme müssen auf Vorhersagbarkeit, elegante Degradation und Transparenz ausgelegt sein, um sinnvolle Kontrolle zu ermöglichen

Rechtzeitiges Eingreifen

Menschliche Bediener müssen die Fähigkeit zu rechtzeitigem Eingreifen, Übersteuern oder Abbruch behalten — nicht nur vorprogrammierte Einschränkungen

Key Proponents

Article 36 (prägte den Begriff, 2013), Noel Sharkey (Fünf-Stufen-Rahmen, 2014), IKRK (befürwortete MHC als rechtliche/ethische Anforderung, 2018), UN CCW GGE (Leitprinzipien, 2019), IEEE Global Initiative (Ethically Aligned Design, 2019)

Verwendung:

  • Entwurf oder Bewertung autonomer Systeme in kritischen Bereichen (Waffensysteme, medizinische KI, autonomes Fahren, kritische Infrastruktur)

  • Prüfung, ob die menschliche Aufsicht über ein KI-System wirklich wirksam oder nur prozessual ist

  • Definition von Verantwortungsketten für autonome Entscheidungsfindung

  • Anforderungsentwicklung für Systeme mit Autonomie in kritischen Funktionen

  • KI-Governance- und Ethikdiskussionen in Produktmanagement und Politik

  • Rechtliche und Compliance-Prüfung von KI-Systemen nach neuen Regulierungen (EU AI Act)

Nicht Verwenden:

  • Bei risikoarmen Automatisierungsentscheidungen (Inhaltsempfehlungen, Spam-Filter, routinemäßige Datenverarbeitung)

  • Als Ersatz für domänenspezifische rechtliche Anforderungen (IHL, Medizinprodukteregulierung, Datenschutzrecht)

Verwandte Anker:

Qualitätskriterien-Checkliste (Tier-2-Begründung)

Dieser Anker ist als Tier 2 — qualifizierungsbedürftig eingestuft. Er steht nicht für sich allein; er braucht Domänenkontext und explizite Prüfkriterien, um sinnvoll angewendet zu werden. Die folgende Checkliste dokumentiert die Qualifizierungsanforderungen, zugeordnet zu Issue #540.

  1. Akzeptanzkriterien (messbar)

    • Kritische Domäne identifiziert: ja/nein — Domäne angeben (Waffen, Medizin, autonomes Fahren, kritische Infrastruktur, algorithmische Strafzumessung)

    • Autonomiegrad klassifiziert: ja/nein — Sharkey-Stufe (S1–S5) für jede kritische Funktion angeben

    • Menschlicher Bediener identifiziert: ja/nein — Rolle, Ausbildungsstand und Entscheidungsbefugnis angeben

    • Verantwortungskette dokumentiert: ja/nein — angeben, wer entscheidet, wer genehmigt, wer prüft

    • Rechtlicher/regulatorischer Rahmen identifiziert: ja/nein — anwendbares Recht angeben (IHL, EU AI Act, DSGVO usw.)

  2. Erforderliche Nachweisarten

    • Systemspezifikation, die Autonomiegrenzen und Mensch-Maschine-Interaktionspunkte dokumentiert

    • Schulungs- und Qualifikationsnachweise der Bediener

    • Audit-Trail-Konzept, das menschliche Verantwortlichkeit an jedem Entscheidungspunkt nachweist

    • Risikobewertung, die Restrisiken nach den Maßnahmen menschlicher Aufsicht aufzeigt

    • Rechtsprüfung, die die Konformität mit dem anwendbaren regulatorischen Rahmen bestätigt

  3. Mindestdokumentation / Artefakte

    • Human-Machine-Interface-(HMI-)Spezifikation mit Override- und Abbruchmechanismen

    • Entscheidungsbefugnis-Matrix (wer entscheidet was, unter welchen Bedingungen)

    • Anforderungen an das Situationsbewusstsein der Bediener (Informationszufluss, Latenz, Entscheidungszeit)

    • Graceful-Degradation-Protokoll für Kommunikationsverlust oder Systemausfall

    • Testprotokoll, das die Eingriffsfähigkeit des Menschen unter Einsatzbedingungen validiert

  4. Validierungsmethoden

    • Simulierte Szenariotests unter Zeitdruck und mit eingeschränkter Informationslage

    • Red-Team-Bewertung der Wirksamkeit des menschlichen Overrides

    • Unabhängiges Audit der Vollständigkeit der Verantwortungskette

    • Rechtsprüfung gegen anwendbares IHL oder regulatorische Anforderungen

    • Monitoring-Plan nach Inbetriebnahme, um die Erosion der MHC über die Zeit zu messen

  5. Zusammenfassung der Tier-2-Begründung

    • Warum nicht Tier 3: MHC lässt sich ohne domänenspezifischen Kontext nicht bewerten (Waffen vs. Medizin vs. Automotive). Dasselbe System kann MHC in einer Domäne erfüllen und in einer anderen verfehlen. Sharkey-Stufe S3 mag für Frachtschiffe genügen, nicht aber für die Zielbekämpfung mit Waffengewalt.

    • Warum nicht Tier 1: MHC ist ein gut etabliertes, mehrfach belegtes Konzept mit klarer Definition, konsistenter Verwendung über Domänen hinweg, attribuierbarem Ursprung und reicher konzeptueller Aktivierung.

    • Qualifizierungspfad: Um MHC anzuwenden, muss man beantworten: „Wer kontrolliert was, mit welchen Informationen, unter welchen Einschränkungen, und wer trägt die Verantwortung?" Die fünf Kriterien oben operationalisieren diese Frage.

Aktueller Stand:

  • Die kanonische Referenz ist Santoni de Sio & van den Hoven, "Meaningful Human Control over Autonomous Systems: A Philosophical Account" (Frontiers in Robotics and AI, 2018), mit den Bedingungen "Tracking" und "Tracing"

  • Der Prior ist dünn: ein rein akademischer Fußabdruck, verankert in einem Open-Access-Philosophie-Paper (TU-Delft-Ethikgruppe) und einer Nischen-Literatur zur KI-Ethik, mit wenig Praktiker-Rezeption — liefere die Tracking/Tracing-Definitionen im Prompt mit, wenn es auf Präzision ankommt