Der Architektur-Turing-Test

Die Folgen 111 bis 113 von software-architektur.tv ließen mehrere Entscheidungen offen (Kapitel 9, Abschnitt "Die Front"). Drei davon wurden gespielt:

Die Regeln sollten verhindern, dass das Publikum etwas anderes bewertet als den Text.

Jede Runde begann mit der Problemstellung. Dann folgten ADR A und ADR B, dann die beiden Abstimmungen mit je 60 Sekunden Zeit (22:31). Eine Vorabfrage "Wie würdet ihr entscheiden?" kommt in der Aufzeichnung nicht vor.

Fett ist jeweils die Mehrheit. Die Zahlen stammen von den Ergebnisfolien der Keynote.

Runde 1 gewann Claude, und das Publikum hielt Eberhard für die KI. 18 von 22 Stimmen hielten Claudes ADR für das bessere. 19 von 24 Stimmen hielten Eberhards ADR für KI-generiert. Die Mehrheit lag bei der Erkennung falsch.

Runde 2 und 3 gewann Eberhard, und das Publikum erkannte die KI. In Runde 2 hielten 16 von 26 Stimmen Eberhards ADR für das bessere, 15 von 26 erkannten Claudes ADR als KI-generiert. In Runde 3 lauteten die Zahlen 15 von 27 und 17 von 26.

In jeder Runde hielt die Mehrheit das bessere ADR für das menschliche. Das bessere ADR war dabei einmal Claudes und zweimal Eberhards. Ob das Urteil über die Qualität das Urteil über den Urheber gelenkt hat oder umgekehrt, zeigen die Zahlen nicht.

Über alle Runden lag das Publikum bei der Erkennung nahe am Zufall. 37 von 76 Stimmen ordneten das KI-ADR richtig zu, knapp die Hälfte. Bei der Frage nach dem besseren ADR erhielt Claude 40 Stimmen, Eberhard 35.

Die Zahlen stammen aus einer einzigen Veranstaltung. Rund 55 Personen nahmen an der Keynote teil, je Frage stimmten 22 bis 27 ab, also knapp die Hälfte. Für mehr als ein Stimmungsbild reichen die Zahlen nicht.

Texte: Eberhard Wolff und Claude.

Nach der Auflösung sprachen Ralf D. Müller und Eberhard Wolff über die drei Runden. Die Zeitmarken führen zur Stelle im Video.

Runde 1: Eberhard bleibt bei Keycloak. Ralf fiel auf, wie oft Claudes ADR auf andere ADRs, Risiken und Qualitätsszenarien verweist (45:44). Diese Dokumentation hatte die KI selbst erzeugt; Eberhard hatte sie bewusst nicht gelesen (46:52, 12:40). Er nannte dagegen Produkte, Keycloak und Auth0, und wollte die Sicherheit nicht selbst bauen (47:04). Seine Lösung sei auf ein späteres SaaS vorbereitet, etwa auf die Anbindung an das Active Directory einer Fahrradkette (47:57). Ralf hielt die konkreten Technologien für einen wichtigen Punkt, dem die KI ausgewichen sei (48:15). Zum Schluss blieb Eberhard dabei: Keycloak oder Auth0 hält er für die richtige Entscheidung, auch wenn die Mehrheit das anders sah (60:42).

Runde 2: Das Team gibt den Ausschlag. Eberhards ADR mit einer Single-Page-App je Bereich erinnerte Ralf an Self-Contained Systems (50:22). Eberhard hielt dagegen, dass serverseitig gerenderte Seiten besser zu Self-Contained Systems passen (50:54). Im Kern sage sein ADR: Was das Team kann, das nimmt man (51:59). Die Wahl der Frontendtechnologie hält er hier für wenig bedeutsam (60:31).

Runde 3: Eberhard lernte nach eigener Aussage am meisten über die Domäne (55:42). Ein Reparaturstatus unter einer schwer erratbaren URL sei sogar ein Vorteil, weil man den Link weitergeben kann; der Status sei kaum schützenswert, das solle man aber prüfen (56:08). Termine ohne Registrierung senken die Hürde für neue Kundschaft, bezahlen kann man vor Ort (56:53). Er würde "wahrscheinlich die Integration in den Webshop einfach killen", das aber mit Fachleuten aus der Domäne besprechen (57:22).

Ralf: nicht bestanden, aber brauchbar. Einmal hielt das Publikum den Menschen für die KI, zweimal lag es richtig. Damit habe die KI den Test nicht bestanden (58:31). Bei der Frage nach dem besseren ADR sei das Bild ausgeglichen. Man könne die KI "wahrscheinlich ganz gut als unterstützendes Instrument nutzen" (59:02).

Eberhard: Architektur entsteht im Team. Das Experiment blende aus, dass Architekturentscheidungen ein gemeinsamer Prozess sind, mit Stakeholdern, dem Entwicklungsteam und weiteren Architekturfachleuten. Beide Wege seien im wirklichen Leben nur bedingt gut: "ich schließe mich ins Kämmerchen ein und entscheide das mal kurz" ebenso wie eine KI, die entscheidet (54:09). Seine ADRs hätte er noch jemandem zum Lesen geben können, um die Verständlichkeit zu prüfen; das habe er nicht getan (61:27).

Ein Kommentar bestätigte, dass Benutzerfreundlichkeit wichtig ist (06:35). In einem anderen hieß es scherzhaft, man solle aufhören, LLMs zu vermenschlichen (34:04). Ein dritter lobte, dass die Auflösung erst am Ende kam (61:42). Ein vierter griff Eberhards Punkt auf: Wer solche Entscheidungen im Austausch mit vielen trifft, bekommt das Review auf Verständlichkeit von selbst (63:03).

Die drei ADRs tragen den Status "Offen – zwei Vorschläge". Die Abstimmung des Publikums ist kein Beschluss des Teams. Beide Fassungen stehen gleichrangig nebeneinander: ADR-019, ADR-020 und ADR-021.