Bessere Suche, besseres Recht? Wie man juristische KI bewertet

Wenn KI das Recht liest, Teil 3. Verändert die Architektur eines juristischen KI-Systems die Antwort, und woran würde man das erkennen?

Teil 1 hat untersucht, wie KI-Systeme juristische Informationen finden. Teil 2 hat gezeigt, dass eine Norm zu finden nicht dasselbe ist, wie sie anzuwenden. Dieser abschließende Teil stellt die Frage, die alle beschäftigt, die juristische KI einkaufen oder entwickeln: Führt eine bessere Architektur zu besseren juristischen Antworten?

Die ehrliche Antwort lautet: Das hat bisher niemand gezeigt. Was die Forschung zeigt, ist enger gefasst, aber trotzdem nützlich. Die Architektur entscheidet, welche Quellen das Modell zu sehen bekommt, und das kann die Antwort verändern. Dieser Artikel erklärt, was das bedeutet, wie man es testet und wann sich zusätzliche Komplexität lohnt.

1. Drei Aufgaben, die oft als eine behandelt werden

In LegalTech-Diskussionen verschwimmen häufig drei verschiedene Aufgaben. Retrieval findet potenziell relevante Normen, Urteile oder Kommentierungen. Wissensrepräsentation strukturiert dieses Material, zum Beispiel als Entitäten und Beziehungen in einem Graphen. Juristisches Schließen wendet Normen auf Sachverhalte an, wägt konkurrierende Auslegungen ab und begründet ein Ergebnis. Ein System kann bei den ersten beiden Aufgaben gut abschneiden und bei der dritten völlig ungetestet sein.

Die meiste vergleichende Forschung befasst sich mit den ersten beiden. Ein großer Benchmark mit zwölf graphbasierten Retrieval-Methoden fand keinen durchgängigen Sieger gegenüber einem konventionellen Ausgangssystem. Methoden, die sich nur auf die Graphstruktur stützen, schnitten schlecht ab, wenn die Antwort vom Originaltext abhing. Das Erfolgskriterium war einfach: Taucht die erwartete Antwort irgendwo in der Ausgabe auf? Eine aktuelle Übersichtsarbeit ergänzt, dass Evaluationen noch immer von Wikipedia-artigen Frage-Antwort-Aufgaben dominiert werden und nur die Endantwort bewerten, nicht die Schritte dorthin.

Retrieval-Fehler sind nicht neutral. In kontrollierten Experimenten senkte eine einzige Passage, die relevant klingt, aber die Antwort nicht enthält, die Genauigkeit um bis zu 25 Prozent. Mehrere solcher Passagen senkten sie um mehr als 67 Prozent. Im Recht ist dieser Beinahe-Treffer der Normalfall: eine überholte Vorschrift, ein Urteil zu ähnlichem Sachverhalt, eine Norm aus einer anderen Rechtsordnung.

Auch die Befundlage ist nicht eindeutig. Dieselben Experimente zeigten, dass zufällige, themenfremde Dokumente die Genauigkeit um bis zu 35 Prozent erhöhten. Das passt schlecht zu der Annahme, dass sauberes Retrieval immer bessere Antworten liefert.

Die Forschung zeigt also, dass die Retrieval-Qualität die Ausgabe prägt. Sie zeigt nicht, dass höhere Retrieval-Werte zu tragfähiger juristischer Argumentation führen. Das bleibt eine offene Frage, keine Prämisse.

2. Eine einfache Frage mit komplizierter Antwort

Nehmen wir eine Frage, die Personal- und Rechtsabteilungen tatsächlich stellen. Ein privater Arbeitgeber in Deutschland möchte den Personalbedarf anhand individueller Fehlzeitendaten prognostizieren. Darf er diese Gesundheitsdaten verarbeiten, Stand November 2026?

Der Ausgangspunkt ist klar. Art. 9 Abs. 1 DSGVO verbietet die Verarbeitung von Gesundheitsdaten, sofern keine Ausnahme nach Art. 9 Abs. 2 greift. Der naheliegende Kandidat, Art. 9 Abs. 2 lit. b, erfasst Verarbeitungen, die nach dem Arbeitsrecht erforderlich sind, aber nur, soweit Unions- oder nationales Recht sie mit geeigneten Garantien erlaubt. Eine Ausnahme allein genügt nicht. Der EuGH hat entschieden, dass die Verarbeitung zusätzlich auf eine der allgemeinen Rechtsgrundlagen in Art. 6 Abs. 1 gestützt werden muss. Und weil Fehlzeitendaten für einen neuen Zweck weiterverwendet werden, gelten auch die Grundsätze der Zweckbindung und Datenminimierung aus Art. 5.

Dann die nationale Ebene. Art. 88 DSGVO erlaubt den Mitgliedstaaten spezifischere Vorschriften für den Beschäftigungskontext, und Deutschland hat sie in § 26 BDSG erlassen. Der Wortlaut verrät die Rechtswirkung inzwischen nicht mehr. 2023 entschied der EuGH, dass eine nahezu identische hessische Regelung die DSGVO lediglich wiederholt und deshalb keine „spezifischere Vorschrift“ ist. Das Bundesarbeitsgericht hat diese Begründung inzwischen auf die Bundesnorm übertragen. Ein EuGH-Urteil von 2024 ergänzte, dass nationale Regelungen, einschließlich Betriebsvereinbarungen, weiterhin die Anforderungen der DSGVO selbst erfüllen müssen.

Schließlich die Zeit. Deutschland hat noch immer kein eigenes Beschäftigtendatenschutzgesetz; ein Entwurf von 2024 scheiterte mit dem Ende der vorherigen Koalition. Der Digital Omnibus der EU würde Art. 9 ändern, doch der Rat hat sein Verhandlungsmandat erst am 21. Oktober 2026 beschlossen, und der Text ist längst nicht final. Ein System, das Kommentierungen von vor 2023 indexiert oder diese Entwürfe als geltendes Recht behandelt, zitiert Normen, die nicht anwendbar sind.

Eine verlässliche Referenzantwort würde Sachverhalt, Annahmen, Rechtsordnung und Stichtag benennen. Sie würde jede Vorschrift in ihrer anwendbaren Fassung zitieren, zusammen mit der maßgeblichen Rechtsprechung. Sie würde Ausnahmen und Voraussetzungen der Reihe nach prüfen, strittige Punkte kennzeichnen und festhalten, wer sie wann geprüft hat.

Für Rechtsabteilungen: Eine scheinbar einfache Frage hängt von mehreren ineinandergreifenden Quellen ab. Jede davon ist eine Stelle, an der ein Retrieval-System danebenliegen kann.

3. Vier Architekturen, eine Verbraucherfrage

Ein einfacherer Fall zeigt, wie sich Architekturen unterscheiden. Eine Verbraucherin fragt, ob sie den Online-Kauf eines nach ihren Maßen gefertigten Sofas widerrufen kann. Eine tragfähige Antwort braucht drei Elemente: das allgemeine Widerrufsrecht, die Ausnahme für Waren, die nach Kundenspezifikation angefertigt werden, aus der Verbraucherrechte-Richtlinie, und deren nationale Umsetzung (in Deutschland § 312g Abs. 2 Nr. 1 BGB). Die vier Systeme unterscheiden sich weniger im Modell, das die Antwort formuliert, als darin, welche dieser Elemente es überhaupt erreichen.

A. Stichwortsuche plus Sprachmodell. Sie ordnet Passagen nach übereinstimmenden Wörtern und findet exakte Verweise wie „§ 312g“ zuverlässig. Eine Frage nach einem „maßgefertigten Sofa“ trifft aber womöglich nie auf den Gesetzeswortlaut. Überholt ist die Stichwortsuche trotzdem nicht: In einem Experiment außerhalb des Rechts schlug sie eine semantische Suche.

B. Semantische (Vektor-)Suche. Sie vergleicht Bedeutung statt Wörter und überbrückt so unterschiedliche Begriffe. Hohe Ähnlichkeit garantiert aber keine Relevanz. Sie kann allgemeine Kommentierungen zum Widerruf gegenüber der Ausnahme bevorzugen, die den Fall entscheidet.

C. Hybride Suche mit Reranking. Sie kombiniert beide Ergebnislisten und sortiert sie neu, bevor der begrenzte Kontext des Modells gefüllt wird. Das entspricht dem juristischen Bedarf, präzise Begriffe und natürliche Sprache zugleich zu verarbeiten. Was keine der beiden Suchen gefunden hat, kann Reranking allerdings nicht zurückholen.

D. Hybride Suche plus Wissensgraph. Sie ergänzt explizite Verknüpfungen wie Änderung, Konsolidierung und Umsetzung, die Standards wie ELI abbilden können. Sie kann die Ausnahme über die Struktur erreichen statt über Ähnlichkeit. Ihr Wert hängt davon ab, ob der Graph vollständig und aktuell ist, und die bisher getesteten graphbasierten Methoden setzen einen Bestand voraus, der sich nie ändert. Graph-Retrieval ohne den Originaltext schnitt schlecht ab, und die Kosten steigen deutlich.

Das sind architektonische Erwartungen, kein verifiziertes Ranking für juristische Aufgaben. Was die Forschung zeigt: Relevanz, Anzahl und Position der abgerufenen Passagen verändern die Antwort des Modells. Irrelevantes Retrieval kann die Genauigkeit sogar unter das Niveau drücken, das das Modell ganz ohne Retrieval erreicht.

Für IT-Teams: Die Architektur bestimmt, welche juristischen Informationen das Modell sieht, und damit möglicherweise auch die Antwort.

4. Wie man juristische KI bewertet

Ein juristisches KI-System kann an zwei Stellen scheitern. Es kann das falsche Material finden, oder es kann aus dem richtigen Material falsche Schlüsse ziehen. Eine glaubwürdige Evaluation misst beides.

Retrieval. Precision und Recall sind der Ausgangspunkt, doch im Recht sollte Recall an den Quellen gemessen werden, die eine richtige Antwort braucht, nicht an beliebigen Textfragmenten. Bei der DSGVO-Frage lautet der Test, ob das System Art. 9 Abs. 2 lit. b, Art. 88, die nationale Vorschrift und die einschlägige Rechtsprechung gefunden hat. Precision ist mehr als eine Effizienzfrage, denn verwandte Passagen ohne die Antwort führen das Modell aktiv in die Irre.

Die Antwort. Gängige Benchmarks sind ein schwacher Maßstab. Eine Antwort als richtig zu werten, weil sie den richtigen Artikel enthält, greift zu kurz: Eine juristische Antwort kann den richtigen Artikel nennen und trotzdem eine Voraussetzung oder Ausnahme übergehen. Eine juristische Evaluation sollte vier Dinge prüfen:

  1. Existiert jede zitierte Quelle?
  2. Wird sie präzise zitiert, bis auf Absatzebene?
  3. Stützt sie die Aussage, der sie zugeordnet ist, tatsächlich?
  4. Sind alle Voraussetzungen und Ausnahmen abgedeckt?

Zeit. Zeitliche Richtigkeit braucht einen eigenen Test. Eine Antwort, die nach einer überholten Fassung richtig ist, ist zum Stichtag falsch.

Wer bewertet. Die Forschung lässt zunehmend ein Sprachmodell ein anderes bewerten. Im oben genannten Benchmark waren die Bewertungskriterien Vollständigkeit und Vielfalt, nicht juristische Richtigkeit. Qualifizierte Juristinnen und Juristen bleiben nötig, um Referenzantworten festzulegen und jede automatisierte Bewertung zu kalibrieren.

Kosten. In einem Benchmark brauchte die aufwendigste graphbasierte Methode pro Anfrage 57-mal mehr Zeit und 210-mal mehr Tokens als ein konventionelles System, noch ohne die Kosten für den Aufbau des Index. Entwicklungszeit und der Aufwand, juristische Daten aktuell zu halten, werden selten überhaupt gemessen.

Für Rechtsabteilungen: Verlangen Sie von Anbietern Ergebnisse zu Ihren eigenen Fragen, bewertet von Ihren eigenen Juristinnen und Juristen, zu einem festen Stichtag.

5. Wo Systeme scheitern

Ein juristisches KI-System kann scheitern, bevor das Modell einen einzigen Satz schreibt. Ein Gesetz, Urteil oder Änderungsgesetz, das in der Datenbank fehlt oder falsch indexiert ist, kann keine Architektur finden. Retrieval kann auch selbstbewusst scheitern, indem es Material liefert, das richtig aussieht, es aber nicht ist: eine Vorschrift aus einem benachbarten Regelungsbereich, eine aufgehobene Fassung, ein überholtes Urteil.

Wissensgraphen bringen eine eigene Fehlerquelle mit. Wie in Teil 2 erwähnt, erreichte ein automatisch erstellter Graph in seiner finalen Extraktionspipeline eine Precision von 78,7 Prozent; etwa jede fünfte Beziehung war also falsch. Ist eine falsche Beziehung einmal gespeichert, übernimmt jede Anfrage, die über sie läuft, den Fehler. Fehler wiederholen sich systematisch statt zufällig. Graphmethoden reagieren zudem empfindlicher auf unsauberen Ausgangstext, weil schlechter Input zu schlechter Extraktion führt.

Auch die Textgenerierung birgt eigene Risiken. Retrieval verringert erfundene oder falsch zugeordnete Fundstellen, beseitigt sie aber nicht. Eine korrekte Fundstelle kann trotzdem an eine Argumentation gehängt werden, die die Quelle nicht trägt.

Faire Vergleiche sind schwierig. Der oben zitierte große Benchmark fand, dass die Leistung jeder Methode stark davon abhing, wie ihre Prompts formuliert waren. Die Autoren nennen außerdem ein begrenztes Kontextfenster und fehlende domänenspezifische Daten als Grenzen der Übertragbarkeit ihrer Ergebnisse. Kurz gesagt: Die meisten veröffentlichten Vergleiche wurden nicht mit Rechtstexten durchgeführt.

Für IT-Teams: Die Architektur ist nur ein Faktor für Verlässlichkeit. Datenqualität, Validierung und Evaluationsmethode können genauso viel zählen, oder mehr.

6. Wann lohnt sich Komplexität?

Die Forschung stützt kein allgemeingültiges Ranking von Architekturen. Sie stützt eine engere Schlussfolgerung: Jede zusätzliche Strukturebene bringt eine bestimmte Fähigkeit zu messbaren Kosten, und die Aufgabe muss diese Kosten rechtfertigen.

Einfach anfangen bei klar umrissenen Fragen. Um eine DSGVO-Vorschrift oder einen definierten Begriff in einem stabilen Rechtsbestand zu finden, ist eine normale Suche über Textpassagen ein vertretbarer Ausgangspunkt. Im großen Benchmark schlugen Graphmethoden ein konventionelles Ausgangssystem bei konkreten Fragen nicht durchgängig, und der Originaltext erwies sich als unverzichtbar für genaue Antworten.

Erst in Präzision investieren, dann in Menge. Weil plausible, aber falsche Passagen die Genauigkeit messbar senken, ist hybride Suche mit Reranking ein sinnvoller Standard. Mit einer Einschränkung: Keine der hier ausgewerteten Studien testet diese Kombination mit juristischen Daten.

Einen Graphen ergänzen, wenn Antworten von Zusammenhängen abhängen. Graphmethoden lagen bei breiten Fragen, die viele Passagen zugleich betreffen, oft vorn. Der Preis ist real. Auf dem juristischen Datensatz des Benchmarks brauchte die aufwendigste Variante pro Anfrage etwa 44-mal so viele Tokens und etwa 9-mal so viel Zeit. Und alle getesteten Methoden setzen einen statischen Bestand voraus, was schlecht zu Recht passt, das laufend geändert wird.

Pflege von Anfang an einplanen. Die ELI-Leitlinien beschreiben manuell geführte Umsetzungstabellen als umständlich und oft veraltet. Die Forschung zu Wissensgraphen betrachtet menschliche Prüfung noch immer als Goldstandard für ihre Kontrolle. Je mehr Struktur ein System hat, desto mehr menschliche Prüfung braucht es.

Unser Fazit

Die Architektur ist wichtig, weil sie bestimmt, was das Modell sieht. Ob eine bestimmte Architektur bessere juristische Antworten liefert, bleibt eine empirische Frage, und die veröffentlichte Forschung hat sie für das Recht noch nicht beantwortet.

Die beste LegalTech-Architektur ist deshalb nicht die fortschrittlichste. Es ist die, die die Verlässlichkeit liefert, die ein Anwendungsfall verlangt, bei einer Komplexität, die die Organisation rechtfertigen und pflegen kann. Ob ein bestimmtes System diese Schwelle erreicht, muss jede Organisation mit ihrer eigenen, dokumentierten Evaluation feststellen.

Rückblick auf die Serie

Über alle drei Teile hinweg zeigte sich dasselbe Muster. Die Suche findet Passagen. Struktur, Zeit und Regeln entscheiden, ob diese Passagen richtig genutzt werden können. Die Evaluation entscheidet, ob man dem Ergebnis vertrauen kann. Keiner dieser Schritte ersetzt die Juristin oder den Juristen, die abwägen, was offen bleibt, und für das Ergebnis einstehen.

Jede Aussage in diesem Artikel beruht auf veröffentlichter Forschung, offizieller EU-Dokumentation und Rechtsprechung. Wenn Sie die Quelle zu einer bestimmten Aussage wünschen, kontaktieren Sie uns über wrungel.eu, und wir senden Ihnen den Nachweis.

Hinweis: Diese deutsche Fassung wurde mithilfe von KI aus dem englischen Original übersetzt.