KI großes Dokument zusammenfassen: warum sie patzt

Eine Kanzlei hat es uns so beschrieben: Bei größeren Gutachten liest das Modell oft nur die erste und letzte Seite vollständig. Dazwischen, auf den 600 Seiten, in denen die entscheidende Nebenabrede steht, wird es unzuverlässig. Die Zusammenfassung liest sich glatt und vollständig. Was in der Mitte stand, taucht darin nicht auf.

Die kurze Antwort, warum das passiert: Sprachmodelle greifen auf Information am Anfang und am Ende eines langen Textes zuverlässiger zu als auf Information in der Mitte. Steht die kritische Stelle mittendrin, sinkt die Trefferquote. Das liegt weder an der Bedienung noch am Prompt, es ist ein gemessenes Verhalten dieser Modelle. Wer eine 400- bis 1000-seitige Akte in einem Rutsch hochlädt und der KI vertraut, sie habe alles gelesen, geht genau dieser Schwäche auf den Leim. Was hilft, steht weiter unten: die Akte zerlegen und das richtige Modell für die Aufgabe nehmen, statt beides dem Zufall zu überlassen.

Warum liest KI die Mitte eines langen Dokuments schlechter?

Der Effekt hat einen Namen, weil ihn ein vielzitiertes Forschungspapier vermessen hat. Die Autoren nannten ihn Lost in the Middle, also verloren in der Mitte. Ihr Befund, wörtlich: Die Leistung ist am höchsten, wenn die relevante Information am Anfang oder Ende des Kontexts steht, und fällt deutlich ab, sobald das Modell auf Information in der Mitte eines langen Kontexts zugreifen muss. Nachzulesen im Paper Lost in the Middle: How Language Models Use Long Contexts (Liu et al., TACL 2024).

Das Unangenehme daran: Der Effekt tritt laut den Autoren ausdrücklich auch bei Modellen auf, die eigens für lange Kontexte gebaut sind. Ein großes Kontextfenster allein macht die Mitte also nicht zuverlässig. Getestet wurde das an englischsprachigen Frage-Antwort- und Suchaufgaben, nicht an einer deutschen Steuerakte. Übertragbar ist deshalb das Muster, nicht eine gemessene Zahl für dein konkretes Gutachten. Aber das Muster reicht, um zu verstehen, warum die Nebenabrede auf Seite 340 in der Zusammenfassung fehlt.

Ist das beworbene Kontextfenster die Größe, bei der die KI noch zuverlässig arbeitet?

Nein. Und das ist der Denkfehler, der die meisten in die Falle laufen lässt. Die Token-Zahl, mit der ein Modell wirbt, sagt, wie viel Text es theoretisch aufnehmen kann. Sie sagt nicht, bei welcher Länge es noch verlässlich arbeitet. Der Benchmark RULER hat 17 Modelle über verschiedene Aufgaben und Kontextlängen geprüft und kommt zu einem klaren Ergebnis: Obwohl die Modelle Kontextgrößen von 32.000 Token oder mehr beanspruchen, hält nur die Hälfte von ihnen bei einer Länge von 32.000 Token noch eine zufriedenstellende Leistung. Fast alle zeigen große Leistungseinbrüche, je länger der Kontext wird.

Übersetzt heißt das: Beworbenes Kontextfenster und nutzbares Kontextfenster sind zwei verschiedene Dinge. Ein Modell, das mit einem riesigen Fenster wirbt, kann bei halber Auslastung schon abbauen. Selbst der Anbieter macht daraus kein Geheimnis. In den Plattform-Dokumentationen der Modellanbieter steht sinngemäß, dass mehr Kontext nicht automatisch besser ist und dass Genauigkeit und Trefferquote sinken, je größer die Token-Zahl wird. Ein Anbieter hat für dieses Nachlassen sogar einen eigenen Begriff geprägt, context rot, also Kontextfäule. Wenn der Hersteller selbst davor warnt, ist das kein Randphänomen.

Fallen selbst Spitzenmodelle bei langem Kontext ab?

Ja, und zwar stärker, als eine kurze Demo vermuten lässt. Genau hier liegt die Verwechslung, die im Alltag teuer wird. Ein Modell, das eine kurze Frage brillant beantwortet, wirkt, als würde es das auch bei 800 Seiten tun. Der Benchmark NoLiMa hat das gezielt getestet, mit einem Aufbau, bei dem die gesuchte Stelle nicht wörtlich mit der Frage übereinstimmt, so wie in echten Akten, wo die entscheidende Formulierung eben nicht das Suchwort spiegelt. Ergebnis: Bei 32.000 Token fallen 11 von 13 getesteten Modellen unter die Hälfte ihres starken Kurzkontext-Ausgangswerts.

Eine einzelne Zahl macht das greifbar. Ein Spitzenmodell, das bei kurzem Kontext nahezu perfekte 99,3 Prozent erreichte, kam bei langem Kontext nur noch auf 69,7 Prozent. Das taugt weder als Argument gegen dieses eine Modell noch als Empfehlung für ein anderes. Es belegt etwas Grundsätzliches: Gute Kurzkontext-Leistung sagt nichts darüber aus, wie ein Modell mit einer 400- bis 1000-seitigen Akte umgeht. Die Frage bei großen Dokumenten ist nie, ob eine KI schlau klingt. Sie ist, ob die Stelle in der Mitte noch ankommt.

Wie bekommt man ein 800-Seiten-Dokument trotzdem verlässlich durch die KI?

Der etablierte Weg ist, das Riesendokument gar nicht erst am Stück ins Modell zu zwingen. Man zerlegt es in Abschnitte und holt zur jeweiligen Frage gezielt nur die passenden Stellen heran, statt dem Modell alles auf einmal vorzulegen. In der Fachwelt heißt dieses Verfahren Retrieval-Augmented Generation, kurz RAG, vorgestellt im gleichnamigen Grundlagenpapier von Lewis et al. aus 2020. Der Gedanke dahinter: Ein reines Sprachmodell kann Wissen nur begrenzt genau abrufen und manipulieren. Koppelt man es an einen durchsuchbaren Dokumenten-Index, wandert die relevante Passage gezielt in den Kontext, und der Rest bleibt draußen.

Das ist die Mechanik, nicht das Wundermittel. Auch mit Zerlegen und gezieltem Heranholen bleibt die Prüfung durch einen Menschen nötig, und Halluzinationen sind damit nicht abgeschafft. Aber es adressiert genau den wunden Punkt: Statt darauf zu hoffen, dass das Modell die Mitte einer 800-Seiten-Akte vollständig liest, sorgt man dafür, dass es zur konkreten Frage nur die relevanten Seiten sieht. Damit umgeht man das Lost-in-the-Middle-Problem, statt gegen es anzukämpfen.

Was du selbst tun kannst, bevor du der Zusammenfassung vertraust

Bis die Aufbereitung im Werkzeug steckt, hilft eine einfache Grundregel: Behandle die Zusammenfassung eines großen Dokuments als Vorschlag, nicht als Protokoll. Zwei Handgriffe, die morgen früh funktionieren. Erstens, frag gezielt nach der Mitte. Wenn du weißt, dass auf Seite 340 eine Nebenabrede oder eine bestimmte Feststellung steht, lass sie dir wörtlich mit Fundstelle heraussuchen, statt dich auf die Gesamtzusammenfassung zu verlassen. Kommt sie nicht wörtlich mit Fundstelle zurück, hat das Modell die Mitte nicht zuverlässig gelesen. Zweitens, zerlege selbst. Gib der KI die Akte kapitelweise oder in Blöcken von wenigen Dutzend Seiten und lass jeden Block einzeln auswerten, statt 800 Seiten in einem Rutsch. Das ist mehr Klickarbeit, holt aber genau die Stellen zurück, die im Gesamtdurchlauf verloren gehen.

Ein dritter Check kostet dreißig Sekunden und verrät viel: Nimm eine Stelle, die du selbst kennst, irgendwo aus der Mitte, und prüfe, ob die Zusammenfassung sie korrekt wiedergibt. Fehlt sie oder ist sie verdreht, weißt du, dass du der Zusammenfassung an den kritischen Stellen nicht blind trauen darfst.

Welches KI-Modell ist das richtige für große Dokumente?

Das hängt vom Modell ab, und genau das ist der Punkt. Kontextfenster sind je Modell und Anbieter unterschiedlich groß, Stand 2026 reicht die Spanne bei aktuellen Modellen von einigen hunderttausend bis zu rund einer Million Token. Diese Zahlen ändern sich mit jeder Produktgeneration, und sie sagen, wie oben gezeigt, ohnehin wenig über die Verlässlichkeit im langen Kontext. Es gibt also nicht das eine beste Modell für alles. Welches Modell für eine sehr große Akte taugt, ist eine echte technische Variable und eine Frage der Modellwahl, nicht der Frage, ob es überhaupt eine KI ist.

Aus der Praxis kennen Kanzleien das längst. Ein Anwender hat uns berichtet, dass ein Modellwechsel bei langen Gutachten das Leseproblem spürbar entschärft hat. Die gezielte Auswahl des Modells führt zu deutlich besseren Ergebnissen als das Standardmodell. Nur will kein Steuerberater vor jeder Akte erst zum KI-Ingenieur werden und abwägen, welches Modell heute welches Fenster hat. Genau da soll die Arbeit nicht liegen. Welche Klassen von KI-Werkzeugen es überhaupt gibt und wo sie sich unterscheiden, haben wir im Vergleich der KI-Tools für Steuerberater aufgeschlüsselt.

Was das für die Kanzlei-Praxis heißt

Für eine Kanzlei sind das keine akademischen Feinheiten. Wenn ein Modell die Mitte einer umfangreichen Betriebsprüfungsakte mit allen Anlagen überliest, einer Verrechnungspreisdokumentation oder eines mehrhundertseitigen Vertragswerks, fehlt in der Zusammenfassung womöglich genau die Feststellung, um die es geht. Das ist dieselbe Klasse von Risiko wie eine überzeugend klingende, aber falsche Auskunft, über die wir an anderer Stelle geschrieben haben, warum ChatGPT bei Steuerfragen falsch liegt. Der Text sieht vollständig aus. Die Lücke steht nicht drin.

Genau deshalb ist ASCADI so gebaut, dass die passende Modellwahl im Hintergrund läuft und das Zerlegen großer Dokumente die Software übernimmt, nicht der Nutzer. Steuerberater wollen keine Modellauswahl treffen, sondern ein Werkzeug, das im Hintergrund das Richtige tut und die Akte so aufbereitet, dass auch die Seite 340 ankommt. Die ehrliche Grenze bleibt: Bei einer großen Akte, an der eine Feststellung hängt, gehört der prüfende Blick eines Menschen dazu. Die KI übernimmt das Durcharbeiten und das Vorsortieren, das Urteil bleibt beim Berater. Bevor du das nächste 800-Seiten-Gutachten in eine KI wirfst: Weißt du, ob sie die Mitte gelesen hat, oder verlässt du dich auf eine Zusammenfassung, die nur so aussieht, als hätte sie es?