SmolDocling: Effiziente KI für OCR & Dokumentenverarbeitung

Unsere Welt wird von Tag zu Tag digitaler. Von den Anfängen des Personal Computing über die breite Nutzung von E-Mail, sozialen Netzwerken, E-Commerce und Remote-Arbeit bis hin zu Large Language Models und Agentic AI hat die digitale Transformation einen enormen Bedarf geschaffen, Inhalte zu digitalisieren und wertvolle Informationen daraus zu gewinnen. In diesem Zusammenhang bildet die Dokumentenverarbeitung die Verbindung zwischen physischen Unterlagen und digitalen Systemen, indem gedruckter Text in nutzbare digitale Daten überführt wird. Genau diese Technologie macht es möglich, dass ein Smartphone fremdsprachige Speisekarten übersetzt, Historiker alte Manuskripte bewahren und zeitaufwendige manuelle Dateneingaben deutlich reduziert werden.

Im Kern beschreibt Dokumentenverarbeitung den Vorgang, Text aus Bildern in maschinenlesbare Formate umzuwandeln. Dadurch werden Anwendungsfälle wie Dokumentenkonvertierung und Dokumentenverständnis möglich. Bei der Dokumentenkonvertierung wird gescannter Text in Formate wie Markdown, Word oder PDF überführt. Das Dokumentenverständnis geht darüber hinaus, indem es nicht nur Text erkennt, sondern auch Struktur, Bedeutung und verwertbare Inhalte aus dem Dokument ableitet.

SmolDocling

SmolDocling ist ein kompaktes multimodales Vision-Language-Modell, das für eine effiziente Dokumentenverarbeitung entwickelt wurde. Mit nur 256 Millionen Parametern ermöglicht es eine vollständige Seitenkonvertierung und bewahrt dabei Layout, Struktur und räumliche Zusammenhänge innerhalb des Dokuments. Dank seiner geringen Größe stellt es eine kosteneffiziente Lösung für die Dokumentenverarbeitung dar, da weniger Rechenleistung und Speicher benötigt werden. Dadurch eignet es sich besonders gut für schnelles Prototyping und den Einsatz auf Edge-Hardware.

Voraussetzungen

Für optimale Leistung benötigt SmolDocling NVIDIA-GPUs mit CUDA-Unterstützung. Cloud-GPU-Instanzen mit z.B. H100-GPUs liefern die nötige Rechenleistung, um Dokumente auch im produktiven Maßstab effizient zu verarbeiten.

Funktionen und Fähigkeiten

SmolDocling verarbeitet Dokumente mithilfe von DocTags, einem Markup-Format, das sowohl Kontext als auch Layout-Informationen erhält. Die Formatierung bleibt durch Bounding-Box-Erkennung bestehen, und zugleich werden spezialisierte Inhalte wie Code, Formeln, Diagramme, Tabellen und Abbildungen erkannt. Darüber hinaus bleibt die Dokumentstruktur erhalten, indem Listen korrekt gruppiert und Beschriftungen mit den zugehörigen Elementen verknüpft werden.

Das DocTags-Format beschreibt Typ, Position und Inhalt von Elementen wie Text, Tabellen, Bildern und Code. Dabei kommen verschachtelte Tags zum Einsatz, um Beziehungen zwischen Elementen zu erhalten, etwa Beschriftungen innerhalb von Bildern, Einträge innerhalb von Listen oder die spezialisierte Optimized Table-Structure Language (OTSL) zur Darstellung von Tabellenstrukturen. Auf diese Weise bleiben sowohl die visuelle Anordnung als auch die semantische Struktur komplexer Dokumente erhalten, wodurch sich SmolDocling sehr gut für eine durchgängige Dokumentenkonvertierung eignet.

DocTags

Weitere Funktionen von SmolDocling sind nachfolgend zusammengefasst:

SmolDocling arbeitet mit Docling zusammen, um flexible Import- und Export-Workflows zu ermöglichen. Geplante Erweiterungen umfassen One-Shot-Inferenz für mehrere Seiten, eine verbesserte Diagrammerkennung und die Erkennung chemischer Strukturen.

Modellarchitektur

SmolDocling basiert auf SmolVLM, einem Modell von HuggingFace. Die Umwandlung von Bildern von Dokumentenseiten in DocTags-Sequenzen läuft folgendermaßen ab: Zunächst werden die Eingabebilder durch einen Vision-Encoder verarbeitet und anschließend mithilfe von Projektions- und Pooling-Methoden umgeformt. Danach werden diese verarbeiteten Bild-Embeddings mit den aus dem Benutzerprompt abgeleiteten Text-Embeddings in einer ineinander verschachtelten Sequenz kombiniert. Abschließend wird diese kombinierte Darstellung an ein Large Language Model übergeben, das die DocTags-Sequenz autoregressiv erzeugt.

Daten

Zur Verbesserung der unterschiedlichen Fähigkeiten des Modells wurden verschiedene Datensatzsammlungen verwendet. Zu den Datensätzen, die für das Training mit Fokus auf Dokumentenverständnis und Bildbeschreibung eingesetzt wurden, gehören The Cauldron, Docmatix und MathWriting.

Wettbewerbsfähige Leistung

SmolDocling liefert konkurrenzfähige Ergebnisse gegenüber Modellen, die bis zu 27-mal größer sind, und senkt dabei gleichzeitig den Rechenbedarf. Das Modell eignet sich für Geschäftsdokumente, wissenschaftliche Arbeiten, technische Berichte, Patente und Formulare. Im Gegensatz zu vielen OCR-Modellen, die sich vor allem auf wissenschaftliche Publikationen konzentrieren, ist SmolDocling für eine breite Vielfalt an Dokumenttypen ausgelegt.

Fazit

In diesem Tutorial haben wir SmolDocling betrachtet, ein kompaktes und zugleich leistungsfähiges Vision-Language-Modell, das gezielt für Aufgaben der Dokumentenkonvertierung entwickelt wurde. Durch das einheitliche DocTags-Ausgabeformat kann SmolDocling unterschiedlichste Dokumenttypen effizient verarbeiten – von einfachem Text über komplexe Formulare bis hin zu Code-Listen – und benötigt dabei deutlich weniger Rechenressourcen als größere Alternativen. Die ausgewogene Kombination aus Effizienz und Genauigkeit macht das Modell zu einer wertvollen Wahl für Entwickler und Organisationen, die Funktionen zum Dokumentenverständnis implementieren möchten.