Ein LLM – egal wie leistungsfähig – weiss nichts über Ihre Netzwerk-Topologie, Ihre Security-Policies oder Ihre Change-Prozesse. Es wurde auf öffentlich verfügbaren Daten trainiert und hat keinen Zugang zu den Informationen, die in Ihrem Unternehmen den grössten Wert haben. Genau hier setzt RAG an: Retrieval Augmented Generation. Ein Architekturmuster, das die Lücke zwischen dem allgemeinen Wissen eines LLMs und Ihrem spezifischen Unternehmenswissen schliesst.

Bereitstellen statt Eintrainieren

Der naheliegende Ansatz, ein LLM mit firmeneigenen Daten zu trainieren – das sogenannte Finetuning –, ist für die meisten Unternehmen weder praktikabel noch sinnvoll. Fine-Tuning ist teuer, zeitaufwändig und muss bei jeder Änderung der Datenbasis wiederholt werden. Zudem verlieren Sie die Kontrolle darüber, welches Wissen das Modell zu welchem Zeitpunkt abruft.

RAG verfolgt einen anderen Ansatz: Statt das Wissen in das Modell zu integrieren, wird es dem Modell zum Zeitpunkt der Anfrage bereitgestellt. Das LLM bleibt unverändert – es erhält lediglich den relevanten Kontext, den es für eine fundierte Antwort benötigt. Dieses Prinzip hat einen entscheidenden Vorteil: Wissen und Modell sind voneinander entkoppelt. Neue Dokumente können jederzeit hinzugefügt werden, ohne das Modell neu zu trainieren. Und Sie behalten die volle Kontrolle darüber, welche Informationen zugänglich gemacht werden.

Wie RAG funktioniert

Der Prozess besteht aus zwei Phasen. In der Vorbereitung werden Ihre Dokumente – Runbooks, Design-Dokumente, Konfigurationsstandards, Best Practices, Change-Logs – in sinnvolle Abschnitte unterteilt. Jeder Abschnitt wird durch ein spezialisiertes Modell in einen numerischen Vektor umgewandelt, der die semantische Bedeutung des Textes repräsentiert. Diese Vektoren werden zusammen mit dem Originaltext in einer Vektordatenbank gespeichert.

Bei einer Anfrage wird die Frage ebenfalls vektorisiert. Die Datenbank identifiziert die Abschnitte, deren Vektoren der Anfrage am ähnlichsten sind – eine semantische Suche, die relevante Inhalte auch dann findet, wenn die exakten Suchbegriffe nicht im Text vorkommen. Die gefundenen Abschnitte werden dem LLM als Kontext übergeben, und das Modell generiert eine Antwort auf Basis Ihrer eigenen Daten.

Anwendungen in der Praxis

Im Wissensmanagement macht RAG fragmentiertes Wissen aus Wikis, Ticket-Systemen und Dateiablagen über eine einzige Schnittstelle zugänglich. Neue Teammitglieder können in natürlicher Sprache Fragen stellen und erhalten Antworten, die auf der tatsächlichen internen Dokumentation basieren – ein erheblicher Beschleuniger beim Onboarding.

Für die Netzwerk-Dokumentation werden Fragen wie «Welche VLANs sind am Standort Zürich konfiguriert?» direkt beantwortbar, sofern die entsprechende Dokumentation in der RAG-Wissensbasis hinterlegt ist. Bei der Incident-Analyse liefert das System relevante Einträge aus vergangenen Vorfällen und bekannte Workarounds genau dann, wenn sie benötigt werden. Im Change-Management trägt es vor einer Änderung automatisch ähnliche Changes, potenzielle Abhängigkeiten und relevante Policies zusammen.

Vorteile gegenüber Fine-Tuning

RAG bietet vier zentrale Stärken. Erstens die Datenkontrolle: Ihre Daten verlassen Ihre Infrastruktur nicht und werden nicht in ein Modell eintrainiert – ein wesentlicher Aspekt für Compliance und Datenschutz. Zweitens die Aktualität: Neue oder geänderte Dokumente sind sofort verfügbar, ohne kostspieliges Neutraining. Drittens die Nachvollziehbarkeit: Sie können nachvollziehen, welche Quellen zur Beantwortung einer Frage herangezogen wurden. Und viertens die Kosteneffizienz: Die Aufbereitung einer RAG-Wissensbasis ist deutlich günstiger als das Training eines eigenen Modells.

Erfolgsfaktor Datenqualität

Die Qualität der Ergebnisse steht und fällt mit der Qualität der zugrunde liegenden Daten. Veraltete, inkonsistente oder schlecht strukturierte Dokumente führen zu veralteten, inkonsistenten Antworten. RAG macht bestehende Dokumentationsprobleme nicht unsichtbar – im Gegenteil, es macht sie sichtbar. Auch die Segmentierungsstrategie beeinflusst die Ergebnisse erheblich: Zu grosse Abschnitte enthalten zu viel irrelevante Information, zu kleine verlieren den Kontext. Ebenso spielt die Wahl des Embedding-Modells eine Rolle – für fachspezifische Inhalte wie Netzwerktechnik kann eine sorgfältige Evaluation den Unterschied machen. Wer RAG einsetzen möchte, sollte zudem die Ergebnisse systematisch evaluieren. Definieren Sie Testfragen mit bekannten korrekten Antworten und messen Sie die Genauigkeit. Nur so lässt sich sicherstellen, dass das System in der Praxis zuverlässig funktioniert.

RAG schafft den Zugang zu Wissen. Doch ein Agent, der auf Basis dieses Wissens auch handeln soll, braucht zusätzlich die Fähigkeit, mit externen Systemen zu interagieren. Genau hier kommt das Model Context Protocol (MCP) ins Spiel. Doch dazu mehr in Teil 4.