So erstellst du einen konversationellen KI-Assistenten mit deinen eigenen Daten im LLM Zoomcamp

Letztes Jahr habe ich versucht, ein RAG-System für die Suche in interner Dokumentation aufzubauen. Es schien, als bräuchte man nur Dateien an die OpenAI API zu senden und Antworten auszugeben. In der Praxis sah es anders aus: Das Modell halluzinierte regelmäßig, Text passte nicht in das Kontextfenster, und die reguläre Vektorsuche scheiterte an Fachbegriffen und Abkürzungen.

Wenn du ähnliche Probleme hast, wirf einen Blick auf das DataTalksClub-Projekt. Ihr llm-zoomcamp-Repository ist ein kostenloser 10-wöchiger Open-Source-Kurs, der dir zeigt, wie du funktionierende KI-Anwendungen mit Suche, Agents und Monitoring erstellst.

Schritt-für-Schritt-Engineering statt trockener Theorie

Die Kursautoren verschwenden keine Zeit mit der Herleitung von Backpropagation-Formeln. Das Programm richtet sich an Entwickler und Data Engineers, die Produktionsservices bauen müssen.

Alle Inhalte sind in praktische Module aufgeteilt:

• Basis-RAG und Agents. Deine erste Pipeline auf Basis von Textsuche erstellen und Function Calling einbinden.
• Vektorsuche. Embeddings generieren, Arbeiten mit minsearch, sqlitesearch und der PGVector-Erweiterung für PostgreSQL.
• Orchestrierung. Datenverarbeitungs-Pipelines mit Kestra einrichten.
• Datensammlung. Nutzung der dlt-Bibliothek, DuckDB-Datenbank und marimo-Notebooks für die Analyse von LLM-Traces.
• Qualitätsbewertung. Offline- und Online-Suchbewertungsmetriken sowie das LLM-as-a-Judge-Pattern.
• Monitoring und Optimierung. Nutzerfeedback sammeln, Hybridsuche und Reranking von Ergebnissen zur Verbesserung der Genauigkeit.

Am Ende arbeitest du an deinem eigenen Abschlussprojekt. Du baust einen Service von Grund auf: vom Bereinigen der Daten und Erstellen einer UI mit Streamlit oder FastAPI bis zum Deployment und der Konfiguration von Metriken.

Was du für den Start brauchst

Ein leistungsstarker Server mit mehreren GPUs ist nicht erforderlich. Alle Aufgaben sind so konzipiert, dass sie auf einem normalen Laptop über APIs von Drittanbietern laufen. Ein paar Dollar auf deinem OpenAI- oder anderen Provider-Konto reichen aus.

Die Anforderungen an Vorkenntnisse sind minimal:

• Solide Python-Kenntnisse
• Erfahrung mit der Kommandozeile
• Grundlegendes Verständnis von Docker

Wenn du eine Funktion in Jupyter Notebook schreiben und einen Container im Terminal ausführen kannst, reicht das aus.

Kursformate

Die Materialien sind für alle offen. Du kannst den Kurs eigenständig in deinem eigenen Tempo durchgehen: das Repository lesen, Videos auf YouTube schauen und Aufgaben bearbeiten.

Die Autoren starten auch regelmäßig kostenlose interaktive Kohorten. Die Vorlesungen bleiben aufgezeichnet, aber es gibt strenge Deadlines, automatische Hausaufgabenprüfung, Teilnehmer-Rankings und Cross-Review von Projekten (Peer Review).

Nach erfolgreichem Abschluss der Kohorte und dem Begutachten der Arbeiten anderer Teilnehmer erhältst du ein Zertifikat, das du zu LinkedIn hinzufügen kannst.

Warum du dieses Repository speichern solltest

Selbst wenn du nicht vorhast, den vollständigen 10-wöchigen Kurs zu belegen, lohnt es sich, das Repository zu bookmarken. In den Modulordnern findest du fertige Jupyter Notebooks und Skripte mit Integrationsbeispielen.

Du musst schnell Hybridsuche zu Postgres hinzufügen? Öffne das Vektorsuche-Modul. Du möchtest die Bewertung von Modellantworten einrichten? Gehe zum Abschnitt Evaluation. Der Code hat keine unnötige Abstraktion – alles ist in reinem Python mit klaren Kommentaren geschrieben.

Schau dir den Ordner 01-agentic-rag an – dort kannst du in ein paar Stunden deinen ersten funktionierenden Dokumentensuch-Prototypen bauen.