AI Engineer – Retrieval & Vector Systems
Building a Full RAG
Pipeline from Scratch.
Eine persönliche Research-Engine. Von der YouTube-URL bis zur kontextuellen Antwort.
Kontext
Die Ausgangsfrage war simpel: Wie verarbeitest du Wochen an Video-Content so, dass du später sinnvoll damit arbeiten kannst?
Die Antwort war eine vollständige RAG-Pipeline. Von der URL bis zur Antwort.
Verantwortung
Full Data Pipeline Architecture
Eine YouTube-URL kommt rein. Automatische Transkript-Extraktion. Parsing und Cleaning. Aufteilung in Chunks. Jeden Chunk in Vektoren umwandeln. Speicherung in der Vektordatenbank. Retrieval. Jetzt im Chat Interface mit den Youtube Videos sprechen.
Datenbank & Vektordatenbank
Relationale Strukturen für Videos, Playlists, Transkripte und Chunks. Embedding-Management und Query-Optimierung über Supabase.
Chunking & Embedding-Strategie
Chunk-Grenzen an Satzenden zerstören Kontext. Wir schneiden semantisch – nach Gedanken, nicht nach Token-Zähler. Jeder Chunk trägt Metadaten: Quelle, Zeitstempel, Thema. Das Retrieval rankt später nicht nach Nähe allein.
Conversational RAG Interface
Eine Playlist rein, zwei Wochen Content indexiert. Danach Fragen stellen – nicht an ein Video, sondern an alles auf einmal. Das System zieht sich die relevanten Stellen selbst zusammen.
Outcome
Am Ende steht eine vollständig automatisierte Research-Pipeline. Skalierbare Wissensindizierung, kontextuelle Queries über große Content-Mengen – und ein praktischer Beweis dafür, wie moderne RAG-Architektur tatsächlich gebaut wird.