Moderne Suche verstehen: FTS, Embeddings, RAG & Co. einfach erklärt

Einführung

Moderne KI-Systeme wie Chatbots, Suchmaschinen oder RAG-Anwendungen basieren auf einer Kombination mehrerer Technologien. Begriffe wie FTS, Embeddings oder Re-Ranking tauchen dabei immer wieder auf.

Dieser Beitrag erklärt die wichtigsten Grundlagen – technisch korrekt, aber verständlich.

1. FTS (Full-Text Search)

Full-Text Search ist die klassische Suche über Textinhalte. Sie basiert auf:

• Tokenisierung (Zerlegen von Text)
• Stemming (Wortstämme erkennen)
• Stopwords (irrelevante Wörter ignorieren)

FTS eignet sich besonders für:

• exakte Begriffe
• Namen, IDs, technische Begriffe

2. BM25

BM25 ist ein Ranking-Algorithmus für FTS.

Er bewertet Dokumente basierend auf:

• Häufigkeit eines Begriffs
• Länge des Dokuments
• Seltenheit eines Begriffs

BM25 entscheidet, welches Dokument „am relevantesten“ ist.

3. Embeddings / Vector Search

Embeddings wandeln Text in numerische Vektoren um:

"Vertrag kündigen" → [0.23, -0.88, ...]

Damit wird semantische Suche möglich:

• ähnliche Bedeutung wird erkannt
• nicht nur exakte Wörter

4. Hybrid Search

Hybrid Search kombiniert:

FTS + Embeddings

Warum?

• FTS → präzise Wörter
• Embeddings → Bedeutung

Zusammen ergibt das deutlich bessere Ergebnisse.

5. Top-K Retrieval

Top-K beschreibt die Auswahl der besten Ergebnisse:

Top 5, Top 10, Top 20

Diese werden dann an das LLM übergeben.

6. Re-Ranking

Re-Ranking ist ein zweiter Schritt nach der Suche:

Top 50 Ergebnisse → neu sortieren → Top 5

Oft mit:

• LLMs
• Cross-Encodern
• spezialisierten Modellen

→ großer Qualitätsgewinn

7. Chunking

Dokumente werden in kleinere Teile zerlegt:

• bessere Suche
• präzisere Antworten

Wichtig:

• nicht zu groß
• nicht zu klein
• semantisch sinnvoll

8. HNSW (ANN)

HNSW ist ein Algorithmus für schnelle Vektorsuche.

Er gehört zu:

• Approximate Nearest Neighbor (ANN)

Vorteile:

• sehr schnell
• skaliert gut

9. RAG (Retrieval-Augmented Generation)

RAG kombiniert Suche mit KI:

Suche → Kontext → LLM → Antwort

Vorteile:

• aktuelle Daten
• eigene Dokumente
• weniger Halluzinationen

Zusammenspiel aller Komponenten

Dokumente
→ Chunking
→ Embeddings
→ Speicherung (z. B. PostgreSQL + pgvector)
→ Hybrid Search (FTS + Vector)
→ Top-K Retrieval
→ Re-Ranking
→ LLM (RAG)
→ Antwort

Fazit

Moderne Suche ist kein einzelnes Feature – sondern ein System aus mehreren Komponenten:

• FTS & BM25 → Wörter
• Embeddings → Bedeutung
• Hybrid Search → Kombination
• Re-Ranking → Qualität
• RAG → KI-Anwendung

Die Qualität deiner KI hängt direkt von deinem Retrieval-Stack ab.