Vector Embedding

Een manier om de betekenis van tekst om te zetten naar getallen die een AI-systeem kan vergelijken en doorzoeken.

Vector embedding, embedding, vectorrepresentatie

Definitie

Een vector embedding is een numerieke weergave van tekst, een afbeelding of andere data in de vorm van een reeks getallen, waarbij de positie in die ruimte de betekenis en relaties tot andere items weergeeft.

Wat is het?

Een vector embedding is een omzetting van tekst of andere data naar een reeks getallen: een vector in een wiskundige ruimte. De getallen zijn niet willekeurig; ze zijn berekend door een taalmodel dat geleerd heeft welke woorden, zinnen en concepten semantisch op elkaar lijken. Teksten met een vergelijkbare betekenis liggen dicht bij elkaar in die vectorruimte; teksten met een heel andere betekenis liggen ver van elkaar.

Embeddings zijn de technische laag die semantisch zoeken, RAG en aanbevelingssystemen mogelijk maakt. Zonder embeddings kan een computer tekst alleen als een reeks tekens behandelen; met embeddings behandelt hij tekst als een punt in een betekenisruimte.

Waarom het ertoe doet voor het MKB

Embeddings zijn de reden dat AI-systemen tekst begrijpen in plaats van alleen te matchen. Voor het MKB is dat relevant zodra je AI wilt inzetten voor zoeken, vergelijken of ophalen van informatie op basis van inhoud.

  • Embeddings maken het mogelijk dat een AI-agent documenten, klantprofielen of e-mails vergelijkt op basis van inhoudelijke gelijkenis, zonder dat je exact dezelfde woorden hoeft te gebruiken als in de bron.
  • Ze vormen de basis voor RAG-systemen: door de bedrijfskennis als embeddings op te slaan in een vector database, kan een AI-model actuele en specifieke antwoorden geven in plaats van generieke.
  • Kwaliteitscontrole en classificatie van ongestructureerde input, zoals klachten, offerteaanvragen of supporttickets, worden automatiseerbaar doordat embeddings semantische categorieen herkennen.

Je werkt als MKB-eigenaar doorgaans niet direct met embeddings, maar elke AI-tool die zoekt, vergelijkt of ophaalt op basis van betekenis, gebruikt ze onder de motorkap.

Hoe het werkt

Een embedding wordt gemaakt door een stuk tekst door een embedding-model te sturen: een neuraal netwerk dat getraind is op het vastleggen van betekenisrelaties. De output is een vector, doorgaans bestaande uit honderden tot duizenden getallen.

  1. Een tekst (woord, zin, paragraaf of document) wordt aangeboden aan het embedding-model.
  2. Het model zet de tekst om naar een vaste reeks getallen: de embedding vector.
  3. Deze vector wordt opgeslagen in een vector database of geheugen.
  4. Bij een vergelijking of zoekvraag wordt de nieuwe tekst op dezelfde manier omgezet.
  5. De afstand tussen de twee vectors wordt berekend, doorgaans als cosinus-gelijkenis: hoe kleiner de hoek, hoe meer de betekenis overeenkomt.

Veelgebruikte embedding-modellen zijn de OpenAI-embeddings (text-embedding-3-small, text-embedding-3-large), Cohere Embed en de open-source modellen van Hugging Face. De keuze van het embedding-model bepaalt mede hoe goed semantische gelijkenis wordt herkend voor jouw specifieke taal en domein.

Voorbeeld uit de praktijk

Stel, een woningcorporatie wil dat huurders vragen kunnen stellen over hun huurovereenkomst via een chat-interface. De beheerder laadt alle huurcontracten in een systeem: elk contract wordt opgesplitst in clausules en elke clausule wordt omgezet naar een embedding. Als een huurder vraagt "wat is de opzegtermijn?" wordt die vraag ook omgezet naar een embedding. Het systeem zoekt de clausules waarvan de embedding het dichtst bij die van de vraag ligt, vindt de relevante opzegbepalingen en stuurt die door naar een taalmodel dat een helder antwoord formuleert.

Vergelijking en misvattingen

Een embedding is de vectorweergave van een specifiek stuk tekst; een vector database is het systeem dat embeddings opslaat en doorzoekbaar maakt. Het is het verschil tussen een enkel datapunt en de bibliotheek die alle datapunten beheert. Beide zijn nodig voor een werkend semantisch zoeksysteem.

Veelgestelde vragen

Wat is een vector embedding?
Een vector embedding is een numerieke representatie van een stuk tekst waarbij de betekenis is vastgelegd in een reeks getallen. Teksten met vergelijkbare betekenis hebben vectoren die dicht bij elkaar liggen. Embeddings zijn de technologie achter semantisch zoeken en RAG.
Hoe worden embeddings gemaakt?
Je stuurt tekst naar een embedding-model via een API (zoals text-embedding-3-small van OpenAI). Het model zet de tekst om naar een vector van duizenden getallen. Die vector sla je op in een vectordatabase. Bij elke zoekopdracht wordt de zoekvraag ook omgezet naar een vector en vergeleken met de opgeslagen vectoren.
Wat is het verschil tussen een embedding en een token?
Een token is de kleinste teksteenheid die een model verwerkt: een stukje van gemiddeld vier tekens. Een embedding is een wiskundige representatie van een langere tekst die de semantische betekenis samengevat in één vector. Tokens worden gebruikt voor generatie; embeddings voor vergelijking en zoeken.
Van inzicht naar impact

Benieuwd wat AI
in jouw processen oplevert?

In een gratis kennismaking kijken we waar AI bij jou het meeste tijd bespaart, en hoe een verbonden opzet eruitziet.