Enterprise Search

Deel I: De Evolutie van Enterprise Search en de Implicaties voor de Publieke Sector (1970–2025)

De capaciteit van de publieke sector om effectief te functioneren is onlosmakelijk verbonden met haar vermogen om informatie te vinden, te interpreteren en toe te passen. Van beleidsvorming en wetgeving tot rechtspraak en burgerdienstverlening, de ontsluiting van kennis is een kernproces. Dit onderzoeksdossier analyseert de technologische evolutie van enterprise search, de systemen die organisaties in staat stellen hun interne kenniscorpus te doorzoeken, en vertaalt deze ontwikkelingen naar concrete architectuurpatronen, governance eisen en een strategische roadmap voor de Europese en Nederlandse publieke sector. Dit eerste deel legt het historisch fundament, van de rigide systemen uit het mainframetijdperk tot de contextuele intelligentie van het huidige AI-tijdperk, en analyseert de lessen die cruciaal zijn voor de toekomst.

Hoofdstuk 1: Van Booleaanse Logica naar Statistische Relevantie

De geschiedenis van enterprise search is een verhaal van toenemende complexiteit en nuance, gedreven door de exponentiële groei van data en de steeds verfijndere informatiebehoeften van organisaties. De eerste systemen boden een rigide, maar voor die tijd revolutionaire, manier om tekst te doorzoeken. Hun fundamentele beperkingen vormden echter de directe aanleiding voor de ontwikkeling van de statistische methoden die decennialang de standaard zouden vormen.

Het Tijdperk van Mainframe Retrieval: IBM STAIRS en Sleutelwoord-gebaseerde Systemen (1970-1990)

De oorsprong van enterprise search als een commercieel levensvatbaar concept kan worden getraceerd naar de vroege jaren ’70, een tijdperk gedomineerd door mainframe computers. In 1970 introduceerde IBM het Storage and Information Retrieval System, beter bekend als STAIRS.1 Dit systeem, oorspronkelijk ontwikkeld om de enorme hoeveelheid documentatie voor een antitrustrechtszaak te beheren, markeerde de overgang van academische experimenten naar een praktische tool voor grote organisaties.2 STAIRS was ontworpen voor de toenmalige multi-user time-share omgevingen en bood de mogelijkheid om online, op basis van vrije tekst, door geïndexeerde documenten te zoeken via IBM 3270-terminals.3

De architectuur van STAIRS was gebaseerd op een inverted index, een datastructuur die voor elk woord (met uitzondering van veelvoorkomende ‘stopwoorden’ zoals ‘de’ en ‘een’) bijhield in welk document en op welke positie het voorkwam. Dit indexmechanisme, gecombineerd met een centrale ‘dictionary’ en een apart bestand voor de documenttekst zelf, maakte snelle zoekopdrachten mogelijk. Een significant kenmerk was echter dat de databases alleen offline konden worden bijgewerkt, wat de actualiteit van de doorzoekbare informatie beperkte.3

De zoeklogica van STAIRS en vergelijkbare systemen was geworteld in de Booleaanse algebra. Gebruikers formuleerden hun zoekopdrachten met behulp van de operatoren en aangevuld met nabijheids operatoren zoals ADJACENT TO of IN THE SAME PARAGRAPH AS.3 Dit stelde gebruikers in staat om zeer precieze en controleerbare queries te construeren. De opkomst van de minicomputer in het midden van de jaren ’70 stimuleerde de ontwikkeling van een breder scala aan commerciële zoekproducten in zowel de Verenigde Staten (zoals BASIS en INQUIRE) als het Verenigd Koninkrijk (zoals ASSASSIN en STATUS), wat de verschuiving van academische naar bedrijfsmatige toepassingen verder versnelde.2

Beperkingen van Lexicale Zoekopdrachten in Complexe Publieke Domeinen

Hoewel de precisie van Booleaanse systemen een grote stap voorwaarts was, werden hun fundamentele tekortkomingen al snel duidelijk, met name in domeinen met complexe en genuanceerde informatie, zoals de publieke sector. Onderzoekspionier Gerard Salton identificeerde al vroeg de kernproblemen het was voor niet-experts buitengewoon moeilijk om effectieve Booleaanse queries te formuleren, er was geen mechanisme om de omvang van de resultatenlijst te beperken, en, het meest cruciaal, de resultaten konden niet worden gerangschikt op relevantie.6

Dit leidde tot het “alles-of-niets”-probleem. Een query met de operator (bijvoorbeeld belastingfraude AND onroerendgoed AND buitenland) levert geen enkel resultaat op als een document slechts twee van de drie termen bevat, zelfs als het uiterst relevant is. Omgekeerd behandelt een -query een document dat slechts één term bevat op dezelfde manier als een document dat alle termen bevat, wat leidt tot een overvloed aan potentieel irrelevante resultaten.6

De dramatische gevolgen hiervan werden blootgelegd in een invloedrijke studie uit 1985 door Blair en Maron naar de effectiviteit van het STAIRS-systeem in een juridische context.7 In een high stakes rechtszaak, waar het vinden van alle relevante documenten van cruciaal belang was, ontdekten de onderzoekers dat de advocaten, ondanks hun overtuiging dat ze 75% van de relevante documenten vonden, in werkelijkheid slechts een recall van ongeveer 20% behaalden.7 Een belangrijke oorzaak was “output overload” de systemen produceerden vaak duizenden ongerangschikte resultaten, waardoor gebruikers de zoektocht voortijdig staakten, in de veronderstelling dat de belangrijkste documenten wel bovenaan zouden staan een aanname die door de technologie niet werd ondersteund.8

Voor de publieke sector zijn de implicaties van deze beperking ernstig. Het risico op het missen van een cruciaal juridisch precedent, een relevant beleidsdocument, of een kritisch inspectierapport is onaanvaardbaar. De inefficiëntie en onbetrouwbaarheid van lexicale zoeksystemen voor de complexe informatiebehoeften van ambtenaren, juristen en beleidsmakers maakten de zoektocht naar een beter paradigma urgent.9

De Opkomst van Probabilistische Modellen: TF-IDF en de BM25-Revolutie (1990-2010)

Als antwoord op de rigiditeit van Booleaanse systemen ontstonden statistische methoden die relevantie niet als een binaire (waar/onwaar) eigenschap beschouwden, maar als een graduele score. De eerste wijdverbreide techniek was Term Frequency-Inverse Document Frequency (TF-IDF). Het basisprincipe is tweeledig: (1) een term is belangrijker voor een document als hij er vaker in voorkomt (Term Frequency), en (2) een term is informatiever als hij in minder documenten in de totale collectie voorkomt (Inverse Document Frequency).10 Dit maakte het voor het eerst mogelijk om een gerangschikte lijst van resultaten te presenteren.

De ware doorbraak kwam echter met het Okapi BM25 (Best Matching 25) algoritme, een verfijnd probabilistisch model ontwikkeld in de jaren ’80 en ’90 dat voortbouwde op de concepten van TF-IDF.2 BM25 introduceerde twee cruciale verbeteringen die het significant superieur maakten aan TF-IDF 13:

• Term Frequency Saturatie: In tegenstelling tot TF-IDF, waar de relevantiescore lineair of logaritmisch kan blijven stijgen met de frequentie van een term, introduceert BM25 een saturatie-effect. Na een bepaald punt levert elke extra vermelding van een term steeds minder extra relevantie op. Dit wordt geregeld door de parameter en voorkomt dat documenten die een term extreem vaak herhalen (keyword stuffing) onterecht als meest relevant worden gezien.13

• Documentlengte Normalisatie: BM25 normaliseert voor de lengte van een document op een meer geavanceerde manier dan TF-IDF. Het vergelijkt de lengte van een document met de gemiddelde documentlengte in de collectie. De parameter bepaalt de mate van deze normalisatie. Dit zorgt ervoor dat langere documenten, die van nature een hogere kans hebben om een zoekterm te bevatten, niet systematisch worden bevoordeeld.13

Waarbij f(qi​,D) de frequentie van term Qi in document is, |D| de lengte van het document, en avgdl de gemiddelde documentlengte. Dankzij zijn robuustheid, efficiëntie en superieure prestaties werd BM25 de de-facto standaard voor information retrieval en vormt het tot op de dag van vandaag een onmisbare baseline in zelfs de meest geavanceerde zoeksystemen. Varianten zoals BM25F, die het mogelijk maken om verschillende velden in een document (zoals titel, samenvatting en hoofdtekst) verschillend te wegen, hebben de toepasbaarheid verder vergroot.16

De technologische ontwikkeling van enterprise search kan worden gezien als een continue pendelbeweging tussen de polen van precisie (het vinden van exact het juiste antwoord) en recall (het vinden van alle relevante antwoorden). De vroege Booleaanse systemen zoals STAIRS maximaliseerden de controle en precisie, maar faalden dramatisch op het gebied van recall, wat onaanvaardbaar was voor de complexe, genuanceerde informatiebehoeften van de publieke sector.6 De introductie van probabilistische modellen zoals BM25 vertegenwoordigde de eerste grote synthese in deze dialectiek. Het behield de focus op trefwoorden, wat de precisie waarborgde, maar introduceerde een statistisch onderbouwde, genuanceerde ranking die de recall aanzienlijk verbeterde. Deze spanning tussen het vinden van exact wat men zoekt en het vinden van alles wat relevant is, blijft de drijvende kracht achter de evolutie van zoektechnologie. Voor de publieke sector is de les dat elke nieuwe technologische golf niet alleen moet worden beoordeeld op zijn ‘intelligentie’, maar fundamenteel op hoe het deze cruciale balans tussen precisie en volledigheid beheert.

Hoofdstuk 2: De Semantische Revolutie: Intentie Begrijpen voorbij Sleutelwoorden

Hoewel statistische modellen zoals BM25 een enorme verbetering waren, bleven ze fundamenteel beperkt door hun afhankelijkheid van lexicale overlap. Ze konden geen documenten vinden die conceptueel relevant waren maar andere bewoordingen gebruikten. De volgende grote sprong in de evolutie van search was de verschuiving naar semantiek: het begrijpen van de betekenis achter de woorden. Deze revolutie ontvouwde zich in twee fasen eerst de creatie van statische, numerieke representaties van woorden, en daarna de overstap naar dynamische, contextuele representaties die de ware intentie van een gebruiker konden vatten.

Het Vector Space Model en Vroege Semantische Benaderingen (LSA)

De theoretische basis voor semantisch zoeken werd al in de jaren ’70 gelegd door Gerard Salton met zijn Vector Space Model (VSM).2 Het revolutionaire idee was om documenten en queries niet als reeksen woorden te zien, maar als vectoren in een hoog dimensionale ruimte, waarbij elke dimensie correspondeert met een term. De relevantie kon dan worden berekend als de hoek (cosinus similariteit) tussen de query-vector en de document-vector.2 Dit was decennia lang een grotendeels academisch concept.

Een van de eerste praktische implementaties was Latent Semantic Analysis (LSA) of Latent Semantic Indexing (LSI), ontwikkeld eind jaren ’80.18 LSA gebruikte een wiskundige techniek (Singular Value Decomposition) om de term-document matrix te reduceren tot een kleinere, “latente” semantische ruimte. Dit stelde het systeem in staat om relaties tussen woorden te ontdekken (synonymie) en de ambiguïteit van woorden die meerdere betekenissen hebben (polysemie) te verminderen. Echter, de hoge computationele complexiteit en schaalbaarheidsproblemen zorgden ervoor dat LSA voornamelijk beperkt bleef tot niche-toepassingen en niet op grote schaal in enterprise search werd doorgevoerd.18

De Impact van Word Embeddings (Word2Vec) en Neurale Netwerken (2013+)

De doorbraak die semantische analyse op grote schaal mogelijk maakte, kwam in 2013 met de introductie van Word2Vec door een team bij Google.18 Word2Vec gebruikte een neuraal netwerk om op een zeer efficiënte manier word embeddings te leren van enorme hoeveelheden tekst. Dit zijn dichte, laag-dimensionale vectoren die de semantische eigenschappen van een woord vastleggen in hun positie ten opzichte van andere vectoren.19

Het meest bekende voorbeeld van de kracht van deze embeddings is de mogelijkheid tot semantische rekenkunde, zoals de vectoroperatie vector(′Koning−vector(′man′) + vector(′vrouw′) ≈vector(′Koningin′).18 Dit toonde aan dat de modellen niet alleen woorden leerden, maar ook de complexe relaties daartussen. Voor information retrieval betekende dit dat een zoekopdracht voor “auto” nu resultaten kon opleveren die de term “voertuig” bevatten, omdat hun vectoren dicht bij elkaar in de vectorruimte lagen.19 De fase van statische, numerieke representaties van woorden was aangebroken, waarbij de focus lag op het bouwen van een wiskundig woordenboek van betekenissen.

De Transformer-Disruptie: BERT en de Dageraad van Contextueel Begrip in IR (2018+)

De volgende en meest ingrijpende paradigmaverschuiving werd ingeluid door de introductie van de Transformer architectuur in 2017 en, specifiek voor taalbegrip, BERT (Bidirectional Encoder Representations from Transformers) in 2018.12 Waar Word2Vec elk woord een enkele, statische vector toekende, genereerde BERT contextuele embeddings.

Het cruciale verschil zit in het self-attention mechanisme van de Transformer. Dit stelt het model in staat om de relatie tussen alle woorden in een zin te wegen en te bepalen welke woorden het meest bijdragen aan de betekenis van een specifiek woord in die context.21 Hierdoor krijgt het woord “bank” een significant verschillende vectorrepresentatie in de zin “Ik zit op de oever van de rivierbank” versus “Ik stort geld op mijn bankrekening”.21 De focus verschoof hiermee van “wat betekent dit woord?” naar “wat betekent dit woord in deze specifieke context?”.

Voor information retrieval (IR) was de impact monumentaal. Systemen konden nu de diepere intentie en nuance van een gebruikersquery begrijpen, wat resulteerde in een ongekende sprong in de relevantie van zoekresultaten.24 Deze technologie vormt de basis van vrijwel alle moderne, geavanceerde zoek- en RAG-systemen.

De enorme kracht van Transformer-modellen komt echter met een prijs. De implementatie en het schalen van deze systemen brengen aanzienlijke uitdagingen met zich mee op het gebied van efficiëntie (hoge latency en grote opslagvereisten voor embeddings) en robuustheid (gevoeligheid voor queries buiten het domein waarop getraind is).24 Dit noodzaakt een zorgvuldige, gelaagde architectuur, zoals besproken in Deel II, om de voordelen te kunnen benutten zonder onacceptabele prestatie- of kostengevolgen.

Deze technologische verschuiving van statische representatie naar dynamische context is van fundamenteel belang voor de publieke sector. Juridische en beleidsmatige documenten staan vol met termen waarvan de precieze betekenis afhangt van de context van de wet, het artikel of zelfs de specifieke zin. Een term als “openbare orde” of “dwingende reden van algemeen belang” heeft geen vaste, universele betekenis; de interpretatie is contextafhankelijk. Systemen van vóór BERT waren structureel niet in staat om deze ambiguïteit adequaat te modelleren. Transformer-gebaseerde systemen kunnen dit wel, wat een absolute voorwaarde is voor betrouwbare en verantwoorde informatie-ontsluiting in het juridische en bestuurlijke domein. Dit rechtvaardigt de investering in de hogere complexiteit en kosten die deze nieuwe generatie modellen met zich meebrengt.

Tabel 1: Generaties van Enterprise Search Algoritmes (1970-2025)

TijdperkKerntechnologieSterktesZwaktesImplicatie voor Publieke Sector1970–1990****Booleaans / LexicaalInverted Index, Booleaanse Operatoren (bv. IBM STAIRS)Hoge precisie voor exacte matches, voorspelbaar, controleerbaar.Geen ranking, lage recall (“alles-of-niets”), rigide query-taal, gevoelig voor “output overload”.1990–2010****Statistisch / ProbabilistischTF-IDF, BM25Gerangschikte resultaten, goede balans precisie/recall, efficiënt, robuust.Geen semantisch begrip (synoniemen, context), afhankelijk van exacte trefwoorden.2010–2018****Semantisch / StatischWord Embeddings (bv. Word2Vec)Begrip van synonymie en conceptuele relaties, robuuster tegen variaties in taalgebruik.Context-agnostisch (één vector per woord), moeite met ambiguïteit, computationeel duurder.2018–2025****Semantisch / ContextueelTransformer-modellen (bv. BERT), Dense RetrievalDiep contextueel begrip, lost ambiguïteit op, hoge relevantie voor natuurlijke taal.Hoge computationele kosten (latency, opslag), gevoelig voor out-of-domain data, complexiteit.2023+****Hybride & GeneratiefRAG, Hybrid Search (BM25 + Vector), RerankersCombineert precisie van keywords met semantisch begrip, genereert directe antwoorden, citeert bronnen.Verhoogde architecturale complexiteit, risico op hallucinaties (indien niet goed gegrond), hoge operationele kosten.

Deel II: State-of-the-Art Enterprise Search Architecturen voor de Publieke Sector

Voortbouwend op de historische evolutie, richt dit deel zich op de concrete, implementeerbare architectuurpatronen die de huidige state of the art in enterprise search definiëren. Deze patronen zijn niet louter theoretisch; ze vormen de blauwdrukken voor systemen die de complexe informatie-uitdagingen van de moderne publieke sector kunnen aanpakken, van het combineren van trefwoordprecisie met semantische diepgang tot het ontsluiten van volledig ongestructureerde data en het bevragen van gedistribueerde, soevereine kennisbronnen.

Hoofdstuk 3: Het Hybride Zoek-Blueprint: Precisie en Context Gecombineerd

De hedendaagse consensus in information retrieval is dat geen enkele zoekmethode op zichzelf superieur is in alle scenario’s. De meest robuuste en effectieve systemen hanteren een hybride aanpak, die de sterktes van traditionele en moderne technieken combineert. Dit hoofdstuk beschrijft de architectuur van een dergelijk systeem, dat de precisie van trefwoord gebaseerd zoeken verenigt met het contextuele begrip van semantische modellen.

Architectuurpatronen: Sparse (BM25) + Dense (Vector) Retrieval

Hybride zoeken is een strategie die twee fundamenteel verschillende retrieval-methoden integreert: sparse en dense retrieval.17

• Sparse Retrieval, typisch geïmplementeerd met algoritmes zoals BM25, representeert documenten en queries als hoog-dimensionale, ‘ijle’ (sparse) vectoren waarbij de meeste waarden nul zijn. Deze methode excelleert in het vinden van exacte trefwoord-matches. Het is onmisbaar voor queries die specifieke namen, productcodes, acroniemen (zoals ‘AVG’, ‘Woo’) of juridisch jargon bevatten, waar de exacte terminologie van cruciaal belang is.26

• Dense Retrieval, gebaseerd op transformer-modellen, representeert documenten en queries als laag-dimensionale, ‘dichte’ (dense) vectoren (embeddings) waarin elke waarde bijdraagt aan de semantische betekenis. Deze methode blinkt uit in het begrijpen van de context, de intentie en de conceptuele relaties achter een query, zelfs als er geen directe trefwoord-overlap is.17

De kracht van de hybride architectuur ligt in de complementaire aard van deze twee benaderingen. Een typische pipeline voert beide zoekopdrachten parallel uit op hetzelfde documenten korps.17 De resulterende, afzonderlijke ranglijsten van documenten moeten vervolgens worden samengevoegd tot één coherent eindresultaat. De meest effectieve techniek hiervoor is Reciprocal Rank Fusion (RRF). In plaats van te proberen de onvergelijkbare scores van BM25 en vector similariteit lineair te combineren, kijkt RRF alleen naar de rangpositie van een document in elke lijst. Documenten die in beide lijsten hoog scoren, krijgen een significant hogere eindscore. Dit resulteert in een robuustere en relevantere eindrangschikking.30 Vaak wordt een alpha-parameter gebruikt om het relatieve gewicht tussen de dense (alpha=1) en sparse (alpha=0) resultaten te balanceren, wat fijnafstemming per use case mogelijk maakt.17

De Cruciale Rol van Reranking: Cross-Encoders en Late-Interaction Modellen (ColBERT)

De state-of-the-art zoekarchitectuur is geconvergeerd naar een “twee-traps raket” model. De eerste trap, de retriever, is ontworpen voor snelheid en schaalbaarheid, en heeft als doel om uit een potentieel miljoenen-documenten-corpus een brede set van veelbelovende kandidaten (bijvoorbeeld de top 100) te selecteren. Deze fase optimaliseert voor recall. De tweede trap, de reranker, is een computationeel intensiever maar veel nauwkeuriger model dat deze beperkte set kandidaten opnieuw evalueert om de definitieve, meest relevante resultaten te produceren. Deze fase optimaliseert voor precisie.33

Twee belangrijke architecturen domineren de reranking-fase:

• Cross-Encoders: Deze modellen worden beschouwd als de gouden standaard voor relevantiebeoordeling. In tegenstelling tot bi-encoders (gebruikt in de retrieval-fase), die de query en het document afzonderlijk verwerken, voedt een cross-encoder de query en een kandidaat-document samen als één input in een Transformer-model.35 Dit stelt het model in staat om de interacties tussen elk woord in de query en elk woord in het document op een zeer gedetailleerd niveau te analyseren, wat leidt tot een superieure relevantiescore. De keerzijde is de enorme computationele kost: voor 100 kandidaten moet het model 100 keer volledig worden uitgevoerd, wat het ongeschikt maakt voor de eerste retrieval-fase.33

• Late-Interaction (ColBERT): Deze architectuur biedt een elegante middenweg tussen de efficiëntie van bi-encoders en de nauwkeurigheid van cross-encoders. Net als een bi-encoder codeert ColBERT de query en documenten afzonderlijk. Het cruciale verschil is dat het niet één enkele vector per document produceert, maar de individuele token-embeddings bewaart.38 De relevantiescore wordt vervolgens berekend via een “late interactie” mechanisme genaamd MaxSim. Voor elke query-token-embedding wordt de maximale similariteit met alle document-token-embeddings gezocht. De som van deze maximale similariteiten vormt de uiteindelijke score.40 Dit benadert de fijnmazige analyse van een cross-encoder, maar is aanzienlijk efficiënter omdat de document-embeddings vooraf kunnen worden berekend.

Een alternatieve, opkomende benadering is Learned Sparse Retrieval (bijv. SPLADE), die een Transformer-model gebruikt om geavanceerde sparse vectoren te creëren. Deze vectoren bevatten niet alleen de originele termen, maar ook semantisch gerelateerde termen (term expansion), waardoor de voordelen van BM25’s exacte matching worden gecombineerd met een dieper semantisch begrip.42

Prestatieanalyse: Optimalisatie voor Long-Tail Queries en Fouttolerantie

De superioriteit van hybride architecturen wordt het duidelijkst bij twee specifieke uitdagingen:

• Long-Tail Queries: Dit zijn zeer specifieke, vaak langere en minder frequent voorkomende zoekopdrachten. Pure vector search kan hier moeite mee hebben als de specifieke terminologie niet goed is vertegenwoordigd in de trainingsdata. Pure keyword search kan falen als de gebruiker net iets andere bewoordingen gebruikt. Hybride systemen vangen beide aspecten: de sparse component (BM25) zorgt ervoor dat de specifieke, zeldzame termen een hoog gewicht krijgen, terwijl de dense component de bredere context en intentie van de query begrijpt.44

• Fouttolerantie en Robuustheid: Dense vector search is van nature robuust tegen typefouten en kleine variaties in taalgebruik. De query betaalpas aanvragen zal een embedding genereren die zeer dicht bij die van betaalpas aanvragen ligt, waardoor de juiste documenten worden gevonden.27 De hybride aanpak erft deze robuustheid, terwijl de keyword-component een vangnet biedt voor gevallen waar een exacte match op een unieke identifier (bv. een zaaknummer of BSN) vereist is en semantische “vaagheid” ongewenst is.47

Om de prestaties van deze complexe systemen objectief te evalueren, is het essentieel om gebruik te maken van gestandaardiseerde benchmarks, zoals de BEIR (Benchmarking-IR) benchmark, die een diverse set van retrieval-taken omvat. Metrieken zoals nDCG@10 (Normalized Discounted Cumulative Gain at 10) zijn de industriestandaard om de kwaliteit van de rangschikking van de topresultaten te meten.48 Systematische ablatie studies (bv. BM25 vs. dense vs. hybrid vs. hybrid+rerank) zijn noodzakelijk om de toegevoegde waarde van elke component in de architectuur te kwantificeren.51

Hoofdstuk 4: Retrieval-Augmented Generation (RAG) voor Bedrijfskennis

Terwijl hybride zoeksystemen de relevantie van documentenlijsten verbeteren, vertegenwoordigt Retrieval-Augmented Generation (RAG) de volgende stap: het direct genereren van synthetische, natuurlijke taalantwoorden, onderbouwd door feitelijke informatie uit de eigen kennisbronnen van een organisatie. Dit patroon is cruciaal om de belofte van conversationele AI waar te maken en tegelijkertijd de risico’s van hallucinaties te beheersen.

Referentiearchitectuur: Van Ingestie en Chunking tot Gegronde Generatie

Een RAG-systeem combineert een retriever met een generator (een Large Language Model, LLM). Voordat de LLM een antwoord genereert, wordt eerst relevante informatie uit een geautoriseerde kennisbron opgehaald en als context aan de LLM aangeboden. Dit “grondt” het model in de feiten, waardoor de nauwkeurigheid drastisch toeneemt en de kans op het verzinnen van informatie (hallucinaties) significant afneemt.52

De architectuur bestaat uit twee kern pipelines:

Ingestion (Data voorbereiding):

• Laden: Documenten worden uit diverse bronsystemen (bv. SharePoint, netwerkschijven, databases) geladen.52

• Chunking: De documenten worden opgedeeld in kleinere, semantisch coherente stukken (‘chunks’). De kwaliteit van deze stap is van doorslaggevend belang voor de prestaties van het hele systeem.55

• Embedding: Voor elk chunk wordt een dense vector embedding gegenereerd met behulp van een transformer-model.52

• Indexing: De chunks, hun embeddings, en eventuele metadata worden opgeslagen in een gespecialiseerde vector database, die snelle similariteitszoekopdrachten mogelijk maakt.52

Retrieval & Generation (Query-tijd):

• Query Embedding: De vraag van de gebruiker wordt omgezet in een vector embedding, gebruikmakend van hetzelfde model als bij de ingestie.52

• Retrieval: Het systeem doorzoekt de vector database om de top-k chunks te vinden die semantisch het meest lijken op de vraag van de gebruiker. Dit is waar de hybride zoektechnieken uit het vorige hoofdstuk worden toegepast.53

• Augmentation: De opgehaalde chunks worden samengevoegd en als context toegevoegd aan de prompt die naar de LLM wordt gestuurd. De prompt instrueert de LLM expliciet om zijn antwoord uitsluitend op deze verstrekte informatie te baseren.53

• Generation: De LLM synthetiseert de informatie uit de context en genereert een coherent, natuurlijk taalantwoord. Een best practice is dat het antwoord directe verwijzingen (citaties) naar de gebruikte bron-chunks bevat.52

Geavanceerde Technieken: Chunking, Metadata Filtering en Query Routing

Een basis-RAG-systeem kan worden uitgebreid met geavanceerde technieken om de relevantie en efficiëntie te verhogen:

Chunking Strategieën: De keuze van de chunking-strategie is een kritische afweging tussen contextbehoud en precisie.

• Fixed-Size Chunking: De eenvoudigste methode, die tekst opdeelt in blokken van een vaste grootte (bv. 512 tokens), vaak met een kleine overlap om contextverlies op de knipranden te verminderen. Het is snel en voorspelbaar, maar kan zinnen en logische eenheden abrupt afbreken.58

• Recursive Chunking: Een adaptievere methode die probeert te splitsen op basis van een hiërarchie van separatoren (bv. eerst op paragrafen \n\n, dan op zinnen, dan op woorden). Dit respecteert de natuurlijke structuur van de tekst beter.56

• Semantic Chunking: De meest geavanceerde aanpak. Het document wordt eerst opgesplitst in zinnen, waarna de semantische similariteit tussen opeenvolgende zinnen wordt berekend. Waar een grote semantische “sprong” wordt gedetecteerd (een thematische breuk), wordt een nieuwe chunk gestart. Dit levert de meest coherente chunks op, maar is computationeel het duurst.55

• Metadata Filtering: Door gestructureerde metadata (zoals datum, auteur, documenttype, status) aan chunks te koppelen, kan de zoekruimte drastisch worden verkleind. Een query kan eerst worden gefilterd op metadata (bv. “alleen documenten van na 2023” of “alleen documenten met status ‘gepubliceerd'”) voordat de vector search wordt uitgevoerd. Dit verhoogt de precisie en snelheid aanzienlijk.61 Metadata kan worden gebruikt voor ‘hard filtering’ (strikte uitsluiting) of ‘soft boosting’ (het geven van een voorkeur aan bepaalde documenten).64

• Query Routing en Transformatie: In een complexe enterprise-omgeving met meerdere kennisbronnen (bv. een wiki, een juridische database, een HR-systeem) is een ‘router’ essentieel. Dit is vaak een kleiner, efficiënt taalmodel (SLM) dat de inkomende vraag analyseert en beslist welke databron(nen) of welk type zoekopdracht (vector, keyword, of een gestructureerde SQL-query) het meest geschikt is. De router kan de vraag ook herschrijven of uitbreiden om de retrieval te verbeteren.65

Tabel 2: Vergelijking van RAG Chunking Strategieën

StrategiePrincipeContextbehoudComputationele KostenMeest Geschikt Voor (Publieke Sector)Fixed-SizeOpdelen in blokken van vaste grootte (bv. 512 tokens) met overlap.Laag tot Matig. Risico op het abrupt afbreken van zinnen en redeneringen.Laag. Eenvoudig en snel te implementeren.Korte, feitelijke documenten zoals FAQ’s, nieuwsberichten, of als snelle baseline.RecursiveHiërarchisch opdelen op basis van structurele separatoren (paragraaf, zin, woord).Matig tot Goed. Respecteert de natuurlijke structuur van de tekst beter.Matig. Complexer dan fixed-size, maar nog steeds efficiënt.Gestructureerde documenten zoals beleidsnota’s, rapporten en handleidingen.SemanticOpdelen op basis van thematische breuken, gedetecteerd via embedding-similariteit.Hoog. Creëert semantisch coherente en complete chunks.Hoog. Vereist embedding-berekeningen tijdens het chunking-proces.Complexe, lange documenten zonder duidelijke structuur, zoals juridische teksten, wetenschappelijke artikelen of transcripties.

Observability en Evaluatie: Groundedness en Faithfulness

Het “black box” karakter van LLM’s maakt robuuste monitoring en evaluatie van RAG-systemen onontbeerlijk. Naast traditionele metrieken zoals latency en doorvoersnelheid, zijn er specifieke kwaliteits metrieken voor RAG 67:

• Groundedness (ook wel Faithfulness genoemd): Dit is de meest kritieke metriek. Het meet in hoeverre het gegenereerde antwoord feitelijk en volledig wordt ondersteund door de opgehaalde context. Een hoge groundedness-score impliceert een lage hallucinatiegraad.68 De score wordt doorgaans berekend door een gespecialiseerd cross-encoder model te gebruiken dat voor elke zin in het antwoord controleert of deze kan worden afgeleid uit de bron-chunks. De uiteindelijke score is vaak een gemiddelde over alle zinnen.68

• Context Relevance: Meet de relevantie van de opgehaalde chunks ten opzichte van de oorspronkelijke vraag. Slechte context leidt onvermijdelijk tot slechte antwoorden, zelfs met een perfecte LLM.

• Answer Relevancy: Meet de relevantie van het uiteindelijke antwoord ten opzichte van de vraag. Een antwoord kan perfect gegrond zijn in de context, maar als de context zelf irrelevant was, is het antwoord dat ook.

• Citation Precision & Recall: Meet hoe accuraat en volledig de bronvermeldingen in het antwoord zijn.

Deze metrieken moeten continu worden gemonitord via een observability-dashboard om de kwaliteit van het systeem te waarborgen en regressies na updates snel te detecteren.67

Baseline Implementatie met Azure AI Search Richtlijnen

Platformen zoals Azure AI Search bieden een geïntegreerde omgeving voor het bouwen van RAG-oplossingen, waardoor de complexiteit voor organisaties wordt verminderd.71 Een typische architectuur op Azure volgt het standaard RAG-patroon 73:

• Data Bron: Ongestructureerde data (bv. PDF’s, DOCX) wordt opgeslagen in Azure Blob Storage.

• Indexeringspijplijn: Een Azure AI Search-indexer wordt geconfigureerd om de data uit Blob Storage te “pullen”. Binnen deze pijplijn worden skillsets toegepast die de documenten opdelen in chunks en met behulp van een Azure OpenAI embedding-model vectoren genereren.

• Zoekindex: Er wordt een index gecreëerd die velden bevat voor de originele tekst, de gevectoriseerde content (embedding), en eventuele metadata die als filters kunnen worden gebruikt.

• Query Pijplijn: Een applicatie (bv. een chatbot) ontvangt een gebruikersvraag, genereert een embedding, en stuurt een hybride query (combinatie van vector search en keyword search met metadata filters) naar de Azure AI Search-index.

• Generatie: De top-k relevante chunks die door de zoekopdracht worden geretourneerd, worden door de applicatie in een prompt voor een Azure OpenAI chatmodel (bv. GPT-4) geplaatst om het uiteindelijke, gegronde antwoord te genereren.73

Deze aanpak biedt een schaalbare en beheersbare basis voor het implementeren van enterprise-grade RAG-systemen binnen de publieke sector.

Hoofdstuk 5: Ontsluiten van Ongestructureerde Data: Multimodaal en Document Intelligence

Een aanzienlijk deel van de informatie binnen de publieke sector, naar schatting tot 80%, is opgeslagen in ongestructureerde formaten zoals gescande PDF’s, afbeeldingen, diagrammen, en audio- of video-opnames.75 Traditionele zoeksystemen, die afhankelijk zijn van extraheerbare tekst, kunnen deze waardevolle kennisbronnen niet ontsluiten. Moderne multimodale AI-architecturen bieden de middelen om deze data te “canoniseren” naar een doorzoekbaar formaat, hetzij als rijke tekst, hetzij als een semantische vector.

Ingestie-pipelines voor Gescande PDF’s, Diagrammen en Afbeeldingen

De eerste stap in het doorzoekbaar maken van visuele documenten is het omzetten van pixels naar gestructureerde informatie. Dit vereist een geavanceerde ingestie-pijplijn die verder gaat dan traditionele Optical Character Recognition (OCR).

• Van OCR naar Document Intelligence: Standaard OCR-tools extraheren de tekst uit een afbeelding, maar verliezen daarbij de cruciale lay-outinformatie: de structuur van tabellen, de hiërarchie van koppen, en de relatie tussen tekst en afbeeldingen wordt vernietigd.77

• Layout-Aware Modellen: Een nieuwe generatie modellen, zoals Microsoft’s Document Intelligence Layout model en open-source varianten zoals LayoutLMv3, combineert computervisie met taalbegrip.78 Deze modellen analyseren niet alleen de tekst, maar ook de 2D-positie van elementen op de pagina. Ze kunnen paragrafen, tabellen, lijsten en koppen identificeren en de geëxtraheerde content exporteren in een structuur-behoudend formaat zoals Markdown.75 Een tabel in een gescande PDF wordt zo omgezet naar een Markdown-tabel, die direct interpreteerbaar is voor een LLM.

• Gespecialiseerde vs. Generieke Modellen: Empirisch onderzoek toont aan dat gespecialiseerde, modulaire pijplijnen vaak superieur zijn aan het gebruik van één generiek Vision-Language Model (VLM) voor documentanalyse. Een pijplijn die eerst objecten detecteert (bv. een grafiek, een tabel) en vervolgens per object een gespecialiseerd extractiemodel toepast (bv. een table-to-text model), levert doorgaans een completere en feitelijk correctere representatie op dan een VLM dat probeert de hele pagina in één keer te beschrijven. VLM’s zijn gevoeliger voor hallucinaties en het missen van details in complexe documenten.75

• Vision-Language Models voor Beeldanalyse: Voor op zichzelf staande afbeeldingen (foto’s, diagrammen) zijn VLM’s zoals Microsoft’s Florence-2 zeer krachtig. Deze modellen kunnen, gestuurd door een tekstuele prompt, een breed scala aan taken uitvoeren, zoals gedetailleerde beeldonderschriften genereren (<DETAILED_CAPTION>), objecten detecteren, en zelfs tekst in de afbeelding lezen (OCR).81 Deze gegenereerde tekstuele beschrijvingen kunnen vervolgens worden geïndexeerd en doorzoekbaar gemaakt.

Cross-Modale Retrieval Patronen

Zodra multimodale data is verwerkt, zijn er verschillende architectuurpatronen om cross-modale zoekopdrachten (bv. zoeken met tekst naar afbeeldingen, of vice versa) mogelijk te maken:

• Grounding in Text: Dit is de meest pragmatische en architectonisch eenvoudige aanpak. Alle niet-tekstuele modaliteiten worden tijdens de ingestie-fase omgezet naar een rijke tekstuele representatie. Een afbeelding krijgt een gedetailleerd onderschrift, een video wordt een transcriptie met beschrijvingen van keyframes, en een diagram wordt een tabel in Markdown. Vervolgens wordt een standaard, tekst-gebaseerde RAG- of zoekpijplijn gebruikt. De complexiteit wordt volledig naar de ingestie-fase verschoven.84

• Gedeelde Embedding Ruimte: Deze geavanceerdere benadering maakt gebruik van multimodale embedding-modellen zoals CLIP (Contrastive Language-Image Pre-training). Deze modellen zijn getraind om zowel afbeeldingen als tekstfragmenten naar een gedeelde, hoog-dimensionale vectorruimte te projecteren, zodanig dat een afbeelding en de bijbehorende beschrijving vectoren krijgen die dicht bij elkaar liggen.86 Dit maakt ware cross-modale retrieval mogelijk: de vector van een tekstuele query (“een groene auto voor een geel gebouw”) kan worden gebruikt om via een similariteitszoekopdracht direct de vector van de corresponderende afbeelding te vinden, zonder tussenliggende tekstuele beschrijvingen.84

• Gedecentraliseerde Indices met Reranking: Een derde patroon is om voor elke modaliteit een aparte index te onderhouden. Een query wordt parallel naar alle indices gestuurd. De topresultaten van elke index worden vervolgens verzameld en aan een krachtig multimodale LLM (VLM) gegeven, die fungeert als een ‘reranker’. Dit model evalueert de relevantie van de kandidaten (zowel tekst als beeld) in de context van de oorspronkelijke query en produceert de definitieve, gerangschikte lijst.84

De verwerking van complexe modaliteiten zoals video vereist een uitgebreide workflow. Dit omvat het transcriberen van de audio met een Automatic Speech Recognition (ASR) model, het drastisch reduceren van het aantal videoframes (bv. door downsampling en het detecteren van ‘shot boundaries’), het selecteren van informatieve ‘keyframes’, het genereren van tekstuele beschrijvingen voor deze frames met een VLM, en ten slotte het intelligent samenvoegen van de getimede transcripties en de frame-beschrijvingen tot een coherente, doorzoekbare tekst.85

De convergentie van deze architectuurpatronen naar twee canonieke, doorzoekbare vormen rijke tekst of een semantische vector heeft een belangrijke implicatie voor de publieke sector. Gezien de enorme archieven vol gescande documenten, historische kaarten en ander niet-tekstueel materiaal, moet de strategische focus niet liggen op het vinden van een enkel ‘magisch’ systeem dat alle formaten native begrijpt. De investering moet gericht zijn op het bouwen van een robuuste, schaalbare ingestion pipeline die deze diverse formaten kan omzetten naar een van deze twee doorzoekbare representaties. De expertise en technologie voor OCR, VLM gebaseerde ‘captioning’, en ASR zijn dus geen luxe, maar een fundamentele voorwaarde voor de moderne ontsluiting van het volledige kennispotentieel van de overheid.

Hoofdstuk 6: Silo’s Verbinden: Federated Search en Kennisgrafen

Binnen de publieke sector is informatie vaak niet alleen ongestructureerd, maar ook verspreid over meerdere organisatorische en technische silo’s. Wet- en regelgeving, met name op het gebied van data-soevereiniteit, verhindert vaak de creatie van één centrale dataopslag. Dit hoofdstuk behandelt twee cruciale architectuurpatronen om deze uitdaging aan te gaan: federated search voor het bevragen van gedistribueerde bronnen en knowledge graphs voor het structureren van complexe relaties binnen en tussen domeinen.

Federated Architectures voor Data Soevereiniteit: “Data-in-Place” Querying

Federated search is een architectuur waarbij een enkele zoekopdracht wordt gedistribueerd naar meerdere, onafhankelijke en geografisch verspreide databronnen. De resultaten van elke bron worden vervolgens geaggregeerd en aan de gebruiker gepresenteerd, zonder dat de onderliggende data permanent naar een centrale locatie wordt gekopieerd.93

Dit “data-in-place” of “data-at-source” principe is van essentieel belang voor de publieke sector, met name in de context van de Europese Unie. Samenwerking tussen ministeries, agentschappen, of zelfs tussen lidstaten vereist het delen van informatie, maar wetgeving zoals de GDPR/AVG en nationale soevereiniteitsregels verbieden vaak het centraliseren van (persoons)gegevens in een enkel data lake.95 Federated search biedt een technologische oplossing die deze juridische realiteit respecteert.99

De typische architectuur bestaat uit een centrale query broker. Deze component ontvangt de query van de gebruiker, vertaalt deze indien nodig naar de specifieke query-taal van elke doelsysteem, verstuurt de queries parallel, en wacht op de resultaten.100 De grootste uitdagingen van dit model zijn 93:

• Latency: De totale responstijd wordt gedicteerd door de traagste databron in de federatie. Als één systeem traag is of uitvalt, beïnvloedt dit de hele gebruikerservaring.93

• Result Merging (Rank Fusion): Elke databron retourneert een eigen, lokaal gerangschikte lijst van resultaten. De relevantiescores zijn onderling niet vergelijkbaar. Het samenvoegen van deze lijsten tot één logisch gerangschikte eindlijst is een complex information retrieval probleem op zich.93

• Beveiliging en Authenticatie: Het systeem moet op een veilige manier de identiteit en autorisaties van de gebruiker doorgeven aan elke afzonderlijke databron, een proces dat bekend staat als federated identity management (vaak via protocollen als SAML of OpenID Connect).93

• Jurisdictiebeperkingen (GDPR): Zelfs het tijdelijk overdragen van zoekresultaten die persoonsgegevens bevatten over de grenzen van de EER wordt beschouwd als een ‘doorgifte’ onder de GDPR. Dit vereist een geldige juridische basis, zoals een adequaatheidsbesluit, Standard Contractual Clauses (SCCs), of Binding Corporate Rules (BCRs).109

In vergelijking met een gecentraliseerd data lake, dat superieure prestaties en complexere analysemogelijkheden biedt, levert federated search in op snelheid en geavanceerde functionaliteit. De winst zit echter in real-time toegang tot de meest actuele data, lagere data-duplicatiekosten, en, cruciaal, het respecteren van de autonomie en soevereiniteit van de databronnen.112

Tabel 3: Federated vs. Gecentraliseerde Data-architecturen voor Zoeken

CriteriumFederated Search (Data-in-Place)Gecentraliseerd Zoeken (Unified Index / Data Lake)Data SoevereiniteitHoog. Data blijft bij de bron, respecteert jurisdicties en eigendom.Laag. Vereist centralisatie, wat juridisch en politiek complex kan zijn.BeveiligingComplexer te beheren (federated identity), maar data blijft in beveiligde silo’s.Eenvoudiger centraal toegangsbeheer, maar creëert een ‘single point of failure’ en een zeer waardevol doelwit.DataversheidReal-time. Vraagt altijd de meest actuele data op bij de bron.Afhankelijk van ETL/synchronisatie-cycli. Data kan verouderd zijn.**Prestaties (Query Speed)**Langzamer. Afhankelijk van de traagste bron en netwerklatency.Snel. Query’s worden uitgevoerd op een geoptimaliseerde, centrale index.Relevantie RankingComplex. Vereist geavanceerde ‘rank fusion’ technieken om onvergelijkbare scores te combineren.Superieur. Een globale relevantieranking over alle data is mogelijk.ImplementatiecomplexiteitHoog. Vereist een query broker, connectoren voor elke bron, en complexe resultaatfusie.Hoog. Vereist robuuste ETL-pijplijnen, data-opslag en een centraal indexeringssysteem.

Graph-RAG: Kennisgrafen en Vector Search Fuseren voor Verbeterd Redeneren

Waar federated search de distributie van data aanpakt, adresseren Knowledge Graphs (KG’s) de structuur en relaties binnen de data. Een KG modelleert kennis als een netwerk van entiteiten (nodes, bv. ‘Mark Rutte’, ‘VVD’, ‘Minister-president’) en de relaties daartussen (edges, bv. is_lid_van, heeft_functie).114

De toegevoegde waarde van KG’s in enterprise search is aanzienlijk 115:

• Disambiguatie: Een KG kan helpen om entiteiten met dezelfde naam uit elkaar te houden (bv. de persoon ‘Jan de Vries’ versus het bedrijf ‘De Vries BV’) door naar hun relaties te kijken.116

• 360-Graden Beeld: Door alle informatie over een entiteit te verbinden, kan een KG een compleet overzicht bieden, bijvoorbeeld van een burger (alle contactmomenten, aanvragen, en zaken), een bedrijf (vergunningen, subsidies, inspecties), of een wetsvoorstel (alle amendementen, betrokken partijen, en media-aandacht).119

• Complex Redeneren: KG’s maken het mogelijk om vragen te beantwoorden die meerdere “stappen” (hops) in het netwerk vereisen, zoals “Welke bedrijven in de provincie Utrecht hebben een subsidie ontvangen voor een project waar ook TNO bij betrokken was?”.

Graph-RAG is een geavanceerde RAG-architectuur die de sterktes van vector search en KG’s combineert.122 In plaats van alleen ongestructureerde tekst-chunks op te halen, doorloopt een Graph-RAG systeem een meer geavanceerde workflow 125:

• Entiteitsherkenning & Vector Search: De gebruikersvraag wordt geanalyseerd om de belangrijkste entiteiten te identificeren. Tegelijkertijd wordt een vector search uitgevoerd om relevante startpunten (‘entry points’) in de KG te vinden.124

• Graph Traversal: Vanaf deze startpunten wordt de graaf doorlopen om gerelateerde entiteiten, feiten en context te verzamelen. Dit proces, bekend als multi-hop reasoning, kan relaties blootleggen die in geen enkel afzonderlijk document expliciet worden genoemd.114

• Context Augmentation & Generation: De verzamelde informatie, zowel de ongestructureerde tekst uit de vector search als de gestructureerde feiten uit de KG, wordt samengevoegd en als context aan de LLM gegeven. Dit resulteert in een antwoord dat zowel semantisch rijk als feitelijk accuraat en contextueel diepgaand is.122

De constructie van een KG kan worden geautomatiseerd door LLM’s in te zetten voor Named Entity Recognition (NER) en relatie-extractie uit ongestructureerde documenten.122 Daarnaast kunnen LLM’s worden getraind om natuurlijke taalvragen om te zetten in formele graaf-query-talen zoals Cypher (voor Neo4j) of SPARQL (voor RDF-gebaseerde grafen), een proces dat bekend staat als Text2Cypher of Text2SPARQL.131

Hoofdstuk 7: De Opkomst van Agentic RAG

De evolutie van RAG stopt niet bij het ophalen en samenvatten van informatie. De volgende generatie, Agentic RAG, introduceert het concept van autonomie. In dit paradigma is het AI-systeem niet langer een passieve tool die op een query reageert, maar een actieve ‘agent’ die een doel kan begrijpen, een plan kan opstellen, en zelfstandig een reeks acties kan uitvoeren om dat doel te bereiken. Dit markeert een fundamentele verschuiving van mens-als-operator naar systeem als uitvoerder, met diepgaande implicaties voor de architectuur en governance.

Van Passieve Retrieval naar Actieve Agenten

Een traditioneel RAG-systeem volgt een vaste, lineaire pijplijn: retrieve, augment, generate. Een agentic systeem daarentegen opereert binnen een dynamische lus. Aangedreven door een LLM als ‘redeneermotor’, kan een agent zelfstandig beslissingen nemen.133 Het kan bepalen of er informatie nodig is, welke informatie, en hoe die moet worden verkregen. Dit wordt vaak geïmplementeerd via een ReAct (Reason + Act) framework: de agent redeneert over de volgende stap (‘Reason’), besluit een actie uit te voeren (‘Act’, bijvoorbeeld een tool aanroepen), observeert het resultaat, en herhaalt deze cyclus totdat het einddoel is bereikt.135

Waar een RAG-systeem een LLM voedt met context, kan een Agentic RAG-systeem zelfstandig kiezen tussen verschillende databronnen, de kwaliteit van de opgehaalde informatie evalueren, en indien nodig een andere strategie kiezen.135

Architectuurpatronen: Manager-Agent vs. Gedecentraliseerde Samenwerking

Net als in menselijke organisaties, kunnen AI-agenten op verschillende manieren worden gestructureerd om samen te werken:

• Manager-Worker (Gecentraliseerd) Patroon: In dit hiërarchische model fungeert één centrale, krachtige LLM-agent als de ‘manager’ of ‘orkestrator’. Deze agent ontvangt de overkoepelende taak van de gebruiker, breekt deze op in logische subtaken, en delegeert elke subtaak aan een gespecialiseerde ‘worker’ agent. Voorbeelden van worker agents zijn een SearchAgent (die een zoekindex bevraagt), een PolicyCheckAgent (die een document vergelijkt met interne regelgeving), of een DataAnalysisAgent (die data uit een database haalt en analyseert). Dit patroon is efficiënt voor goed gedefinieerde, sequentiële workflows.133

• Multi-Agent Collaboration (Gedecentraliseerd) Patroon: Dit model functioneert als een netwerk van gelijkwaardige, autonome specialisten die met elkaar communiceren. Er is geen centrale manager; de agenten coördineren hun acties via een gedeeld protocol. Dit patroon, dat lijkt op een microservices-architectuur, is flexibeler, schaalbaarder en veerkrachtiger. Een complexe taak wordt door het netwerk van agenten gezamenlijk gedecomponeerd en opgelost. Dit maakt complexere interacties mogelijk, zoals competitieve dynamieken waarbij meerdere agenten een oplossing voorstellen en een ‘rechter’-agent de beste kiest.134 De interoperabiliteit kan worden gefaciliteerd door standaarden zoals het Model Context Protocol (MCP).

Toolgebruik, Guardrails en Evaluatiekaders in de Publieke Sector

De functionaliteit van een agent wordt bepaald door de ’tools’ die hij tot zijn beschikking heeft. Een tool is in essentie een functie die de agent kan aanroepen, zoals search(query: str), query_knowledge_graph(cypher: str), of redact_pii(text: str).135 Het zorgvuldig definiëren en documenteren van deze tools is een cruciaal onderdeel van het ontwerpproces.

Gezien de autonome aard van agenten, zijn robuuste guardrails (vangrails) ononderhandelbaar in een publieke sector context. Deze omvatten:

• Toegangscontrole: Elke tool-aanroep moet worden gevalideerd tegen de autorisaties van de gebruiker namens wie de agent handelt (RBAC/ABAC).

• Input- en Outputvalidatie: De parameters die aan een tool worden doorgegeven en de resultaten die worden teruggegeven, moeten worden gevalideerd om onverwacht gedrag of aanvallen te voorkomen.

• Content Filters: Mechanismen die ongepaste, schadelijke of vertrouwelijke informatie in de output van de agent detecteren en blokkeren.

• Menselijke Supervisie: Duidelijke escalatiepaden en interfaces voor menselijke goedkeuring of interventie bij hoog-risico acties.

De evaluatie van agenten gaat verder dan de kwaliteit van de output. Het omvat het meten van de efficiëntie van het plan (aantal stappen), de juistheid van tool-keuzes, en het vermogen om te herstellen van fouten.137

Orkestratiestrategie: SLM-First Routing met LLM-Fallback

De inzet van de meest krachtige LLM’s voor elke subtaak in een agentic systeem is financieel en energetisch onhoudbaar. Een kostenefficiënte en prestatiegerichte orkestratiestrategie is de SLM-first, LLM-fallback benadering.140

• Een klein, snel en goedkoop Small Language Model (SLM) fungeert als de primaire ‘router’ of ‘dispatcher’.

• De SLM analyseert de inkomende taak. Voor eenvoudige, routinematige taken—zoals het classificeren van een vraag, het extraheren van een entiteit, of het aanroepen van een simpele API—handelt de SLM de taak zelf af.140

• Alleen wanneer een taak complex redeneren, diepgaande synthese of creativiteit vereist, wordt deze ‘geëscaleerd’ naar een groot, krachtig maar duurder Large Language Model (LLM).140

Dit patroon is conceptueel vergelijkbaar met Mixture-of-Experts (MoE) architecturen, waarbij een lichtgewicht ‘gating network’ (de router) een inkomende token of taak naar een van de vele gespecialiseerde ‘expert’-modellen stuurt. Dit zorgt ervoor dat alleen een klein deel van het totale model wordt geactiveerd, wat de computationele kosten drastisch reduceert.142 Deze strategie van ‘hybride of routing collaboratie’ is essentieel om een optimale balans te vinden tussen kosten, latency en de benodigde capaciteit voor een taak.141

De verschuiving naar agentic systemen representeert een architecturale inversie. In traditionele systemen is de mens de ‘agent’ die een strategie bedenkt, queries formuleert, en de resultaten van een passieve tool interpreteert. RAG automatiseert een deel van dit proces, maar de interactie blijft transactioneel. Agentic RAG draait dit model om: de gebruiker specificeert een doel, en het systeem wordt de actieve agent die autonoom een plan opstelt, tools gebruikt en een reeks acties uitvoert om dat doel te bereiken.133 De menselijke rol verschuift van operator naar supervisor. Dit heeft fundamentele governance-implicaties voor de publieke sector. De verantwoordelijkheid en aansprakelijkheid liggen niet langer primair bij de mens die een tool bedient, maar bij de organisatie die een autonome agent inzet. Dit vereist een nieuw paradigma voor audit, accountability en explainability, dat zich niet alleen richt op de uiteindelijke output, maar op het gehele besluitvormingsproces van de agent. De eis van een ‘glazen doos’ (glass box) voor het model evolueert naar de eis van een ‘glazen workflow’ (glass workflow) voor het hele systeem.

Deel III: Governance, Compliance en Gebruikersgerichtheid by Design

De implementatie van geavanceerde zoek- en AI-systemen in de publieke sector is niet louter een technologische uitdaging. Het succes en de maatschappelijke aanvaarding ervan zijn afhankelijk van een robuust raamwerk voor governance, strikte naleving van de Europese en nationale wetgeving, en een ontwerp dat de gebruiker centraal stelt. Dit deel behandelt de niet-functionele, maar bedrijfskritische, vereisten voor het bouwen van betrouwbare, rechtvaardige en toegankelijke informatiesystemen.

Hoofdstuk 8: Een Kader voor Betrouwbare AI in Publieke Zoeksystemen

Het vertrouwen van burgers en ambtenaren in AI-gedreven systemen is geen gegeven; het moet worden verdiend door transparantie, controleerbaarheid en aantoonbare rechtvaardigheid. Dit vereist een ‘by design’ benadering van governance, waarbij uitlegbaarheid, audit-trails en bias-mitigatie vanaf het begin in de architectuur worden verankerd.

Implementatie van Explainability (XAI) en Auditability: De “Glass Box” Vereiste

De plicht tot motivering van overheidsbesluiten is een fundamenteel principe in het Europese bestuursrecht, verankerd in onder meer het Handvest van de grondrechten van de EU (artikel 41) en het VWEU (artikel 296).146 Wanneer AI-systemen worden gebruikt om beslissingen voor te bereiden of te nemen, moet de overheid in staat zijn om zowel de gevolgde procedure als de specifieke uitkomst uit te leggen.147 Dit stelt de eis van een “glazen doos” (glass box) aan de technologie.

Voor RAG-systemen vertaalt Explainable AI (XAI) zich primair in twee concrete vereisten:

• Provenance (Bronvermelding): Elke bewering of feit in een door de LLM gegenereerd antwoord moet direct en ondubbelzinnig herleidbaar zijn tot de specifieke passage(s) in de bron-documenten waaruit de informatie is afgeleid. Dit is de meest fundamentele vorm van uitlegbaarheid in RAG en is essentieel voor verificatie en het opbouwen van vertrouwen.148

• Traceability (Traceerbaarheid): Het moet mogelijk zijn om het gehele redeneerpad van het systeem te reconstrueren. Voor een Graph-RAG systeem kan dit betekenen dat het pad dat door de kennisgraaf is gevolgd (multi-hop explainability) wordt gevisualiseerd, zodat duidelijk is hoe verschillende entiteiten met elkaar in verband zijn gebracht om tot een conclusie te komen.150

Auditability is de technische voorwaarde voor accountability. Het vereist een alomvattende en gestructureerde logging van alle relevante gebeurtenissen in de RAG-pijplijn. Een compleet audit-trail moet minimaal de volgende elementen bevatten voor elke interactie 151:

• De volledige gebruikersquery en de context (bv. gebruikersrol).

• De resultaten van de retrieval-stap: welke documenten/chunks (inclusief versie-ID’s) zijn opgehaald.

• De exacte prompt die naar de LLM is gestuurd, inclusief de opgehaalde context.

• Het door de LLM gegenereerde antwoord.

• Eventuele gebruikersfeedback op het antwoord.

• Timestamp en unieke transactie-ID voor correlatie.

Deze logs zijn onmisbaar voor het onderzoeken van incidenten, het aantonen van compliance, het debuggen van het systeem en het ter verantwoording kunnen roepen van de organisatie.149

Detectie en Mitigatie van Bias in de RAG-Pijplijn

AI-systemen kunnen bestaande maatschappelijke vooroordelen onbedoeld overnemen en versterken. In een RAG-systeem kan bias op meerdere niveaus worden geïntroduceerd: in het broncorpus, in het embedding-model dat bepaalt wat als ‘relevant’ wordt gezien, en in de LLM die het uiteindelijke antwoord formuleert.154

• Detectie: Het opsporen van bias vereist een systematische evaluatie. Een effectieve methode is het genereren van queries met demografische variaties (bv. “advies voor een man van 40” vs. “advies voor een vrouw van 65”) en het meten van eventuele significante verschillen in de nauwkeurigheid van de antwoorden of de consistentie van de opgehaalde bronnen.155 Dit kan worden gekwantificeerd met fairness-metrieken.

Mitigatiestrategieën: De aanpak van bias moet eveneens gelaagd zijn, en zich richten op de gehele AI-levenscyclus, van concept tot monitoring.157

• Data-niveau: De meest effectieve aanpak is het zorgvuldig cureren en balanceren van de brondocumenten om een diverse en representatieve kennisbasis te garanderen.

• Model-niveau: Een geavanceerde techniek is het aanpakken van ‘bias conflict’. In plaats van te streven naar een volledig ‘neutrale’ embedder, kan het effectiever zijn om de embedder opzettelijk te finetunen met een tegengestelde bias (‘reverse biasing’) om de inherente bias van de LLM of het corpus te compenseren en zo een neutraal eindresultaat te bereiken.154

• Prompt-niveau: Technieken zoals Chain-of-Thought (de LLM vragen zijn redenering uit te leggen) of Counterfactual Filtering (de LLM vragen te overwegen hoe het antwoord zou veranderen als een demografisch kenmerk anders was) kunnen de LLM sturen naar een meer onbevooroordeeld en weloverwogen antwoord.155

Waarborgen van Compliance: GDPR/AVG en NIS2/BIO2 Vereisten

De inzet van AI-zoeksystemen in de EU is onderworpen aan een streng wettelijk kader.

GDPR/AVG (Algemene Verordening Gegevensbescherming): Zodra een systeem persoonsgegevens verwerkt, is de GDPR van toepassing. Kernvereisten zijn:

• Rechtsgrondslag: Er moet een geldige basis zijn (bv. toestemming, wettelijke verplichting) voor elke verwerkingsactiviteit, inclusief het indexeren van documenten die persoonsgegevens bevatten.158

• Data Protection by Design & by Default: Privacybeschermende maatregelen moeten vanaf het begin worden ingebouwd. Dit omvat technieken als pseudonimisering van data en het principe van dataminimalisatie.159

• Rechten van Betrokkenen: De architectuur moet het “recht op vergetelheid” (Art. 17) ondersteunen. Dit betekent dat er een mechanisme moet zijn om de data van een individu, inclusief de daarvan afgeleide embeddings in een vector database, op verzoek te kunnen verwijderen.161 Ook het recht op inzage (Art. 15) en rectificatie (Art. 16) moet worden gefaciliteerd.164

• Recht op Uitleg (Art. 22): Voor beslissingen die uitsluitend op geautomatiseerde verwerking zijn gebaseerd en die aanzienlijke gevolgen hebben voor een individu, bestaat het recht op menselijke tussenkomst en het recht om een uitleg te krijgen over de totstandkoming van de beslissing. Hoewel een RAG-systeem vaak als ondersteunend wordt ingezet, is dit een cruciaal aandachtspunt bij de ontwikkeling van meer autonome agentic systemen.160

• Data Protection Impact Assessment (DPIA): Voor de inzet van nieuwe technologieën die waarschijnlijk een hoog risico inhouden voor de rechten en vrijheden van personen, is een DPIA verplicht.159

NIS2-richtlijn / BIO2: De NIS2-richtlijn, die de cyberbeveiliging van essentiële en belangrijke entiteiten regelt, is indirect van toepassing op AI-systemen die kritieke data verwerken. Hoewel AI niet expliciet wordt genoemd, impliceren de vereisten 166:

• Risicobeheer: Organisaties moeten de cyberbeveiligingsrisico’s van hun AI-systemen analyseren en passende maatregelen nemen.

• Beveiliging van de Toeleveringsketen: Er moet toezicht worden gehouden op de beveiliging van externe leveranciers, zoals cloud providers en leveranciers van LLM-API’s.

• Menselijk Toezicht: Er moet sprake zijn van adequaat menselijk toezicht op geautomatiseerde processen om fouten en misbruik te voorkomen.

• Incidentrespons: Er moeten procedures zijn voor het melden van significante cyberincidenten, wat ook incidenten met AI-systemen kan omvatten.

Tabel 4: Governance en Compliance RACI Matrix voor Enterprise RAG

TaakCDAO/CDOCISOJuridische Zaken / Privacy OfficerFGArchitectEngineerDefiniëren Data Governance BeleidACCCIIUitvoeren Data Protection Impact Assessment (DPIA)RCARCIImplementeren Toegangscontrole (RBAC/ABAC)CACIRRMonitoren en Mitigeren van Algoritmische BiasAICRRROpzetten en Beheren Audit LoggingIAICRR**Behandelen van Rechten van Betrokkenen (bv. DSR)RIARICBeoordelen Veiligheid Toeleveringsketen (bv. LLM API)IARICIRapporteren van Beveiligingsincidenten (NIS2)**IARIII

Legenda A=Accountable (Eindverantwoordelijk), R=Responsible (Uitvoerend), C=Consulted (Geraadpleegd), I=Informed (Geïnformeerd), FG=Functionaris Gegevensbescherming

Hoofdstuk 9: Ontwerpen voor de Gebruiker: Personalisatie, Meertaligheid en Toegankelijkheid

Een technologisch superieur zoeksysteem is alleen succesvol als het effectief, efficiënt en inclusief is voor alle beoogde gebruikers. Dit vereist een ontwerp dat rekening houdt met de specifieke rol en context van de gebruiker, de linguïstische diversiteit van de Europese Unie, en de wettelijke verplichtingen op het gebied van digitale toegankelijkheid.

Rolgebaseerde Personalisatie en Toegangscontrole (RBAC/ABAC)

Personalisatie in een enterprise context betekent dat de zoekresultaten worden afgestemd op de individuele gebruiker. Dit gebeurt niet primair op basis van persoonlijke interesses, maar op basis van professionele context: rol, afdeling, locatie, en projecten.167 Een financieel medewerker die zoekt naar “reiskostenbeleid” moet de interne financiële richtlijnen te zien krijgen, terwijl een projectmanager de specifieke afspraken voor diens project ziet.

Dit vereist een architectuur die twee functies combineert:

• Toegangscontrole (Authorization): Het systeem moet garanderen dat gebruikers alleen informatie zien waarvoor zij geautoriseerd zijn. Role-Based Access Control (RBAC) is hierbij het dominante patroon, waarbij permissies worden gekoppeld aan rollen (bv. ‘Manager’, ‘HR Medewerker’) in plaats van aan individuele gebruikers.169

• Relevantie-personalisatie: Binnen de set van geautoriseerde documenten, geeft het systeem voorrang aan documenten die het meest relevant zijn voor de context van de gebruiker.

Technisch gezien zijn er twee hoofdpatronen voor het implementeren van toegangscontrole in zoeksystemen 169:

• Early-binding: Toegangsrechten worden tijdens het indexeren vastgelegd bij de documenten. Dit resulteert in zeer snelle zoekopdrachten, omdat de filtering al heeft plaatsgevonden. Het nadeel is dat bij elke wijziging in permissies een (gedeeltelijke) herindexering nodig is.

• Late-binding: Toegangsrechten worden op het moment van de zoekopdracht (‘at query time’) gecontroleerd. Dit is flexibeler en garandeert dat de permissies altijd up-to-date zijn, maar kan de zoekopdracht vertragen omdat er een extra controle-stap nodig is.

In de praktijk wordt vaak een hybride vorm gebruikt. De integratie met een centraal Identity and Access Management (IAM) systeem en Single Sign-On (SSO) is hierbij essentieel.169

Architectuur voor een Meertalige EU: Cross-Linguale Modellen en Strategieën

De Europese Unie, met haar 24 officiële talen, stelt unieke eisen aan informatiesystemen. Een ambtenaar in Den Haag moet in staat zijn om met een Nederlandse zoekopdracht relevante beleidsdocumenten te vinden die in het Engels of Frans door de Europese Commissie zijn gepubliceerd.171 Dit vereist een architectuur voor Cross-Lingual Information Retrieval (CLIR).174

De kerntechnologie hierachter wordt gevormd door multilingual embedding models, zoals mBERT, XLM-RoBERTa, en LaBSE.175 Deze modellen zijn getraind op parallelle tekstcorpora in vele talen en leren een gedeelde, taal-agnostische vectorruimte. In deze ruimte liggen de vectoren voor woorden en zinnen met dezelfde betekenis, zoals “hond” (Nederlands), “dog” (Engels), en “Hund” (Duits), dicht bij elkaar.175

De praktische implementatie van CLIR volgt een helder patroon 175:

• Indexering: Alle documenten, ongeacht hun oorspronkelijke taal, worden tijdens de ingestie-fase gevectoriseerd met één en hetzelfde multilingual embedding model.

• Query: Een gebruikersvraag in een willekeurige taal (bv. Nederlands) wordt met ditzelfde model omgezet in een vector.

• Retrieval: Het systeem voert een standaard vector-similariteitszoekopdracht uit. Omdat de query-vector en de document-vectoren zich in dezelfde semantische ruimte bevinden, zullen documenten in andere talen die conceptueel overeenkomen met de query, als relevant worden gevonden en geretourneerd.

Deze aanpak is superieur aan pipeline-benaderingen die eerst de query vertalen, omdat het robuuster is tegen vertaalfouten en de nuances van de oorspronkelijke query beter behoudt.

Voldoen aan Digitale Toegankelijkheidsmandaten (EN 301 549 / WCAG 2.1 AA)

De Europese richtlijn inzake de toegankelijkheid van de websites en mobiele applicaties van overheidsinstanties (Web Accessibility Directive) verplicht de publieke sector om te voldoen aan de geharmoniseerde Europese norm EN 301 549.178 Deze norm stelt op zijn beurt dat voor webcontent moet worden voldaan aan de Web Content Accessibility Guidelines (WCAG) 2.1 op conformiteitsniveau AA.180

Voor een zoekinterface en AI-gegenereerde content betekent dit dat moet worden voldaan aan de vier WCAG-principes (POUR) 182:

• Perceivable (Waarneembaar): Alle interface-elementen moeten waarneembaar zijn. Dit betekent dat een zoekicoon een tekstueel alternatief (alt-tekst) moet hebben, en dat er voldoende kleurcontrast is tussen tekst en achtergrond in de zoekbalk en resultatenlijst (WCAG 1.4.3 & 1.4.11).182

• Operable (Bedienbaar): De volledige functionaliteit moet met het toetsenbord te bedienen zijn. Een gebruiker moet met de Tab-toets naar de zoekbalk kunnen navigeren, een query kunnen invoeren, de zoekopdracht kunnen starten, en vervolgens door de resultaten en paginering kunnen navigeren, zonder vast te komen te zitten (geen ‘keyboard trap’, WCAG 2.1.2).182

• Understandable (Begrijpelijk): De interface moet voorspelbaar en duidelijk zijn. Invoervelden en knoppen moeten duidelijke, programmatisch gekoppelde labels hebben. De functie van de zoekbalk moet worden aangegeven met een role="search" attribuut, zodat ondersteunende technologieën de functie ervan begrijpen.184

• Robust (Robuust): De code moet voldoen aan webstandaarden en correct gebruikmaken van semantische HTML en ARIA (Accessible Rich Internet Applications). Voor dynamische content, zoals een chatbot of live bijgewerkte zoekresultaten, is dit cruciaal. Nieuwe berichten of statusupdates (bv. “3 resultaten gevonden”) moeten worden aangekondigd aan screenreader-gebruikers via ARIA live regions (bv. aria-live="polite") om te voorkomen dat de gebruiker de update mist.186

Personalisatie in de publieke sector is een ‘dubbel snijdend zwaard’. Enerzijds kan het de efficiëntie voor de individuele ambtenaar drastisch verhogen door direct de meest relevante informatie voor diens rol en context te presenteren.167 Anderzijds schuilt er een significant risico in het creëren van een ‘filterbubbel’. Een te sterk gepersonaliseerd systeem kan een beleidsmedewerker onbewust afschermen van documenten buiten diens directe domein, die echter wel cruciaal kunnen zijn voor een holistische en evenwichtige besluitvorming. Dit staat op gespannen voet met het publieke belang van integrale afwegingen. De architectuur moet daarom niet alleen optimaliseren voor relevantie, maar ook voor serendipiteit (het onverwacht vinden van waardevolle informatie) en transparantie. Dit vereist mechanismen waarmee de gebruiker de personalisatie kan doorbreken (bv. een optie “zoek in de gehele organisatie”) en inzicht kan krijgen in waarom bepaalde resultaten als relevanter worden gepresenteerd.

Deel IV: Strategische Roadmap en Toekomstige Horizonten (2025–2035)

De voorgaande delen hebben de evolutie, de state-of-the-art architectuur en de governance-vereisten van enterprise search in de publieke sector geanalyseerd. Dit laatste deel synthetiseert deze inzichten tot een concrete, gefaseerde strategie voor de komende tien jaar. Het kijkt tevens vooruit naar de opkomende technologische paradigma’s die de volgende generatie van informatie-ontsluiting zullen vormgeven, en plaatst deze in de context van de strategische Europese doelstellingen voor digitale soevereiniteit en duurzaamheid.

Hoofdstuk 10: Een Actiegericht Stappenplan voor Implementatie

De transitie naar een moderne, AI-gedreven zoekinfrastructuur is geen eenmalig project, maar een gefaseerd traject van toenemende capaciteit en complexiteit. De volgende roadmap biedt een gestructureerde aanpak voor publieke organisaties.

Korte Termijn (2025–2027): Fundamentele Pilots in Hybride Zoeken en Enterprise RAG

De focus in deze fase ligt op het bouwen van fundamentele capaciteiten en het aantonen van de meerwaarde in gecontroleerde omgevingen.

• Fundament Leggen: Start met het inventariseren van de belangrijkste kennisbronnen en datasilo’s. Selecteer een hoogwaardig, relatief gestructureerd corpus (bv. recente beleidsdocumenten, interne handboeken) als startpunt. Ontwikkel een basis-ingestionpijplijn voor het extraheren en opschonen van tekst.

• Pilot Hybride Zoeken: Implementeer een Proof of Concept (PoC) voor een hybride zoeksysteem dat een BM25-implementatie combineert met een open-source dense retrieval model. Evalueer de prestatieverbetering (nDCG@10, Recall@k) ten opzichte van de bestaande, vaak op trefwoorden gebaseerde, zoekfunctie.

• Pilot Enterprise RAG: Lanceer een eerste RAG-pilot voor een duidelijk afgebakende, interne use case met een hoge impact, zoals een HR-chatbot die vragen beantwoordt op basis van het personeelshandboek. De focus ligt hier op het ‘by design’ implementeren van explainability (elke antwoordzin moet een bronverwijzing hebben) en auditability (volledige logging van de query-antwoord-cyclus).

• Verkenning Federatie: Initieer een kleinschalige PoC voor federated search tussen twee of drie welwillende overheidsorganisaties. Het doel is niet een productiesysteem, maar het in kaart brengen van de technische, governance- en juridische uitdagingen rondom authenticatie, resultaatfusie en data-soevereiniteit.

Middellange Termijn (2027–2030): Opschalen van Multimodale, Graph-RAG en Agentic Systemen

Na succesvolle pilots wordt de focus verlegd naar het verbreden van de capaciteiten en het opschalen van de implementaties.

• Uitrol Multimodale Ingestie: Breid de ingestion-pijplijn uit met geavanceerde document intelligence-componenten (OCR, layout-aware modellen, VLM’s) om de grote hoeveelheid gescande archieven, afbeeldingen en andere visuele documenten te ontsluiten en doorzoekbaar te maken.

• Implementatie Graph-RAG: Identificeer domeinen waar relaties en context van cruciaal belang zijn (bv. wetgevingsanalyse, subsidie-netwerken, 360-graden dossiers) en implementeer Graph-RAG om diepere, meer contextuele antwoorden te kunnen geven.

• Introductie Agentic RAG: Ontwikkel de eerste, eenvoudige agentic systemen voor het automatiseren van gestructureerde, multi-step informatieprocessen (bv. “Verzamel alle documenten gerelateerd aan project X, controleer of ze voldoen aan de archiefwet, en markeer de documenten die PII bevatten voor redactie”). Maak hierbij gebruik van de kostenefficiënte SLM-first/LLM-fallback orkestratiestrategie.

• Operationalisering FinOps/GreenOps: Implementeer dashboards voor het monitoren van de financiële kosten (€/query) en de CO₂-voetafdruk (energie/query) van de AI-infrastructuur. Integreer deze metrieken in het beheer en de planning van de systemen.

Lange Termijn (2030–2035): Verkenning van Next-Generation Computing Paradigma’s

De focus verschuift naar het anticiperen op en experimenteren met de volgende golf van computertechnologieën.

• Onderzoek Quantum-Assisted IR: Start verkennende onderzoeken naar de toepasbaarheid van kwantumalgoritmes voor specifieke, computationeel zeer zware subtaken binnen information retrieval. Dit kan in samenwerking met academische instellingen en gespecialiseerde onderzoeks-hubs.

• Pilots Neuromorfische Computing: Lanceer pilots met neuromorfe hardware voor use cases die baat hebben bij extreem energie-efficiënte, ‘always-on’ dataverwerking op de ‘edge’. Denk aan real-time patroonherkenning in sensordata voor inspectiediensten of defensietoepassingen.

• Actieve Rol in Europese Soevereiniteit: Neem een actieve rol in Europese programma’s gericht op digitale en technologische soevereiniteit. Draag bij aan de ontwikkeling van open standaarden, open-source modellen en vendor-neutrale infrastructuren die de afhankelijkheid van niet-Europese hyperscalers verminderen.

Hoofdstuk 11: De Volgende Grens: Quantum, Neuromorfische en Soevereine Zoektechnologie

De toekomst van enterprise search zal worden gevormd door de convergentie van drie belangrijke trends: de opkomst van fundamenteel nieuwe computerparadigma’s, de strategische noodzaak voor digitale soevereiniteit, en de operationele eis van duurzaamheid.

Quantum-geassisteerde Zoekopdrachten: Haalbaarheid van Grover’s Algoritme

Het Grover’s algoritme is een van de meest bekende kwantumalgoritmes. Het biedt een theoretische oplossing voor het doorzoeken van een ongestructureerde database met N elementen in een tijd van O(VN​), wat een kwadratische versnelling is ten opzichte van de O(N) die een klassieke computer in het slechtste geval nodig heeft.188 Binnen information retrieval zou dit potentieel subtaken kunnen versnellen, zoals het vinden van een specifiek item in een zeer grote, niet-geïndexeerde dataset of het optimaliseren van bepaalde parameters in machine learning-modellen.191

De praktische haalbaarheid op de middellange termijn is echter beperkt. Grover’s algoritme vereist een grootschalige, fout-tolerante kwantumcomputer. Hoewel er snelle vooruitgang wordt geboekt, wordt verwacht dat dergelijke machines pas na 2035 op een schaal beschikbaar komen die relevant is voor enterprise-problemen.193 De huidige generatie Noisy Intermediate-Scale Quantum (NISQ) computers is nog te klein en te foutgevoelig voor dit soort taken op productieschaal.192 Voor de periode tot 2035 blijft de rol van kwantumcomputing in IR waarschijnlijk beperkt tot fundamenteel onderzoek en niche-experimenten.

Neuromorfische Computing: Energie-efficiënte, Always-On Retrieval

Neuromorfische computing is een radicaal andere computerarchitectuur, geïnspireerd op de werking van het menselijk brein.195 In plaats van de synchrone, energie-intensieve von Neumann-architectuur, gebruiken neuromorfe chips Spiking Neural Networks (SNNs) en een ‘event-driven’ verwerkingsmodel. Neuronen en synapsen verbruiken alleen energie wanneer ze een ‘spike’ (een signaal) ontvangen of versturen.195

Dit resulteert in een extreem laag energieverbruik en zeer lage latency, wat deze technologie uitermate geschikt maakt voor AI-toepassingen op de ‘edge’: apparaten met beperkte stroomvoorziening die real-time moeten reageren op hun omgeving.198 Voor de publieke sector opent dit de deur naar “always-on” monitoring- en retrieval-systemen. Denk aan slimme sensoren voor inspectiediensten die continu data analyseren, of aan on-device intelligentie voor defensie- en veiligheidspersoneel in het veld, waar snelle, lokale dataverwerking zonder cloud-afhankelijkheid cruciaal is. Bovendien verhoogt de lokale verwerking de privacy en databeveiliging, omdat gevoelige data het apparaat niet hoeft te verlaten.201

Europese Zoek-Soevereiniteit: GAIA-X, Open Standaarden en Duurzame Operationele Modellen

De toenemende afhankelijkheid van niet-Europese hyperscalers voor cruciale AI- en data-infrastructuur wordt door de Europese Unie gezien als een strategisch risico. Het concept van digitale soevereiniteit—het principe dat data, hardware en software onderworpen zijn aan de wetten en de controle van de jurisdictie waarin ze zich bevinden is een kernpijler van de Europese datastrategie.202

GAIA-X is het meest prominente initiatief om deze soevereiniteit te versterken. Het is geen poging om een nieuwe Europese cloud-provider te bouwen, maar een project om een gefederdeerd data-ecosysteem te creëren. Het ontwikkelt een set van open standaarden, beleidsregels en services die het mogelijk maken voor bestaande Europese cloud- en dataleveranciers om op een veilige, interoperabele en soevereine manier met elkaar te verbinden. Voor gebruikers biedt het transparantie en controle over waar hun data wordt opgeslagen en verwerkt, en onder welke regels.203

Tegelijkertijd dwingt de exponentiële groei van de kosten en het energieverbruik van grootschalige AI-modellen organisaties om duurzamere operationele modellen te adopteren:

• FinOps (Financial Operations): Een operationele discipline die, vergelijkbaar met DevOps, financiële accountability brengt in het variabele, ‘pay-as-you-go’ model van de cloud. Het doel is om de businesswaarde van elke euro die aan cloud wordt uitgegeven te maximaliseren door middel van continue monitoring, optimalisatie en budgettering. AI-gedreven tools worden steeds vaker ingezet om FinOps-processen zelf te automatiseren.206

• GreenOps: Een opkomende discipline die zich richt op het meten, rapporteren en reduceren van de ecologische voetafdruk (energieverbruik, CO₂-uitstoot) van de IT- en AI-infrastructuur. Dit sluit direct aan bij de duurzaamheidsdoelstellingen van de publieke sector en de noodzaak om de maatschappelijke kosten van digitalisering te beheersen.

De toekomst van enterprise search in de publieke sector is gedistribueerd, gespecialiseerd en duurzaam. De politieke en juridische realiteit van data-soevereiniteit, belichaamd door initiatieven als GAIA-X en wetgeving als de GDPR, stuurt de architectuur onvermijdelijk richting federatieve en gedecentraliseerde modellen. De monolithische, centrale dataopslag wordt de uitzondering, niet de regel. Tegelijkertijd zal de ‘one-size-fits-all’ computerarchitectuur plaatsmaken voor een heterogeen landschap waarin gespecialiseerde hardware, zoals neuromorfe chips voor low-power edge-taken, een cruciale rol speelt naast traditionele CPU’s en GPU’s. Ten slotte is de huidige groei in computationele kosten en energieverbruik van AI onhoudbaar. Duurzame operationele modellen zoals FinOps en GreenOps zullen evolueren van optionele rapportages naar kernonderdelen van het governance-framework. De strategische focus voor de publieke sector moet daarom niet alleen liggen op het implementeren van de nieuwste algoritmes, maar op het bouwen van een adaptieve, soevereine en duurzame informatie-infrastructuur. Dit vereist investeringen in open standaarden, expertise in het beheren van heterogene systemen, en de integratie van kosten- en energie-efficiëntie als primaire ontwerpcriteria.

Geciteerd werk

• History of Enterprise Search – Capacity, geopend op september 30, 2025, https://capacity.com/enterprise-search/history-of-enterprise-search/

• 1970-1979 Enterprise search emerges – A history of enterprise …, geopend op september 30, 2025, https://sheffield.pressbooks.pub/eshistory1/chapter/1970-1979-enterprise-search-emerges/

• IBM STAIRS – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/IBM_STAIRS

• stairs – NCJRS Virtual Library – Office of Justice Programs, geopend op september 30, 2025, https://www.ojp.gov/ncjrs/virtual-library/abstracts/stairs

• Boolean terms and connectors for searches – Thomson Reuters, geopend op september 30, 2025, https://www.thomsonreuters.com/content/helpandsupp/en-gb/help/practical-law/searching/boolean-search-terms-and-connectors-for-searches.html

• The limitations of Boolean searching — [Library Technology Guides], geopend op september 30, 2025, https://librarytechnology.org/document/4031

• Thoughts on the STAIRS evaluation, ten years after, geopend op september 30, 2025, https://yunus.hacettepe.edu.tr/~tonta/courses/spring2008/bby703/Blair.pdf

• The stairs evaluation | PPTX – Slideshare, geopend op september 30, 2025, https://www.slideshare.net/slideshow/the-stairs-evaluation-26941705/26941705

• The Boolean is Dead, Long Live the Boolean! Natural Language versus Boolean Searching in Introductory Undergraduate Instruction – College & Research Libraries, geopend op september 30, 2025, https://crl.acrl.org/index.php/crl/article/view/16729/18669

• The Evolution of Search – A Brief History of Information Retrieval : r/Rag – Reddit, geopend op september 30, 2025, https://www.reddit.com/r/Rag/comments/1nqu53l/the_evolution_of_search_a_brief_history_of/

• The past, present, and future of semantic search | Algolia, geopend op september 30, 2025, https://www.algolia.com/blog/ai/the-past-present-and-future-of-semantic-search

• Information retrieval – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/Information_retrieval

• What is BM25 (Best Matching 25) Algorithm? – GeeksforGeeks, geopend op september 30, 2025, https://www.geeksforgeeks.org/nlp/what-is-bm25-best-matching-25-algorithm/

• BM25 and Its Role in Document Relevance Scoring – Sourcely, geopend op september 30, 2025, https://www.sourcely.net/resources/bm25-and-its-role-in-document-relevance-scoring

• Cross-Encoder Rediscovers a Semantic Variant of BM25 – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2502.04645v2

• Okapi BM25 – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/Okapi_BM25

• Hybrid Search Explained | Weaviate, geopend op september 30, 2025, https://weaviate.io/blog/hybrid-search-explained

• What is vector search? – Algolia Blog | Algolia, geopend op september 30, 2025, https://www.algolia.com/blog/ai/what-is-vector-search

• What Is Vector Search? Everything You Need to Know – InterSystems, geopend op september 30, 2025, https://www.intersystems.com/resources/what-is-vector-search-everything-you-need-to-know/

• Vector Search vs Semantic Search – TigerData, geopend op september 30, 2025, https://www.tigerdata.com/learn/vector-search-vs-semantic-search

• How do transformer models enhance IR? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-transformer-models-enhance-ir

• Transformers in the Real World: A Survey on NLP Applications – MDPI, geopend op september 30, 2025, https://www.mdpi.com/2078-2489/14/4/242

• From Keywords to Concepts: Leveraging Sentence Transformers for Smarter Information Retrieval | by Yusuf Çakmak | Medium, geopend op september 30, 2025, https://medium.com/@ysfckmk/from-keywords-to-concepts-leveraging-sentence-transformers-for-smarter-information-retrieval-8233c6e48e89

• Pretrained Transformers for Efficient and Robust Information Retrieval, geopend op september 30, 2025, https://uwspace.uwaterloo.ca/items/05e9d9fb-dac1-4ff8-ae04-a9a6a83933c5

• A Comprehensive Hybrid Search Guide | Elastic, geopend op september 30, 2025, https://www.elastic.co/what-is/hybrid-search

• What is the difference between sparse and dense retrieval? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/what-is-the-difference-between-sparse-and-dense-retrieval

• Hybrid Search Strategy — How Hybrid Search improved RAG …, geopend op september 30, 2025, https://medium.com/@hskapasi/hybrid-search-strategy-how-hybrid-search-improved-performance-by-30-970104a272ca

• Hybrid Search: Vector + Keyword Techniques for better RAG retrieval, geopend op september 30, 2025, https://www.machinelearningplus.com/gen-ai/hybrid-search-vector-keyword-techniques-for-better-rag/

• A Practical Guide to Hybrid Search – CelerData, geopend op september 30, 2025, https://celerdata.com/glossary/hybrid-search

• Integrating BM25 in Hybrid Search and Reranking Pipelines: Strategies and Applications, geopend op september 30, 2025, https://dev.to/negitamaai/integrating-bm25-in-hybrid-search-and-reranking-pipelines-strategies-and-applications-4joi

• Hybrid query – Azure AI Search – Microsoft Learn, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/search/hybrid-search-how-to-query

• Hybrid Search: Combining Semantic and Keyword Approaches for Enhanced Information Retrieval | by Pia Riachi | Google Cloud – Medium, geopend op september 30, 2025, https://medium.com/google-cloud/hybrid-search-combining-semantic-and-keyword-approaches-for-enhanced-information-retrieval-6a7c046c89ea

• Sentence Embeddings. Cross-encoders and Re-ranking …, geopend op september 30, 2025, https://osanseviero.github.io/hackerllama/blog/posts/sentence_embeddings2/

• Rerankers and Two-Stage Retrieval – Pinecone, geopend op september 30, 2025, https://www.pinecone.io/learn/series/rag/rerankers/

• The Power of Cross-Encoders in Re-Ranking for NLP and RAG Systems – CloudThat, geopend op september 30, 2025, https://www.cloudthat.com/resources/blog/the-power-of-cross-encoders-in-re-ranking-for-nlp-and-rag-systems

• Retrieve & Re-Rank — Sentence Transformers documentation, geopend op september 30, 2025, https://www.sbert.net/examples/sentence_transformer/applications/retrieve_rerank/README.html

• Bi-Encoders and Cross-Encoders: Two Sides of the Retrieval Coin | by Marc Puig – Medium, geopend op september 30, 2025, https://medium.com/@mpuig/bi-encoders-and-cross-encoders-two-sides-of-the-retrieval-coin-06a95fe18619

• arXiv:2408.16672v4 [cs.IR] 14 Sep 2024, geopend op september 30, 2025, https://arxiv.org/pdf/2408.16672

• Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2408.16672v3

• ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT | Fan Pu Zeng, geopend op september 30, 2025, https://fanpu.io/summaries/2024-02-22-colbert-efficient-and-effective-passage-search-via-contextualized-late-interaction-over-bert/

• An Overview of Late Interaction Retrieval Models: ColBERT, ColPali …, geopend op september 30, 2025, https://weaviate.io/blog/late-interaction-overview

• SPLADE for Sparse Vector Search Explained | Pinecone, geopend op september 30, 2025, https://www.pinecone.io/learn/splade/

• What is a Sparse Vector? How to Achieve Vector-based Hybrid Search – Qdrant, geopend op september 30, 2025, https://qdrant.tech/articles/sparse-vectors/

• How do embeddings optimize long-tail search? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-embeddings-optimize-longtail-search

• Query Understanding for Surfacing Long-Tail Music Content – Spotify Research, geopend op september 30, 2025, https://research.atspotify.com/2021/03/query-understanding-for-surfacing-long-tail-music-content

• What is Hybrid Search?. There is not a single definition of… | by Qdrant on Medium, geopend op september 30, 2025, https://medium.com/@qdrant/what-is-hybrid-search-2a0c30d0f3d2

• Optimizing RAG with Hybrid Search & Reranking | VectorHub by Superlinked, geopend op september 30, 2025, https://superlinked.com/vectorhub/articles/optimizing-rag-with-hybrid-search-reranking

• Benchmarking IR Information Retrieval (BEIR) – Zilliz, geopend op september 30, 2025, https://zilliz.com/glossary/beir

• Evaluating search relevance part 1 – The BEIR benchmark – Elasticsearch Labs, geopend op september 30, 2025, https://www.elastic.co/search-labs/blog/evaluating-search-relevance-part-1

• Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard – arXiv, geopend op september 30, 2025, https://arxiv.org/pdf/2306.07471

• From Retrieval to Generation: Comparing Different Approaches – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2502.20245v1

• What is Enterprise RAG? A CX leader’s guide to Retrieval Augmented Generation (2025), geopend op september 30, 2025, https://www.ask-ai.com/blog/what-is-enterprise-rag-a-cx-leaders-guide-to-retrieval-augmented-generation-2025

• What is RAG? – Retrieval-Augmented Generation AI Explained – AWS – Updated 2025, geopend op september 30, 2025, https://aws.amazon.com/what-is/retrieval-augmented-generation/

• A Comprehensive Guide to Retrieval-Augmented Generation (RAG): What It Is and How to Use It | by Jagadeesan Ganesh | Medium, geopend op september 30, 2025, https://medium.com/@jagadeesan.ganesh/a-comprehensive-guide-to-retrieval-augmented-generation-rag-what-it-is-and-how-to-use-it-ebd5a0ca8a83

• Advanced Chunking Techniques for Better RAG Performance – Chitika, geopend op september 30, 2025, https://www.chitika.com/advanced-chunking-techniques-rag/

• Fixed-size, Semantic and Recursive Chunking Strategies for LLMs – Blog, geopend op september 30, 2025, https://blog.langformers.com/llm-chunking-strategies/

• RAG Tutorial: A Beginner’s Guide to Retrieval Augmented Generation – SingleStore, geopend op september 30, 2025, https://www.singlestore.com/blog/a-guide-to-retrieval-augmented-generation-rag/

• 7 Chunking Strategies in RAG You Need To Know – F22 Labs, geopend op september 30, 2025, https://www.f22labs.com/blogs/7-chunking-strategies-in-rag-you-need-to-know/

• Fixed-Size Chunking in RAG Pipelines: A Guide | newline – Fullstack.io, geopend op september 30, 2025, https://www.newline.co/@zaoyang/fixed-size-chunking-in-rag-pipelines-a-guide–af509f11

• 11 Chunking Strategies for RAG — Simplified & Visualized | by Mastering LLM (Large Language Model), geopend op september 30, 2025, https://masteringllm.medium.com/11-chunking-strategies-for-rag-simplified-visualized-df0dbec8e373

• Advanced RAG techniques – Andrejs – Medium, geopend op september 30, 2025, https://fluentnumbers.medium.com/advanced-rag-techniques-5a5b1aec60da

• Enhancing RAG with Hybrid Search and Metadata | Serenity* Star, geopend op september 30, 2025, https://docs.serenitystar.ai/blog/llm-models-hybrid-search-metadata

• RAG Retrieval Beyond Semantic Search: Day 5- Metadata Filtering | by Vansh Kharidia, geopend op september 30, 2025, https://medium.com/@vanshkharidia7/rag-retrieval-beyond-semantic-search-day-5-metadata-filtering-4cf22eb6d016

• Part 6: Power up RAG Chatbot with Hybrid Search and Metadata …, geopend op september 30, 2025, https://blog.gopenai.com/power-up-rag-chatbot-with-hybrid-search-and-filtering-47386bade934

• Beyond Basic RAG: Mastering Routing, Query Construction, and …, geopend op september 30, 2025, https://medium.com/@tejpal.abhyuday/beyond-basic-rag-mastering-routing-query-construction-and-advanced-retrieval-part-2-bdf6c165d163

• Query Routing for Retrieval-Augmented Language Models – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2505.23052v1

• Monitoring Retrieval-Augmented Generation (RAG) Applications …, geopend op september 30, 2025, https://medium.com/@support_81201/monitoring-retrieval-augmented-generation-rag-applications-challenges-and-observability-42c042562a43

• Check the Groundedness Score – What’s deepset AI Platform?, geopend op september 30, 2025, https://docs.cloud.deepset.ai/docs/use-groundedness-observability

• New Groundedness Observability feature could cut your LLM costs by up to 40% – YouTube, geopend op september 30, 2025, https://www.youtube.com/watch?v=-WOban5jaUY

• Retrieval-augmented Generation (RAG) evaluators for generative AI – Azure AI Foundry, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/ai-foundry/concepts/evaluation-evaluators/rag-evaluators

• Azure AI Search documentation | Microsoft Learn, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/search/

• What’s Azure AI Search? – Microsoft Learn, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/search/search-what-is-azure-search

• Build a RAG solution – Azure AI Search | Azure Docs, geopend op september 30, 2025, https://docs.azure.cn/en-us/search/tutorial-rag-build-solution

• RAG tutorial: Search using an LLM – Azure AI Search | Azure Docs, geopend op september 30, 2025, https://docs.azure.cn/en-us/search/tutorial-rag-build-solution-query

• Approaches to PDF Data Extraction for Information Retrieval …, geopend op september 30, 2025, https://developer.nvidia.com/blog/approaches-to-pdf-data-extraction-for-information-retrieval/

• RAG Pipeline Diagram: How to Augment LLMs With Your Data – Multimodal, geopend op september 30, 2025, https://www.multimodal.dev/post/rag-pipeline-diagram

• Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2505.05666v1

• Retrieval-Augmented Generation (RAG) with Azure AI Document …, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/ai-services/document-intelligence/concept/retrieval-augmented-generation?view=doc-intel-4.0.0

• The Role of LayoutLMv3 in Document Layout Understanding in 2024 | by Wiem Souai | UBIAI NLP | Medium, geopend op september 30, 2025, https://medium.com/ubiai-nlp/the-role-of-layoutlmv3-in-document-layout-understanding-in-2024-46d505105cfb

• LayoutLM: Extracting Entities from Structured Documents, a Practical Guide. – Medium, geopend op september 30, 2025, https://medium.com/@ravisatvik.192/unleashing-the-power-of-layoutlm-extracting-entities-from-structured-documents-made-easy-5d82c6290ec7

• Florence-2: Zero-Shot Vision AI by Microsoft | Ultralytics, geopend op september 30, 2025, https://www.ultralytics.com/blog/florence-2-microsofts-latest-vision-language-model

• Florence-2: How it works and how to use it – AssemblyAI, geopend op september 30, 2025, https://www.assemblyai.com/blog/florence-2-how-it-works-how-to-use

• Hands-on Guide to Vision Language Tasks using Microsoft’s Florence-2 – ADaSci, geopend op september 30, 2025, https://adasci.org/hands-on-guide-on-vision-language-tasks-using-microsofts-florence-2/

• An Easy Introduction to Multimodal Retrieval-Augmented Generation – NVIDIA Developer, geopend op september 30, 2025, https://developer.nvidia.com/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation/

• An Easy Introduction to Multimodal Retrieval-Augmented Generation …, geopend op september 30, 2025, https://developer.nvidia.com/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation-for-video-and-audio/

• What is Multimodal RAG? – IBM, geopend op september 30, 2025, https://www.ibm.com/think/topics/multimodal-rag

• How do Vision-Language Models perform cross-modal retrieval tasks? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-visionlanguage-models-perform-crossmodal-retrieval-tasks

• A Dive into Vision-Language Models – Hugging Face, geopend op september 30, 2025, https://huggingface.co/blog/vision_language_pretraining

• “Multimodal Search & Assist: How AI Will Combine Text, Image, & Audio to Know What You Really Mean” | by Dr. Ameer Hamza Mahmood | Sep, 2025 | Medium, geopend op september 30, 2025, https://medium.com/@zamziorpion/multimodal-search-assist-how-ai-will-combine-text-image-audio-to-know-what-you-really-mean-7e8f3110ebba

• CLIP Pre-trained Models for Cross-modal Retrieval in NewsImages 2022 – CEUR-WS.org, geopend op september 30, 2025, https://ceur-ws.org/Vol-3583/paper24.pdf

• Multimodal Semantic Search with Images and Text – Milvus Blog, geopend op september 30, 2025, https://milvus.io/blog/multimodal-semantic-search-with-images-and-text.md

• Revolutionizing video search with multimodal AI – KX, geopend op september 30, 2025, https://kx.com/blog/revolutionizing-video-search-with-multimodal-ai/

• Federated search – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/Federated_search

• What is Federated Search? – Splunk, geopend op september 30, 2025, https://www.splunk.com/en_us/blog/learn/federated-search.html

• FEDeRATED REFERENCE ARCHITECTURE, geopend op september 30, 2025, https://federatedplatforms.eu/images/Library/Activity2/FEDeRATED_Reference_Architecture.pdf

• Understanding data mesh in public sector: Pillars, architecture, and examples | Elastic Blog, geopend op september 30, 2025, https://www.elastic.co/blog/data-mesh-public-sector

• What is Data Sovereignty? – Data Sovereignty Explained – AWS, geopend op september 30, 2025, https://aws.amazon.com/what-is/data-sovereignty/

• A Guide to Federated Search: Unlocking Real-Time Access to …, geopend op september 30, 2025, https://www.gosearch.ai/blog/a-guide-to-federated-search/

• (PDF) Patterns for Federated Architecture. – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/220299117_Patterns_for_Federated_Architecture

• Introduction to federated queries | BigQuery – Google Cloud, geopend op september 30, 2025, https://cloud.google.com/bigquery/docs/federated-queries-intro

• Federated searching with LIMBS During a federated search, a system uses… – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/figure/Federated-searching-with-LIMBS-During-a-federated-search-a-system-uses-its-SQI-client_fig2_224638769

• Latency in Federated Search: Research Insights – Sourcely, geopend op september 30, 2025, https://www.sourcely.net/resources/latency-in-federated-search-research-insights

• The End of Federated Search? A Better Way to Find What Matters – Docuvela, geopend op september 30, 2025, https://docuvela.com/2025/05/06/the-end-of-federated-search/

• Federated search techniques: an overview of the trends and state of the art, geopend op september 30, 2025, https://pure.ulster.ac.uk/files/218400942/Revised_review_paper.pdf

• Snippet-based result merging in federated search – Pure – Ulster University’s Research Portal, geopend op september 30, 2025, https://pure.ulster.ac.uk/files/218374790/Revised_Manuscript_JIS_3_.pdf

• An Optimization Framework for Merging Multiple Result Lists, geopend op september 30, 2025, https://people.cs.umass.edu/~sheldon/papers/cikm15-camera.pdf

• (PDF) Assurance for federated identity management – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/220065427_Assurance_for_federated_identity_management

• What does federated mean in search, identity, and databases? – WorkOS, geopend op september 30, 2025, https://workos.com/blog/what-does-federated-mean

• Article 65 FAQ How does cross-border cooperation work under the GDPR? – European Data Protection Board, geopend op september 30, 2025, https://www.edpb.europa.eu/system/files/2021-09/20201110_art65_faq_en.pdf

• Chapter 13: Cross-Border Data Transfers – Unlocking the EU General Data Protection Regulation | White & Case LLP, geopend op september 30, 2025, https://www.whitecase.com/insight-our-thinking/chapter-13-cross-border-data-transfers-unlocking-eu-general-data-protection

• 5 Steps to Align Data Privacy Across Jurisdictions – Phoenix Strategy Group, geopend op september 30, 2025, https://www.phoenixstrategy.group/blog/5-steps-to-align-data-privacy-across-jurisdictions

• Federated Search vs Unified Search: Which Is Right for You? – Coveo, geopend op september 30, 2025, https://www.coveo.com/blog/unified-search-vs-federated-search/

• Enterprise Search vs. Federated Search: Which Approach Suits …, geopend op september 30, 2025, https://swirlaiconnect.com/enterprise-search-vs-federated-search-which-approach-suits-your-business/

• Graph-RAG in AI: What is it and How does it work? | by Sahin Ahmed, Data Scientist, geopend op september 30, 2025, https://medium.com/@sahin.samia/graph-rag-in-ai-what-is-it-and-how-does-it-work-d719d814e610

• In-depth Guide to Knowledge Graph: Use Cases – Research AIMultiple, geopend op september 30, 2025, https://research.aimultiple.com/knowledge-graph/

• Knowledge Graph: Powering intelligent and context-aware search | Google Agentspace, geopend op september 30, 2025, https://cloud.google.com/agentspace/docs/use-knowledge-graph-search

• A Knowledge Graph Entity Disambiguation Method Based on Entity-Relationship Embedding and Graph Structure Embedding – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/354831830_A_Knowledge_Graph_Entity_Disambiguation_Method_Based_on_Entity-Relationship_Embedding_and_Graph_Structure_Embedding

• A Knowledge Graph Entity Disambiguation Method Based on Entity-Relationship Embedding and Graph Structure Embedding – PMC, geopend op september 30, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC8486511/

• What is a Customer 360 Graph Database?, geopend op september 30, 2025, https://www.puppygraph.com/blog/customer-360-graph-database

• Customer 360 Use Cases & Examples | Informatica, geopend op september 30, 2025, https://www.informatica.com/resources/articles/customer-360-use-cases-and-examples.html

• Customer 360 Archives – Graph Database & Analytics – Neo4j, geopend op september 30, 2025, https://neo4j.com/blog/customer-360/

• Implementing Graph RAG Using Knowledge Graphs | IBM, geopend op september 30, 2025, https://www.ibm.com/think/tutorials/knowledge-graph-rag

• Introduction to Graph RAG – Aerospike, geopend op september 30, 2025, https://aerospike.com/blog/introduction-to-graph-rag/

• HybridRAG and Why Combine Vector Embeddings with Knowledge …, geopend op september 30, 2025, https://memgraph.com/blog/why-hybridrag

• RAG Tutorial: How to Build a RAG System on a Knowledge Graph – Neo4j, geopend op september 30, 2025, https://neo4j.com/blog/developer/rag-tutorial/

• Vector Databases vs. Knowledge Graphs for RAG | Paragon Blog, geopend op september 30, 2025, https://www.useparagon.com/blog/vector-database-vs-knowledge-graphs-for-rag

• HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2408.04948v1

• varun196/knowledge_graph_from_unstructured_text: Building knowledge graph from input data – GitHub, geopend op september 30, 2025, https://github.com/varun196/knowledge_graph_from_unstructured_text

• A Continual Relation Extraction Approach for Knowledge Graph Completeness – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2404.17593v1

• Dual Approaches to Building Knowledge Graphs: Traditional Techniques or LLMs, geopend op september 30, 2025, https://bluetickconsultants.medium.com/dual-approaches-to-building-knowledge-graphs-traditional-techniques-or-llms-400fee0f5ac9

• Text2Cypher: Bridging Natural Language and Graph Databases – ACL Anthology, geopend op september 30, 2025, https://aclanthology.org/2025.genaik-1.11.pdf

• Text2Cypher – Natural Language Queries – NeoDash – Neo4j, geopend op september 30, 2025, https://neo4j.com/labs/neodash/2.4/user-guide/extensions/natural-language-queries/

• What is Agentic AI? | IBM, geopend op september 30, 2025, https://www.ibm.com/think/topics/agentic-ai

• Deconstructing the Monolith: A Paradigm Shift in Agentic Architecture | by Ali Arsanjani, geopend op september 30, 2025, https://dr-arsanjani.medium.com/deconstructing-the-monolith-a-paradigm-shift-in-agentic-architecture-8fb8894f7e73

• Build a Retrieval-Augmented Generation (RAG) Agent with NVIDIA Nemotron, geopend op september 30, 2025, https://developer.nvidia.com/blog/build-a-rag-agent-with-nvidia-nemotron/

• Agentic RAG – GitHub Pages, geopend op september 30, 2025, https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_agentic_rag/

• Top 7 Agentic RAG System to Build AI Agents – Analytics Vidhya, geopend op september 30, 2025, https://www.analyticsvidhya.com/blog/2025/01/agentic-rag-system-architectures/

• 5 Most Popular Agentic AI Design Patterns in 2025, geopend op september 30, 2025, https://www.azilen.com/blog/agentic-ai-design-patterns/

• RAG architecture + LLM agent = Better responses – K2view, geopend op september 30, 2025, https://www.k2view.com/blog/rag-architecture-llm-agent/

• Exploring the Power of Small Language Models | by Sunil Rao – Towards AI, geopend op september 30, 2025, https://pub.towardsai.net/exploring-the-power-of-small-language-models-83ee2ac70c12

• Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation | Request PDF – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/393845668_Collaboration_of_Large_Language_Models_and_Small_Recommendation_Models_for_Device-Cloud_Recommendation

• LLM Mixture of Experts Explained – TensorOps, geopend op september 30, 2025, https://www.tensorops.ai/post/what-is-mixture-of-experts-llm

• What is mixture of experts? | IBM, geopend op september 30, 2025, https://www.ibm.com/think/topics/mixture-of-experts

• Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2502.00409v3

• ECO-LLM: Orchestration for Domain-specific Edge-Cloud Language Models – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2507.09003v1

• Full article: On the path to the future: mapping the notion of transparency in the EU regulatory framework for AI – Taylor & Francis Online, geopend op september 30, 2025, https://www.tandfonline.com/doi/full/10.1080/13600869.2022.2060471

• Artificial Intelligence in Public Sector – https: //rm. coe. int, geopend op september 30, 2025, https://rm.coe.int/cahai-pdg-2021-03-subwg2-ai-in-public-sector-final-draft-12032021-2751/1680a1c066

• What is Retrieval-Augmented Generation (RAG) – The Future of AI-Powered Decision-Making | Article by AryaXAI, geopend op september 30, 2025, https://www.aryaxai.com/article/what-is-retrieval-augmented-generation-rag-the-future-of-ai-powered-decision-making-by-aryaxai

• RAG for Financial Services: Building Compliant AI Document Systems, geopend op september 30, 2025, https://customgpt.ai/rag-for-financial-services/

• Explainable retrieval and graph augmented generation – XAI Conference, geopend op september 30, 2025, https://xaiworldconference.com/2025/explainable-retrieval-and-graph-augmented-generation/

• Securing your RAG application: A comprehensive guide | Online …, geopend op september 30, 2025, https://www.pluralsight.com/resources/blog/ai-and-data/how-to-secure-rag-applications-AI

• Audit Logging: What It Is & How It Works | Datadog, geopend op september 30, 2025, https://www.datadoghq.com/knowledge-center/audit-logging/

• 10-Step RAG System Audit to Eradicate Bias and Toxicity – Shelf.io, geopend op september 30, 2025, https://shelf.io/blog/10-step-rag-system-audit-to-eradicate-bias-and-toxicity/

• Mitigating Bias in RAG: Controlling the Embedder – ACL Anthology, geopend op september 30, 2025, https://aclanthology.org/2025.findings-acl.974.pdf

• Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems – arXiv, geopend op september 30, 2025, https://arxiv.org/html/2503.15454v3

• [2409.19804] Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems – arXiv, geopend op september 30, 2025, https://arxiv.org/abs/2409.19804

• Bias recognition and mitigation strategies in artificial intelligence healthcare applications – PMC – PubMed Central, geopend op september 30, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC11897215/

• The Intersection of GDPR and AI and 6 Compliance Best Practices | Exabeam, geopend op september 30, 2025, https://www.exabeam.com/explainers/gdpr-compliance/the-intersection-of-gdpr-and-ai-and-6-compliance-best-practices/

• Balancing Innovation and Privacy: LLMs under GDPR – Dynamiq, geopend op september 30, 2025, https://www.getdynamiq.ai/post/balancing-innovation-and-privacy-llms-under-gdpr

• GDPR and AI in 2025: Rules, Risks & Tools That Comply – Sembly AI, geopend op september 30, 2025, https://www.sembly.ai/blog/gdpr-and-ai-rules-risks-tools-that-comply/

• How do vector DBs comply with legal data privacy regulations (e.g., GDPR)? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-vector-dbs-comply-with-legal-data-privacy-regulations-eg-gdpr

• milvus.io, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-vector-dbs-comply-with-legal-data-privacy-regulations-eg-gdpr#:~:text=GDPR%20mandates%20the%20right%20to,and%20their%20associated%20vectors%20efficiently.

• Can surveillance vector databases comply with GDPR or CCPA? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/can-surveillance-vector-databases-comply-with-gdpr-or-ccpa

• Understanding GDPR and CCPA: Database Compliance – Itopia – Everconnect, geopend op september 30, 2025, https://everconnectds.com/blog/understanding-gdpr-and-ccpa-database-compliance/

• Ethical and Explainable AI in Data Science for Transparent Decision-Making Across Critical Business Operations, geopend op september 30, 2025, https://ijarpr.com/uploads/V2ISSUE6/IJARPR0603.pdf

• Using AI and not sure if you’re NIS2 compliance? Here’s what you …, geopend op september 30, 2025, https://www.nymiz.com/nis2-compliance-heres-what-you-need-to-know/

• Why Personalized Search Is Essential in Global Enterprises …, geopend op september 30, 2025, https://www.moveworks.com/us/en/resources/blog/what-is-personalized-search-and-why-it-matters

• A Complete Guide to Search Personalization in 2025 – Glean, geopend op september 30, 2025, https://www.glean.com/blog/search-personalization

• RBAC in Enterprise Search: How It Works and Why It Matters – Akooda, geopend op september 30, 2025, https://www.akooda.co/blog/role-based-access-control-in-enterprise-search

• Architecture Patterns for SaaS Platforms: Billing, RBAC, and Onboarding | by Kishan Rank, geopend op september 30, 2025, https://medium.com/appfoster/architecture-patterns-for-saas-platforms-billing-rbac-and-onboarding-964ea071f571

• Challenges of multilingualism in the EU – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/344952606_Challenges_of_multilingualism_in_the_EU

• View of Challenges of multilingualism in the EU, geopend op september 30, 2025, https://journals.ue.poznan.pl/ebr/article/view/834/592

• Top Challenges in Multilingual Website Localization for EU Markets, geopend op september 30, 2025, https://www.globalizationpartners.com/2025/05/15/top-challenges-in-multilingual-website-localization-for-eu-markets/

• How does cross-lingual IR work? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-does-crosslingual-ir-work

• How do embeddings enable cross-lingual search? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/how-do-embeddings-enable-crosslingual-search

• How to Find the Best Multilingual Embedding Model for Your RAG?, geopend op september 30, 2025, https://www.analyticsvidhya.com/blog/2024/07/multilingual-embedding-model-for-rag/

• Cross-Lingual Word Embeddings in Cloud Data Lakes: Enabling Multinational Enterprise Text Analytics – ResearchGate, geopend op september 30, 2025, https://www.researchgate.net/publication/395261499_Cross-Lingual_Word_Embeddings_in_Cloud_Data_Lakes_Enabling_Multinational_Enterprise_Text_Analytics

• EN 301 549 – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/EN_301_549

• EN 301 549 V3 the harmonized European Standard for ICT Accessibility – ETSI, geopend op september 30, 2025, https://www.etsi.org/human-factors-accessibility/en-301-549-v3-the-harmonized-european-standard-for-ict-accessibility

• EN 301 549: European standard for digital accessibility | Deque, geopend op september 30, 2025, https://www.deque.com/en-301-549-compliance/

• Web Content Accessibility Guidelines (WCAG) 2.1 – W3C, geopend op september 30, 2025, https://www.w3.org/TR/WCAG21/

• Web search Content Accessibility Guidelines (WCAG) | Algolia, geopend op september 30, 2025, https://www.algolia.com/blog/ux/web-content-accessibility-guidelines-wcag-how-to-make-site-search-work-for-people-with-disabilities

• Search accessibility tests | U.S. Web Design System (USWDS) – Digital.gov, geopend op september 30, 2025, https://designsystem.digital.gov/components/search/accessibility-tests/

• Search Bar – Web Accessibility Guidelines, geopend op september 30, 2025, http://web-accessibility.carnegiemuseums.org/code/search/

• Making chatbots accessible: a guide to enhance usability for users with disabilities – SiteLint, geopend op september 30, 2025, https://www.sitelint.com/blog/making-chatbots-accessible-a-guide-to-enhance-usability-for-users-with-disabilities

• Chatbots and Web Accessibility: Addressing Usability Issues and …, geopend op september 30, 2025, https://www.makethingsaccessible.com/guides/chatbots-and-web-accessibility-addressing-usability-issues-and-embracing-inclusive-design/

• Best practices for a chatbot – Orange digital accessibility guidelines, geopend op september 30, 2025, https://a11y-guidelines.orange.com/en/articles/chatbot/

• Theory of Grover Search Algorithm – Azure Quantum | Microsoft Learn, geopend op september 30, 2025, https://learn.microsoft.com/en-us/azure/quantum/concepts-grovers

• Grover’s algorithm – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/Grover%27s_algorithm

• What is Grover’s algorithm, and what is its purpose? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/what-is-grovers-algorithm-and-what-is-its-purpose

• milvus.io, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/what-is-the-role-of-quantum-computing-in-ir#:~:text=At%20its%20core%2C%20quantum%20computing,analyzing%20complex%20relationships%20in%20data.

• What is the role of quantum computing in IR? – Milvus, geopend op september 30, 2025, https://milvus.io/ai-quick-reference/what-is-the-role-of-quantum-computing-in-ir

• www.spinquanta.com, geopend op september 30, 2025, https://www.spinquanta.com/news-detail/how-long-does-it-take-to-build-a-quantum-computer#:~:text=Fault%2DTolerant%20Quantum%20Computers%20(2035%E2%80%932050)%3A&text=These%20powerful%20systems%20could%20revolutionize,the%20most%20advanced%20classical%20supercomputers.

• IBM lays out clear path to fault-tolerant quantum computing, geopend op september 30, 2025, https://www.ibm.com/quantum/blog/large-scale-ftqc

• What Is Neuromorphic Computing? – IBM, geopend op september 30, 2025, https://www.ibm.com/think/topics/neuromorphic-computing

• Neuromorphic computing – Wikipedia, geopend op september 30, 2025, https://en.wikipedia.org/wiki/Neuromorphic_computing

• Neuromorphic Computing: Comprehensive Guide to Brain-Inspired AI – Rapid Innovation, geopend op september 30, 2025, https://www.rapidinnovation.io/post/neuromorphic-computing-and-spiking-neural-networks

• Neuromorphic Computing and AI for Energy-Efficient and Adaptive Edge Intelligence, geopend op september 30, 2025, https://www.frontiersin.org/research-topics/71619/neuromorphic-computing-and-ai-for-energy-efficient-and-adaptive-edge-intelligence

• Neuromorphic computing: The future of AI and beyond – Atos, geopend op september 30, 2025, https://atos.net/en/blog/neuromorphic-computing-the-future-of-ai-and-beyond

• Driving intelligence at the edge with Neuromorphic Computing – Accenture, geopend op september 30, 2025, https://www.accenture.com/content/dam/accenture/final/a-com-migration/r3-3/pdf/pdf-145/accenture-neuromorphic-computing-pov.pdf

• Energy efficient neuromorphic computing – Fraunhofer EMFT, geopend op september 30, 2025, https://www.emft.fraunhofer.de/en/projects-fraunhofer-emft/energy-efficient-neuromorphic-computing.html

• Full article: European ambitions captured by American clouds: digital sovereignty through Gaia-X? – Taylor & Francis Online, geopend op september 30, 2025, https://www.tandfonline.com/doi/full/10.1080/1369118X.2025.2516545

• BMWE – FAQs on the GAIA-X project – bundeswirtschaftsministerium.de, geopend op september 30, 2025, https://www.bundeswirtschaftsministerium.de/Redaktion/EN/FAQ/Data-Infrastructure/faq-projekt-gaia-x.html

• About – Gaia-X: A Federated Secure Data Infrastructure, geopend op september 30, 2025, https://gaia-x.eu/about/

• Gaia-X: a European initiative for increased digital sovereignty – TNO, geopend op september 30, 2025, https://www.tno.nl/en/digital/data-sharing/gaia-digital-sovereignty/

• Unlock the Future: How AI is Revolutionizing FinOps and Saving Millions in Cloud Costs!, geopend op september 30, 2025, https://finopsly.com/blog/unlock-the-future-how-ai-is-revolutionizing-finops-and-saving-millions-in-cloud-costs

• FinOps + AI: How to Hyper-Automate Cloud Cost Optimization – Tangoe, geopend op september 30, 2025, https://www.tangoe.com/report/finops-ai-how-to-hyper-automate-cloud-cost-optimization/

• FinOps for AI, Gen AI, and machine learning – The FinOps Foundation, geopend op september 30, 2025, https://www.finops.org/topic/finops-for-ai/