Small language models (SLMs).

by Dennis Landman

Grootschalige taalmodellen (Large Language Models, LLMs) hebben de afgelopen jaren opmerkelijke resultaten geboekt op het gebied van tekstgeneratie, vraagbeantwoording en logisch redeneren. Modellen zoals GPT-3, PaLM en meer recent Llama-3.1 (met 405 miljard parameters) vertonen nieuwe capaciteiten, onverwachte veelzijdige vaardigheden die plotseling optreden bij voldoende schaalgrootte. Ondanks deze successen gaan de enorme omvang en rekenvereisten van LLMs gepaard met belangrijke beperkingen. Zo vereisen de grootste modellen tientallen tot honderden gigabytes aan geheugen en gespecialiseerde hardware, wat directe inzet op gebruikelijke apparaten onpraktisch maakt. Het gebruik van LLMs via cloud-diensten leidt bovendien tot zorgen over privacy en vertraging: gebruikersdata moet naar externe servers worden verzonden, met risico op gegevenslekken, en de inferentie kan seconden tot minuten duren, te traag voor veeleisende real-time toepassingen. Verder presteren algemene LLMs vaak suboptimaal in domeinspecifieke taken (zoals medische of juridische vraagstukken) door een gebrek aan gespecialiseerde kennis. Het finetunen van zulke grote modellen voor specifieke domeinen is bijzonder kostbaar en arbeidsintensief.

Deze uitdagingen hebben de aandacht gericht op Small Language Models (SLMs), ofwel kleine taalmodellen. SLMs zijn veel compactere taalmodellen, typisch variërend van miljoenen tot enkele miljarden parameters, die ontwikkeld zijn met het oog op efficiëntie en gespecialiseerde inzet . De studie van Wang et al. (2024) definieert SLMs functioneel als modellen die in staat zijn gespecialiseerde taken uit te voeren in resource-beperkte omgevingen, waarbij zij grenzen voorstellen op basis van de minimale modelomvang die nodig is voor emergente vaardigheden en de maximale omvang die nog haalbaar is gegeven beperkte middelen. Met andere woorden, SLMs worden gekarakteriseerd door het bereiken van nuttige prestaties binnen een beperkt compute-budget. De opkomst van SLMs wordt gedreven door hun lage inferentievertraging, kostenbesparing, gemakkelijke aanpasbaarheid en geschiktheid voor toepassingen waarbij data lokaal verwerkt moet worden voor privacy-doeleinden. Deze analyse bespreekt de belangrijkste inzichten uit de genoemde studie, beoordeelt kritisch de gehanteerde methodologie en evaluatiecriteria, vergelijkt de prestaties van SLMs en LLMs op gerapporteerde benchmarks, en onderzoekt de bredere impact van SLMs, van praktische applicaties tot privacy, kosten, energie en edge computing, evenals toekomstige trends in het SLM-ecosysteem.

Belangrijkste inzichten in dit artikel

De onderzochte studie van Wang et al. biedt een uitgebreid overzicht van SLMs in het huidige tijdperk van LLMs. Een eerste kerninzicht is dat SLMs een effectief antwoord vormen op de beperkingen van LLMs. Waar “groter is beter” lang het mantra was vanwege emergente capaciteiten van LLMs, tonen recente bevindingen dat kleinere modellen met gerichte optimalisaties vergelijkbare prestaties kunnen leveren voor specifieke taken. Zo rapporteren de auteurs dat SLMs met aanzienlijk minder parameters in bepaalde niches bijna dezelfde nauwkeurigheid behalen als veel grotere modellen, mits zij goed zijn afgestemd op het domein. Dit wordt mogelijk gemaakt door technieken als knowledge distillation (kennisdistillatie) en modelcompressie, waardoor kennis van een LLM overgedragen kan worden naar een compacter model zonder grote verlies in prestaties. Het vermogen tot snelle aanpassing van SLMs komt naar voren als cruciaal inzicht: kleine modellen kunnen met relatief weinig data en compute gepersonaliseerd worden voor nieuwe taken of gespecialiseerd jargon, iets wat bij LLMs beduidend lastiger en duurder is.

Tevens benadrukt de studie dat SLMs vooral excelleren in resource-beperkte scenario’s. Ze zijn ideaal voor toepassingen op mobiele apparaten, embedded systems of in landen/regio’s met beperkte digitale infrastructuur, waar grootschalige modellen ontoegankelijk of onbetaalbaar zijn . Omdat SLMs minder rekenkracht en geheugen vereisen, bieden ze lagere operationele kosten en snellere respons dan hun grote tegenhangers . Dit leidt tot lagere latentie bij gebruik op smartphones of laptops, en maakt offline gebruik mogelijk, wat gunstig is voor privacy en onafhankelijkheid van internetverbinding . Samengevat zijn de belangrijkste inzichten dat (a) SLMs een pragmatisch alternatief vormen voor LLMs in veel toepassingen, (b) via geavanceerde technieken bijna het prestatieniveau van LLMs kunnen benaderen, en (c) unieke voordelen bieden op het gebied van deployability (inzetbaarheid), kosten en privacy. Deze inzichten onderstrepen een verschuiving in het NLP-landschap: in plaats van klakkeloos grotere modellen na te streven, wordt nu gekeken naar optimale modelgrootte gegeven een taak en context, waarbij SLMs in veel gevallen de voorkeur genieten voor hun efficiëntie zonder buitensporig in te leveren op kwaliteit .

Methodologie en evaluatiecriteria van dit artikel

Wang et al. hanteren een survey-benadering met een breed literatuuroverzicht om SLMs systematisch in kaart te brengen. De auteurs beginnen met het verduidelijken van de definitie van SLMs, omdat in de literatuur inconsistente criteria worden gehanteerd voor wat “klein” precies inhoudt. Vervolgens schetsen zij de fundamentele concepten voor het bouwen van taalmodellen met beperkte omvang, waaronder pretrained modelarchitecturen en traininsgparadigma’s die aan de basis liggen van huidige SLMs. Een belangrijk onderdeel van de methodologie is het in kaart brengen van optimalisatietechnieken en verbeteringsmethoden voor SLMs. Hiertoe bespreken zij methoden als knowledge distillation, waarbij een groot model (teacher) zijn kennis overdraagt aan een kleiner model (student), en modelcompressie-technieken zoals kwantisatie (het reduceren van numerieke precisie van modelparameters) en pruning (het verwijderen van overbodige parameters). Deze technieken beogen de modelgrootte en het rekenverbruik drastisch te verlagen met minimale impact op de taakprestaties. De studie introduceert daarnaast strategieën om bestaande LLMs aan te passen aan SLM-contexten, bijvoorbeeld door alleen bepaalde lagen te trainen of parameter-deeltechnieken, zodat modellen effectiever verkleind kunnen worden zonder verlies aan cruciale functionaliteit.

De evaluatie in de survey gebeurt primair via kwalitatieve vergelijking van resultaten uit de literatuur. De auteurs hebben een taxonomie opgesteld en per categorie representatieve modellen en methoden geselecteerd. Zo worden in het overzicht specifieke SLM-modellen besproken (bijv. generieke versus domeinspecifieke SLMs), samen met hun trainingsgegevens, architecturale keuzes en gerapporteerde prestaties. Belangrijk is dat de studie een synthese van benchmark-resultaten uit verschillende bronnen presenteert. Prestaties van SLMs zijn vergeleken op gangbare benchmarks zoals vraagantwoordingsdatasets (bv. CommonsenseQA, ARC-DA), codeer-uitdagingen (HumanEval, MBPP) en kennisvragen (zoals MMLU). De auteurs citeren resultaten uit originele artikelen en technische rapporten om een eerlijk beeld te geven van hoe SLMs zich verhouden tot elkaar en tot grotere modellen. Hierbij worden evalutatiecriteria zoals nauwkeurigheid op benchmarktaken, generatiewaarde, redeneerfouten en efficiëntie (zoals inferentietijd en geheugengebruik) in beschouwing genomen. Hoewel de survey zelf geen nieuwe experimentele resultaten toevoegt, is de kracht ervan gelegen in de kritische synthese: Wang et al. identificeren terugkerende patronen en inzichten over wat wel en niet werkt bij het ontwerpen van SLMs, en destilleren hieruit aanbevelingen. Zo merken zij bijvoorbeeld op dat bepaalde parameter-deeltechnieken effectief de modelgrootte verminderen zonder de diepte (en daarmee de capaciteit tot complexe representaties) op te offeren. De methodologie is dus literatuurgedreven en taxonomisch van aard, maar wordt grondig onderbouwd door een breed scala aan empirische resultaten uit eerder onderzoek, wat de bevindingen robuust maakt.

Prestaties van SLMs versus LLMs

Een centraal thema in de studie is de prestatievergelijking tussen SLMs en LLMs. Een eerste observatie is dat hoewel SLMs kleiner zijn, zij in gespecialiseerde taken verrassend dicht kunnen aanleunen tegen de prestaties van LLMs. Voor diverse domeinspecifieke problemen (bijv. vraagbeantwoording binnen een vakgebied, of klantgerichte dialoogsystemen) behalen recente SLMs een accuraatheid die vergelijkbaar is met die van veel grotere modellen. Met name wanneer SLMs getraind of fijngeslepen zijn op een specifieke taak of dataset, overtreffen zij vaak generieke LLMs die niet expliciet op die niche zijn afgestemd. De survey geeft verschillende voorbeelden op benchmarkniveau: zo kan Phi-3 (een SLM-familie van Microsoft met ~1-3 miljard parameters) in programmeer- en redeneertaken concurreren met modellen die tien keer groter zijn . Een mini-variant van Phi-3 met slechts 3,8 miljard parameters behaalt bijvoorbeeld hoge scores op codeer-uitdagingen en wiskundige redeneervragen, waarmee het modellen van vergelijkbare én de eerstvolgende grootteklasse overtreft . Dit illustreert dat met doordachte modelarchitectuur en training (in dit geval ook een contextvenster tot 128K tokens), SLMs disproportioneel goede prestaties kunnen leveren.

Uit de verzamelde benchmarks blijkt dat SLMs vooral uitblinken wanneer de evaluatie plaatsvindt op toepassingsspecifieke criteria of onder beperkingen die in de praktijk relevant zijn. Zo zijn er SLMs ontwikkeld voor codegeneratie (zoals Phi-1.5 en Phi-3 familie) die op de HumanEval en MBPP benchmarks een score halen dicht bij of zelfs gelijk aan sommige grotere open modellen. In de survey wordt gerapporteerd dat kleine code-modellen van ~1,3-3,8 miljard parameters (bijv. Phi-3.5-mini) een opvallend hoog slagingspercentage op HumanEval bereiken, wat bevestigt dat compacte modellen effectieve programmeervaardigheden kunnen leren. Voor algemene taalbegripstaken zijn de verschillen tussen SLMs en LLMs soms groter; hier behouden de grootste modellen enig voordeel in algemene kennis en “emergente” capaciteiten. Toch is het significant dat een SLM als Vicuna-7B (een 7 miljard parameter model), wanneer specifiek geoptimaliseerd, op een uitdagende benchmark (zoals de DroidTask voor mobiele besturing) zelfs de prestaties van grote gesloten modellen benadert of overtreft. De studie geeft aan dat een variant van Vicuna-7B (AutoDroid) 57,7% accuraatheid behaalde, waar een LLM als ChatGPT slechts 34,7% haalde en zelfs GPT-4 met 54,5% net iets lager scoorde. Dit resultaat laat zien dat op het gebied van apparaat-aansturing en contextuele mobiele taken een goed getrainde SLM niet alleen een LLM voor kan blijven in latency, maar ook in pure prestatie kan winnen.

Een ander belangrijk vergelijkingspunt is efficiëntie van de inferentie. SLMs leveren drastische verbeteringen in verwerkingssnelheid, vooral op beperkt uitgeruste hardware. Waar een model als LLaMA-2 met 7B parameters op een smartphone tientallen seconden nodig heeft om een relatief korte tekstseqeuntie te verwerken, kunnen nieuwere geoptimaliseerde SLMs dit in milliseconden realiseren. Zo documenteert de survey metingen op moderne telefoons (Samsung S23, Google Pixel 7 Pro) waarbij een SLM respons-tijden behaalt van ~36 ms, vergeleken met vele malen hogere latentie voor LLM-achtige modellen onder gelijke omstandigheden. Deze snelheidswinst is cruciaal voor real-time toepassingen (denk aan voice assistants, interactieve vertaal-apps of intelligentie in de bestuurssystemen van voertuigen) waar elke vertraging merkbaar is. Samenvattend bevestigt de studie dat SLMs de kloof met LLMs op veel vlakken dichten: voor goed afgebakende taken leveren zij vergelijkbare of zelfs betere prestaties dan generieke LLMs, en dit met aanzienlijk efficiënter gebruik van middelen, zowel qua tijd als geheugen. Waar LLMs nog steeds excelleren is in zeer brede, generieke kennis en complexe redeneringen die forse context vereisen, maar de vraag is of die eigenschappen voor elke toepassing nodig zijn, of dat een kleinere expert voldoende is. De bevindingen uit de benchmarks suggereren in elk geval dat taakgerichte optimalisatie van SLMs een winnende strategie is om met minimale modelomvang toch hoge kwaliteit te bereiken.

Impact op AI-ontwikkeling en praktische toepassingen

De opkomst van SLMs heeft merkbare gevolgen voor de ontwikkeling van AI-systemen en hun toepassing in de praktijk. Ten eerste democratiseert het gebruik van SLMs de toegang tot geavanceerde taaltechnologie. Omdat SLMs veel minder infrastructuur vereisen, kunnen kleinere bedrijven, onderzoeksinstellingen of zelfs individuele ontwikkelaars experimenteren met en inzetten van taalmodellen zonder de enorme investering die LLMs vergen . Dit verlaagt de drempel voor innovatie: nieuwe ideeën, van niche-chatbots tot educatieve tutor-systemen, kunnen worden uitgewerkt met een SLM als kern, wat voorheen ondenkbaar was met een reusachtig model dat alleen big tech kon betalen. In ontwikkelingscontexten of landen met beperkte cloudvoorzieningen biedt dit een kans om mee te doen in de AI-revolutie met lokale middelen . Daarnaast versnelt het de ontwikkelingscyclus: onderzoekers kunnen sneller itereren op modelarchitecturen of fine-tunings, omdat de trainingstijd van een SLM (in de orde van uren tot dagen op enkele GPUs) vele malen korter is dan die van een LLM (vaak weken tot maanden op uitgebreide clusters). Hierdoor kunnen nieuwe inzichten sneller worden gevalideerd en toegepast.

Wat praktische toepassingen betreft, opent de beschikbaarheid van krachtige SLMs de deur naar AI op apparaten (edge AI) en gepersonaliseerde AI-diensten. Denk aan een smartphone-app die volledig offline complexe tekstvragen kan beantwoorden of een slimme bril die in real time gesprekken vertaalt, scenario’s die met een 100B+ model onmogelijk zouden zijn zonder constante verbinding met een datacenter. De studie beschrijft verscheidene SLM use-cases, zoals modellen die lokaal draaien voor medische beslissingsondersteuning of juridische vraag-antwoord systemen met specifieke wetgevende kennis. Deze systemen zijn niet alleen sneller beschikbaar (lage latency), maar respecteren ook gegevensbeperkingen doordat gevoelige informatie het apparaat niet verlaat. In industriële omgevingen kunnen SLMs worden ingezet voor monitoring of kwaliteitscontrole direct aan de “edge” (bijvoorbeeld een inspectiemodel op een productielijn met beperkte compute), waar een LLM onhaalbaar zou zijn. Een ander domein van impact is de samenwerking tussen SLMs en LLMs: de studie bespreekt hoe kleinere modellen als voorverwerker of co-piloot kunnen dienen naast een grote model. In zogenoemde collaborative intelligence-opstellingen kan een SLM bijvoorbeeld eenvoudige of veel voorkomende vragen afhandelen, en alleen de zeldzame complexe gevallen doorsturen naar een zwaarder LLM in de cloud. Dit hybride paradigma maximaliseert efficiëntie en kan de kosten van AI-diensten drukken, zonder de gebruikerservaring te verslechteren. Ook wordt hierdoor bandbreedte bespaard en privacy verbeterd, aangezien slechts een fractie van de interacties naar de cloud gaat. Kortom, SLMs verschuiven het landschap van AI-ontwikkeling: meer partijen kunnen meedoen, toepassingen kunnen dichter bij de gebruiker (of data-bron) worden gebracht, en nieuwe architecturale concepten (zoals SLM-LLM ensembles) worden mogelijk. Deze ontwikkelingen stimuleren een inclusievere en meer gedistribueerde AI-innovatie, weg van de monopolisering door enkele gigantische modellen.

Privacy, kosten, energie-efficiëntie en edge computing

Een van de sterkste drijfveren achter SLM-onderzoek is het adresseren van privacyzorgen die gepaard gaan met LLM-gebruik. LLMs draaien doorgaans op centrale servers door hun omvang en vereisten, wat betekent dat gebruikersinput (denk aan vertrouwelijke documenten of persoonlijke vragen) naar de cloud gestuurd moet worden. SLMs kunnen daarentegen vaak lokaal op een device of on-premise server draaien, waardoor gevoelige data lokaal blijft. De studie benadrukt dat dit bijzonder belangrijk is in sectoren als de gezondheidszorg, financiën en overheidsdiensten, waar dataregelgeving strikt is en het uitlekken van informatie rampzalig kan zijn. Door de inferentie aan de rand (op het eigen apparaat, oftewel edge computing) uit te voeren, verkleinen SLMs het aanvalsoppervlak voor datadiefstal en voldoen ze beter aan privacywetgeving en -eisen. Bovendien maakt lokaal draaien offline gebruik mogelijk, wat zowel de privacy ten goede komt als de robuustheid, de dienst blijft functioneren zelfs zonder internetverbinding, een cruciaal voordeel in omgevingen met beperkte connectiviteit .

Naast privacy zijn kostenbesparing en energie-efficiëntie belangrijke overwegingen. Het trainen en bedienen van LLMs brengt niet alleen hoge hardwarekosten met zich mee, maar ook hoge energiekosten. Een enkel groot model kan honderden kilowattuur verbruiken tijdens training en zelfs in inferentie flinke stroom vereisen, wat zich doorvertaalt naar dure cloudinstantie-tarieven. SLMs, met hun kleinere rekenvoetafdruk, zijn aantoonbaar veel goedkoper in gebruik: ze vragen minder GPU/CPU-uren en minder geheugen, wat de directe operationele kosten verlaagt. Wang et al. merken op dat SLMs door hun geringe aantal parameters significante besparingen opleveren in zowel pre-training als inferentie. Dit is niet alleen financieel aantrekkelijk, maar heeft ook milieu-aspecten. Meer efficiency betekent minder energieverbruik en daarmee een lagere CO₂-uitstoot, waardoor SLMs bijdragen aan duurzame AI-ontwikkeling . Zeker wanneer SLMs op grote schaal in plaats van LLMs worden ingezet (bijvoorbeeld voor miljoenen gebruikers op mobiele apparaten), kan de gecumuleerde energiereductie enorm zijn. Dit maakt SLMs bij uitstek geschikt in green AI strategieën.

Edge computing profiteert ten slotte direct van SLMs. Randapparatuur zoals smartphones, IoT-sensoren en autonome drones hebben beperkte rekenkracht en kunnen een LLM niet draaien, maar een geoptimaliseerde SLM vaak wel . De studie bespreekt voorbeelden van succesvolle on-device implementaties, waar de gehele inferentie-pijplijn op een mobiele chipset draait met minimale latentie. Dit opent mogelijkheden voor realtime toepassingen die voorheen onmogelijk waren zonder een permanente cloudverbinding. Denk aan spraakassistenten die op het device zelf draaien en direct reageren, of augmented reality-toepassingen die ter plekke complexe visietaken en taalbeschrijvingen uitvoeren zonder naar een server te hoeven offloaden. Kosten, privacy en latency komen hierin samen: de gebruiker hoeft niet te betalen met zijn data of wachttijd voor cloudgebruik, en de aanbieder hoeft minder te investeren in zware serverinfrastructuur. Een potentieel aandachtspunt is wel dat kleine modellen soms gevoeliger kunnen zijn voor adversariële aanvallen of onbedoelde onthullingen vanwege hun beperkte capaciteit; dit vraagt om zorgvuldige training en validatie (zoals opgenomen in de trustworthiness-discussie van de studie ). Al met al zijn SLMs een katalysator voor efficiëntere, privacyvriendelijke AI op de edge, met lagere kosten en energielast, een combinatie die zowel economisch als maatschappelijk aantrekkelijk is.

Toekomstperspectieven en onderzoekslijnen

In het slot van hun survey schetsen Wang et al. verschillende toekomstige onderzoeksrichtingen voor SLMs. Een eerste belangrijke lijn is het verder verleggen van de grenzen van modelcompressie: onderzoekers zullen blijven zoeken naar methoden om nog kleinere modellen te bouwen zonder significante prestatie-inlevering. Dit omvat verbeterde kennisdistillatie-technieken (bijvoorbeeld distillatie van redeneervaardigheden of conversatievermogen), geavanceerde kwantisatie-schema’s (zoals mixed precision of adaptieve bitbreedtes per laag) en sparse modellen waarbij alleen de meest essentiële parameters overblijven. Een expliciet doel is om het verschijnsel van emergente capaciteiten bij steeds lagere modelgroottes te laten optreden, met andere woorden, ontdekken wat de minimale schaal is waarop een model als ChatGPT-achtige vermogens kan vertonen, en proberen die drempel omlaag te brengen. Daarnaast ziet men veel potentie in de samenwerking tussen SLMs en LLMs. In plaats van kleine modellen louter als vervanging van grote te zien, onderzoeken teams hoe een ecosysteem van modellen van verschillende grootte kan samenwerken. Bijvoorbeeld zou een SLM kunnen dienen als filter of router: inkomende queries analyseren en de eenvoudige gevallen zelf afhandelen, terwijl complexe vragen worden doorgestuurd naar een LLM. Omgekeerd kan een LLM gebruikt worden om een SLM tijdens training te coachen (zoals via reinforcement learning from LLM feedback), zodat de SLM leert van de sterker redeneervermogens van de LLM. Zulke multi-agent of teacher-student benaderingen beloven een aanzienlijke boost in SLM-capaciteit zonder dat elke gebruiker direct een LLM hoeft te draaien.

Een ander toekomstig aandachtspunt betreft de betrouwbaarheid en ethiek van SLMs, de zogenaamde trustworthiness. De studie behandelt reeds kwesties als hallucinaties (het genereren van incorrecte of verzonnen informatie) en privacyvraagstukken in SLM-context , en roept op tot systematisch onderzoek naar mitigaties hiervan. Voor kleine modellen betekent dit bijvoorbeeld technieken om de output te controleren op fouten of gevaarlijke inhoud, eventueel door een veiligheidslaag in te bouwen die door een gespecialiseerd filtermodel wordt uitgevoerd. Omdat SLMs naar verwachting steeds wijdverspreider en toegankelijker worden, mogelijk open-source beschikbaar voor het grote publiek, is het essentieel om te waarborgen dat ze niet onbedoeld schade aanrichten of misbruikt worden. Toekomstig onderzoek zal zich richten op veiligheidsmechanismen (zoals robuustheid tegen adversariële inputs) en op bias-correctie in compacte modellen, zodat ook kleinere modellen voldoen aan hoge ethische standaarden. Tevens wordt gewezen op het belang van domeinuitbreiding: SLMs voor multimodale taken (tekst gecombineerd met beeld, spraak, etc.) en voor ondergerepresenteerde talen of expertisegebieden. Het ontwikkelen van efficiënte taalmodellen die bijvoorbeeld in lokale talen (met weinig trainingsdata) uitmunten of die sensorische input direct kunnen interpreteren, geldt als een frontier die maatschappelijke waarde heeft. Tot slot identificeren de auteurs de noodzaak van betere evaluatiebenchmarks voor SLMs. Bestaande benchmarks zijn vaak ontworpen met LLMs in gedachten; er is ruimte voor nieuwe meetinstrumenten die rekening houden met de beperkingen en gebruiksscenario’s van SLMs (zoals beperkte resources, on-device operation, enz.). Dit zou onderzoekers helpen om vooruitgang op relevante wijze te kwantificeren en verschillende SLM-methoden eerlijk te vergelijken. Het algemene toekomstbeeld geschetst in de studie is er een waarin SLMs een steeds volwassener ecosysteem vormen, met eigen maatstaven en technieken, complementair aan de wereld van LLMs. De verwachting is dat voortdurende innovaties de kloof verder dichten en SLMs nog krachtiger, veiliger en breder inzetbaar zullen maken, tot het punt dat de keuze tussen een SLM of LLM voor een gegeven taak een weloverwogen trade-off wordt in plaats van een evidente hiërarchie van “groot is beter”.

Conclusie

Deze academische analyse heeft de bevindingen van “A Comprehensive Survey of Small Language Models in the Era of Large Language Models” samengevat en in context geplaatst. De belangrijkste inzichten uit de studie wijzen erop dat kleine taalmodellen inmiddels een volwassen en levensvatbaar alternatief vormen voor grote modellen in veel scenario’s. SLMs blinken uit in efficiëntie, lage kosten en snelle inzetbaarheid, terwijl ze op gespecialiseerde taken prestaties kunnen leveren die dicht in de buurt komen van, en soms evenaren of overtreffen, die van LLMs. De gehanteerde methodologie van de survey, gebaseerd op een uitgebreide literatuurvergaring en taxonomische analyse, is solide en heeft systematisch de huidige staat van SLM-onderzoek in kaart gebracht. Hierdoor biedt het een waardevol referentiekader voor zowel academici als praktijkmensen. In de vergelijking tussen SLMs en LLMs blijkt dat de context van inzet bepalend is: waar resources schaars zijn of taakvereisten specifiek, lopen SLMs voor op hun grote tegenhangers in terms van kosten-batenbalans. Bovendien stimuleren SLMs een paradigmaverschuiving in AI-ontwikkeling door AI dichter bij de gebruiker te brengen (zowel fysiek op apparaten als conceptueel naar kleinere organisaties), met positieve effecten op privacy en toegankelijkheid. We zagen dat SLMs een katalysator kunnen zijn voor innovatie, van mobiele toepassingen tot enterprise-oplossingen, en een rol spelen in samenwerkingsverbanden met LLMs om het beste van twee werelden te combineren.

De implicaties van SLM-proliferatie reiken verder dan technische prestaties alleen: ze raken aan duurzaamheid (minder energieverbruik), economische decentralisatie (minder afhankelijkheid van grote cloudproviders) en veiligheid (modellen kunnen lokaal en gecontroleerd draaien). Echter, uitdagingen blijven bestaan, zoals het garanderen van betrouwbaarheid en het omgaan met de inherente beperkingen van kleinere modelcapaciteit. De studie spoort verder onderzoek aan op gebieden als geavanceerde modelcompressie, betrouwbare en eerlijke SLMs, en nieuwe benchmarks die beter aansluiten op hun gebruiksscenario’s . Gezien de snelle ontwikkelingen is het plausibel dat SLMs de komende jaren nog aanzienlijk zullen verbeteren en een integraal onderdeel blijven van het AI-landschap. Samengevat bevestigt de analyse dat de opkomst van SLMs niet louter een modegril is, maar een fundamentele verschuiving markeert in hoe we denken over “meer met minder” in kunstmatige intelligentie, een verschuiving die zowel wetenschappelijk interessant als praktisch relevant is voor de toekomst van AI.

Literatuur

Wang, F., Zhang, Z., Zhang, X., Wu, Z., Mo, T., Lu, Q., … & Wang, S. (2024). A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness. (arXiv preprint arXiv:2411.03350).