Machine learning in autonome voertuigen: een gids voor 2026

Korte samenvatting: Machine learning is de kerntechnologie die autonome voertuigen in staat stelt hun omgeving waar te nemen, realtime beslissingen te nemen en veilig te navigeren zonder menselijke tussenkomst. Door middel van deep learning-algoritmen, neurale netwerken en enorme datasets van sensoren zoals camera's en LiDAR leren zelfrijdende auto's objecten te herkennen, voetgangersgedrag te voorspellen en rijstrategieën te optimaliseren. De Brain4Cars-studie van Stanford toonde aan dat op machine learning gebaseerde manoeuvre-anticipatie de precisie verbeterde van 77,41 TP3T naar 90,51 TP3T, wat de snelle vooruitgang van de technologie richting veiliger en betrouwbaarder autonoom transport illustreert.

Zelfrijdende auto's zijn geen sciencefiction meer. Ze rijden al op de openbare weg, verwerken miljoenen gegevenspunten per seconde en nemen in een fractie van een seconde beslissingen die menselijke bestuurders te veel zouden zijn.

Maar het punt is: dit alles gebeurt niet via traditionele programmering. De software kan niet worden geprogrammeerd met regels voor elk mogelijk scenario – er zijn simpelweg te veel variabelen. In plaats daarvan vertrouwen autonome voertuigen op machine learning om zichzelf te leren rijden.

Volgens Facts & Factors werd de wereldwijde markt voor autonome voertuigen in 2020 geschat op $23,33 miljard en zal deze naar verwachting in 2026 de $64 miljard overschrijden, met een jaarlijkse groei van 22,7%. Deze explosieve groei weerspiegelt zowel technologische doorbraken als het toenemende vertrouwen van de industrie in door machine learning aangedreven systemen.

Deze handleiding legt precies uit hoe machine learning sensorgegevens omzet in veilig en betrouwbaar autonoom rijden – van waarneming en voorspelling tot besturingssystemen en praktijktests.

De rol van machine learning in autonoom rijden begrijpen

Machine learning verschilt fundamenteel van conventionele softwareontwikkeling. Traditionele programma's volgen expliciete instructies: als een sensor een object detecteert binnen X meter, voer dan actie Y uit.

Zelfrijdende auto's komen situaties tegen die geen enkele programmeur had kunnen voorzien. Een voetganger in een kostuum. Een matras die van een vrachtwagen vliegt. Een politieagent die het verkeer handmatig regelt met handgebaren.

ML-algoritmen leren patronen uit enorme datasets in plaats van vastgelegde regels te volgen. Het voertuig verwerkt duizenden kilometers aan rijgegevens en identificeert correlaties tussen sensorinputs en optimale rijreacties.

Zoals een vooraanstaande datawetenschapper opmerkte tijdens discussies over de ontwikkeling van autonome voertuigen: "90%, of zelfs meer dan 90%, van machine learning draait om data en hoe je met data omgaat. En het laatste kleine percentage bestaat uit de algoritmen."“

Die datacentrische realiteit bepaalt elk aspect van de ontwikkeling van autonome voertuigen.

De drie pijlers van machine learning-gestuurde autonome systemen

Machine learning in zelfrijdende auto's opereert op drie onderling verbonden domeinen:

• Perceptie zet ruwe sensorgegevens om in semantisch begrip. Diepe neurale netwerken identificeren voertuigen, voetgangers, rijstrookmarkeringen, verkeerslichten en wegobstakels aan de hand van camerabeelden en LiDAR-puntenwolken.
• Voorspellingen anticiperen op het gedrag van andere weggebruikers. Zal die voetganger het zebrapad opstappen? Staat het naastgelegen voertuig op het punt van rijstrook te wisselen? Machine learning-modellen die getraind zijn op menselijk rijgedrag genereren probabilistische voorspellingen van toekomstige bewegingen.
• Planning en besturing bepalen de acties van het voertuig op basis van waarneming en voorspellingen. Algoritmen voor versterkend leren optimaliseren de routekeuze, snelheidsaanpassing en manoeuvreerbaarheid om bestemmingen veilig en efficiënt te bereiken.

Deze systemen werken parallel en voeren continu gegevens door verwerkingspijplijnen die in milliseconden werken.

Ontwikkel ML-systemen voor autonome voertuigen met superieure AI.

Autonome voertuigsystemen zijn afhankelijk van grootschalige sensorgegevens, computervisie, voorspellingsmodellen en realtime operationele workflows. AI Superieur Ze kunnen teams helpen bij het structureren van machine learning-projecten voor onderzoek naar autonome voertuigen en softwareontwikkeling. Hun diensten omvatten AI-consulting, machine learning, deep learning, ontwikkeling van computervisie, AI-software-engineering, ontwikkeling van proof-of-concepts en modelbeoordeling.

AI Superior kan autonome voertuigprojecten ondersteunen met:

• Het analyseren van sensor-, beeld- en operationele datasets.
• Het ontwikkelen van detectie-, classificatie- of voorspellingssystemen
• Het definiëren van toepassingsgevallen voor computervisie en machine learning.
• Het bouwen van prototype-voertuigen
• Evaluatie van operationele prestaties en modelbetrouwbaarheid
• Ondersteuning bij de implementatie en optimalisatie van AI.
• Integratie in bestaande softwareomgevingen plannen

Voor autonome voertuigen kan dit betrekking hebben op objectdetectie, routevoorspelling, sensoranalyse, verkeersmonitoring, visuele waarnemingssystemen en beslissingsondersteunende modellen voor voertuigen.

Praat met AI Superior over de ontwikkelingsworkflow.

Diep leren voor perceptie: auto's leren zien

Perceptie vormt de fundamentele uitdaging van autonoom rijden. Zelfrijdende voertuigen moeten hun omgeving met een bovenmenselijke betrouwbaarheid interpreteren en in alle weersomstandigheden en lichtomstandigheden kunnen functioneren.

Computervisie, aangedreven door convolutionele neurale netwerken (CNN's), is uitgegroeid tot de dominante aanpak.

Objectdetectie en -classificatie

Deep learning-modellen verwerken camerabeelden om objecten in de rijomgeving te identificeren en te categoriseren. Deze netwerken leren hiërarchische kenmerkrepresentaties: vroege lagen detecteren randen en texturen, terwijl diepere lagen complexe patronen herkennen, zoals voertuigvormen of de houding van voetgangers.

Meerdere objectdetectiearchitecturen hebben hun effectiviteit bewezen:

• YOLO (You Only Look Once) verwerkt complete afbeeldingen in één enkele doorgang, waardoor realtime prestaties worden behaald die geschikt zijn voor berekeningen aan boord.
• Faster R-CNN gebruikt regiovoorstelnetwerken om rekenkracht te concentreren op gebieden waarvan de kans groot is dat ze objecten bevatten.
• EfficientDet brengt nauwkeurigheid en efficiëntie in balans door middel van samengestelde schaalvergroting van de netwerkarchitectuur.

Onderzoekers van MIT die werken aan verbeterde waarnemingssystemen merken op dat autonome voertuigen een scherpere robotwaarneming nodig hebben om de veiligheid sneller te verbeteren. Hun algoritmeontwikkeling richt zich op de bescherming van zowel zelfrijdende voertuigen als andere weggebruikers door middel van betrouwbaardere objectdetectie.

Eerlijk gezegd: de uitdaging is niet alleen het detecteren van objecten, maar ook het consistent detecteren onder wisselende omstandigheden. Een voetganger die gedeeltelijk verborgen is achter een geparkeerde auto. Verkeersborden bedekt met sneeuw. Motorfietsen die tussen de rijstroken door rijden in druk verkeer.

Semantische segmentatie voor scènebegrip

Naast het herkennen van afzonderlijke objecten, hebben autonome voertuigen een begrip van hun omgeving op pixelniveau nodig. Semantische segmentatie wijst elke pixel in een afbeelding toe aan een categorie: begaanbaar oppervlak, trottoir, vegetatie, lucht, gebouw.

Dankzij dit gedetailleerde inzicht in de omgeving kan het voertuig nauwkeurig routeplannen maken. Het voertuig weet precies waar het veilig kan rijden en welke gebieden obstakels of verboden zones vormen.

Netwerken zoals DeepLab en U-Net blinken uit in deze taak, door gebruik te maken van encoder-decoder-architecturen die zowel semantische informatie op hoog niveau als gedetailleerde ruimtelijke informatie vastleggen.

Sensorfusie en multimodaal leren

Geen enkele sensor biedt een volledig beeld van de omgeving. Camera's leveren rijke visuele informatie, maar hebben moeite met diepteperceptie. LiDAR genereert nauwkeurige 3D-puntenwolken, maar levert geen kleur- of textuurgegevens. Radar dringt door mist en regen heen, maar biedt een lagere resolutie.

Machine learning-modellen combineren gegevens van meerdere sensoren en benutten zo hun complementaire sterke punten. Multimodale neurale netwerken verwerken gelijktijdig input van camera's, LiDAR, radar en GPS en leren correlaties tussen verschillende sensortypen.

Het Brain4Cars-onderzoek van Stanford demonstreert deze multisensorbenadering: "De context voor het anticiperen op een manoeuvre is afkomstig van meerdere sensoren die op het voertuig zijn geïnstalleerd." Hun complete systeem integreert camerabeelden, GPS-gegevens en voertuigdynamiek om de intenties van de bestuurder te voorspellen.

Die fusie zorgt voor robuustheid. Als een sensor uitvalt of onbetrouwbare gegevens levert, blijft het systeem functioneren op basis van andere input.

Voorspelling: Het anticiperen op menselijk gedrag

Het detecteren van objecten lost slechts de helft van de uitdaging op. Autonome voertuigen moeten voorspellen hoe die objecten zich zullen bewegen, vooral de onvoorspelbare bewegingen van mensen.

Voetgangers veranderen plotseling van richting. Automobilisten wisselen impulsief van rijstrook. Fietsers sturen abrupt om gaten in de weg heen. Machine learning-voorspellingsmodellen leren deze gedragspatronen uit observatiegegevens.

Trajectvoorspelling

Trajectvoorspellingsmodellen schatten de toekomstige posities van voertuigen, voetgangers en fietsers in op basis van hun huidige beweging en historische gedragspatronen.

Deze systemen maken doorgaans gebruik van terugkerende neurale netwerken (RNN's) of transformer-architecturen die sequentiële data verwerken. Het netwerk observeert de beweging van een object gedurende enkele seconden en genereert vervolgens probabilistische voorspellingen van waar dat object zich over 1 tot 10 seconden zal bevinden.

Het Brain4Cars-onderzoek van Stanford toont aan dat de anticipatie op manoeuvres verbetert met een hogere precisie van 77,4% naar 90,5% en het herinneringsvermogen van 71,2% naar 87,4%, waarbij verbeteringen in het anticipatievermogen op manoeuvres worden gerapporteerd.

Dit zijn geen onbeduidende verbeteringen; ze vertegenwoordigen het verschil tussen reactief en proactief rijden. Dat anticipatievenster van 3,5 seconden biedt het autonome voertuig ruim voldoende tijd om zijn traject veilig aan te passen.

Intentieherkenning

Om te begrijpen wat weggebruikers van plan zijn, is meer nodig dan alleen hun huidige beweging te volgen. Een voertuig dat vaart mindert, kan bijvoorbeeld parkeren, zich voorbereiden op een bocht of reageren op onzichtbare gevaren verderop.

Modellen voor intentieherkenning analyseren contextuele signalen: het inschakelen van richtingaanwijzers, remlichtpatronen, de positie van het voertuig ten opzichte van de rijstrookmarkeringen, en zelfs subtiele stuurbewegingen die zichtbaar zijn door de voorruit.

Het Brain4Cars-onderzoek maakte gebruik van Structural-RNN-benaderingen om deze complexe ruimtelijk-temporele afhankelijkheden vast te leggen, waarmee een F1-score van 80% werd behaald voor het anticiperen op manoeuvres.

Machine learning-modellen die menselijke intenties begrijpen, stellen autonome voertuigen in staat om te navigeren in gemengde verkeersomgevingen waar door mensen bestuurde voertuigen nog steeds veelvuldig voorkomen.

Rekening houden met menselijke fouten

En hier wordt het interessant: autonome voertuigen moeten niet alleen anticiperen op typisch menselijk gedrag, maar ook op menselijke fouten.

Een bestuurder die afgeleid is door zijn telefoon. Een voetganger die zonder te kijken van de stoep stapt. Een fietser die door rood rijdt. Trainingsdata moeten deze afwijkende gebeurtenissen bevatten, zodat machine learning-modellen leren ze te herkennen en erop te reageren.

Onderzoek gericht op het trainen van autonome voertuigen om rekening te houden met fouten van de bestuurder, maakt gebruik van diepe neurale netwerken, dronegegevens en meetinstrumenten langs de weg om de waarneming te verbeteren. Het doel is om autonome voertuigen een 'zevende zintuig' te geven dat het vermogen van ervaren menselijke bestuurders nabootst om risicovolle situaties te herkennen voordat ze escaleren.

Die mogelijkheid is van enorm belang voor de veiligheid. Autonome voertuigen moeten niet alleen reageren op wat er gebeurt, maar ook anticiperen op wat er zou kunnen gebeuren en zich zo positioneren dat het risico wordt geminimaliseerd.

Machine learning-algoritmen als drijvende kracht achter autonome voertuigen

Verschillende machine learning-benaderingen vervullen verschillende functies binnen autonome rijsystemen. De architectuurkeuzes weerspiegelen afwegingen tussen nauwkeurigheid, rekenkundige efficiëntie en de benodigde trainingsdata.

Convolutionele neurale netwerken (CNN's)

Convolutionele neurale netwerken (CNN's) domineren taken op het gebied van visuele waarneming. Hun architectuur weerspiegelt de biologische visuele verwerking, met lagen neuronen die reageren op steeds abstractere kenmerken.

De eerste convolutionele lagen detecteren eenvoudige patronen: randen, hoeken, kleurgadiënten. Diepere lagen combineren deze tot complexe representaties: wielen, ramen, gezichten, vormen van verkeersborden.

Voorgegetrainde modellen zoals ResNet, VGG en Inception dienen als uitgangspunt. Transfer learning stelt ontwikkelaars in staat om deze netwerken te verfijnen op datasets die specifiek zijn voor rijgedrag, in plaats van ze helemaal opnieuw te trainen – een cruciale kortere weg gezien de hoge rekenkosten van het trainen van diepe neurale netwerken.

Terugkerende neurale netwerken en transformatoren

Sequentiële besluitvorming vereist modellen die de temporele context behouden. RNN's en hun varianten (LSTM, GRU) verwerken tijdreeksgegevens en bewaren daarbij informatie over eerdere toestanden.

Voor autonome voertuigen maakt dit tijdsbesef het mogelijk om bewegingsdynamiek te begrijpen. Het traject van een voetganger gedurende de afgelopen drie seconden biedt context voor het voorspellen van zijn of haar volgende beweging.

Transformer-architecturen, oorspronkelijk ontwikkeld voor natuurlijke taalverwerking, winnen de laatste tijd aan populariteit in de autonome rijtechnologie. Hun aandachtmechanismen stellen het model in staat om zich dynamisch te concentreren op relevante ruimtelijke en temporele kenmerken.

Reinforcement learning voor besturing

Terwijl supervised learning modellen traint op basis van gelabelde voorbeelden, leert reinforcement learning (RL) systemen door middel van vallen en opstaan in gesimuleerde omgevingen.

RL-agenten ontvangen beloningen voor gewenst gedrag (soepel rijden, verkeersregels naleven, efficiënte routeplanning) en straffen voor ongewenst gedrag (hard remmen, overtredingen van regels, botsingen). Gedurende miljoenen gesimuleerde kilometers leert de agent strategieën die de beloning op de lange termijn maximaliseren.

Diep versterkingsleren combineert neurale netwerken met versterkingsleren, waardoor agenten rechtstreeks kunnen leren van hoogdimensionale sensorinputs zonder handmatig ontworpen kenmerken.

Maar hier zit de uitdaging: puur reinforcement learning (RL) vereist veel simulatietijd en kan tijdens de training onvoorspelbaar gedrag opleveren. De meeste bedrijven die zich bezighouden met autonome voertuigen gebruiken RL selectief en combineren het met supervised learning en traditionele besturingsalgoritmen.

Ensemblemethoden en modelfusie

Autonome voertuigen in productie vertrouwen zelden op één enkel model. Ensemblebenaderingen combineren voorspellingen van meerdere neurale netwerken, waarbij hun outputs worden afgestemd of gemiddeld om de betrouwbaarheid te verbeteren.

Als vijf onafhankelijk getrainde modellen het erover eens zijn dat een object een voetganger is, neemt het vertrouwen toe. Als de voorspellingen uiteenlopen, signaleert het systeem onzekerheid en kan het een meer conservatieve aanpak hanteren.

Deze redundantie biedt veiligheidsmarges die cruciaal zijn voor beslissingen over leven en dood.

Trainingsdata: De basis van machine learning-gestuurde autonomie

Machine learning-modellen zijn slechts zo goed als de data waarmee ze getraind worden. Autonome voertuigen vereisen ongekende hoeveelheden diverse, nauwkeurig gelabelde trainingsdata.

Strategieën voor gegevensverzameling

Bedrijven die zelfrijdende auto's ontwikkelen, gebruiken testvloten die continu sensorgegevens verzamelen. Elke gereden kilometer genereert gigabytes aan camerabeelden, LiDAR-scans, radarsignalen, GPS-gegevens en voertuigtelemetrie.

Het Brain4Cars-onderzoek van Stanford maakte gebruik van uitgebreide rijgegevens om hun modellen voor het voorspellen van manoeuvres te trainen – een aanzienlijke hoeveelheid data, maar in het niet bij de datasets die door marktleiders worden gebruikt.

De markt voor door voertuigen gegenereerde data zal naar verwachting in 2030 een waarde bereiken van tussen de 1.450 miljard en 1.450 miljard dollar, wat zowel de waarde van de data als de omvang van de verzamelactiviteiten weerspiegelt.

De COVID-19-pandemie verstoorde de inspanningen om gegevens te verzamelen. In China, naar verwachting de grootste markt voor autonome voertuigen ter wereld, daalde de verkoop van connected cars tijdens de COVID-19-pandemie, waardoor de verzameling van gegevens over daadwerkelijk autorijden tijdelijk vertraagde.

Uitdagingen bij annotatie en labeling

Ruwe sensorgegevens moeten worden geannoteerd voordat er modellen voor supervised learning mee getraind kunnen worden. Menselijke annotatoren moeten kaders rond voertuigen tekenen, rijstrookgrenzen markeren, verkeersborden classificeren en de houding van voetgangers labelen in miljoenen videoframes.

Dit labelproces is duur, tijdrovend en foutgevoelig. Het labelen van slechts één uur aan rijbeelden kan wel 800 uur aan handarbeid vergen.

Semi-supervised learning en actieve leertechnieken helpen deze last te verlichten. Modellen die getraind zijn op beperkte gelabelde data genereren voorspellingen op ongelabelde data, en menselijke experts beoordelen alleen onzekere voorspellingen of corrigeren fouten – wat de efficiëntie van het labelen aanzienlijk verbetert.

Synthetische data en simulatie

Simulatieomgevingen genereren oneindig veel trainingsdata zonder de kosten van daadwerkelijke dataverzameling. Fotorealistische rendering-engines creëren virtuele rijscenario's met automatisch gegenereerde labels.

Simulatoren modelleren zeldzame, extreme gevallen die in de praktijk moeilijk te simuleren zijn: slecht weer, ongebruikelijke voertuigtypen, noodsituaties en voetgangers met afwijkend gedrag.

De kloof tussen gesimuleerde en reële data blijft een uitdaging: modellen die puur op synthetische data zijn getraind, falen soms wanneer ze worden geconfronteerd met de complexiteit van de werkelijkheid. Transfer learning-methoden helpen deze kloof tussen simulatie en realiteit te overbruggen.

Gegevensprivacy en -beveiliging

Autonome voertuigen verzamelen uitgebreide gegevens over hun omgeving, waaronder beelden van mensen, voertuigen en locaties. Privacyregelgeving zoals de AVG legt beperkingen op aan het verzamelen, opslaan en gebruiken van gegevens.

Anonimiseringstechnieken vervagen gezichten en kentekenplaten. Federated learning-benaderingen trainen modellen over gedistribueerde datasets zonder gevoelige informatie te centraliseren. Federated learning-benaderingen maken gezamenlijke modelverbetering mogelijk met behoud van privacy in de context van autonome voertuigen.

Beveiligingsproblemen gaan verder dan alleen privacy. Vijandige aanvallen kunnen sensorinputs manipuleren om verkeerde classificatie te veroorzaken – subtiele verstoringen die neurale netwerken bijvoorbeeld misleiden door stopborden als snelheidslimietborden te laten interpreteren.

Robuuste trainingstechnieken en systemen voor anomaliedetectie helpen bij de verdediging tegen deze bedreigingen.

Praktische toepassingen en testomgevingen

Machine learning-modellen maken de overgang van onderzoekslaboratoria naar de openbare weg via strenge testprotocollen en zorgvuldig geselecteerde implementatieomgevingen.

Gecontroleerde testomgevingen

Autonome pods die in gecontroleerde omgevingen als 'last-mile shuttles' fungeren, bieden waardevolle testomgevingen. Deze inzet vermindert het autogebruik en verbetert de bereikbaarheid, terwijl ingenieurs tegelijkertijd de lokalisatie, voertuig-naar-alles (V2X)-communicatie en mens-machine-interactie kunnen verfijnen zonder de chaos van het stadsverkeer.

Op afgesloten testcircuits worden specifieke scenario's herhaaldelijk nagebootst: kruispunten, invoegstroken op snelwegen, bouwzones. Ingenieurs valideren systematisch of de ML-modellen correct reageren op variaties in weersomstandigheden, verlichting en verkeersdichtheid.

Gefaseerde implementatiestrategieën

De meeste programma's voor autonome voertuigen volgen een gefaseerde implementatie: ze beginnen in beperkte omgevingen en breiden geleidelijk uit naar complexere scenario's.

Geofencing beperkt voertuigen tot nauwkeurig in kaart gebrachte gebieden met gunstige omstandigheden: vlak terrein, goed weer en duidelijke rijstrookmarkeringen. Naarmate de systemen betrouwbaar blijken, worden de operationele gebieden uitgebreid.

SAE International definieert automatiseringsniveaus van 0 (geen automatisering) tot 5 (volledige automatisering). De "Level 2+"-raamwerken van SAE richten zich op het rendabel en gangbaar maken van autonoom rijden door middel van stapsgewijze verbeteringen van de mogelijkheden, in plaats van direct te streven naar volledige autonomie.

Schaduwmodus en parallelle autonomie

In de schaduwmodus kunnen autonome systemen naast menselijke bestuurders rijden zonder zelf het voertuig te besturen. Het machine learning-systeem verwerkt sensorgegevens en neemt beslissingen over de besturing, maar de menselijke bestuurder stuurt de auto daadwerkelijk.

Ingenieurs vergelijken de beslissingen van het systeem met de acties van de menselijke bestuurder en identificeren discrepanties en uitzonderlijke gevallen waarin het machine learning-model anders – vaak onjuist – zou hebben gereageerd.

Deze aanpak verzamelt op een veilige manier gegevens over de prestaties van ML-systemen in de praktijk, zonder het risico op veiligheidsincidenten.

Regelgevingskaders en veiligheidsvalidatie

Voor de implementatie is wettelijke goedkeuring vereist. Verschillende rechtsgebieden stellen uiteenlopende eisen aan het aantonen van de veiligheid voordat openbare wegproeven zijn toegestaan.

In Europa vereisen de regelgevingen bewijs van veilig gedrag van autonome voertuigen in plaats van eenvoudige zelfcertificering. Fabrikanten moeten aantonen dat systemen extreme gevallen en ongebruikelijke scenario's met een zeer hoge betrouwbaarheid aankunnen.

De ontwikkeling door SAE International van ontologie- en lexiconstandaarden voor geautomatiseerde rijsystemen draagt bij aan de totstandkoming van gemeenschappelijke terminologie en testkaders – essentiële infrastructuur voor wettelijke validatie.

De National Transportation Safety Board (NTSB) beheert databases met incidenten met autonome voertuigen. Deze gegevens helpen bij het begrijpen van mogelijke oorzaken van storingen en het verbeteren van veiligheidsprotocollen.

Huidige trends en toekomstige ontwikkelingen

Machine learning voor autonome voertuigen blijft zich in hoog tempo ontwikkelen. Verschillende trends herdefiniëren de ontwikkelingsprioriteiten en technische benaderingen.

End-to-end leren

Traditionele architecturen voor autonoom rijden verdelen het probleem in afzonderlijke modules: waarneming, voorspelling, planning en besturing. Elk onderdeel wordt onafhankelijk ontwikkeld en getest.

End-to-end leerbenaderingen vervangen deze pijplijn door één enkel neuraal netwerk dat sensorinputs rechtstreeks koppelt aan besturingsoutputs. Het Brain4Cars-onderzoek van Stanford beschrijft end-to-end multimodale AI waarbij "een generatief model inputs koppelt aan besturingsacties".“

Deze systemen leren latente representaties van de rijstrategie zonder expliciet tussenliggende fasen te modelleren. Voorstanders beweren dat deze aanpak beter omgaat met uitzonderlijke gevallen, omdat het hele systeem optimaliseert voor het uiteindelijke doel: veilig rijden.

Sceptici stellen daarentegen dat end-to-end-modellen black boxes zijn, waardoor debuggen moeilijk is en veiligheidsvalidatie vrijwel onmogelijk.

Aandachtsmechanismen en verklaarbaarheid

Neurale netwerken functioneren traditioneel als black boxes: er gaan inputs in, er komen beslissingen uit, maar het redeneerproces blijft ondoorzichtig.

Aandachtsmechanismen bieden gedeeltelijke transparantie. Deze componenten leren zich te concentreren op relevante inputkenmerken, en visualisatie van aandachtskaarten onthult wat het model belangrijk vindt bij het nemen van beslissingen.

Verklaarbare AI-technieken helpen ingenieurs het gedrag van modellen te begrijpen en mogelijke fouten te identificeren. Als een objectdetector een fiets verkeerd classificeert, kunnen aandachtsvisualisaties aantonen dat het model zich meer op de achtergrond concentreerde dan op de fiets zelf. Dit kan vervolgens leiden tot data-augmentatie of verbeteringen aan de architectuur.

Regulerende instanties eisen steeds vaker dat systemen verklaarbaar zijn voordat ze autonome systemen goedkeuren voor gebruik door het publiek.

Neuromorfische computertechnologie en edge-AI

Het verwerken van sensorgegevens met behulp van diepe neurale netwerken vereist aanzienlijke rekenkracht. Moderne autonome voertuigen bevatten gespecialiseerde AI-acceleratoren die honderden watts verbruiken.

Neuromorfe chips bootsen de biologische neurale architectuur na en verwerken informatie in gebeurtenisgestuurde pieken in plaats van continue waarden. Deze ontwerpen beloven een aanzienlijke verbetering van de energie-efficiëntie – cruciaal voor de actieradius en koelingseisen van elektrische voertuigen.

Edge AI-benaderingen verplaatsen meer rekenkracht rechtstreeks naar sensoren. Slimme camera's met geïntegreerde neurale netwerkversnellers voeren objectdetectie lokaal uit en verzenden alleen semantische informatie op hoog niveau in plaats van onbewerkte videostreams.

Levenslang leren en online aanpassing

De huidige machine learning-modellen worden offline getraind op historische datasets en vervolgens ingezet met vaste parameters. Het voertuig leert na de inzet niet van nieuwe ervaringen.

Systemen voor levenslang leren actualiseren modellen continu op basis van recent verzamelde gegevens, waardoor ze zich aanpassen aan nieuwe omgevingen en veranderende verkeerspatronen.

Deze mogelijkheid zou autonome voertuigen in staat stellen om in diverse geografische regio's te opereren zonder dat er voor elke locatie een aparte modeltraining nodig is. Een voertuig dat primair in Californië is getraind, zou zich via online leren kunnen aanpassen aan de winterse rijomstandigheden in Massachusetts.

Maar wacht even: online leren brengt veiligheidsrisico's met zich mee. Modelupdates kunnen de prestaties verslechteren of onverwacht gedrag introduceren. Validatiekaders moeten ervoor zorgen dat continu leren de veiligheid verbetert in plaats van deze in gevaar brengt.

Voertuig-naar-alles (V2X) communicatie

Machine learning-modellen werken momenteel uitsluitend met informatie die wordt verzameld door sensoren aan boord. V2X-communicatie maakt het mogelijk dat voertuigen gegevens met elkaar en met de infrastructuur delen.

Een voertuig dat gladheid door ijs in een bocht detecteert, kan naderende voertuigen waarschuwen. Verkeerslichten kunnen hun fase-instellingen doorgeven om het oversteken van kruispunten te optimaliseren. Hulpdiensten kunnen hun nadering aankondigen, waardoor autonome voertuigen voorrang moeten verlenen.

ML-modellen die V2X-data integreren, bereiken betere voorspellings- en planningsresultaten door toegang te krijgen tot informatie die verder reikt dan hun directe sensorhorizon.

Uitdagingen en beperkingen

Ondanks de opmerkelijke vooruitgang stuit machine learning in autonome voertuigen op aanzienlijke technische en praktische obstakels.

Het probleem van de lange staart

ML-modellen blinken uit in scenario's die goed vertegenwoordigd zijn in de trainingsdata. Ze hebben moeite met zeldzame, uitzonderlijke gevallen: een hert dat de weg oversteekt, een bal van een kind die de straat op rolt, bouwmachines die een rijstrook gedeeltelijk blokkeren.

Menselijke bestuurders navigeren door deze situaties met behulp van gezond verstand en fysieke intuïtie. De huidige machine learning-systemen missen dit contextuele begrip.

End-to-end modellen die 3D-lay-outs afleiden uit camerabeelden helpen bij het aanpakken van complexere scenario's door meer algemene representaties van de scènegeometrie en -fysica te leren. Complete oplossingen blijven echter ongrijpbaar.

Vijandige kwetsbaarheid

Neurale netwerken kunnen misleid worden door zogenaamde 'adversarial examples' – invoergegevens die zorgvuldig zijn ontworpen om tot een verkeerde classificatie te leiden. Het toevoegen van onmerkbare ruis aan een afbeelding van een stopbord kan er bijvoorbeeld voor zorgen dat het netwerk het bord als een voorrangsbord classificeert.

Fysieke aanvallen vormen een reële bedreiging. Onderzoekers hebben aangetoond dat het aanbrengen van specifieke stickers op stopborden objectdetectoren kan misleiden.

Robuuste trainingstechnieken verminderen deze kwetsbaarheid gedeeltelijk, maar er bestaat geen volledige verdediging. Beveiligingsonderzoekers blijven nieuwe aanvalsvectoren ontdekken.

Rekenkundige en energiebeperkingen

Het realtime verwerken van sensorstromen met hoge resolutie met behulp van diepe neurale netwerken vereist enorme rekenkracht. De inferentie moet binnen milliseconden voltooid zijn – het Brain4Cars-onderzoek behaalde inferentietijden van 3,6 milliseconden, maar complexere modellen kunnen langer duren.

Energieverbruik is van cruciaal belang voor elektrische autonome voertuigen. Het hoge stroomverbruik van AI-acceleratoren vermindert de actieradius en vereist extra koelsystemen.

Optimalisatietechnieken zoals modelquantisatie, snoeien en kennisdestillatie comprimeren netwerken tot kleinere, snellere versies met minimaal nauwkeurigheidsverlies. Deze gecomprimeerde modellen maken realtime inferentie aan boord mogelijk.

Vooroordelen en eerlijkheid in datasets

Machine learning-modellen erven vooroordelen die aanwezig zijn in de trainingsdata. Als datasets minder voorbeelden bevatten van voetgangers met een donkere huidskleur, kunnen objectdetectoren slechter presteren bij het detecteren van deze personen – een onaanvaardbaar verschil voor de veiligheid.

Geografische vertekening heeft eveneens invloed op de prestaties. Modellen die voornamelijk op Amerikaanse wegen zijn getraind, kunnen moeite hebben met afwijkende rijgewoonten, verkeersborden en infrastructuur in andere landen.

Diverse en representatieve datasets helpen vertekeningen te verminderen, maar het verzamelen van werkelijk evenwichtige gegevens over alle demografische groepen en geografische regio's blijft een uitdaging.

Regelgevingsonzekerheid

De regelgeving voor autonome voertuigen is nog in ontwikkeling. Verschillende rechtsgebieden stellen uiteenlopende eisen, wat de naleving van de regels complex maakt voor bedrijven die internationaal actief zijn.

Standaardisatieorganisaties zoals SAE International ontwikkelen ontologieën en testkaders, maar er is nog geen alomvattende consensus op regelgevingsgebied ontstaan.

Deze onzekerheid bemoeilijkt de productplanning op lange termijn en investeringsbeslissingen.

Veiligheids- en ethische overwegingen

Machine learning-systemen die beslissingen over leven en dood nemen, roepen fundamentele vragen op over veiligheid en ethiek.

Validatie en testen

Hoeveel testkilometers tonen aan dat een autonoom voertuig veiliger is dan een voertuig bestuurd door een mens? In de VS is er gemiddeld één dodelijk ongeval per 100 miljoen gereden kilometers.

Om met statistische zekerheid aan te tonen dat een autonoom systeem dit veiligheidsniveau overtreft, zijn miljarden testkilometers nodig – iets wat met alleen fysieke tests onpraktisch is.

Scenario-gebaseerd testen in simulatie helpt de validatietijd te verkorten. Het werk van SAE International aan de ontwikkeling van veilige software voor autonome voertuigen richt zich op het opzetten van verificatiemethoden die fysieke tests, simulatie en formele verificatie combineren.

Het trolleyprobleem in code.

Autonome voertuigen zullen onvermijdelijk te maken krijgen met situaties waarin schade onvermijdelijk is. Moet het voertuig prioriteit geven aan de veiligheid van de passagiers of aan het minimaliseren van de totale schade voor alle weggebruikers?

Deze ethische dilemma's kunnen niet alleen door technische oplossingen worden opgelost. Ze vereisen maatschappelijke consensus, weerspiegeld in regelgeving en aansprakelijkheidsrecht.

ML-modellen coderen impliciet ethische keuzes via hun trainingsdata en beloningsfuncties. Ingenieurs moeten deze systemen bewust ontwerpen om overeengekomen ethische principes te weerspiegelen, in plaats van ethische beslissingen per ongeluk te laten ontstaan uit datapatronen.

Aansprakelijkheid en verantwoordelijkheid

Wie is verantwoordelijk als een autonoom voertuig letsel veroorzaakt? De eigenaar van het voertuig? De fabrikant? De ML-engineer die het model heeft getraind? Het bedrijf dat de trainingsgegevens heeft verzameld?

Traditionele aansprakelijkheidsmodellen gaan ervan uit dat menselijke bestuurders de beslissingen nemen. Autonome systemen verdelen de besluitvorming over software, sensoren en trainingsgegevens, wat de toewijzing van verantwoordelijkheid bemoeilijkt.

Verzekeringsmodellen en juridische kaders blijven zich ontwikkelen om deze vragen te beantwoorden.

Werkloosheid

Autonome voertuigen bedreigen miljoenen banen in de transportsector: vrachtwagenchauffeurs, taxichauffeurs, bezorgers. De economische en sociale gevolgen van deze verschuiving vereisen proactieve beleidsmaatregelen.

Voorstanders beweren dat autonome voertuigen nieuwe banen zullen creëren in wagenparkbeheer, hulp op afstand, voertuigonderhoud en machine learning-ontwikkeling. Critici stellen daarentegen dat deze nieuwe functies geen vergelijkbare lonen zullen opleveren voor de ontslagen werknemers.

Veelgestelde vragen