Robots nemen menselijke leertechnieken over door ons te observeren

• De nieuwe AI van DeepMind ontwikkelt nieuwe vaardigheden door mensen na te doen
• De robots van Carnegie Mellon leren huishoudelijke klusjes door video’s te bekijken
• Met de nieuwe AI van Toyota leren robots groenten schillen en vloeistoffen schenken
• De robot van UC Berkeley vouwt je wasgoed sneller op dan jij

Er worden steeds grotere sprongen gemaakt in de robotica. We gaan een tijd tegemoet waarin robots niet meer specifiek geprogrammeerd worden maar leren door ons te imiteren. Deze ontwikkelingen worden mogelijk gemaakt door generatieve AI, de technologie die machines in staat stelt complex menselijk gedrag te observeren en na te bootsen. Steeds meer robots kunnen nu in realtime nieuwe vaardigheden leren, van menselijke gebaren tot gedetailleerde en precieze taken. Dit doen ze door handelingen of gedrag dat ze zien — in het echt of bijvoorbeeld op video’s — te analyseren en na te doen. Deze verschuiving van geprogrammeerde instructies naar observerend leren leidt tot enorm veel nieuwe mogelijkheden. Denk aan robots in de gezondheidszorg die chirurgische ingrepen observeren om chirurgen vervolgens bij operaties te assisteren. Of in kunstateliers, waar ze kunstwerken grondig bestuderen en analyseren, om daarna met de creativiteit van ervaren kunstenaars zelf kunst te creëren. De toepassingsmogelijkheden zijn zowel eindeloos als fascinerend.

De drijvende kracht achter deze ontwikkelingen is versterkend leren, waarbij robots door trial-and-error hun vaardigheden aanscherpen, vergelijkbaar met hoe mensen nieuwe dingen leren. Wanneer je dit combineert met generatieve AI, krijg je robots die taken niet alleen kopiëren, maar ze ook verder ontwikkelen en perfectioneren. In dit artikel laten we je voorbeelden zien van manieren waarop de robotica echt enorme sprongen heeft gemaakt. Machines die tot voor kort gedetailleerde instructies nodig hadden worden nu steeds zelfstandiger — een eigenschap die we tot nu toe eigenlijk alleen bij mensen zagen. Dit is niet alleen een stap in de richting van intelligentere machines maar ook een sprong naar de toekomst van autonoom leren, waar robots mogelijk oplossingen kunnen creëren voor problemen die we nog niet eens bij de hand hebben gehad.

De AI van DeepMind, die zichzelf steeds nieuwe dingen kan leren, geeft ons alvast een kijkje in een toekomst waarin machines direct uit menselijke ervaringen putten. Hierdoor verandert mogelijk elk aspect van onze interacties met deze machines.

De nieuwe AI van DeepMind ontwikkelt nieuwe vaardigheden door mensen na te doen

Google DeepMind heeft een gigantische sprong voorwaarts gemaakt met kunstmatige intelligentie: het imiteert menselijk leervermogen op een indrukwekkende manier. Waar traditionele AI-systemen een berg aan data nodig hebben om iets nieuws te leren, doet DeepMind’s nieuwste AI dit door gewoon naar mensen te kijken en hun handelingen na te bootsen. Deze techniek lijkt sterk op wat ons als mensen zo uniek maakt: het snel kunnen leren van elkaar, een talent dat essentieel is geweest voor onze vooruitgang. DeepMind-onderzoekers hebben het onmogelijke mogelijk gemaakt door agenten te ontwikkelen die met ‘menselijke’ behendigheid en inzicht  door een virtuele wereld kunnen navigeren. “Onze agenten kunnen mensen in realtime imiteren, zonder vooraf verzamelde menselijke data te raadplegen, ook in nieuwe situaties en andere contexten. Volgens de onderzoekers maakt deze doorbraak het mogelijk om onze ‘culturele wijsheid’ aan machines over te dragen.

Deze AI-agenten bevinden zich in een soort ‘digitale speeltuin’ — GoalCycle3D — waar ze in een continu veranderend landschap allerlei hindernissen moeten overwinnen. Hier leren ze dingen niet uit het hoofd, maar leren ze door naar een zogenaamde expert te kijken — een gecodeerde of door mensen bestuurde entiteit — die zich snel door het landschap voortbeweegt. Op deze manier krijgen ze inzicht in de nuances van de taak en scherpen ze hun vaardigheden door middel van ‘versterkend leren’ aan. Dit is een aanpak van vallen en opstaan die je kunt vergelijken met de manier waarop mensen leren. Na hun training konden deze agenten de handelingen van de expert onafhankelijk nabootsen, een duidelijk teken dat ze niet alleen reeksen uit het hoofd leren, maar de taken ook echt begrijpen. Om dit mogelijk te maken hebben de onderzoekers de AI uitgerust met een voorspellende focus en een geheugenmodule. Hiermee kan de AI de bewegingen van de expert onthouden en nadoen, zelfs als deze experts niet langer aanwezig zijn. Dit betekent dat ze zich aan allerlei verschillende taken in uiteenlopende omgevingen kunnen aanpassen.

Hoewel deze ontwikkelingen zonder twijfel veelbelovend zijn, is het niet eenvoudig om deze technologie van virtuele omgevingen naar situaties in het echte leven te vertalen. Het leren van de AI werd tijdens de onderzoeken onder voortdurend menselijk toezicht getest, wat de vraag oproept of het zich ook aan onvoorspelbare en uiteenlopende menselijke instructies zal kunnen aanpassen. Bovendien is het dynamische en willekeurige karakter van de trainingsomgeving in GoalCycle3D een uitdaging om in de echte wereld — die veel minder voorspelbaar is — te repliceren. Ook waren de handelingen vrij eenvoudig, zonder de fijne motoriek die je voor taken in de echte wereld vaak nodig hebt. Toch zijn de ontwikkelingen op het gebied van AI’s die ‘sociaal leren’ enorm veelbelovend. Nu we een toekomst tegemoet gaan waarin we steeds vaker en op allerlei vlakken met intelligente machines te maken krijgen, is het belangrijk om manieren te bedenken om onze kennis zo efficiënt mogelijk aan hen over te dragen. De nieuwe AI van DeepMind geeft ons een kijkje in een toekomst waarin machines rechtstreeks van menselijke ervaringen kunnen leren, wat elk aspect van onze interactie met machines voor altijd verandert.

De robots van Carnegie Mellon leren huishoudelijke klusjes door video’s te bekijken

Aan de Carnegie Mellon University leren onderzoekers robots huishoudelijke klusjes uit te voeren door ze naar video’s te laten kijken. Stel je een robot voor die zich met gemak door je huis manoeuvreert, lades opent, telefoontjes beantwoordt en zelfs voor je kookt, gewoon door de dingen die jij in het dagelijks leven doet te observeren en na te doen. Dankzij dit baanbrekende onderzoek, dat als doel heeft de manier waarop we met robots omgaan volledig te veranderen, kunnen robots in de toekomst inderdaad behulpzame assistenten worden die ons bij dagelijkse taken helpen. Deepak Pathak, assistent-professor bij CMU en leider van het project, vertelt: “De robot kan door het bekijken van video’s leren waar en hoe mensen met verschillende objecten omgaan. Met deze kennis kunnen we een model trainen waarmee twee robots in verschillende omgevingen vergelijkbare taken kunnen uitvoeren”. Deze manier van leren is een enorme vooruitgang vergeleken bij de oude aanpak, waarbij mensen alles zelf moesten voordoen of robots eindeloos moesten oefenen in gesimuleerde omgevingen — een tijdrovend en moeizaam proces dat ook vaak mis ging.

De huidige ontwikkelingen van het team van Pathak richten zich op het verbeteren van hun eerdere werk, bekend als In-the-Wild Human Imitating Robot Learning (WHIRL), waarvoor mensen bij de robots aanwezig moesten zijn om handelingen voor te doen. Het nieuwe model, de Vision-Robotics Bridge (VRB), stroomlijnt dit proces, waardoor directe menselijke begeleiding en identieke omgevingen niet meer nodig zijn. Nu kan een robot na maar 25 minuten oefenen een nieuwe taak uitvoeren. Shikhar Bahl, een PhD-student in robotica, vertelt enthousiast: “We konden robots overal op de campus allerlei taken laten uitvoeren. Robots gebruiken dit model om met een soort nieuwsgierigheid hun omgeving te onderzoeken. Die nieuwsgierigheid is gebaseerd op het concept van ‘affordances’ — een term uit de psychologie. Dit betekent simpelweg wat de omgeving hen ’toestaat’ te doen. Bijvoorbeeld, een stoel biedt de mogelijkheid om op te zitten, en een robot leert dit te herkennen als een actie die het kan uitvoeren. Door contactpunten en bewegingen te identificeren, zoals een mens die een lade opent, kan een robot leren deze handeling op alle lades die hij ziet toe te passen.

Door gebruik te maken van grote datasets als Ego4D die bestaat uit duizenden uren first-person beelden, en Epic Kitchens die keukenactiviteiten vastleggen, traint het team hun robots van allerlei menselijke gedragingen te leren. Deze datasets, die voorheen bedoeld waren voor het trainen van computervisionmodellen, worden nu gebruikt om robots van video’s op het internet en YouTube te laten leren. Dit project draait om meer dan alleen het programmeren van robots. Het maakt een toekomst mogelijk waarin robots zelfstandig leren — niet alleen van ons maar ook van het internet — waardoor ze steeds intuïtiever worden en ons met dagelijkse taken nog beter kunnen ondersteunen.

Met de nieuwe AI van Toyota leren robots groenten schillen en drinken inschenken

Ook Toyota Research Institute (TRI) is druk bezig met het ontwikkelen van nieuwe methoden om robots te trainen. Zo heeft het instituut een baanbrekende generatieve AI-techniek ontwikkeld met de naam Diffusion Policy, waarmee robots snel en betrouwbaar nieuwe vaardigheden kunnen leren. Dankzij deze methode kunnen robots nu binnen enkele uren complexe taken leren en er zelfs zeer behendig in worden. Denk aan pannenkoeken flippen of groenten schillen. Deze efficiëntie wordt bereikt doordat een menselijke operator de robot op afstand bestuurt en hem een reeks demonstraties geeft om van te leren. Daarna verwerkt de robot deze informatie zelfstandig en past zijn nieuw verworven vaardigheden op verschillende taken toe, zonder dat daar nog een mens aan te pas komt. Dankzij deze baanbrekende methode kunnen robots veel makkelijker en sneller getraind worden.

Door toepassing van deze Diffusion Policy-techniek hebben robots bij TRI inmiddels meer dan 60 verschillende vaardigheden onder de knie gekregen. Denk bijvoorbeeld aan het manipuleren van diverse soorten materialen tot drinken inschenken. En dat allemaal zonder voor elke afzonderlijke taak nieuwe code te hoeven schrijven. Deze methode leunt op technologieën die ook bij geavanceerde image-creatie worden gebruikt. Dit betekent dat het flexibel is en van verschillende soorten voorbeelden kan leren. Zo kan het ingewikkelde taken inplannen, ook als deze na verloop van tijd veranderen, en blijft het tijdens het leren stabiel zonder dat er voortdurend aanpassingen nodig zijn. Russ Tedrake, vicepresident Robotics van TRI, is enthousiast over wat ze bereikt hebben en vertelt dat het verbijsterend is welke taken hun robots nu kunnen uitvoeren — iets dat een jaar geleden nog onvoorstelbaar was. De snelheid en betrouwbaarheid waarmee deze robots nieuwe vaardigheden leren, vooral onder lastige omstandigheden, zoals bij het hanteren van zachte of onregelmatige materialen en voorwerpen, markeren een belangrijke mijlpaal.

Maar hier stoppen de ontwikkelingen zeker niet. Hoewel de robots van TRI indrukwekkende vooruitgang hebben laten zien, verlopen hun taken niet altijd vlekkeloos. Vooral onder wisselende omstandigheden is dit soms een uitdaging. TRI richt zich momenteel dan ook op het ontwikkelen van een brede reeks ‘robotgedragingen’, zowel in fysieke als in gesimuleerde trainingsomgevingen. Op deze manier willen ze een ‘large behaviour model’ creëren dat qua complexiteit vergelijkbaar is met de bekende large language models (LLM’s) die geschreven content kunnen begrijpen en genereren. TRI heeft het ambitieuze doel om robots in 2024 maar liefst duizend vaardigheden te leren, waarmee het de weg vrijmaakt naar een toekomst waarin robots met een uitgebreid ‘gedragsrepertoire’ naadloos met mensen kunnen samenwerken. Hoewel er nog een weg te gaan is voordat we deze robots in alledaagse omstandigheden zullen tegenkomen, zijn de veelbelovende ontwikkelingen door Diffusion Policy inmiddels in een stroomversnelling terechtgekomen.

Bij UC Berkeley ontvouwt zich — letterlijk — een robotrevolutie in het washok. De universiteit heeft een vooruitstrevende methode onthuld waarmee robots getraind worden om wasgoed op te vouwen: een alledaagse maar verrassend complexe taak.

De robot van UC Berkeley vouwt je wasgoed sneller op dan jij

Bij UC Berkeley ontvouwt zich — letterlijk — een robotrevolutie in het washok. Het AUTOLAB van de universiteit heeft onlangs zijn SpeedFolding-methode bekendgemaakt, waarmee robots getraind worden om wasgoed op te vouwen: een alledaagse maar verrassend complexe taak. Hoewel was- en droogmachines ons al jarenlang met de was assisteren, moeten we het wasgoed nog wel handmatig opvouwen. Maar  het is de bedoeling van SpeedFolding om ook deze saaie taak uiteindelijk te automatiseren. Het systeem kan inmiddels maar liefst 30-40 kledingstukken per uur opvouwen. Nog niet zo lang geleden waren dat nog maar 3-6 kledingstukken per uur. Het opvouwen van wasgoed is niet zo eenvoudig als het lijkt. Er zijn natuurlijk enorm veel verschillende soorten kledingstukken, van allerlei soorten stof — denk aan dun, glad, stug, gebreid, elastisch of statisch. Dat is voor ons al een uitdaging, laat staan voor een robot. Toch heeft de aanpak van UC Berkeley deze uitdagingen goed onder de knie met een systeem dat het menselijke vouwproces nabootst. Het analyseert meer dan 4.300 handelingen om de vorm van een kledingstuk uit een verfrommelde hoop te voorspellen, het glad te strijken en het vervolgens langs precieze lijnen op te vouwen.

Dit wordt allemaal mogelijk gemaakt door het BiManual Manipulation Network (BiMaMa), een neuraal netwerk dat twee robotarmen bij het vouwen begeleidt. Het tweearmige systeem bootst de bewegingen en de coördinatie van menselijke ledematen na, waardoor ze kledingstukken efficiënt kunnen gladstrijken en in herkenbare vormen kunnen opvouwen. Hoewel de robots de menselijke handelingen op deze manier niet direct kopiëren door ernaar te kijken — zoals in de vorige voorbeelden — is deze methode wel ontwikkeld op basis van hun begrip van menselijke bewegingen, waardoor de robots vergelijkbare resultaten kunnen behalen. Sterker nog, elk kledingstuk wordt binnen twee minuten — en maar liefst 93 procent nauwkeurig — opgevouwen. SpeedFolding is meer dan alleen een recordbrekende prestatie. Het biedt ons een kijkje in een toekomst waarin robots steeds meer van onze repetitieve en vervelende dagelijkse taken overnemen. UC Berkeley is druk in de weer om deze methodologie nog verder te verbeteren. De dag dat robots bij ons thuis allerlei dagelijkse klusjes voor ons doen komt hiermee steeds dichterbij, waardoor wij meer tijd hebben voor dingen die we waardevoller, boeiender of leuker vinden om te doen.

Een laatste overweging

De hedendaagse robotica ontwikkelt zich zo snel dat de manier waarop we onze dagelijkse taken uitvoeren hierdoor enorm zal veranderen. Dankzij innovatieve organisaties en onderzoeksinstituten als DeepMind, Carnegie Mellon, Toyota en UC Berkeley maken robots binnenkort steeds meer deel uit van ons dagelijks leven. Deze ontwikkelingen zorgen niet alleen voor meer gemak, maar dagen ons ook uit  om na te denken over wat onze vrije tijd en creativiteit nu eigenlijk echt voor ons betekenen. En terwijl we ons verbazen over alle indrukwekkende dingen die geavanceerde robots kunnen doen, moeten we ook ‘the bigger picture’ niet uit het oog verliezen.

Wat betekenen deze ontwikkelingen bijvoorbeeld voor de werkgelegenheid in sectoren die traditioneel afhankelijk zijn van menselijke arbeid? En hoe zorgen we ervoor dat we net zoveel aandacht besteden aan ethische overwegingen, vooral als het gaat om privacy en autonomie? Ook de democratisering van dit soort technologieën blijft een uitdaging. Zo moeten we ervoor zorgen dat straks niet alleen de rijken van deze technologieën kunnen profiteren, maar dat iedereen er gebruik van kan maken. De evolutie van de robotica gaat daarnaast niet alleen over wat machines voor ons kunnen doen, maar ook over wat dit voor de toekomst van het menselijk potentieel betekent. Of deze vooruitgang iedereen of maar een handjevol mensen ten goede zal komen, hangt af van de beslissingen die we nu nemen. We moeten er ook voor zorgen dat robots niet alleen van ons leren maar dat wij ook van hen leren – vooral over het soort wereld dat we willen creëren. Niet alleen voor onszelf, maar ook voor onze kinderen en de generaties na hen.