“/>Beeldcredits: MijnDojo
Onderzoekers op het gebied van kunstmatige intelligentie hebben een Minecraft-robot gemaakt die zijn mogelijkheden in de open wereld van het spel kan verkennen en uitbreiden – maar in tegenstelling tot andere robots schreef deze in feite zijn eigen code met vallen en opstaan en gastheer van GPT-4-query’s.
Dit experimentele systeem, Voyager genaamd, is een voorbeeld van een ‘ingebedde agent’, een AI die vrij en doelgericht kan bewegen en handelen in een gesimuleerde of echte omgeving. AI en chatbots in de stijl van persoonlijke assistenten hoeven niet echt dingen te doen, laat staan door een complexe wereld te navigeren om die dingen te bereiken. Maar dat is precies wat een thuisrobot in de toekomst moet doen, dus er wordt veel onderzoek gedaan naar hoe ze dat zouden kunnen doen.
Minecraft is een goede plek om dergelijke dingen te proberen, omdat het een zeer (zeer) benaderende weergave is van de echte wereld, met eenvoudige en ongecompliceerde regels en fysica, maar het is ook complex en heeft een open einde, dus er valt veel te bereiken of te proberen. Speciaal gebouwde simulators zijn ook geweldig, maar ze hebben hun eigen beperkingen.
MineDojo is een simulatieraamwerk dat is gebouwd rond Minecraft, omdat je niet zomaar een willekeurige AI erin kunt dumpen en verwachten dat deze erachter komt wat al die blokken en varkens aan het doen zijn. De makers (veel overlap met het Voyager-team) hebben onder andere YouTube-video’s over de game, transcripties, wiki-artikelen en veel Reddit-berichten van r/minecraft samengesteld, zodat gebruikers er een AI-model op kunnen bouwen of verfijnen. Het maakt het ook mogelijk deze modellen min of meer objectief te evalueren door te zien hoe goed ze bijvoorbeeld een hek rond een lama bouwen of een diamant vinden en ontginnen.
Voyager blinkt uit in deze taken en presteert veel beter dan het enige andere model dat in de buurt komt, Auto-GPT. Maar ze hebben een vergelijkbare aanpak: ze gebruiken GPT-4 om onderweg hun eigen code te schrijven.
Normaal gesproken train je een model gewoon op al die goede Minecraft-gegevens en hoop je dat het erachter komt hoe je skeletten kunt bestrijden als de zon ondergaat. Voyager begint echter relatief naïef en terwijl hij dingen in het spel tegenkomt, heeft hij een klein intern gesprek met GPT-4 over wat hij moet doen en hoe.
Begeleiden van de volgende actie en het toevoegen van vaardigheden aan de stapel. Beeldcredits: MijnDojo
De avond valt bijvoorbeeld en deze skeletten komen tevoorschijn. De agent heeft er een algemeen idee over, maar vraagt zich af: wat zou een goede speler van dit spel doen als er monsters in de buurt zijn? Nou, zegt GPT-4, als je de wereld veilig wilt verkennen, moet je een zwaard maken en uitrusten, en dan het skelet ermee raken zonder geraakt te worden. En dat algemene gevoel van wat te doen vertaalt zich in specifieke doelen: steen en hout verzamelen, een zwaard maken aan de knutseltafel, het uitrusten en een skelet bestrijden.
Zodra deze dingen zijn gedaan, worden ze geïmporteerd in een bibliotheek met algemene vaardigheden, zodat hij later, wanneer de taak is “ga diep in een grot om ijzererts te vinden”, niet helemaal opnieuw hoeft te leren vechten. Het gebruikt nog steeds GPT, maar het gebruikt de goedkopere en snellere GPT-3.5, die het de vaardigheden vertelt die het meest relevant zijn voor een bepaalde situatie – het probeert dus niet mijnen te skeletten en erts te bestrijden.
Het is vergelijkbaar met een agent als Auto-GPT die, wanneer hij wordt geconfronteerd met een interface die hij nog niet kent, zichzelf moet leren navigeren om zijn doel te bereiken. Maar Minecraft is een veel diepere omgeving dan het gewend is op te lossen, dus een gespecialiseerde agent als Voyager doet het veel beter. Het vindt meer dingen, leert meer vaardigheden en verkent een veel groter gebied dan andere robots.
Interessant, maar misschien niet verrassend, veegt GPT-4 de vloer aan met GPT-3.5 (dwz ChatGPT) als het gaat om het genereren van bruikbare code. Een test die de eerste door de laatste verving, zorgde ervoor dat de agent vroeg, misschien letterlijk, tegen een muur liep en niet verbeterde. Als je met de twee modellen praat, is het misschien niet duidelijk dat de ene veel slimmer is, maar de waarheid is dat je niet bijzonder slim hoeft te zijn om een ogenschijnlijk intelligent gesprek te voeren (vraag me hoe ik dat weet). Coderen is veel moeilijker en GPT-4 was daar een grote update.
Het doel van dit onderzoek is niet om Minecraft-spelers te verslaan, maar om methoden te vinden waarmee relatief eenvoudige AI-modellen zichzelf kunnen verbeteren op basis van hun “ervaringen”, bij gebrek aan een beter woord. Als we robots willen hebben die ons helpen in onze huizen, ziekenhuizen en kantoren, zullen ze deze lessen moeten leren en toepassen op toekomstige acties.
Je kunt hier meer lezen over Voyager.
