LegoGPT: AI verandert tekstprompts in Lego creaties

Onderzoekers aan de Carnegie Mellon University hebben LegoGPT geïntroduceerd, een nieuw AI-systeem dat echte Lego-creaties bouwt vanuit geschreven beschrijvingen.

Het is de eerste AI in zijn soort die niet alleen een tekstprompt volgt – zoals “een gestroomlijnd, verlengd vaartuig” – maar ook ervoor zorgt dat de resulterende structuur fysiek stabiel is en steen voor steen kan worden gebouwd.

“Om dit te bereiken, construeren we een grootschalige, fysiek stabiele dataset van LEGO-ontwerpen, samen met hun bijbehorende bijschriften,” legde het team uit in hun onderzoekspaper.

LegoGPT werd getraind met behulp van meer dan 47.000 stabiele Lego-modellen gecombineerd met gedetailleerde bijschriften gegenereerd door GPT-4o. Deze zijn gebouwd uit 3D-vormen, omgezet in Lego-structuren, en vervolgens getest op stabiliteit in de echte wereld met behulp van fysieke simulaties.

Elke structuur werd ook beschreven vanuit 24 invalshoeken zodat de AI kon leren hoe verschillende ontwerpen er in woorden uit zouden moeten zien.

Het team gebruikte een speciale techniek genaamd “physics-aware rollback”, waarbij instabiele delen van een ontwerp worden verwijderd en opnieuw opgebouwd tot de hele structuur standhoudt. Dit verhoogde de succespercentages van de bouw van 24% naar 98,8%.

Het AI-model, gebaseerd op Meta’s LLaMA-3.2-Instruct, voorspelt welk Lego-blokje vervolgens geplaatst moet worden – vergelijkbaar met hoe ChatGPT het volgende woord voorspelt. Elke voorgestelde steen wordt gecontroleerd op plaatsing, grootte en mogelijke botsingen voordat deze aan het model wordt toegevoegd.

De creaties van LegoGPT kunnen zowel door mensen als robots worden gebouwd. “Onze experimenten tonen aan dat LegoGPT stabiele, diverse en esthetisch aantrekkelijke Lego-ontwerpen produceert die nauw aansluiten bij de input van tekstprompts,” schreven de onderzoekers.

Voor nu maakt LegoGPT gebruik van slechts acht basis soorten bouwstenen en werkt binnen een ruimte van 20×20×20, maar het team hoopt dit uit te breiden.

Hun volledige dataset, code en model zijn gratis toegankelijk, zodat anderen verder kunnen bouwen aan dit onderzoek. Als alternatief kun je gewoon een beetje spelen met hun demo.