LegoGPT: Yapay Zeka, Metin İsteklerini Lego Yaratımlarına Dönüştürüyor

Carnegie Mellon Üniversitesi’ndeki araştırmacılar, yazılı açıklamalardan gerçek dünya Lego yapıları oluşturan yeni bir AI sistemi olan LegoGPT’yi tanıttı.

Bu, sadece bir metin komutunu takip etmekle kalmayıp – “akıcı, uzun bir yapı” gibi – aynı zamanda sonuçta ortaya çıkan yapının fiziksel olarak kararlı olduğunu ve tuğla tuğla inşa edilebileceğini de garanti eden ilk yapay zekasıdır.

“Bunu başarmak için, LEGO tasarımlarının büyük ölçekli, fiziksel olarak kararlı bir veri setini ve bunların ilişkili açıklamalarını oluşturuyoruz,” dedi ekip araştırma makalesinde.

LegoGPT, GPT-4o tarafından oluşturulan detaylı açıklamalarla eşleştirilmiş 47.000’den fazla kararlı Lego modeli kullanılarak eğitildi. Bunlar 3D şekillerden inşa edildi, Lego yapılarına dönüştürüldü ve daha sonra fizik simülasyonları kullanılarak gerçek dünya kararlılığı için test edildi.

Her yapı, AI’nın çeşitli tasarımların kelimelerle nasıl görünmesi gerektiğini öğrenebilmesi için 24 açıdan ayrıca tarif edildi.

Ekip, “fizik bilincine sahip geri alım” adı verilen özel bir teknik kullandı. Bu teknikte, bir tasarımın kararsız kısımları çıkarılır ve tüm yapı dayanacak şekilde yeniden inşa edilene kadar tekrar inşa edilir. Bu, inşa başarı oranlarını %24’ten %98.8’e yükseltti.

AI modeli, Meta’nın LLaMA-3.2-Instruct’una dayanarak, bir sonraki Lego tuğlasının nerede konulacağını öngörür – bu, ChatGPT’nin bir sonraki kelimeyi tahmin etmesine benzer. Önerilen her tuğla, modele eklenmeden önce yerleştirme, boyut ve olası çarpışmalar açısından kontrol edilir.

LegoGPT’nin yaratımları hem insanlar hem de robotlar tarafından inşa edilebilir. “Deneylerimiz, LegoGPT’nin kararlı, çeşitli ve estetik açıdan hoş Lego tasarımları ürettiğini ve bu tasarımların girdi metin istemleriyle yakından uyum sağladığını gösteriyor,” diye yazdı araştırmacılar.

Şimdilik, LegoGPT sadece sekiz temel tuğla türünü kullanıyor ve 20×20×20’lik bir alanda çalışıyor, ancak ekip bunu genişletmeyi umuyor.

Tüm veri setleri, kodları ve modelleri ücretsiz olarak erişilebilir, böylece diğerleri bu araştırma üzerine inşa etmeye devam edebilir. Alternatif olarak, demonstrasyonları ile oynamayı tercih edebilirsiniz.