MIT przedstawił nowy model sztucznej inteligencji, który potrafi obsługiwać oprogramowanie CAD niemal tak samo jak ludzki inżynier. Narzędzie zamienia dwuwymiarowy szkic w pełny model 3D, wykonując realne kliknięcia myszą, wybory narzędzi i sekwencje poleceń w programie projektowym. Celem badaczy jest uproszczenie skomplikowanego procesu nauki CAD oraz przyspieszenie codziennej pracy projektantów i inżynierów.
VideoCAD – największy zbiór danych pokazujący prawdziwą pracę w CAD
Aby nauczyć AI obsługi zaawansowanego oprogramowania projektowego, zespół MIT stworzył unikatowy zbiór danych VideoCAD. Obejmuje on ponad 41 tysięcy nagrań, które pokazują krok po kroku, jak ludzie budują modele 3D w CAD (od rysowania pojedynczych linii po wykonywanie złożonych operacji, takich jak wyciągnięcia czy edycje szkiców).
Nagrania nie tylko prezentują komendy wysokiego poziomu, ale również szczegółowe działania interfejsowe: kliknięcia, przeciągnięcia myszą, wybory narzędzi i obszarów roboczych. To właśnie ten poziom detalu pozwolił modelowi zrozumieć nie abstrakcyjne polecenia, lecz rzeczywiste zachowanie użytkownika.
Jak działa nowy agent AI
Aby stworzyć system, który naprawdę „używa” CAD-u, badacze musieli połączyć dwa światy: wysokopoziomowe komendy znane z dokumentacji projektowej i rzeczywiste akcje wykonywane przez użytkownika w interfejsie.
Model MIT nie ogranicza się więc do informacji typu „narysuj linię” czy „wyciągnij szkic”. Zamiast tego odtwarza całą sekwencję czynności potrzebnych do wykonania tych operacji. Zaczyna od wskazania konkretnego punktu pikselowego, przez zaznaczenie właściwego narzędzia, po przeciągnięcie myszy we właściwym kierunku.
W efekcie AI potrafi przyjąć 2D szkic jako wejście i samodzielnie, klik po kliku, zbudować kompletny model 3D. Co ważne, działa to zarówno dla prostych elementów, jak wsporniki, jak i bardziej złożonych form, na przykład projektów domów.
Potencjał: CAD co-pilot dla inżynierów i początkujących
Dzięki VideoCAD badacze widzą możliwość stworzenia pełnoprawnego CAD-owego „co-pilota” czyli asystenta, który nie tylko automatycznie zamienia szkice 2D w modele 3D, ale także wspiera użytkownika podczas projektowania.
Taki agent mógłby proponować kolejne kroki konstrukcyjne lub przejmować powtarzalne i czasochłonne sekwencje kliknięć. Być może nawet pomagać osobom, które dopiero zaczynają przygodę z projektowaniem. W praktyce oznacza to mniejsze bariery wejścia w świat CAD oraz szybszą, bardziej płynną pracę dla doświadczonych inżynierów.
Co dalej? Prezentacja na NeurIPS i kierunki rozwoju
Zespół MIT nie zamierza zatrzymywać się na obecnej wersji modelu. Naukowcy już trenują AI na bardziej złożonych kształtach i pracują nad rozszerzeniem VideoCAD. Wszystko po to, aby agent mógł obsługiwać coraz szerszy zakres operacji jak skomplikowane geometrie czy projektowanie wieloelementowych zespołów.
Swoje osiągnięcia badacze zaprezentują w grudniu na prestiżowej konferencji NeurIPS, gdzie zapowiedzą dalsze ambicje: stworzenie wielosystemowych asystentów CAD, zdolnych radzić sobie z różnymi programami, rzeczywistymi błędami użytkowników i chaotycznymi, ludzkimi sposobami pracy.
