Roboty przechodzą szkolenie, aby przejść od oglądania filmów
Narzędzia-AS-Interface, metoda tylko dwóch aparatów, która uczy roboty narzędzia, z wysokim średnim wskaźnikiem sukcesu i skraca czas gromadzenia danych.
Zespół badawczy z University of Illinois we współpracy z Columbia University i UT Austin, zaprezentował ramy, które szkoli roboty do korzystania z narzędzi, ucząc się bezpośrednio ze zwykłych ludzkich filmów.Metoda podaje wyższy wskaźnik sukcesu w wykonywaniu konkretnych zadań i szybszego gromadzenia danych niż podstawy bazowe oparte na teleoperacji, wskazując na tańszą drogę do nauczania umiejętności dynamicznych.
Podejście, zwane narzędziami, robot uczy się na podstawie danych, zebrane przez dwa widoki kamery RGB osoby wykonującej zadanie.Model rekonstrukcji 3D (MAST3R) buduje geometrię sceny;3D Gaussian Synthesise Synthesise dodatkowe widoki w celu poprawy odporności.
Zdarza się prawdziwa magia z usunięciem ludzi z filmu.Z uziemionym SAM detektorem obiektów otwartym do połączenia z modelem segmentu cokolwiek (SAM).System śledzi tylko narzędzie i jego interakcję z sceną, ignorując od niego człowieka.
Następnie system szacuje 6-dof-6 stopień narzędzia naśladowania i uczy zasady skoncentrowanej na narzędzia, która łączy się z transferem krzyżowym.
Zespół zatwierdził ramy w pięciu zadaniach, które wymagają szybkości lub precyzji: wbijanie paznokci, zbieranie klopsika, przewracanie jedzenia na patelni, równoważenie butelki wina i kopanie piłki nożnej w bramkę.W tych zadaniach metoda osiągnęła 71% wyższy średni wskaźnik powodzenia niż polityka dyfuzyjna przeszkolona na podstawie danych teleoperacyjnych i skrócony czas gromadzenia danych o 77%.Niektóre zadania zostały rozwiązane tylko przez te ramy w zgłoszonych testach.
Rurociąg danych wykorzystuje kamery towarowe i nie wymaga operatorów po stronie robota ani platform do przechwytywania ruchu.To zmniejsza złożoność konfiguracji i może skalować się do demonstracji zarejestrowanych poza laboratorium.
Ograniczenia pozostają.Obecny system zakłada sztywne narzędzie przymocowane do chwytaku i może cierpieć z powodu błędów w zakresie oszacowania;Synteza opinii powieści może ulec degradacji przy dużych zmianach punktu widzenia.Ograniczenia te kierują następnym zestawem celów inżynieryjnych.