Warstwa oprogramowania między humanoidem a pracą, której Państwo od niego oczekują.
Sentio OS to warstwa aplikacyjna i uruchomieniowa, która działa nad własnym oprogramowaniem robota. Nie zastępuje firmware'u producenta, Linuksa ani niskopoziomowego sterowania i zabezpieczeń.
Zachowanie składa się z bloków, używa ponownie jako Skille, wyzwala przyciskiem, gestem albo tym, co robot zobaczy, i uruchamia na samym robocie, offline. Dostępny już dziś dla Unitree G1 EDU.
Ekran główny: stan robota, szybkie polecenia i to, co jest uruchomione.
Humanoid przyjeżdża z silnikami, czujnikami i podstawową aplikacją. Sentio OS zamienia je w zadania bez miesięcy integracji.
Sentio OS uruchamia się jako kontener na drugim komputerze G1 albo na Sentio Backpack, który robot nosi. Jeden kabel Ethernet. Nic w robocie nie jest nadpisywane.
W edytorze wizualnym łączy się kroki i warunki: mów, słuchaj, patrz, gestykuluj, idź, chwytaj. Całość zapisuje się jako Skill z własnym wyzwalaczem.
Start z interfejsu webowego, przyciskiem kontrolera, gestem albo wyzwalaczem. Przebieg widać krok po kroku. Wszystko zatrzymuje jeden przycisk.
Dostępne już dziś na Unitree G1 EDU. Tam, gdzie potrzebne jest akcesorium, podajemy jego nazwę.
Zachowanie składane z bloków w przeglądarce, sprawdzane przed uruchomieniem, z wyróżnionym aktualnym krokiem.
Wideo: Flow 1/6 →Dostępne
Asystent AI bezpośrednio w edytorze. Wystarczy napisać, co robot ma zrobić, a potem doprecyzować: „pomachaj po powitaniu”. Każda zmiana jest wyróżniona, a jedno kliknięcie ją zachowuje albo cofa. Asystent nigdy nie wymyśla czegoś, czego robot nie potrafi.
Dostępne
Flow zapisany jako Skill pojawia się wśród akcji i można go uruchomić przyciskiem, ruchem nadgarstka albo tym, co robot zobaczy.
Dostępne
Wykrywanie przedmiotów i ludzi, znaczniki AprilTag, rozpoznawanie twarzy i powitanie po imieniu, opis sceny.
Wideo →Dostępne · kamera RealSense
Słuchanie, polecenia głosowe, agent konwersacyjny i synteza mowy. Angielski, czeski i słowacki. Rozpoznawanie mowy (NVIDIA Parakeet) i głos (Piper) działają lokalnie, bez internetu, albo, do wyboru, w chmurze. Przy modelach lokalnych żadne dane nie opuszczają robota.
Wideo →Dostępne · mikrofon
Robot gestykuluje, gdy mówi: gesty są planowane na podstawie treści każdego zdania, wstrzymywane w pauzach, wykonywane obiema rękami jednocześnie. Styl subtelny, naturalny lub ekspresyjny, wypróbowany na modelu 3D. Gdy robot nie mówi, oddycha, a jego ramiona swobodnie się poruszają.
Dostępne
Robot zasiada przy okrągłym stole. Słucha mówców, odpowiada, a jego gesty i światła zależą od tego, czy mówi, czy słucha. Kwestie wypełniające są odtwarzane natychmiast, bez niezręcznych pauz.
Dostępne · mikrofon
Uczenie pozycji ramienia przez prowadzenie ręki, praca w siatce nad stołem, śledzenie przedmiotu, podnoszenie i odkładanie chwytakiem Sentio.
Wideo →Dostępne · chwytak Sentio
Dojście do znacznika, szukanie go, chodzenie przez wolną przestrzeń według LiDAR-u, prowadzenie robota za rękę przez człowieka. Mapa doprecyzowuje się z każdym przejściem, a ściany i szkło można dorysować.
Wideo →Dostępne · LiDAR opcjonalnie
Keynote & Show: kwestie prezentera i robota z dźwiękiem, odtwarzane z jednego miejsca. Gesty do każdej kwestii powstają automatycznie.
Wideo →Dostępne
Telemetria, obciążenie i temperatury, sprzętowy watchdog, czarna skrzynka z zapisem tego, co się działo, oraz przycisk zatrzymania wszystkiego.
Dostępne
Ramię nigdy nie wykonuje skoków, a STOP hamuje w kontrolowany sposób. Gdy robot zaczyna iść albo się przegrzewa, Sentio luzuje ramiona, by zachować równowagę i chronić silniki. Zatrzymanie wszystkiego zatrzymuje też automatyczne gesty. Podczas chodzenia robot zatrzymuje się przed przeszkodą wykrytą przez LiDAR.
Dostępne
Wszystko, co robi interfejs, jest wywołaniem HTTP pod /api/v1 z interaktywną dokumentacją na robocie. SDK to lekki klient w Pythonie, który wysyłamy na życzenie.
Developer Preview
Flow może sterować ramieniem robota współpracującego i inteligentnym gniazdkiem Shelly: humanoid włącza maszynę albo podaje część cobotowi.
Wideo: humanoid i cobot → Zademonstrowano
Zdalne sterowanie ramionami bez gogli VR i bez wydajnego GPU, do demonstracji i zbierania danych.
W opracowaniuPrzetestowano na Unitree H2: chodzenie i podstawowe Flow działają, pozycje ramion wymagają jeszcze dostrojenia do dłuższych ramion. Na razie nieobsługiwany. Celem jest wspólna warstwa możliwości.
Przetestowano · jeszcze nieobsługiwaneMenu odpowiada temu, co chcą Państwo zrobić: Home, Robot, Devices, Run i Teach. Pomoc jest wbudowana. Po angielsku i czesku.
Gdy zobaczysz osobę → przywitaj się → pomachaj → idź do znacznika „Stół”.
Bloki są nazwane tak, jak działa robot: Talk, Look, Arm, Walk. Osoby z produkcji mogą przełączyć się na słownictwo fabryczne, a obok bloków program jest wypisany linia po linii.
Flow jest sprawdzany przed startem i pokazuje, który krok właśnie trwa. Zapisany jako Skill dostaje własny wyzwalacz. Własne Skille buduje się we Flow; wyspecjalizowane może dostarczyć integrator.
Jeśli widzisz osobę: powiedz „Widzę cię” i pomachaj. W przeciwnym razie: zapytaj „Czy ktoś tu jest?”
Sentio OS to jeden obraz Docker dla 64-bitowego ARM. Działa obok oryginalnego oprogramowania robota i nigdy go nie nadpisuje. Po wyłączeniu robot działa jak wcześniej.
Kontener instaluje się na drugim komputerze robota (Jetson Orin NX). Samo oprogramowanie, bez dodatkowego sprzętu.
Gotowy zestaw, który robot nosi: Jetson Orin Nano Super, zasilanie z akumulatora robota i chwytak Sentio, zainstalowane i przetestowane. Jeden kabel Ethernet przy szyi robota.
64-bitowy Linux na ARM z Dockerem, co najmniej 8 GB RAM, dysk NVMe, przewodowy Ethernet do robota. GPU nie jest dziś potrzebne.
Licencja jest przypisana do jednego robota i ważna przez rok, z aktualizacjami w cenie. To podpisany plik: robot nie musi się z niczym łączyć, więc działa na targach i w sieci zamkniętej. Licencja wieczysta jest dostępna na życzenie.
Dla firm, które kupiły humanoida albo wkrótce go kupią i chcą, żeby szybko zaczął działać.
Od zamkniętej skrzyni do bezpiecznie działającego robota.
Szkolenie techniczne dla Państwa programistów i inżynierów.
Wspólnie testujemy jedno konkretne nowe zastosowanie humanoida.
Specyfikacja techniczna nie jest potrzebna. Wystarczy napisać, co chcą Państwo wypróbować, albo zainstalować Sentio OS i przekonać się samodzielnie.
