Softvérová vrstva medzi humanoidom a prácou, ktorú od neho chcete.
Sentio OS je aplikačná a runtime vrstva, ktorá beží nad vlastným softvérom robota. Nenahrádza firmvér výrobcu, Linux ani nízkoúrovňové riadenie a bezpečnosť.
Správanie poskladáte z blokov, opakovane ho používate ako Skilly, spúšťate tlačidlom, gestom alebo niečím, čo robot uvidí, a beží priamo na robote, offline. Dostupné už dnes pre Unitree G1 EDU.
Domovská obrazovka: stav robota, rýchle povely a to, čo práve beží.
Humanoid príde s motormi, senzormi a základnou aplikáciou. Sentio OS z nich urobí úlohy bez mesiacov integrácie.
Spustite Sentio OS ako kontajner na druhom počítači G1 alebo v batohu Sentio Backpack, ktorý robot nosí. Jeden ethernetový kábel. Vnútri robota sa nič neprepisuje.
Vo vizuálnom editore kombinujete kroky a podmienky: hovor, počúvaj, pozeraj, gestikuluj, choď, uchop. Uložte to ako Skill s vlastným spúšťačom.
Spustíte ho z webového rozhrania, tlačidlom na ovládači, gestom alebo spúšťačom. Sledujete, ako beží krok za krokom. Všetko zastavíte jedným tlačidlom.
Už dnes dostupné na Unitree G1 EDU. Ak je potrebné príslušenstvo, je uvedené.
Správanie poskladané z blokov v prehliadači, skontrolované pred spustením, so zvýrazneným bežiacim krokom.
Pozrieť: Flow 1/6 →Dostupné
AI asistent priamo v editore. Napíšte, čo má robot urobiť, a potom to spresnite: „po pozdrave zamávaj“. Každá zmena je zvýraznená a jedným kliknutím ju ponecháte alebo vrátite späť. Nikdy si nevymýšľa, čo robot nedokáže.
Dostupné
Flow uložený ako Skill sa objaví medzi akciami a dá sa spustiť tlačidlom, pohybom zápästia alebo tým, čo robot uvidí.
Dostupné
Detekcia objektov a ľudí, značky AprilTag, rozpoznávanie tvárí a pozdrav menom, opis scény.
Pozrieť →Dostupné · kamera RealSense
Počúvanie, hlasové povely, konverzačný agent a syntéza reči. Angličtina, čeština a slovenčina. Rozpoznávanie reči (NVIDIA Parakeet) a hlas (Piper) bežia lokálne bez internetu, alebo si zvolíte cloud. Pri lokálnych modeloch neopustia robota žiadne dáta.
Pozrieť →Dostupné · mikrofón
Robot pri reči gestikuluje: gestá sa plánujú podľa obsahu každej vety, v pauzách sa podržia, obe ruky pracujú spolu. Jemný, prirodzený alebo expresívny štýl, ktorý si vyskúšate na 3D modeli. Keď nehovorí, dýcha a ruky sa mu voľne pohybujú.
Dostupné
Robot si sadne za okrúhly stôl. Počúva rečníkov, odpovedá, gestikuluje a svieti podľa toho, či hovorí alebo počúva. Výplňové repliky zaznejú okamžite, bez trápnych páuz.
Dostupné · mikrofón
Polohy ruky naučíte robota vedením ruky, pracujete v mriežke nad stolom, sledujete objekt, uchopujete a ukladáte gripperom Sentio.
Pozrieť →Dostupné · gripper Sentio
Chôdza k značke, jej vyhľadanie, chôdza voľným priestorom podľa LiDARu, vedenie robota človekom za ruku. Mapa sa spresňuje pri každej chôdzi a dajú sa do nej zakresliť steny a sklo.
Pozrieť →Dostupné · LiDAR voliteľný
Keynote & Show: repliky moderátora a robota so zvukom, spúšťané z jedného miesta. Gestá ku každej replike vznikajú automaticky.
Pozrieť →Dostupné
Telemetria, zaťaženie a teploty, hardvérový watchdog, čierna skrinka so záznamom udalostí a tlačidlo na zastavenie všetkého.
Dostupné
Ruka nikdy neposkočí a STOP brzdí kontrolovane. Keď robot vykročí alebo sa prehrieva, Sentio uvoľní ruky kvôli rovnováhe a ochrane motorov. Zastavenie všetkého zastaví aj automatické gestá. Počas chôdze robot zastaví pred prekážkou, ktorú zachytil LiDAR.
Dostupné
Všetko, čo robí rozhranie, je HTTP volanie pod /api/v1 s interaktívnou dokumentáciou priamo na robote. SDK je tenký klient v Pythone, ktorý vám pošleme na požiadanie.
Developer Preview
Flow dokáže riadiť kolaboratívne robotické rameno a inteligentnú zásuvku Shelly: humanoid zapne stroj alebo podá diel kobotovi.
Pozrieť: humanoid a kobot → Predvedené
Diaľkové ovládanie rúk bez VR headsetu a bez výkonnej GPU, na ukážky a zber dát.
Vo vývojiTestované na Unitree H2: chôdza a základné Flowy bežia, polohy rúk treba pre dlhšie ruky ešte doladiť. Zatiaľ nepodporované. Cieľom je spoločná vrstva schopností.
Testované · zatiaľ nepodporovanéMenu sa riadi tým, čo chcete urobiť: Home, Robot, Devices, Run a Teach. Pomocník je vstavaný. V angličtine a češtine.
Keď uvidíš človeka → pozdrav → zamávaj → choď k značke „Stôl“.
Bloky sú pomenované podľa toho, ako robot funguje: Talk, Look, Arm, Walk. Ľudia z výroby si môžu prepnúť na slovník z výroby a vedľa blokov je program vypísaný riadok po riadku.
Flow sa pred spustením skontroluje a ukazuje, ktorý krok práve beží. Uložte ho ako Skill a získa vlastný spúšťač. Vlastné Skilly si poskladáte vo Flowe; špecializované môže dodať integrátor.
Ak vidíš človeka: povedz „Vidím ťa“ a zamávaj. Inak: opýtaj sa „Je tu niekto?“
Sentio OS je jeden Docker obraz pre 64-bitový ARM. Beží popri pôvodnom softvéri robota a nikdy ho neprepisuje. Vypnite ho a robot funguje ako predtým.
Nainštalujte kontajner na druhý počítač robota (Jetson Orin NX). Iba softvér, žiadny ďalší hardvér.
Hotová súprava, ktorú robot nosí: Jetson Orin Nano Super, napájanie z batérie robota a gripper Sentio, nainštalované a otestované. Jeden ethernetový kábel pri krku robota.
64-bitový ARM Linux s Dockerom, 8 GB RAM alebo viac, úložisko NVMe, káblový Ethernet k robotovi. GPU dnes nie je potrebná.
Licencia patrí k jednému robotovi a platí rok vrátane aktualizácií. Je to podpísaný súbor: robot sa nikdy nemusí nikam pripájať, takže funguje na veľtrhu aj v uzavretej sieti. Trvalá licencia je dostupná na požiadanie.
Pre firmy, ktoré humanoida kúpili alebo sa na to chystajú a chcú, aby rýchlo fungoval.
Od zatvorenej debny po bezpečne fungujúceho robota.
Technické školenie pre vašich vývojárov a inžinierov.
Spoločne otestujeme jedno konkrétne nové využitie humanoida.
Technické zadanie nepotrebujete. Povedzte nám, čo chcete vyskúšať, alebo si nainštalujte Sentio OS a zistite to sami.
