Szoftverréteg a humanoid és a tőle várt munka között.
A Sentio OS alkalmazás- és futtatási réteg, amely a robot saját szoftverére épülve fut. Nem váltja ki a gyártó firmware-ét, a Linuxot, sem az alacsony szintű vezérlést és biztonságot.
A viselkedést blokkokból állítja össze, Skillként újra felhasználja, gombbal, gesztussal vagy azzal indítja, amit a robot lát, és magán a roboton futtatja, offline. Már ma elérhető Unitree G1 EDU-hoz.
A kezdőképernyő: a robot állapota, gyorsparancsok és az, ami éppen fut.
A humanoid motorokkal, szenzorokkal és egy alapalkalmazással érkezik. A Sentio OS ezekből feladatokat csinál, hónapokig tartó integráció nélkül.
Futtassa a Sentio OS-t konténerként a G1 második számítógépén vagy a robot hátán viselt Sentio Backpacken. Egyetlen Ethernet-kábel. A robotban semmi sem íródik át.
Kombináljon lépéseket és feltételeket a vizuális szerkesztőben: beszéd, hallgatás, nézés, gesztus, járás, megfogás. Mentse el Skillként, saját triggerrel.
Indítsa a webes felületről, a távirányító gombjával, gesztussal vagy triggerrel. Kövesse a futását lépésről lépésre. Egyetlen gombbal mindent leállíthat.
Már ma elérhető Unitree G1 EDU-n. Ahol kiegészítő kell, ott megnevezzük.
A böngészőben blokkokból összeállított viselkedés, futtatás előtt ellenőrizve, az éppen futó lépés kiemelésével.
Videó: Flow 1/6 →Elérhető
AI-asszisztens közvetlenül a szerkesztőben. Írja le, mit csináljon a robot, majd finomítsa: „a köszönés után integessen”. Minden változtatás kiemelve jelenik meg, és egy kattintással megtarthatja vagy visszavonhatja. Soha nem talál ki olyat, amire a robot nem képes.
Elérhető
A Skillként mentett Flow megjelenik a műveletek között, és indítható gombbal, csuklómozdulattal vagy azzal, amit a robot lát.
Elérhető
Tárgyak és emberek észlelése, AprilTag markerek, arcfelismerés és név szerinti köszöntés, a jelenet leírása.
Videó →Elérhető · RealSense kamera
Hallgatás, hangparancsok, beszélgető ágens és beszédszintézis. Angolul, csehül és szlovákul. A beszédfelismerés (NVIDIA Parakeet) és a hang (Piper) helyben, internet nélkül fut, vagy választhatja a felhőt. Helyi modellekkel semmilyen adat nem hagyja el a robotot.
Videó →Elérhető · mikrofon
A robot beszéd közben gesztikulál: a gesztusokat az egyes mondatok tartalma alapján tervezi meg, a szünetekben kitartja őket, a két kar együtt mozog. Visszafogott, természetes vagy kifejező stílus, 3D-s modellen kipróbálva. Amikor nem beszél, lélegzik, és a karjai szabadon mozognak.
Elérhető
A robot helyet foglal a kerekasztalnál. Meghallgatja a felszólalókat, válaszol, a gesztusai és a fényei pedig ahhoz igazodnak, hogy éppen beszél vagy hallgat. A töltelékmondatok azonnal elhangzanak, kínos szünetek nélkül.
Elérhető · mikrofon
Tanítsa be a karpozíciókat a kéz vezetésével, dolgozzon az asztal fölötti rácson, kövessen egy tárgyat, vegyen fel és helyezzen le tárgyakat a Sentio megfogóval.
Videó →Elérhető · Sentio megfogó
Járás markerhez, a marker megkeresése, járás a szabad térben LiDAR alapján, vagy egy ember kézen fogva vezeti a robotot. A térkép minden út során pontosabbá válik, a falak és az üvegfelületek pedig berajzolhatók.
Videó →Elérhető · a LiDAR opcionális
Keynote & Show: az előadó és a robot megszólalásai hanggal, egy helyről lejátszva. Az egyes megszólalásokhoz a gesztusok automatikusan készülnek.
Videó →Elérhető
Telemetria, terhelés és hőmérsékletek, hardveres watchdog, fekete doboz a történtekről és egy mindent leállító gomb.
Elérhető
A kar soha nem ugrik, a STOP pedig szabályozottan fékez. Amikor a robot elindul vagy túlmelegszik, a Sentio elengedi a karokat az egyensúly és a motorok védelme érdekében. A mindent leállító gomb az automatikus gesztusokat is leállítja. Járás közben a robot megáll a LiDAR által észlelt akadály előtt.
Elérhető
Minden, amit a felület tesz, egy HTTP-hívás a /api/v1 alatt, interaktív dokumentációval a roboton. Az SDK egy vékony Python-kliens, amelyet kérésre elküldünk.
Developer Preview
Egy Flow kollaboratív robotkart és Shelly okoskonnektort is vezérelhet: a humanoid bekapcsol egy gépet, vagy átad egy alkatrészt a kobotnak.
Videó: humanoid és kobot → Bemutatva
A karok távvezérlése VR-headset és nagy teljesítményű GPU nélkül, bemutatókhoz és adatgyűjtéshez.
Fejlesztés alattUnitree H2-n tesztelve: a járás és az alapvető Flow-k futnak, a karpozíciókat a hosszabb karokhoz még hangolni kell. Még nem támogatott. A cél egy közös képességréteg.
Tesztelve · még nem támogatottA menü azt követi, amit tenni szeretne: Home, Robot, Devices, Run és Teach. A súgó be van építve. Angolul és csehül.
Ha embert látsz → köszönj → integess → menj az „Asztal” markerhez.
A blokkok neve azt követi, ahogyan a robot működik: Talk, Look, Arm, Walk. A gyártásban dolgozók üzemi szókészletre válthatnak, a blokkok mellett pedig a program sorról sorra is olvasható.
A Flow indítás előtt ellenőrzésen megy át, és mutatja, melyik lépés fut éppen. Mentse el Skillként, és saját triggert kap. A saját Skilljeit a Flow-ban építi fel; a specializáltakat egy integrátor szállíthatja.
Ha embert látsz: mondd: „Látlak”, és integess. Különben: kérdezd meg: „Van itt valaki?”
A Sentio OS egyetlen Docker-image 64 bites ARM-ra. A robot eredeti szoftvere mellett fut, és soha nem írja át. Kapcsolja ki, és a robot úgy működik, mint korábban.
Telepítse a konténert a robot második számítógépére (Jetson Orin NX). Csak szoftver, külön hardver nélkül.
Kész készlet, amelyet a robot a hátán visel: Jetson Orin Nano Super, tápellátás a robot akkumulátoráról és Sentio megfogó, telepítve és tesztelve. Egyetlen Ethernet-kábel a robot nyakánál.
64 bites ARM Linux Dockerrel, legalább 8 GB RAM, NVMe-tárhely, vezetékes Ethernet a robothoz. GPU ma nem szükséges.
A licenc egy robothoz tartozik, és egy évig érvényes, frissítésekkel együtt. Aláírt fájl: a robotnak soha sehová nem kell csatlakoznia, így szakkiállításon és zárt hálózaton is működik. Örökös licenc kérésre elérhető.
Olyan cégeknek, amelyek humanoidot vásároltak vagy vásárolni készülnek, és azt szeretnék, hogy gyorsan működjön.
A lezárt ládától a biztonságosan működő robotig.
Műszaki képzés fejlesztőinek és mérnökeinek.
Közösen kipróbáljuk a humanoid egy konkrét, új alkalmazását.
Nincs szükség műszaki specifikációra. Mondja el, mit szeretne kipróbálni, vagy telepítse a Sentio OS-t, és derítse ki saját maga.
