Ohjelmistokerros humanoidin ja siltä haluamasi työn välissä.
Sentio OS on sovellus- ja ajoympäristökerros, joka toimii robotin oman ohjelmiston päällä. Se ei korvaa valmistajan laiteohjelmistoa, Linuxia eikä matalan tason ohjausta ja turvatoimintoja.
Kokoat toiminnan lohkoista, käytät sitä uudelleen Skilleinä, käynnistät sen painikkeesta, eleestä tai jostain, minkä robotti näkee, ja ajat sen itse robotissa, offline. Saatavilla nyt Unitree G1 EDU -robotille.
Aloitusnäkymä: robotin tila, pikakomennot ja käynnissä olevat toiminnot.
Humanoidi toimitetaan moottoreiden, anturien ja perussovelluksen kanssa. Sentio OS muuttaa ne tehtäviksi ilman kuukausien integrointia.
Aja Sentio OS konttina G1:n toisessa tietokoneessa tai Sentio Backpack -repussa, jota robotti kantaa. Yksi Ethernet-kaapeli. Robotin sisällä ei ylikirjoiteta mitään.
Yhdistele vaiheita ja ehtoja visuaalisessa editorissa: sano, kuuntele, katso, elehdi, kävele, tartu. Tallenna se Skilliksi, jolla on oma laukaisin.
Käynnistä se selainkäyttöliittymästä, ohjaimen painikkeella, eleellä tai laukaisimella. Seuraa suoritusta vaihe vaiheelta. Pysäytä kaikki yhdellä painikkeella.
Saatavilla jo nyt Unitree G1 EDU -robotille. Jos tarvitaan lisävaruste, se mainitaan.
Toiminta kootaan lohkoista selaimessa ja tarkistetaan ennen ajoa, ja käynnissä oleva vaihe korostetaan.
Katso: Flow 1/6 →Saatavilla
Tekoälyavustaja suoraan editorissa. Kirjoita, mitä robotin pitäisi tehdä, ja tarkenna sitten: ”vilkuta tervehdyksen jälkeen”. Jokainen muutos korostetaan, ja yhdellä napsautuksella säilytät tai perut sen. Se ei koskaan keksi sellaista, mihin robotti ei pysty.
Saatavilla
Skilliksi tallennettu Flow näkyy toimintojen joukossa, ja sen voi käynnistää painikkeella, ranteen liikkeellä tai sillä, mitä robotti näkee.
Saatavilla
Esineiden ja ihmisten tunnistus, AprilTag-merkit, kasvojentunnistus ja tervehtiminen nimeltä, näkymän kuvaus.
Katso →Saatavilla · RealSense-kamera
Kuuntelu, äänikomennot, keskusteleva agentti ja puhesynteesi. Englanti, tšekki ja slovakki. Puheentunnistus (NVIDIA Parakeet) ja ääni (Piper) toimivat paikallisesti ilman internetiä, tai voit valita pilven. Paikallisilla malleilla mikään data ei poistu robotista.
Katso →Saatavilla · mikrofoni
Robotti elehtii puhuessaan: eleet suunnitellaan kunkin lauseen sisällön mukaan, ne pidetään taukojen ajan, ja molemmat käsivarret liikkuvat yhdessä. Hillitty, luonnollinen tai ilmeikäs tyyli, jota kokeillaan 3D-mallilla. Kun robotti ei puhu, se hengittää ja sen käsivarret liikkuvat vapaasti.
Saatavilla
Robotti istuu pyöreän pöydän ääreen. Se kuuntelee puhujia, vastaa, elehtii ja vaihtaa valojaan sen mukaan, puhuuko vai kuunteleeko se. Täytelauseet toistetaan välittömästi, ilman kiusallisia taukoja.
Saatavilla · mikrofoni
Opeta käsivarren asennot ohjaamalla kättä, työskentele ruudukossa pöydän yläpuolella, seuraa esinettä, poimi ja aseta Sentio-tarttujalla.
Katso →Saatavilla · Sentio-tarttuja
Kävele merkin luo, etsi se, kulje vapaata tilaa pitkin LiDARin avulla, anna ihmisen taluttaa robottia kädestä. Kartta tarkentuu jokaisella kävelyllä, ja siihen voi piirtää seinät ja lasit.
Katso →Saatavilla · LiDAR valinnainen
Keynote & Show: juontajan ja robotin repliikit äänineen, toistetaan yhdestä paikasta. Eleet luodaan jokaiseen repliikkiin automaattisesti.
Katso →Saatavilla
Telemetria, kuormitus ja lämpötilat, laitteistopohjainen watchdog, musta laatikko tapahtumista ja pysäytä kaikki -painike.
Saatavilla
Käsivarsi ei koskaan nytkähdä, ja STOP jarruttaa hallitusti. Kun robotti lähtee kävelemään tai ylikuumenee, Sentio vapauttaa käsivarret tasapainon vuoksi ja moottorien suojaamiseksi. Pysäytä kaikki pysäyttää myös automaattiset eleet. Kävelyn aikana robotti pysähtyy LiDARin havaitseman esteen eteen.
Saatavilla
Kaikki, mitä käyttöliittymä tekee, on HTTP-kutsu polun /api/v1 alla, ja robotissa on interaktiivinen dokumentaatio. SDK on kevyt Python-asiakaskirjasto, jonka lähetämme pyynnöstä.
Developer Preview
Flow voi ohjata yhteistyörobotin käsivartta ja Shelly-älypistorasiaa: humanoidi kytkee koneen päälle tai ojentaa osan kobotille.
Katso: humanoidi ja kobotti → Esitelty
Käsivarsien etäohjaus ilman VR-laseja ja ilman tehokasta GPU:ta, esittelyihin ja datankeruuseen.
KehitteilläTestattu Unitree H2:lla: kävely ja perus-Flow't toimivat, käsivarsien asennot vaativat vielä säätöä pidempien käsivarsien vuoksi. Ei vielä tuettu. Tavoitteena on yhteinen kyvykkyyskerros.
Testattu · ei vielä tuettuValikko seuraa sitä, mitä haluat tehdä: Home, Robot, Devices, Run ja Teach. Ohjeet ovat sisäänrakennettuina. Englanniksi ja tšekiksi.
Kun näet ihmisen → tervehdi → vilkuta → kävele merkin ”Pöytä” luo.
Lohkot on nimetty robotin toiminnan mukaan: Talk, Look, Arm, Walk. Tuotannon väki voi vaihtaa tehdassanastoon, ja lohkojen vieressä ohjelma näkyy rivi riviltä.
Flow tarkistetaan ennen käynnistystä, ja se näyttää, mikä vaihe on käynnissä. Tallenna se Skilliksi, ja se saa oman laukaisimen. Omat Skillisi rakennat Flow'ssa; erikoistuneet voi toimittaa integraattori.
Jos näet ihmisen: sano ”Näen sinut” ja vilkuta. Muuten: kysy ”Onko täällä ketään?”
Sentio OS on yksi Docker-levykuva 64-bittiselle ARM-arkkitehtuurille. Se toimii robotin alkuperäisen ohjelmiston rinnalla eikä koskaan ylikirjoita sitä. Kytke se pois, ja robotti toimii kuten ennen.
Asenna kontti robotin toiseen tietokoneeseen (Jetson Orin NX). Pelkkä ohjelmisto, ei lisälaitteita.
Valmis sarja, jota robotti kantaa: Jetson Orin Nano Super, virta robotin akusta ja Sentio-tarttuja, asennettuna ja testattuna. Yksi Ethernet-kaapeli robotin niskassa.
64-bittinen ARM-Linux ja Docker, vähintään 8 Gt RAM-muistia, NVMe-tallennustila, langallinen Ethernet robottiin. GPU:ta ei toistaiseksi tarvita.
Lisenssi on robottikohtainen ja voimassa vuoden päivityksineen. Se on allekirjoitettu tiedosto: robotin ei tarvitse koskaan muodostaa yhteyttä mihinkään, joten se toimii messuilla ja suljetussa verkossa. Pysyvä lisenssi on saatavilla pyynnöstä.
Yrityksille, jotka ovat ostaneet humanoidin tai ovat ostamassa sellaista ja haluavat sen nopeasti töihin.
Suljetusta laatikosta turvallisesti toimivaksi robotiksi.
Tekninen koulutus kehittäjillesi ja insinööreillesi.
Testaamme yhdessä yhtä tiettyä humanoidin uutta käyttötapaa.
Teknistä määrittelyä ei tarvita. Kerro, mitä haluat kokeilla, tai asenna Sentio OS ja ota itse selvää.
