← 概要に戻る
Sentio OS

Sentio OS

ヒューマノイドと、任せたい仕事をつなぐソフトウェアレイヤー。

Sentio OSは、ロボット自身のソフトウェアの上で動作するアプリケーション兼ランタイムレイヤーです。メーカーのファームウェア、Linux、低レベルの制御と安全機能を置き換えることはありません。

動作をブロックで組み立て、スキルとして再利用し、ボタン、ジェスチャー、ロボットが見たものをトリガーに起動し、ロボット本体でオフライン実行します。Unitree G1 EDU向けに提供中です。

Sentio OS · Home
Sentio OSのホーム画面:ロボットの状態、発話、ジェスチャー、聞き取り

ホーム画面:ロボットの状態、クイックコマンド、実行中の内容。

仕組み

接続する。組み立てる。実行する。

ヒューマノイドは、モーターとセンサー、基本的なアプリを備えて届きます。Sentio OSは、数か月のインテグレーションなしに、それらを仕事に変えます。

01

ロボットを接続する

Sentio OSを、G1の2台目のコンピューター上のコンテナとして、またはロボットが背負うSentio Backpackで実行します。イーサネットケーブル1本。ロボット内部は何も書き換えません。

02

Flowを組み立てる

ビジュアルエディターでステップと条件を組み合わせます:話す、聞く、見る、ジェスチャー、歩く、つかむ。専用のトリガーを持つスキルとして保存します。

03

ロボットで実行する

Webインターフェース、コントローラーのボタン、ジェスチャー、トリガーから起動します。実行の様子をステップごとに確認できます。ボタン1つですべてを停止できます。

機能

Sentio OSがひとつにまとめるもの。

Unitree G1 EDUで現在ご利用いただけます。アクセサリーが必要な場合は、その名称を記載しています。

Sentio Flowエディター:発話、タグまで歩く、コンセントをオンにする、アームのポーズ、「人が見えたら」の条件

ビジュアルFlow

ブラウザでブロックから組み立てる動作。実行前にチェックされ、実行中のステップがハイライトされます。

動画:Flow 1/6 →提供中
FlowエディターのAIアシスタント:「最後に手を振る」と依頼すると、末尾にジェスチャーを追加して新規として表示し、「元に戻す」と「保持」のボタンを示す

会話で組み立てる

エディターに組み込まれたAIアシスタント。ロボットにさせたいことを書き、そのあとで調整します:「挨拶の後に手を振って」。変更箇所はすべてハイライトされ、ワンクリックで保持するか元に戻せます。ロボットにできないことを勝手に作り出すことはありません。

提供中
Sentio OSでのReporterスキルのトリガー:ロボットのコントローラーのY + F2ボタン

スキルとトリガー

スキルとして保存したFlowはアクションの一覧に表示され、ボタン、手首の動き、ロボットが見たもので起動できます。

提供中
Sentio OSのロボットカメラが顔を認識して「Martin」とラベル付けしている。壁にはAprilTagマーカー

カメラとビジョン

物体と人の検出、AprilTagマーカー、顔認識と名前での挨拶、シーンの説明。

動画を見る →提供中 · RealSenseカメラ
Sentio OSでのロボットとの会話:Sentiが教師にインタビューし、チェコ語と英語で応答している

音声と会話

聞き取り、音声コマンド、会話エージェント、音声合成。英語、チェコ語、スロバキア語。音声認識(NVIDIA Parakeet)と音声合成(Piper)はインターネットなしでローカル動作し、クラウドを選ぶこともできます。ローカルモデルなら、データがロボットの外に出ることはありません。

動画を見る →提供中 · マイク
Sentio OSのジェスチャートレーナー:入力した文に合わせてロボットの3Dモデルがジェスチャーをする

ジェスチャー

ロボットは話しながらジェスチャーをします。ジェスチャーは各文の内容から計画され、間(ま)では保持され、両アームが連動します。控えめ、自然、表現豊かのスタイルから選び、3Dモデルで試せます。話していないときは呼吸をし、アームが自然に揺れます。

提供中
Sentio OSのディスカッション:登壇者名のボタン、聞き取り、ロボットの回答の準備と発話

パネルディスカッション

ロボットが円卓の席に着きます。登壇者の話を聞いて答え、話しているか聞いているかに応じてジェスチャーをし、ライトを点灯します。つなぎのセリフが即座に再生されるので、気まずい間が生まれません。

提供中 · マイク
Sentio OSでのSentioグリッパーの操作:開く、閉じる、停止、手で動きを記録して再生

アームとグリッパー

手を取って動かすことでアームの位置を教え、テーブル上方のグリッドで作業し、物体を追跡し、Sentioグリッパーでピック&プレースを行います。

動画を見る →提供中 · Sentioグリッパー
Sentio OSのマップ:名前付きの場所、ゾーン、壁やガラスを描くツール

歩行とナビゲーション

マーカーまで歩く、マーカーを探す、LiDARで空いた空間に沿って歩く、人に手を引いてもらう。マップは歩くたびに自動で精度が上がり、壁やガラスを描き込むこともできます。

動画を見る →提供中 · LiDARはオプション
Keynote & Showでのロボットのセリフ:スウェーデン語のテキスト、発話から自動生成されたジェスチャー、音声の生成とロボットでの再生

ショーとパフォーマンス

Keynote & Show:司会者とロボットのセリフを、サウンド付きで1か所から再生します。各セリフのジェスチャーは自動で作成されます。

動画を見る →提供中
Sentio OSのモニタリング:バックパックの温度、CPU負荷、ファン、USBデバイスの24時間の履歴

モニタリングとブラックボックス

テレメトリー、負荷と温度、ハードウェアウォッチドッグ、起きたことを記録するブラックボックス、そして全停止ボタン。

提供中
Sentio OSでの歩行中の安全停止:LiDARが検知した障害物の60 cm手前でロボットが止まる

安全な動作

アームが急に跳ねることはなく、STOPは制御された形でブレーキをかけます。ロボットが歩き始めたときや過熱したときは、バランスの確保とモーターの保護のために、Sentioがアームを解放します。全停止は自動ジェスチャーも止めます。歩行中、ロボットはLiDARが検知した障害物の手前で止まります。

提供中
Sentio OS APIの対話型ドキュメント(OpenAPI 3.1):/api/v1配下のエンドポイント一覧

REST APIとPython SDK

インターフェースでできることはすべて/api/v1配下のHTTP呼び出しで、ロボット上に対話型ドキュメントがあります。SDKは軽量なPythonクライアントで、ご要望に応じてお送りします。

Developer Preview
Sentio OSでの協働ロボットのアクション:手を振る、うなずく、首を振る。チェックを入れたアクションがFlowのブロックになる

他の機械

Flowは協働ロボットアームやShellyスマートプラグも制御できます。ヒューマノイドが機械の電源を入れたり、協働ロボットに部品を手渡したりします。

動画:ヒューマノイドと協働ロボット → 実演済み
実験器具が並ぶテーブルの上で、グリッパーでピペットを持つSenti

テレオペレーション

VRヘッドセットも高性能GPUも使わないアームの遠隔操作。デモンストレーションとデータ収集のために。

開発中

その他のヒューマノイド

Unitree H2でテスト済み:歩行と基本的なFlowは動作しますが、アームの位置は長いアームに合わせた調整がまだ必要です。現時点では未対応です。目標は、共通の機能レイヤーです。

テスト済み · 未対応
画面イメージ

1つのWebインターフェースを、ノートPC、タブレット、スマートフォンで。

メニューは、やりたいことに沿って並んでいます:Home、Robot、Devices、Run、Teach。ヘルプも組み込まれています。英語とチェコ語に対応。

Sentio Flow

読める動作。

人が見えたら → 挨拶する → 手を振る → マーカー「Table」まで歩く。

ブロックの名前は、ロボットの働きそのままです:Talk、Look、Arm、Walk。製造現場の方は工場向けの用語に切り替えられ、ブロックの横にはプログラムが1行ずつ表示されます。

Flowは開始前にチェックされ、どのステップが実行中かを表示します。スキルとして保存すると、専用のトリガーが付きます。自社のスキルはFlowで作り、専門的なスキルはインテグレーターが提供できます。

Sentio OS · Flow
Sentio Flow:人が見えたら「見えていますよ」と言って手を振る。そうでなければ「誰かいますか?」と尋ねる

人が見えたら:「見えていますよ」と言って手を振る。そうでなければ:「誰かいますか?」と尋ねる

動作環境

実行方法は3つ。ロボットには手を加えません。

Sentio OSは、64ビットARM向けの1つのDockerイメージです。ロボットの純正ソフトウェアと並行して動作し、それを書き換えることはありません。オフにすれば、ロボットは元どおりに動きます。

G1 EDUの内部で

ロボットの2台目のコンピューター(Jetson Orin NX)にコンテナをインストールします。ソフトウェアのみで、追加のハードウェアは不要です。

  • Sentio Startは無料で、期限なし
  • Sentio Proトライアルを14日間
  • REST APIとPython SDK
ダウンロードしてインストール

Sentio Backpack

ロボットが背負う、すぐに使えるキット:Jetson Orin Nano Super、ロボットのバッテリーからの給電、Sentioグリッパー。インストール・テスト済みです。ロボットの首元にイーサネットケーブル1本。

  • 配線・テスト済みでお届け
  • ロボット内部への作業は不要
  • €2,990(税別)、ライセンスは別途
キットの内容

お手持ちのボード

Dockerを搭載した64ビットARM Linux、8 GB以上のRAM、NVMeストレージ、ロボットへの有線イーサネット接続。現時点でGPUは不要です。

  • Jetson Orinで検証済み
  • RK3588ボードでも動作する見込み
  • 購入前にお問い合わせください
ボードの要件
料金

ライセンスは1つ。価格も1つ。

ライセンスはロボット1台に紐づき、有効期間は1年、アップデート込みです。署名付きファイルなので、ロボットをどこにも接続する必要がなく、展示会でも閉域ネットワークでも使えます。永久ライセンスはご要望に応じてご提供します。

無料Sentio Start · シナリオ(ループは最大5回)、ボタンやコントローラーからの自動実行、発話と音声認識、ジェスチャー、腕のポーズ、腰、グリッパー、カメラ(マーカー、物体、色)、Shellyプラグ1台。期限なし。
€5,900Sentio Pro · AI(会話、「何が見える?」、AIアシスタント)、顔認識、歩行、ナビゲーション、マップ、LiDAR、ショー、発話ジェスチャー、無人運用、コボット · ロボット1台・1年あたり、税別、アップデート込み
14日間Sentio Proトライアル · 無料。HubでデバイスIDを入力して有効化
Founding Partner初期導入向けの個別条件 · ご相談ください
オーナーと開発者の方へ

立ち上げとオンボーディング。

ヒューマノイドを購入した、またはこれから購入する企業で、すぐに稼働させたい方へ。

Sentio Robot Launch

未開封の木箱から、安全に稼働するロボットまで。

  • 開梱、キャリブレーション、バッテリーと電源
  • ネットワーク、バックアップ、安全ルール
  • 基本的な動作ルーチンとデモモード
  • オペレーターのトレーニングとドキュメント
Robot Launchについて問い合わせる

Developer Onboarding

御社の開発者とエンジニア向けの技術トレーニング。

  • SDK、REST API、Pythonからのアクセス
  • カメラ、マイク、センサーデータ
  • PC2またはバックパックでのSentio OS
  • 初めての自作プログラム
開発者をオンボーディングする

パイロット

ヒューマノイドの具体的な新しい用途を1つ、一緒に検証します。

  • 物体のハンドリング(Sentioグリッパー)
  • 外観検査とトラッキング
  • 音声AIアシスタント(Gemini)
  • 対話型の受付係またはガイド
パイロットを提案する

御社では、ヒューマノイドに何を任せますか?

技術的な仕様書は不要です。試したいことをお聞かせいただくか、Sentio OSをインストールしてご自身でお確かめください。