使いかた

1. 

   1床を指す

   置きたい場所を指すと、床の上に青い輪が出ます。段差や傾きのある場所でも、実際の床の上に乗ります。

2. 

   2機種を選ぶ

   青い輪の位置を決定すると、「ここに置く」メニューが表示されます。「配置」を選ぶと、ロボットの一覧が表示されます。ヒューマノイド型、四足歩行型、ロボットアーム、AMR などから、設定の「置く機器」で選んだロボットを選べます（はじめは 10 種類。8. を参照）。

3. 

   3置く

   選んだ場所に、実物と同じ大きさで表示されます。近づいて見上げることも、横から回り込むこともできます。

4. 

   4移動先を指す

   置いたロボットを選ぶと足元にオレンジの輪が出ます。そのまま床を指すと、行き先に点線の輪が出ます。ロボットから 8 m 以内の場所を移動先に指定してください。

5. 

   5動かす

   移動先を決定すると、ロボットはその方向を向いてから移動します。脚のあるロボットは歩幅に合わせて脚が動きます。

6. 

   6操作する・消す

   ロボットを選ぶとメニューが出ます。「操作」（腕のあるロボットだけ）で腕を動かし、「置き直す」で別の場所へ置き直し、「削除」で消します。ロボットの足元に表示される ⟲ または ⟳ を選んで決定すると、その場で向きを変えられます。何体でも置けます。

手首とグリッパ（ヘッドセットの操作モード）

スマートフォン・iPad は手先の位置だけを動かします。

UR5 のエンドエフェクタ

「操作」を選ぶと「エンドエフェクタ」を選べます。操作の終わりは、コントローラは B／Y ボタン、手は拳です。

• AR の中のメニュー「床の枠を決定する」で、床の四隅を決めます。ヘッドセット（Quest）では部屋の床が枠としてすぐに表示されるので、確認して「この枠で決定」を選びます。それ以外の端末では「床の角 1 を指定してください」の案内に沿って、角を1つずつ指定します。部屋の四隅は、家具の陰になっていても、角がありそうな所を指定してください。屋外では、後で見つけられる物を目印にします。
• 確認画面「床の枠の確認」が出ます。「どこを基準にしたか忘れないように、この確認画面をキャプチャすることをお勧めします」。違っていれば「指定し直す」を選びます。辺が 0.5 m より短い場合や辺が交差する場合は決定できません。
• メニュー「記録を保存」を選びます。配置したロボットと移動経路が、アカウントに保存されます。保存されるのは床の四隅の座標とメモだけで、面や映像は保存しません。実測値と「四隅のメモ」は、AR を抜けてから、記録の「実測・保存…」で入れられます。
• 保存した記録は、アプリの画面の「記録」に並びます。
• 記録を選んで AR を始めると「現実の部屋の角 1 を指定してください」と表示されます。記録したときと同じ順に、現実の部屋の角 1〜4 を1つずつ指定します。角を指定している間は、次の角の番号が付いた水色の丸が表示されるので、中心の白い点を角に合わせます（ヘッドセットでは照準を向けてトリガー、スマートフォンでは「決定」キー、iOS の WebXR Viewer では画面のどこかをタップ）。記録の角にメモがあれば、案内の後ろに表示されます。4 つ目を指定すると、記録した床の枠が 4 点に合う位置と大きさで、薄いグレーの四角で表示され、「床の枠の確認」のメニューが出ます。4 点が記録の床より狭ければミニチュアになり、ロボットと動きもその縮尺で表示されます（メニューの題に「実寸の 1/70」のように出ます。決定した後も、枠の外側の床の近くに小さく表示されます）。四角が床より浮いたり沈んだりしていれば「高さ +2 cm」「高さ −2 cm」で合わせ、「この枠で決定」を選ぶと、記録した場所と動きを再現できます（メニュー「再現」→「記録を再現」）。指定した点から離れた角は赤く表示されます。「指定し直す」で角 1 から、「キャンセル」でやめます。ずれたときはメニュー「床の枠を合わせ直す」を選び、角 1 から指定し直します。Quest・Android・iOS の WebXR Viewer ではまだ確かめていません。スマートフォンの映像画面（指 1 本で枠をスライド、2 本指で拡大・縮小）も、実機ではまだ確かめていません。目印2点で作った古い記録は、これまでどおり2か所に目印を置いて再現できます。
• 記録はアカウントごとにサーバに保存されるので、ログインした別の端末にも同じ記録が並びます。通信が切れている間は記録を端末に保存し、「サーバ未保存」と表示します。通信が復旧するとサーバへ送信します。
• ほかの人へ渡すときは、「ファイルに保存」で .json として書き出し、相手が「ファイルを開く」で読み込みます。
• 設定で MQTT ブローカーを設定すると、記録内の機器と MQTT メッセージを送受信できます。

画面をほかの人に見せたり録画したりするには、お使いの端末の画面共有・録画機能を使います。端末に表示されている画面が、そのまま別の画面に表示されます。Physical Sandbox 側の設定は要りません。

PC の「映像に重ねる」画面の映像（カメラの映像＋ロボット）を、ネットワークカメラと同じ形式で配信できます。Node-RED のダッシュボード、録画ソフト、ロボット学習のツール（LeRobot など）が、通常のカメラ映像と同じように読み込めます。映像はお使いのパソコン内で処理され、Physical Sandbox のサーバには届きません。

デジタルツインや Blender などの USD 形式のデータ、ROS 2 で記録した走行ログ（MCAP）を、JSON 形式の記録に変換してから再現します。.usda は「ファイルを開く」で開くと、画面上でそのまま記録に変換できます。MCAP と、.usda 以外の USD は、公開版に付属するツールで先に変換します。どちらの変換もお使いの端末の中で済み、場面のデータは Physical Sandbox のサーバには届きません。

• 置く機器は設定で選びます。アプリの「設定」の「置く機器」で、AR の「配置」に表示する機器を選びます。機器の一覧にあるロボットは、すべて置けます。はじめはドローンを除く 10 種類のロボットが入っています。
• 選んだ内容はお使いの端末に保存されます。アカウントには保存されないため、端末ごとに選んでください。
• 機器の一覧には、エンドエフェクタ（アームの先に付ける手）も、どの取り付け口に合うかを示すために並びます。エンドエフェクタは単独では置けません。アームを選んで「操作」を押したときに付け替えます。
• 一覧に無い機器は、公開版（physical-sandbox）のリポジトリへのプルリクエストで追加されます。追加の手順は、公開版の CONTRIBUTING.md にあります。公開された入手元とライセンスがある機器に限ります。
• 「不明な機器」は、記録がこの版に入っていない機器を使っていることを示します。その記録は一覧に並びますが、再現できません。エンドエフェクタだけが入っていない場合は、アームを手なしで表示します。
• 「機器の一覧を読み込めませんでした」と表示された場合は、ページを読み込み直してください。