はじめに
今回は、Google が公開している WebXR + WebAI 向けの SDK XR Blocks を触ってみました。
XR Blocks は three.js の上に「空間 UI」「ハンドトラッキング / ジェスチャー」「デバイスカメラ + 深度メッシュ」「Gemini Live API との連携」といった XR アプリに必要な機能をひとまとめにしたフレームワークで、ブラウザと JavaScript だけで AR / VR アプリが作れる点が特徴です。エディタへの取り込みやネイティブビルドの工程がなく、HTML を開けばその場で動きます。
試したのは、XR Blocks の基本的な使い方と Gemini Live API との連携です。本記事では、その中で分かったことや、つまずいたところをまとめていきます。
なお、筆者は普段 Unity でアプリを開発しており、WebXR や JavaScript には不慣れなため、Claude Code を使って実装しています。
開発環境
| 項目 | 内容 |
|---|---|
| SDK | XR Blocks(CDN の @build を参照) |
| 基盤 | three.js 0.182 / WebXR |
| AI | Gemini API(Live API + Function Calling + 画像生成) |
| 実機 | Meta Quest 3(ブラウザ) |
| 開発確認 | PC Chrome + XR Blocks デスクトップシミュレータ |
XR Blocks の基本的な使い方
XR Blocks の導入方法
本体は jsDelivr(CDN)から配信されており、index.html の importmap に追加するだけで読み込めます。
<script type="importmap">
{
"imports": {
"three": "https://cdn.jsdelivr.net/npm/three@0.182.0/build/three.module.js",
"three/addons/": "https://cdn.jsdelivr.net/npm/three@0.182.0/examples/jsm/",
"xrblocks": "https://cdn.jsdelivr.net/gh/google/xrblocks@build/xrblocks.js",
"xrblocks/addons/": "https://cdn.jsdelivr.net/gh/google/xrblocks@build/addons/",
"@google/genai": "https://cdn.jsdelivr.net/npm/@google/genai/+esm"
}
}
</script>
コード側は import * as xb from 'xrblocks' で参照でき、実体の URL は importmap が解決してくれます。
機能の有効化と初期化
XR Blocks は、使いたい機能を Options でオンにしてから xb.init() で初期化します。必要な機能だけを宣言していくのが基本です。
import 'xrblocks/addons/simulator/SimulatorAddons.js'; // PC 確認用シミュレータ
import * as xb from 'xrblocks';
import {MyApp} from './MyApp.js';
const options = new xb.Options();
options.enableUI(); // 空間 UI
options.enableHands(); // ハンドトラッキング
options.enableGestures(); // ジェスチャー
options.enableAI(); // Gemini 連携
options.enableXRTransitions(); // AR ⇔ VR 遷移
// カメラ映像や深度メッシュを使う場合は、あわせて有効化する
options.deviceCamera = new xb.DeviceCameraOptions({
enabled: true,
videoConstraints: {facingMode: 'environment'},
});
options.depth.enabled = true;
options.depth.depthMesh.enabled = true;
xb.init(options);
xb.add(new MyApp()); // 後述の Script を登録
Script の作成
アプリ本体は xb.Script を継承し、init() / update() を書くだけでフレームループに乗ります。ScriptsManager がシーンを走査して自動的に初期化してくれるため、xb.add() で足せば動き始めます。
export class MyApp extends xb.Script {
constructor() {
super();
// 子の Script も this.add() すれば、親子で自動的にライフサイクルに乗る
this.add(this.child = new ChildScript());
}
async init() { /* 非同期のリソース読込や初期化 */ }
update() { /* 毎フレームの処理(UI の追従など) */ }
}
空間 UI(SpatialPanel)の作成
XR 空間に浮かぶパネルは SpatialPanel を使い、addGrid() → addRow() → addText() / addImage() と宣言的に組み立てます。生成したパネルは three.js の Object3D なので、position や lookAt() で空間内の任意の位置に置けます。
export class InfoPanel extends xb.SpatialPanel {
constructor({title, body, imageSrc}) {
super({width: 0.4, height: 0.6, backgroundColor: '#1a1a1aee', useDefaultPosition: false});
const grid = this.addGrid();
grid.addRow({weight: 0.15}).addText({text: title, fontSize: 0.08, textAlign: 'center'});
if (imageSrc) grid.addRow({weight: 0.35}).addImage({src: imageSrc});
grid.addRow({weight: 0.50}).addText({text: body, fontSize: 0.05, textAlign: 'left'});
}
}
// 任意の位置に配置してシーンに追加する
const panel = new InfoPanel({title: 'タイトル', body: '本文テキスト'});
panel.position.set(0, 1.4, -1.0);
panel.lookAt(xb.core.camera.getWorldPosition(new THREE.Vector3()));
xb.scene.add(panel);
シミュレータでの動作確認
SimulatorAddons.js を import するだけで、PC のブラウザ上で動作確認ができます。
なお、ES モジュールの制約で index.html を直接開くことはできないため、npx http-server などでローカルサーバを起動してアクセスします。
下の画像はブラウザ上のシミュレータで前述の空間 UI を表示している様子です。

Gemini Live API との連携
Gemini Live API への接続
XR Blocks では、アドオンの GeminiManager を継承するだけで、Gemini Live API への接続・マイク音声のキャプチャ・応答音声の再生・Function Calling がほぼ自動で動きます。
import {GeminiManager as CoreGeminiManager} from 'xrblocks/addons/ai/GeminiManager.js';
export class MyGeminiManager extends CoreGeminiManager {
async startGeminiLive() {
const liveParams = {
systemInstruction: this.systemPrompt, // システムプロンプトを流し込む
speechConfig: { voiceConfig: { prebuiltVoiceConfig: { voiceName: this.voice } } },
};
await super.startGeminiLive({liveParams});
}
}
応答の状態は inputTranscription(ユーザー発話の文字起こし)、outputTranscription(AI 応答の文字起こし)、turnComplete(ターン完了)、interrupted(割り込み)といったイベントで受け取れるため、UI との同期が書きやすい設計です。
なお、Gemini の API キーは keys.json に配置するか、URL パラメータ ?key=<API キー> で渡せます。ただし、これらはデモ・プロトタイピング用の仕組みなので、アプリを公開する場合はクライアントにキーを直書きせず、サーバー経由で扱うようにしてください。
Function Calling の登録
AI に「アプリ側の機能を呼ばせる」Function Calling は、xb.Tool で宣言的に登録します。name / description / parameters を渡し、onTriggered に AI から呼ばれたときの処理を書くだけです。
const tool = new xb.Tool({
name: 'show_panel',
description: '指定したテキストを空間パネルに表示する',
parameters: {
type: 'object',
properties: { text: { type: 'string', description: '表示するテキスト' } },
required: ['text'],
},
onTriggered: (args) => {
showPanel(args.text); // アプリ側の処理を呼ぶ
return { result: 'ok' };
},
});
this.tools.push(tool);
Gemini による 360° スカイボックスの生成
XR Blocks には、Live API での音声対話とは別に、Gemini で画像を生成する xb.ai.generate() も用意されています。これを使うと、プロンプトから 360° のスカイボックス画像を生成し、その場で VR の背景として貼れます。skybox_agent という、生成した画像を scene.background に直接設定するサンプルが含まれており、今回はこれを参考に、AR ⇔ VR 遷移(XRTransition)を使って背景を切り替える方式にアレンジしています。
// プロンプトから 360° の equirectangular 画像を生成する
const image = await xb.ai.generate(
`Generate a 360 equirectangular skybox image for: ${prompt}`,
'image',
'Generate a 360 equirectangular skybox image'
);
// 生成した画像をテクスチャとして読み込み、VR 背景(XRTransition)に適用する
const texture = new THREE.TextureLoader().load(image, () => {
const transition = xb.core.transition;
transition.material.map = texture;
transition.material.color.set(0xffffff);
transition.material.needsUpdate = true;
transition.toVR({color: 0xffffff, targetAlpha: 1.0}); // AR から VR 背景へ切り替え
});
enableXRTransitions() を有効にしておくと、xb.core.transition の toVR() / toAR() で AR 表示と VR 背景を切り替えられます。生成したスカイボックスを VR 背景にすると、その場の風景を丸ごと別の世界に置き換えられました。
なお、VR 背景に使われる球体は半径が固定になっているため、そのままだと背景がすぐ近くにあるように見えてしまいました。transition.scale を大きめに設定して、奥行きのある距離感に調整しています。
下の動画では「背景を神奈川沖浪裏にして」という指示をしています。
(おまけ)Meta Quest 3 で動かしてみる
XR Blocks は「Android XR(Galaxy XR)」を主なターゲットにしており、README に Quest 3 への言及はありません。しかし、手元に対応端末がなかったので、ダメ元で Quest 3 で動かしてみたところ、いくつかの対処をすれば実用レベルまで動かすことができました。ここでは、その際に困ったことと対処をまとめておきます。
HTTPS で配信する(必須)
WebXR・カメラ・マイクは暗号化された接続(HTTPS)でないと使えません。ローカルの開発機を自己署名証明書で HTTPS 配信し、Quest 3 のブラウザからアクセスします。自己署名証明書は正規の認証局を通さない仮の証明書なので、ブラウザが警告を出しますが、手動で許可して進めます。
# 初回のみ: 自己署名証明書を生成(OpenSSL 3.0 以降は -nodes の代わりに -noenc を推奨)
openssl req -newkey rsa:2048 -new -nodes -x509 -days 365
-keyout key.pem -out cert.pem -subj '/CN=localhost'
# HTTPS でローカルサーバを起動
http-server . --cors -c-1 -a 0.0.0.0 -p 8080 --ssl --cert cert.pem --key key.pem
Quest 3 のブラウザで https://<開発機の IP>:8080/... を開けば動きます。GitHub Pages など HTTPS のホスティングに上げてしまえば、証明書の警告なしでアクセスできます。
カメラパラメータが Quest 3 未登録
カメラ映像上の座標を 3D 空間に対応づけるには、デバイスごとのカメラパラメータが必要になります。検証時点(2026年4月)の XR Blocks には Galaxy XR 用しか登録されていなかったため、今回は暫定的にそれを流用しました。座標がわずかに上にずれますが、配置の精度をそこまで厳密に求めなければ許容範囲だと感じました。
なお、その後の 2026年5月の更新で、XR Blocks 本体に Quest 3 用のカメラパラメータが追加されているようです。
実機で動かした様子
下の動画は Quest 3 実機で動かしている様子です。
QRコードを読み込むと対応した作品の解説が表示されるアプリです。
また、サムズアップでマイクをオンにでき、マイク入力で「背景を神奈川沖浪裏にして」と指示してみました。
おわりに
いかがでしたでしょうか?今回は XR Blocks を触ってみて、簡単な AR アプリを作りながら基本機能と Gemini Live 連携を試し、ついでに Meta Quest 3 でも動かしてみました。お手軽に WebXR と Gemini API の連携ができ、使いやすい SDK だなと感じました。また、今回はあまり触っていませんが、公式で XR Blocks 用の Gemini の Gem も公開されているので、プログラミングに自信のない方も1度試してみてください。
