Google GeminiでノートPCのセンサーを音響化するWebシンセを構築

何が発表されたのか

Googleは開発者向け公式YouTubeチャンネルにおいて、大規模言語モデル「Gemini」および「Google AI Studio」「Google Antigravity」を活用した高度なエッジハードウェア連携Webアプリケーションの構築事例を公開しました。本発表は新たな市販製品の発表ではなく、Geminiの長文文脈理解能力とコード生成能力を活用した開発手法の実証（ケーススタディ）に位置づけられます。

本プロジェクトを担当したクリエイター兼エンジニアのマティアス・ピーニャ・アギレラ（Matias Piña Aguilera）氏は、MacBookなどのノートPCに内蔵されている未活用のハードウェアセンサー群に着目しました。外部のMIDIコントローラーやセンサーデバイスを接続することなく、標準のWebブラウザ環境だけでノートPCの傾きや移動、蓋の開閉角度を音響パラメータに変換するデジタルシンセサイザー「Tilt Tone」をゼロから構築しました。

従来、オペレーティングシステムの低レイヤーで処理される未公開または難解なハードウェアAPI（加速度センサーやジャイロスコープ、蓋角度センサーなど）をWebアプリケーションと連携させるには、C言語やSwift等によるネイティブブリッジの開発が必要でした。本発表では、ネット上に分散するオープンソースのドキュメントやリバースエンジニアリング情報をGeminiに入力することで、短時間で機能するコード基盤を確立できるプロセスが具体的に示されています。

発表された機能・アップデートの全容

ノートPC内蔵センサー生データ（Raw Sensor Data）の取得と統合

現代のノートPC、とりわけApple Siliconを搭載したMacBookシリーズには、多様な物理センサーが搭載されています。動画内では、非公開・非標準のハードウェアAPIを介して、X/Y/Z軸の加速度情報（Accelerometer）、傾斜角（Pitch/Roll/Yaw）、蓋の開閉角度（Lid Angle Sensor）、および環境光センサー（Ambient Light Sensor）のデータを取得する構成が紹介されています。これまでのWeb開発では、これらのセンサーにJavaScriptから直接アクセスする標準的な方法が限られていました。本プロジェクトでは、Pythonパッケージ「macimu」や「apple-silicon-accelerometer」といった既存のオープンソースリポジトリの解析結果をGeminiに入力し、ローカル環境で動作するセンサー読み取りブリッジを構築しています。

Geminiによるコンテキスト統合とアーキテクチャ設計

マティアス氏は、Google AI Studio上で「Gemini（High）」モデルを選択し、オープンソースプロジェクトのREADME、APIドキュメント、C言語やSwiftのヘッダーファイルなどを包括的に入力しました。Geminiは入力された膨大な技術ドキュメントを解析し、バックエンドのPythonスクリプトからWebSocketを経由してWebブラウザへリアルタイムにセンサーデータを配信する全体アーキテクチャを設計しました。画面上のプロンプトでは「I have this idea: my laptop has different sensors... Let's make a plan」と入力されており、Geminiがツール利用の優先順位（Prioritizing Tool Usage）を判断した上で、明確な実装ステップ（Implementation Plan）とプロトタイプコードを回答する様子が示されています。

Web Audio APIとTone.jsによるインタラクティブ音源処理

フロントエンド側では、Web Audioライブラリである「Tone.js」を採用し、取得したリアルタイムのセンサー数値を音調やエフェクトのパラメータへ動的にマッピングしています。Geminiはセンサーデータ（例: 蓋の角度104度、ロール角-5度など）をモジュレーションマトリクスへ変換する処理ロジックを記述しました。これにより、オシレーターの周波数設定、フィルターカットオフ（Filter Cutoff）、アルペジエーター速度（Arp Speed）、リバーブミックス（Reverb Mix）、ビブラートの深さなどのパラメータが、PCの物理的変化に応じてミリ秒単位で更新されるシステムが完成しました。

3DビジュアルハブとリアルタイムモニタリングUI

開発されたアプリケーション「Tilt Tone」のダッシュボードには、Three.jsなどの3Dライブラリを用いて描画されたノートPCのリアルタイムモデルが配置されています。PCを物理的に傾けたり蓋を閉めたりすると、画面上の3Dオブジェクトも同一の角度（104°、131°、27°など）へ即座に連動します。画面左側には「MODULATION MATRIX」「SCALE ENGINE」「DRUM ENGINE」「SYNTH ENGINE」といった制御パネルが並び、入力されたセンサー値がどのように音響エンジンへ割り振られているかを視覚的にデバッグ・調整できる仕様になっています。

物理ジェスチャーによるリアルタイム音響パフォーマンス

デモ映像では、屋外の屋上庭園においてマティアス氏がMacBook本体を手で持ち上げ、空中で左右に傾けたり、画面（蓋）を開閉したり、本体を上下に振ったりして演奏する姿が記録されています。ノートPCの角度を深く傾けることでフィルターカットオフが開き、高音域が開放されると同時に、蓋を閉じる動作に連動して音量が減衰・消音されるなどの音響制御が完全にリアルタイムで行われています。追加のMIDIキーボードやモーションセンサーを一切使用せず、単体のノートPCのみで楽器として機能することが実証されました。