この記事の章立て 概要 何が発表された？ 前と何が違う？ 数字で見るとどう変わった？ ライバルと比べてどう？ 料金は？ 日本で使える？ 自分にはどう関係する？ まとめ 概要
Hugging Face公式ブログが公開しました。米NVIDIAのスタッフがハロウィン向けの製作を行いました。インタラクティブな動くガレージドア「MonsterHouse」の技術詳細が明らかになりました。音声認識や小型言語モデルを活用しています。音声合成や3Dアニメーションを連携させました。ローカルのワークステーション1台で動かしています。不機嫌ながらもやり取りできるキャラクターを実現しました。仕組みの全貌を詳しく見ていきましょう。
何が発表された？
今回の発表はNVIDIAのスタッフのプロジェクトです。Rick Grandy氏とMaryam Motamedi氏が手がけました。ハロウィン向けの個人プロジェクト「MonsterHouse」の技術解説です。家のガレージドアに口を模した仕掛けを作りました。トリック・オア・トリートに訪れた子供たちと会話します。会話するシステムを構築しました。
システムの中核を担うのは複数のオープンAIモデルです。ローカル環境で動作する開発ツール群も使われています。主な構成要素は次の通りです。
NVIDIA Nemotron Voice Agent : 会話や処理全体の基盤をコーディネートする仕組みNVIDIA Nemotron Speech ASR : 訪問者の音声をテキストに変換する音声認識（ASR）NVIDIA Nemotron 3.5 Bolt E4B 4GB : 会話の返答を考える小型言語モデル（SLM）NVIDIA Magpie TTS Zeroshot : 短いサンプル音声からキャラクターの声を生成する音声合成（TTS）NVIDIA Audio2Face-3D : 生成された音声に合わせてUnreal Engine 5上の口の3Dアニメーションを駆動する仕組みNVIDIA Nemotron 3 Nano Omni ＆ YOLO / ByteTrack : カメラ映像から衣装や訪問者を認識・追跡する視覚コンテキスト
これらを組み合わせてシステムを動かしています。単なるお化け屋敷の演出を超えました。リアルタイムの対話型キャラクターを作っています。ローカル環境で動かしているのが大きな特徴です。
あわせて読みたい NVIDIA Nemotron 3.5とは？機能と日本語対応状況 → 前と何が違う？
小型言語モデル「Bolt E4B」による軽量な対話
対話の頭脳としてモデルが採用されました。「NVIDIA Nemotron 3.5 Bolt E4B 4GB」という名前です。対話エージェント向けに特化して作られました。オープンな小型言語モデルです。4ビット量子化版を使用しています。限られたメモリの中でも動きます。計算資源が限られていても高速に返答できます。返答を生成できるように設計されました。LoRAアダプターを適用しています。キャラクター性を維持しています。「不機嫌な古い海賊船の木材から生まれ変わった建物」という設定です。
音声合成とリアルタイム口パクアニメーションの連携
「NVIDIA Magpie TTS Zeroshot」が使われています。ゼロショットの音声条件付けを行います。短いリファレンスマークから声を再現します。これに「Audio2Face-3D」を組み合わせました。生成された音声から自然な口の動きを抽出します。Epic Gamesの「Unreal Engine 5」を使っています。3Dキャラクターの口パクアニメーションを動かしています。リアルタイムで動作させています。
応答速度を上げるための工夫
お化け屋敷としてのテンポを損なわないようにしています。音声認識から音声合成までの応答速度が最適化されました。文の生成途中でも発話可能なテキストを順次解放します。テキストを順次解放する仕組みを取り入れました。定型文や保存済み音声を組み合わせています。音声終了から音声出力までのレイテンシを短縮しました。
視覚的なコンテキストの付加
オプションの視覚コンテキストが用意されています。視覚言語モデルを採用しました。「NVIDIA Nemotron 3 Nano Omni」がそれです。物体検出モデルも使っています。「YOLO」や「ByteTrack」を組み合わせています。これによりカメラに映った訪問者の衣装を認識します。海賊や吸血鬼や魔女などを判別します。状況に合わせた反応を返すことが可能です。
数字で見るとどう変わった？
元記事ではパフォーマンスの数値が示されています。比べる対象のない単体の測定値です。以下に箇条書きで整理します。
ボルトQ4モデルとTTSを用いた通常の応答における音声終了から音声出力までの中央値は1.70秒。
キャッシュされた応答を使用した場合は、中央値が0.72秒に短縮。
音声終了の検出には、現在300ミリ秒の無音を待つ仕様を採用。
ボードの感情表現は7つのムード（不機嫌、脅威的、面白がる、喜ぶなど）が用意され、それぞれ3〜10秒の音声サンプルを使用。
データセットの構築では5000件以上のマルチターン会話をテスト。
ライバルと比べてどう？
今回のプロジェクトは商用製品ではありません。NVIDIAのオープンモデルやツール群を組み合わせています。個人が構築したデモ事例です。そのため他社製品との直接的なベンチマーク比較はありません。しかしモデル選定の過程で比較が行われています。開発者によるとBolt E4Bは優れた選択肢です。Qwen3 30B-A3Bと比較されました。Qwen 3.6 35B-A3Bとも比較されています。他のフロントランナーモデルよりもフットプリントが小さいです。必要リソースが少ないという特徴があります。ローカルでのエージェント運用において評価されています。
料金は？
Nemotronシリーズのモデルが使われています。オープンツールや関連するOSSも使われています。その多くはオープンに提供されています。しかし今回のデモシステムの実行には条件があります。ハイエンドなワークステーション環境が必要となります。元記事で構成が紹介されました。NVIDIA RTX PRO 6000 Blackwell Max-Qが使われています。NVIDIA RTX PRO 4000 Blackwellも使われています。2基のGPUを分担して使用しています。具体的なソフトウェアの価格は公開されていません。APIの従量課金についての言及もありません。
日本で使える？
日本から試すこと自体は可能です。技術的には問題ありません。しかし公式に日本向けサービスとして提供されていません。Hugging Faceなどで公開されています。NVIDIAのオープンモデルやツール群を取得します。自身のローカル環境にダウンロードします。対応するハードウェアを用意してください。自分で構築する必要があります。日本語への対応状況について説明はありません。ローカライズについては元記事では言及されていません。
自分にはどう関係する？
エンジニアなら
音声認識や小型言語モデルが使われています。音声合成や3Dアニメーションも統合されています。ローカル環境でシステムを動かしています。低遅延なインタラクティブシステムを構築できます。具体的なパイプライン構成として大いに参考になります。
企画・マーケティングなら
最新の生成AIを組み合わせることができます。オープンモデルを活用してください。エンターテインメント施設で使えます。店舗の店頭ディスプレイなどにも応用可能です。現実世界とインタラクティブに対話します。ユニークな体験を自社で企画してください。その際のアイデアとして活用できます。
経営者・管理者なら
クラウドに依存しないシステムが作れます。ローカルのワークステーションを活用します。オープンモデルを活用してください。高度なエージェントシステムを自社内で完結させます。そのシステムの可能性を知ることができます。ハードウェア要件の目安を知る材料になります。
まとめ
NVIDIAのオープンモデルを活用したデモが公開されました。今回のデモは実践的なアプローチを示しています。ローカル環境で高度な音声エージェントを動かします。読者が次に取るべきアクションがあります。Hugging Face上の関連モデルを確認してください。Nemotron関連モデルのドキュメントに目を通しましょう。ローカルでのAIエージェント構築の可能性を検証してください。実際に試してみることをおすすめします。
