NVIDIA PersonaPlex-7B: オープンソースの全二重音声AI

主な発表

NVIDIAがPersonaPlex-7B-v1をリリースした。70億パラメータの音声対音声モデルで、音声AIの会話の仕組みを根本から変える。これまで使ってきた音声アシスタントとは異なり、PersonaPlexは話し終わるのを待たずに応答を始める。聞きながら同時に話すのだ。

これを**全二重（フルデュプレックス）**インタラクションと呼び、人間が自然に会話するのと同じ方式だ。途中で割り込んでも適応する。「うんうん」「なるほど」といった相槌を、相手がまだ話している最中に返す。適切なタイミングで間を取る。硬直した発話順番も、AIが処理する間の不自然な沈黙もない。

従来の音声AIの限界

従来の音声アシスタントは3段階のパイプラインで動いており、不自然な会話フローを生む：

各段階で遅延が積み重なり、応答生成中はユーザーの声を聞けない。だからSiri、Alexa、Google Assistantとの会話はロボット的になる。話す→待つ→応答が返る→また話す、という流れだ。

PersonaPlexはこのパイプライン全体を、単一のTransformerモデルに置き換える。入力音声を処理しながら同時に音声を生成する。

コア機能

PersonaPlexの仕組み

デュアルストリームアーキテクチャ

PersonaPlexはKyutaiのMoshiアーキテクチャをベースに、Heliumを言語モデルバックボーンとして採用している。2つの並列ストリームで構成される：

• ユーザーストリーム - ユーザーのマイクからの入力音声を継続的にエンコード
• エージェントストリーム - AIの音声とテキスト応答を同時に生成

両ストリームは同じモデル状態を共有する。そのため、ユーザーが話すのとリアルタイムで応答を調整でき、割り込み、オーバーラップ発話、素早い発話交代、文脈に応じた相槌が可能になる。

Mimiニューラルオーディオコーデックが24kHzで音声のエンコード・デコードを担当し、波形をTransformerが処理できる離散トークンに変換する。

ハイブリッドペルソナ制御

PersonaPlexは会話のアイデンティティを2つの入力で定義する：

• テキストプロンプト - 役割、背景、組織、会話の文脈を記述（最大200トークン）
• ボイスプロンプト - 声質、話し方、アクセント、プロソディを捉えた音声埋め込み

このハイブリッド方式により、特定企業のカスタマーサービスエージェントを特定の声で作ったり、温かく忍耐強い賢い教師、劇的な抑揚のファンタジーキャラクターなどを作れる。ペルソナは会話全体で一貫して維持される。

デモンストレーションされたペルソナ

ベンチマーク結果

NVIDIAはPersonaPlexをFullDuplexBenchと、カスタマーサービス向けの新規拡張ServiceDuplexBenchで評価した。オープンソース・商用の両方の代替モデルに対して明確な優位性を示している。

会話ダイナミクス

レイテンシ

タスク遵守

PersonaPlexは両方のベンチマークで4.0を超える唯一のモデルで、強力な一般知識と構造化されたビジネスシナリオでの確実なタスク遵守を兼ね備えている。

学習：5,000時間未満

PersonaPlexは、実会話と合成会話を慎重に設計したブレンドで、単一ステージで学習された。

実会話

Fisher Englishコーパスからの7,303通話（1,217時間）が、自然な会話パターン（相槌、言い淀み、感情的反応、本物の発話交代）を提供。これらの録音は、GPT-OSS-120Bで詳細度を変えながらペルソナプロンプトでバックアノテーションされた。

合成会話

• 39,322のアシスタント対話（410時間）- Qwen3-32BとGPT-OSS-120Bで生成し、Resemble AIのChatterbox TTSで音声合成
• 105,410のカスタマーサービス対話（1,840時間）- 会社名、価格、運用ルールを含む構造化プロンプトで様々なビジネスシナリオをカバー

学習設計は2つの性質を分離している：実会話からの自然さと、合成シナリオからのタスク遵守。ハイブリッドプロンプト形式が両データソースを橋渡しし、自然な発話パターンと正確な指示遵守を組み合わせられる。

音声AIにとっての意味

PersonaPlexは、オープンソース音声AIができることの大きな転換点を示している。これまでは、カスタマイズ可能だがロボット的なカスケードシステムか、自然だが柔軟性に欠ける全二重モデルの二者択一だった。PersonaPlexはそのトレードオフを解消する。

開発者向け

モデルは商用利用可能だ。音声エージェント、カスタマーサービスボット、インタラクティブキャラクターを構築する開発者は、プロプライエタリシステムに匹敵するオープンソース基盤を得た。MITライセンスのコードにより、改変とデプロイの完全な自由がある。

音声AI業界向け

全二重インタラクションは会話AIの聖杯だった。Google、OpenAIなどは音声アシスタントをより自然にするために巨額投資してきた。NVIDIAは今、7Bパラメータ規模でこれを実現するモデルをオープンソース化し、真に会話的な音声インターフェースを誰でも構築できるハードルを下げた。

クリエイターとビジネス向け

音声ファーストのインターフェースは、カスタマーサービス、アクセシビリティツール、ゲーム、コンテンツ制作で加速している。PersonaPlexのペルソナ制御により、AIがブランドに合った声で構造化されたスクリプトに従いながら、人間らしさを保つ必要がある特定のビジネスユースケースに実用的だ。

現時点の制限

• 英語のみ - 多言語対応はまだない
• NVIDIA GPU必須 - AmpereおよびHopperアーキテクチャ（A100、H100）向けに最適化
• 限定的な学習データ - 5,000時間未満のため、ニッチな方言や専門ドメインでの性能が制限される可能性
• 本番安全性テストなし - NVIDIAは、バイアス、説明可能性、プライバシー懸念について本番デプロイ前に追加テストが必要と注記している

始め方

クイックスタート（5分）

NVIDIA GPU（AmpereまたはHopper）搭載のLinuxマシンとPythonが必要。

1. オーディオコーデックをインストールし、リポジトリをクローン：

# Ubuntu/Debian
sudo apt install libopus-dev

# Clone and install
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
pip install moshi/.

2. Hugging Faceでモデルライセンスに同意し、トークンを設定：

export HF_TOKEN=your_token_here

3. サーバーを起動（一時的なSSL証明書を自動生成）：

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

4. ブラウザで https://localhost:8998 を開く。話し始めると、PersonaPlexがリアルタイムで応答する。

よくある質問

---

出典

1. NVIDIA ADLR - PersonaPlex: Natural Conversational AI With Any Role and Voice
2. MarkTechPost - NVIDIA Releases PersonaPlex-7B-v1
3. NVIDIA PersonaPlex-7B-v1 on Hugging Face
4. PersonaPlex GitHub Repository