NVIDIA PersonaPlex-7B: IA de voz full-duplex de código abierto

Qué sucedió

NVIDIA ha lanzado PersonaPlex-7B-v1, un modelo de voz a voz de 7 mil millones de parámetros que cambia la forma en que la IA de voz maneja conversaciones. A diferencia de los asistentes de voz que has usado antes, PersonaPlex no espera a que termines de hablar para responder. Escucha y habla al mismo tiempo.

Esto se llama interacción full-duplex y es la forma natural en que los humanos conversamos. Puedes interrumpirlo a mitad de frase y se adapta. Produce respuestas de apoyo como “ajá” y “oh, vale” mientras sigues hablando. Hace pausas cuando corresponde. Sin turnos rígidos. Sin silencios incómodos mientras la IA procesa tus palabras.

Por qué la IA de voz tradicional se queda corta

Los asistentes de voz tradicionales usan un pipeline de tres etapas que crea un flujo conversacional poco natural:

Cada etapa añade retraso y el sistema no puede escucharte mientras genera la respuesta. Por eso las conversaciones con Siri, Alexa o Google Assistant parecen robóticas. Hablas, esperas, recibes respuesta, vuelves a hablar.

PersonaPlex sustituye todo este pipeline por un único modelo Transformer que procesa el audio entrante y genera habla simultáneamente.

Capacidades principales

Cómo funciona PersonaPlex

Arquitectura de doble flujo

PersonaPlex se basa en la arquitectura Moshi de Kyutai, con Helium como backbone del modelo de lenguaje. La arquitectura usa dos flujos paralelos:

• Flujo de usuario — codifica continuamente el audio entrante del micrófono del usuario
• Flujo de agente — genera simultáneamente el habla y la respuesta en texto de la IA

Ambos flujos comparten el mismo estado del modelo. Esto permite que PersonaPlex ajuste su respuesta en tiempo real mientras el usuario habla, habilitando barge-in, habla solapada, turnos rápidos y respuestas de apoyo contextuales.

El codec de audio neural Mimi maneja la codificación y decodificación de audio a 24 kHz, convirtiendo las formas de onda en tokens discretos que el Transformer puede procesar.

Control híbrido de personaje

PersonaPlex usa dos entradas para definir la identidad conversacional:

• Prompt de texto — describe el rol, contexto, organización y contexto de la conversación (hasta 200 tokens)
• Prompt de voz — un embedding de audio que captura características vocales, estilo de habla, acento y prosodia

Este enfoque híbrido permite crear un agente de atención al cliente para una empresa concreta con una voz específica, un profesor sabio que suene cálido y paciente, o un personaje de fantasía con inflexión dramática. El personaje se mantiene consistente durante toda la conversación.

Personajes demostrados

Resultados de benchmarks

NVIDIA evaluó PersonaPlex en FullDuplexBench y una nueva extensión llamada ServiceDuplexBench para escenarios de atención al cliente. Los resultados muestran ventajas claras frente a alternativas de código abierto y comerciales.

Dinámicas conversacionales

Latencia

Adherencia a tareas

PersonaPlex es el único modelo que supera 4,0 en ambos benchmarks, combinando sólido conocimiento general con seguimiento fiable de tareas en escenarios empresariales estructurados.

Entrenamiento: menos de 5.000 horas

PersonaPlex se entrenó en una sola etapa usando una mezcla cuidadosa de conversaciones reales y sintéticas.

Conversaciones reales

7.303 llamadas (1.217 horas) del corpus Fisher English proporcionaron patrones conversacionales naturales: respuestas de apoyo, disfluencias, respuestas emocionales y comportamiento auténtico de turnos. Estas grabaciones se anotaron con prompts de personaje usando GPT-OSS-120B con distintos niveles de detalle.

Conversaciones sintéticas

• 39.322 diálogos de asistente (410 horas) — generados con Qwen3-32B y GPT-OSS-120B, sintetizados a audio con Chatterbox TTS de Resemble AI
• 105.410 diálogos de atención al cliente (1.840 horas) — cubriendo diversos escenarios empresariales con prompts estructurados incluyendo nombres de empresa, precios y reglas operativas

El diseño de entrenamiento separa dos cualidades: naturalidad de conversaciones reales y adherencia a tareas de escenarios sintéticos. El formato de prompt híbrido conecta ambas fuentes de datos, permitiendo al modelo combinar patrones de habla naturales con seguimiento preciso de instrucciones.

Qué significa esto para la IA de voz

PersonaPlex representa un cambio importante en lo que la IA de voz de código abierto puede hacer. Hasta ahora, la elección era entre sistemas en cascada personalizables pero robóticos y modelos full-duplex naturales pero inflexibles. PersonaPlex elimina ese trade-off.

Para desarrolladores

El modelo está listo para uso comercial. Los desarrolladores que construyen agentes de voz, bots de atención al cliente o personajes interactivos tienen ahora una base de código abierto que rivaliza con sistemas propietarios. El código bajo licencia MIT permite libertad total para modificar y desplegar.

Para la industria de IA de voz

La interacción full-duplex ha sido el santo grial de la IA conversacional. Google, OpenAI y otros han invertido mucho en hacer que los asistentes de voz se sientan más naturales. NVIDIA ha liberado ahora el código de un modelo que lo consigue a escala de 7B parámetros, reduciendo la barrera para que cualquiera construya interfaces de voz verdaderamente conversacionales.

Para creadores y empresas

Las interfaces centradas en voz se están acelerando en atención al cliente, herramientas de accesibilidad, juegos y creación de contenido. El control de personaje de PersonaPlex lo hace práctico para casos de uso empresariales concretos donde la IA debe sonar acorde a la marca y seguir guiones estructurados mientras sigue pareciendo humana.

Limitaciones actuales

• Solo inglés — sin soporte multilingüe por ahora
• Requiere GPUs NVIDIA — optimizado para arquitecturas Ampere y Hopper (A100, H100)
• Datos de entrenamiento limitados — menos de 5.000 horas, lo que puede restringir el rendimiento en dialectos o dominios especializados
• Sin pruebas de seguridad en producción — NVIDIA señala que sesgos, explicabilidad y privacidad requieren pruebas adicionales antes del despliegue en producción

Cómo empezar

Inicio rápido (5 minutos)

Requiere una máquina Linux con una GPU NVIDIA (Ampere o Hopper) y Python instalado.

1. Instala el códec de audio y clona el repositorio:

# Ubuntu/Debian
sudo apt install libopus-dev

# Clonar e instalar
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
pip install moshi/.

2. Acepta la licencia del modelo en Hugging Face, luego configura tu token:

export HF_TOKEN=your_token_here

3. Inicia el servidor (genera certificados SSL temporales automáticamente):

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

4. Abre https://localhost:8998 en tu navegador. Empieza a hablar — PersonaPlex responde en tiempo real.

Preguntas Frecuentes

---

Fuentes

1. NVIDIA ADLR - PersonaPlex: Natural Conversational AI With Any Role and Voice
2. MarkTechPost - NVIDIA Releases PersonaPlex-7B-v1
3. NVIDIA PersonaPlex-7B-v1 en Hugging Face
4. Repositorio PersonaPlex en GitHub