NVIDIA PersonaPlex-7B: 오픈소스 전이중 음성 AI

무슨 일이 있었나

NVIDIA가 음성 AI가 대화를 처리하는 방식을 근본적으로 바꾸는 70억 파라미터 음성-대-음성 모델 PersonaPlex-7B-v1을 공개했다. 지금까지 사용해 온 음성 비서와 달리, PersonaPlex는 사용자가 말을 끝낼 때까지 기다리지 않는다. 대신 듣고 말하는 것을 동시에 한다.

이를 전이중(full-duplex) 상호작용이라고 하며, 사람이 자연스럽게 대화하는 방식과 같다. 말하는 중간에 끼어들 수 있고, 모델도 그에 맞춰 반응한다. 사용자가 아직 말하는 동안에도 “응”, “아, 그렇구나” 같은 공감 반응을 보낸다. 필요한 순간에 멈춘다. 딱딱한 차례 지키는 대화가 아니다. AI가 말을 처리하는 동안 어색한 침묵도 없다.

기존 음성 AI가 부족한 이유

기존 음성 비서는 부자연스러운 대화 흐름을 만드는 3단계 파이프라인을 사용한다:

각 단계마다 지연이 생기고, 응답을 생성하는 동안에는 사용자 입력을 들을 수 없다. 그래서 Siri, Alexa, Google Assistant와의 대화가 로봇 같게 느껴진다. 말하고, 기다리고, 응답받고, 다시 말하는 식이다.

PersonaPlex는 이 파이프라인 전체를 들어오는 오디오를 처리하면서 동시에 음성을 생성하는 단일 Transformer 모델로 대체한다.

핵심 기능

PersonaPlex 작동 방식

듀얼 스트림 아키텍처

PersonaPlex는 Kyutai의 Moshi 아키텍처를 기반으로 하며, Helium을 기반 언어 모델로 사용한다. 아키텍처는 두 개의 병렬 스트림을 사용한다:

• 사용자 스트림 — 사용자 마이크의 들어오는 오디오를 지속적으로 인코딩
• 에이전트 스트림 — AI의 음성과 텍스트 응답을 동시에 생성

두 스트림은 동일한 모델 상태를 공유한다. 따라서 PersonaPlex는 사용자가 말하는 동안 실시간으로 응답을 조정할 수 있어, 끼어들기, 겹치는 발화, 빠른 차례 교대, 맥락적 공감 반응이 가능하다.

Mimi 신경 오디오 코덱이 24kHz로 오디오 인코딩과 디코딩을 처리하며, 파형을 Transformer가 처리할 수 있는 이산 토큰으로 변환한다.

하이브리드 페르소나 제어

PersonaPlex는 대화 정체성을 정의하기 위해 두 가지 입력을 사용한다:

• 텍스트 프롬프트 — 역할, 배경, 조직, 대화 맥락을 설명(최대 200 토큰)
• 음성 프롬프트 — 발성 특성, 말투, 억양, 운율을 담는 오디오 임베딩

이 하이브리드 방식으로 특정 회사의 특정 음성을 가진 고객 서비스 에이전트, 따뜻하고 인내심 있는 현명한 교사, 극적인 억양의 판타지 캐릭터 등 다양한 페르소나를 만들 수 있다. 페르소나는 전체 대화 동안 일관되게 유지된다.

시연된 페르소나

벤치마크 결과

NVIDIA는 FullDuplexBench와 고객 서비스 시나리오용 확장 ServiceDuplexBench로 PersonaPlex를 평가했다. 결과는 오픈소스와 상용 대안 모두에 비해 명확한 우위를 보였다.

대화 역학

지연시간

작업 준수

PersonaPlex는 이 두 벤치마크에서 모두 4.0 이상을 기록한 유일한 모델로, 강한 일반 지식과 구조화된 비즈니스 시나리오에서의 신뢰할 수 있는 작업 준수를 결합했다.

학습: 5,000시간 미만

PersonaPlex는 실제 대화와 합성 대화를 신중하게 조합한 단일 단계로 학습되었다.

실제 대화

Fisher English 코퍼스의 7,303개 통화(1,217시간)가 자연스러운 대화 패턴—공감 반응, 더듬거림, 감정적 반응, 실제 대화 차례 교대—를 제공했다. 이 녹음들은 GPT-OSS-120B로 다양한 상세 수준의 페르소나 프롬프트로 사후 주석 처리되었다.

합성 대화

• 39,322개 어시스턴트 대화(410시간) — Qwen3-32B와 GPT-OSS-120B로 생성, Resemble AI의 Chatterbox TTS로 오디오 합성
• 105,410개 고객 서비스 대화(1,840시간) — 회사명, 가격, 운영 규칙을 포함한 구조화된 프롬프트로 다양한 비즈니스 시나리오 커버

학습 설계는 두 가지 특성을 분리한다: 실제 대화에서의 자연스러움과 합성 시나리오에서의 작업 준수. 하이브리드 프롬프트 형식은 두 데이터 소스를 연결해, 모델이 자연스러운 음성 패턴과 정확한 지시 따르기를 결합할 수 있게 한다.

음성 AI에 대한 의미

PersonaPlex는 오픈소스 음성 AI가 할 수 있는 일의 큰 전환을 보여준다. 지금까지는 커스터마이징 가능하지만 로봇 같은 계단식 시스템과 자연스럽지만 유연하지 않은 전이중 모델 사이에서 선택해야 했다. PersonaPlex는 그런 선택을 없앴다.

개발자에게

모델은 상업적 사용 준비가 되어 있다. 음성 에이전트, 고객 서비스 봇, 인터랙티브 캐릭터를 만드는 개발자는 이제 독점 시스템에 견줄 수 있는 오픈소스 기반을 갖는다. MIT 라이선스 코드는 수정과 배포의 완전한 자유를 의미한다.

음성 AI 업계에

전이중 상호작용은 대화형 AI의 성배였다. Google, OpenAI 등은 음성 비서를 더 자연스럽게 만드는 데 많은 투자를 해왔다. NVIDIA는 이제 7B 파라미터 규모에서 이를 달성하는 모델을 오픈소스로 공개해, 진정한 대화형 음성 인터페이스를 만드는 사람들의 진입 장벽을 낮췄다.

크리에이터와 비즈니스에

고객 서비스, 접근성 도구, 게임, 콘텐츠 제작에서 음성 우선 인터페이스가 빠르게 확산되고 있다. PersonaPlex의 페르소나 제어는 AI가 브랜드에 맞게 들리고 구조화된 스크립트를 따르면서도 인간적으로 느껴져야 하는 특정 비즈니스 용도에 실용적이다.

현재 한계

• 영어만 지원 — 아직 다국어 미지원
• NVIDIA GPU 필요 — Ampere, Hopper 아키텍처(A100, H100)에 최적화
• 제한된 학습 데이터 — 5,000시간 미만으로, 특정 사투리나 전문 도메인에서 성능이 제한될 수 있음
• 프로덕션 안전 검증 없음 — NVIDIA는 편향, 설명 가능성, 개인정보 문제에 대한 프로덕션 배포 전 추가 검증이 필요하다고 밝혔다

시작하기

빠른 시작 (5분)

NVIDIA GPU(Ampere 또는 Hopper)가 있는 Linux 머신과 Python이 설치되어 있어야 한다.

1. 오디오 코덱 설치 및 저장소 클론:

# Ubuntu/Debian
sudo apt install libopus-dev

# Clone and install
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
pip install moshi/.

2. Hugging Face에서 모델 라이선스 동의 후 토큰 설정:

export HF_TOKEN=your_token_here

3. 서버 실행 (임시 SSL 인증서 자동 생성):

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

4. 브라우저에서 https://localhost:8998 열기. 말을 시작하면 PersonaPlex가 실시간으로 응답한다.

자주 묻는 질문

---

출처

1. NVIDIA ADLR - PersonaPlex: Natural Conversational AI With Any Role and Voice
2. MarkTechPost - NVIDIA Releases PersonaPlex-7B-v1
3. NVIDIA PersonaPlex-7B-v1 on Hugging Face
4. PersonaPlex GitHub Repository