무료로 AI 목소리 복제하는 방법 총정리

몇 분 만에 AI로 목소리를 무료로 복제하는 법을 정리한다. “무료”라고 홍보하지만 정작 써보면 아닌 벤더 페이지 대신, 진짜 오픈소스 모델을 쓰는 방법이다. 이 가이드는 진짜 무료인 두 가지 방법, Chatterbox와 OpenVoice V2를 다루고, 그 위에 가장 저렴한 실질적 유료 옵션인 ElevenLabs(일레븐랩스) Starter 월 $6도 함께 소개한다.

“무료 AI 목소리 복제”로 검색하면 대부분 벤더의 마케팅 페이지가 나온다. 홈페이지에서 복제 기능을 대대적으로 광고하는 도구들도 막상 써보려는 순간 유료 등급 뒤로 기능을 숨기는 경우가 많다. 이 가이드는 검증 가능하게 무료인 것만 다룬다: 공식 Hugging Face 데모에서 돌아가는 오픈소스 모델, 가입도 카드 정보도 필요 없는 방식이다.

시작하기 전에 필요한 것

아래 어떤 방법을 쓰든, 무료 오픈소스 모델이든 유료 모델이든 준비물은 같다: 휴대폰이나 기본 USB 마이크, 조용한 방, 그리고 30초에서 2분 분량의 깨끗한 음성. 정말 이게 전부다. 도구별 차이는 업로드 단계에서부터 시작된다.

녹음 장비. 스마트폰이나 기본 USB 마이크면 충분하다. 스튜디오 장비는 필요 없다. 더 중요한 건 조용한 방이다. 이런 모델은 참조 클립에 담긴 모든 것, 배경 소음과 잔향까지 그대로 복사하기 때문이다.

조용한 공간. 선풍기 소리, 도로 소음, 다른 사람 말소리가 없는 곳에서 녹음한다. 옷으로 가득 찬 옷장이나 카펫이 깔린 작은 방이 탁 트인 거실보다 낫다. 부드러운 표면이 잔향을 줄여주기 때문이다.

30초~2분 분량의 깨끗한 음성. 여기 소개하는 도구 대부분에서 이 정도가 적당하다. 음악이나 배경 소음 없이, 평소 말투로 한두 문단을 소리 내어 읽으면 된다. 아래 일부 방법은 훨씬 적은 분량, 짧게는 5초만 있어도 되며, 각 방법의 단계에서 따로 설명한다.

방법 1: Chatterbox로 목소리 무료 복제하기

Chatterbox(그리고 더 빠른 버전인 Chatterbox Turbo)는 Resemble AI가 MIT 라이선스로 공개한 오픈소스 목소리 복제 모델이다. 기간이 끝나는 무료 체험판이 아니라, 개인·연구·상업 프로젝트, 클로즈드소스 제품까지 진짜로 무료라는 뜻이다. 짧은 참조 클립 하나로 파인튜닝이나 별도 학습 없이 제로샷으로 목소리를 복제한다.

음질, 지연 시간, 가격을 유료 대안과 나란히 비교하려면 ElevenLabs vs Chatterbox TTS 비교 전체를 참고한다.

방법 2: 한국어를 기본 지원하는 OpenVoice V2로 무료 복제하기

OpenVoice V2는 MyShell과 MIT 연구진이 만든 두 번째 오픈소스 옵션으로, 역시 MIT 라이선스로 공개되어 있다(2024년 4월부터 상업적 사용 포함). Chatterbox 대비 강점은 언어 범위다: 영어, 스페인어, 프랑스어, 중국어, 일본어, 한국어 여섯 개 언어를 기본으로 지원해서, 참조 클립 하나로 이 여섯 언어 중 어떤 언어로든 복제된 목소리를 생성할 수 있다.

한국어 사용자에게는 이게 이 가이드에서 가장 쓸모 있는 기능이다. 영어 샘플 하나만 있어도 한국어로 말하는 복제 목소리를 만들 수 있다는 뜻이니까. 예를 들어 영어로 녹음한 30초짜리 클립을 올리면, 같은 목소리로 한국어 텍스트를 읽게 할 수 있다. 본인 목소리로 한국어 콘텐츠를 만들고 싶은데 정작 한국어로 긴 샘플을 녹음하기는 번거로운 경우 특히 유용하다.

방법 3: ElevenLabs에서 월 $6로 진짜 목소리 복제 열기

더 깔끔한 인터페이스와 상업 라이선스를 원하면서 MIT 조건을 직접 읽고 싶지 않다면, ElevenLabs가 실제로 작동하는 유료 옵션 중 가장 저렴하다. ElevenLabs 제품 페이지에서는 이 기능을 “보이스 클로닝”이라고 표기한다. 무료 플랜의 범위는 분명히 짚고 넘어갈 필요가 있다: 텍스트 음성 변환, 음성 텍스트 변환, 효과음, 음성 디자인은 되지만 목소리 복제는 전혀 안 되고 상업 라이선스도 없다. Starter 플랜(월 $6, 크레딧 30,000개)이 Instant Voice Cloning과 상업 라이선스를 함께 열어주는 첫 단계다.

복제를 넘어 더 다양한 텍스트 음성 변환 옵션을 찾는다면 최고의 AI 음성 생성기 비교에서 더 폭넓은 도구와 활용 사례를 다룬다.

실제로는 무료가 아닌 ‘무료’ 목소리 복제 도구는?

잘 알려진 이름 몇몇은 목소리 복제를 크게 홍보하지만 실제로는 무료로 제공하지 않는다. Murf는 복제 기능을 Enterprise 영업 상담 뒤에 가둬두고, Speechify는 마케팅과 달리 무료 플랜에 복제가 없으며, ElevenLabs의 $0 플랜은 텍스트 음성 변환에서 멈춘다. 각각 실제로 얼마를 받는지 살펴보자.

Murf AI: 목소리 복제는 “영업팀 문의”로만 접근 가능한 Enterprise 전용 Custom Voice Clones 애드온이다. Free 플랜(1회성 음성 생성 10분, 복제 없음), Creator(연간 결제 시 월 $19), Business(연간 결제 시 월 $66) 어디에도 포함되지 않는다. Murf에는 가격과 상관없이 셀프서비스로 목소리를 복제할 방법 자체가 없다.

Speechify: 마케팅 페이지는 “Try Voice Cloning, it’s free”라고 홍보하지만, 공식 요금제 페이지는 다른 이야기를 한다. Free 플랜에는 “No Voice Cloning”이라고 명시돼 있고, 복제는 연 $100인 Studio Starter 플랜부터 시작된다.

ElevenLabs 자체 무료 플랜: 가장 흔한 오해라서 다시 한번 짚는다. $0 플랜은 월 10,000 크레딧으로 TTS, 음성 텍스트 변환, 효과음을 쓸 수 있지만, 목소리 복제는 전혀 없고 상업 라이선스도 없다.

목소리를 복제하려면 오디오가 실제로 얼마나 필요할까?

짧게는 5초, 길게는 3시간까지 다양하다. Chatterbox 같은 제로샷 도구는 약 5초면 되고, ElevenLabs의 Instant Voice Cloning은 1~2분을 원하며, 전문가급 복제에는 30분에서 3시간이 필요하다. 깨끗한 오디오가 많을수록 더 정확하고 안정적인 복제가 나오며, 등급 간 차이는 귀로도 느껴진다.

몇 초(제로샷): Chatterbox와 OpenVoice V2 둘 다 별도 학습 없이 짧은 클립만으로 작동한다. 품질은 괜찮은 수준이라 빠른 테스트, 짧은 클립, 개인 프로젝트에는 충분하지만, 톤이나 속도의 미세한 어색함이 긴 샘플보다 더 눈에 띈다.

1~2분(인스턴트 복제): ElevenLabs의 Instant Voice Cloning은 이 정도 분량으로 학습되며, 5초짜리 제로샷 샘플보다 눈에 띄게 안정적이고 자연스러운 복제를 만든다. 품질이 중요하다면 대부분 이 범위를 목표로 삼아야 한다.

30분~3시간(전문가급 복제): ElevenLabs의 Professional Voice Cloning은 이만한 분량의 오디오로 전용 모델을 학습시키며, 현재 나와 있는 것 중 방송급에 가장 가까운 복제를 만든다. 학습에 몇 시간이 걸리고, 본인 목소리를 복제할 때만 쓸 수 있다.

AI로 목소리를 복제하는 게 법적으로 괜찮을까?

본인 목소리를 복제하는 건 합법이고, AI 활용 중에서도 거의 논란의 여지가 없는 축에 속한다. 내 목소리, 내 녹음, 내 결과물이니까. 법적·윤리적 경계선은 타인의 목소리를 복제할 때 생기고, 결국 동의 여부로 귀결된다.

미국 테네시주 ELVIS Act: 2024년 7월 1일부터 시행된 이 법은 연방법이 아니라 주법으로, 허가받지 않은 AI 복제로부터 개인의 목소리를 구체적으로 보호하고, 상업적 목적의 복제 전에 서면 허가를 요구한다. 다른 주도 뒤따를 수 있지만 아직 미국 전역에 적용되는 보호는 아니며, 한국 법과는 직접적인 관련이 없다.

EU AI Act: 2026년 8월 2일부터 시행된 50조 투명성 규정은 딥페이크를 포함해 AI가 생성하거나 조작한 오디오를 청취자에게 고지하도록 요구한다. EU 관객을 대상으로 복제 오디오를 공개한다면 AI 생성물임을 표시하는 게 법적 의무가 됐다. 한국 내 배포에는 직접 적용되지 않지만, EU 이용자를 대상으로 콘텐츠를 발행한다면 알아둘 필요가 있다. 자세한 내용은 EU AI Act 50조 콘텐츠 라벨링 규정에서 다룬다.

사기는 또 다른 위험이다. 미국 FTC(연방거래위원회)는 목소리 복제 사기에 대해 반복적으로 소비자 경고를 냈다. SNS에 올라온 클립에서 목소리, 흔히 가족 구성원의 목소리를 따서 응급 상황을 가장한 전화를 걸고 돈을 요구하는 수법이다. 한국에서 익숙한 보이스피싱과 본질적으로 같은 구조이며, 여기서 소개한 방법들은 그런 용도로 만들어지지 않았지만 같은 기술이 악용될 수 있다는 사실은 똑같다. 동의와 공지가 중요한 이유가 바로 여기에 있다.

더 읽을거리

• ElevenLabs Instant Voice Cloning Documentation - 오디오 길이와 품질에 대한 공식 가이드
• EU AI Act Article 50 Transparency Rules - AI 콘텐츠 공개 의무에 대한 독립적인 설명
• Resemble AI Chatterbox Turbo - 라이선스 조건과 벤치마크가 담긴 공식 모델 페이지
• FTC Consumer Alert: Scammers Use AI to Enhance Family Emergency Schemes - 위에서 언급한 목소리 복제 사기 경고

자주 묻는 질문