debpalash/VoiceStudio 17k★:本地版 ElevenLabs 全套替代——16 个 TTS 引擎、646 种语言,自己电脑就能跑

GitHub 趋势日榜今天出现一个对"想搞副业的普通人"特别对口的工具:debpalash/VoiceStudio(原名 OmniVoice-Studio)——总星 17,028,今天还在往上涨;AGPL-3.0 协议,主语言 Python + Rust(Tauri v2 桌面壳)+ React,作者署名 Palash Dey。它做的事情一句话讲完:把 ElevenLabs、PlayHT 这些付费云端语音服务的"克隆 / 设计 / 视频配音 / 口述"四大件全部装进自己电脑里,而且数据默认不出本地(仓库:github.com/debpalash/VoiceStudio)。

为什么今天火:

• 痛点准。副业做短视频/有声书/口播视频,ElevenLabs 5 美元/月起、Clone 声音要单独买 Voice Slot,一个月做几十条就是几十美元;VoiceStudio 一次下载模型,之后随便用,只有电费。
• 16 个 TTS 引擎不锁死。自带 CosyVoice 3、GPT-SoVITS、VoxCPM2、IndexTTS 2.5、Kokoro 一类口碑开源模型,Apple Silicon 用 MLX-Audio 走原生通道,Windows/Linux 没显卡还有 PocketTTS / Supertonic 3 这类纯 CPU 引擎兜底——一条"必须有 N 卡"劝退无数人的旧墙被拆了。
• 接口现代。自带 OpenAI 兼容 API(localhost:3900/v1)和 MCP Server(localhost:3900/mcp),Claude Code、Codex、Cursor、Cherry Studio 直接调;你写过的提示词流水线不用重写。

[NOTE] 本文以官方 README 与 Latest Release v0.5.1(2026-08-28 发布) 为准。星数/功能矩阵以 GitHub 仓库 API 抓到的元数据核对,日期均指 2026-09-04 抓取口径。

一句话定位 + 它和 ElevenLabs 到底差在哪

官方原话:Clone voices, dub video, dictate, and produce long-form audio on your own hardware(在自己电脑上克隆声音、配音视频、做口述、生成长音频)。

和 ElevenLabs 这类"云端语音 SaaS"放一起,最实际的差异在数据路径和成本曲线:

一句话:VoiceStudio 不在"快"字上和云端打,它在"我能跑、能改、能批量、不会因为订阅断了声音没了"这件事上彻底赢。

核心功能:这是目前最厚的本地语音工具箱

按 README 的 16 个能力项,我把它们按"副业实操"重新排序,挑出对读者最有用的:

1. 零样本声音克隆(Voice Cloning)

• 3 秒参考音频能出活,5–15 秒通常更好(README 给的"参考剪辑不会更长就更准"经验值)。
• 不调参,UI 里有 Voice Cloning 面板:上传参考音频 → 输入文字 → 选语言 → Generate。
• 适合副业场景:把客户的声音克隆下来做大批量电话回访、有声书连载、短视频口播——一次克隆,长期复用。

2. 声音设计(Voice Design)

• 用文字描述"声音的年龄、口音、音高、风格、节奏"就能生成新声音,不用任何参考音频。
• 内置示例:美国新闻主播 / 英国有声书叙述人 / 中文方言讲解员,直接从模板复制 prompt 即可。
• 适合副业场景:做品牌专属"虚拟主播",给知识付费课程、播客、公众号听书定型一个稳定形象。

3. 视频配音(Video Dubbing)

• 一条管道:转写 → 翻译 → 说话人识别 → 合成 → 导出视频,支持英语/西语/法语/日语/中文互转。
• 字幕自动生成(srt/vtt),说话人不串声。
• 适合副业场景:YouTube / B站 / TikTok 跨境搬运,把一条 5 分钟中文视频译成英文/日文/西班牙文重新发布,人工只做最后润色。

4. 故事/有声书(Stories and Audiobooks)

• 多角色剧本支持,直接导入 EPUB / PDF,自动按章节渲染,导出 .m4b(iPhone / Apple Books 直接拖进去就能听)。
• 适合副业场景:把公众号长文 / 网络小说 / 知识手册一键转有声书,挂在小宇宙、喜马拉雅、Apple Podcasts 收钱。

5. 全系统口述小部件(Dictation Widget)

• 系统级快捷键呼出,任何文本框里直接语音打字,可选本地 LLM 顺手做"说错的口语 → 书面表达"清理。
• 适合副业场景:写小红书 / 公众号 / 邮件时口述代替打字,效率翻 3–5 倍;做会议纪要直接录音出 .docx。

6. 批量队列(Batch Queue)

• 大批量音频 / 视频任务排队处理,有单任务进度条,还能"监视一个本地文件夹,新视频进来自动跑"。
• 适合副业场景:接一个 200 条有声书的单,晚上挂机跑、早上回来收,白天该干嘛干嘛。

7. AI 水印(AudioSeal 隐写水印)

• 默认开启 Facebook AudioSeal,人耳听不出但机器可检测合成痕迹,作品自带"我这是 AI 合成"的防伪标签。
• 适合副业场景:应对平台"AI 生成内容标识"合规要求,减少被动下架风险。

8. MCP Server + OpenAI 兼容 API

1
2
3
4
5
6
7

{
  "mcpServers": {
    "voicestudio": {
      "url": "http://localhost:3900/mcp"
    }
  }
}

1
2
3
4

curl http://localhost:3900/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "tts-1", "input": "在自己电脑上跑。", "voice": "default", "response_format": "wav"}' \
  --output speech.wav

• Claude Code / Codex / Cursor / Cherry Studio / AnythingLLM 直接调。
• 适合副业场景:已经用 Claude Code 写文案的人,把"口播稿 → 直接合成语音 → 落本地"做成一个 Agent Skill,一键生成多版本做 A/B 测试。

9. 说话人分离(Speaker Diarization)

• Pyannote + WhisperX,多人会议 / 多嘉宾播客自动标注谁说了哪句。
• 适合副业场景:把会议录音、访谈节目剪成口播稿 + 字幕文件,做"代剪辑"接活。

10. 模型目录(Model Catalogue)

• 统一管理 TTS / ASR / LLM 模型,装、卸、选、路由都在一个面板。
• 一键换引擎,不必手动下载 weights 找版本。

剩下 6 个(MCP Server、声音隔离 Demucs、远程 worker、GPU 自动检测、诊断与支持包、扩展引擎注册表)属于"专业玩家用得着"的功能,普通创作者用前 7 个就够吃满 90% 的活。

TTS / ASR 引擎都装了啥,普通人只看这张表

TTS(16 个)按硬件一刀切

ASR(11 个)按场景选

普通创作者记住一条:Apple Silicon 选 MLX Whisper,有 NVIDIA 选 WhisperX,啥都没有选 Faster-Whisper int8。其它按需换。

怎么用起来:三条最省事的路

按"读者的服务器/电脑情况"分三档给最简单的一条路。所有数字出自 README / 官方安装文档:

路 A:M 系列 Mac(最爽,主推荐)

1. 打开 Latest Release,下载 Apple Silicon DMG(17 个 assets 之一,文件名带 aarch64 / arm64)。
2. 双击安装,首次启动右键 → 打开绕过 macOS 未知来源拦截。
3. 启动后会自动建一个 Python 虚拟环境,等下载默认模型(OmniVoice,~几 GB)。
4. 打开 Voice Cloning 面板,塞 5 秒干净人声,输入文字,Generate。

路 B:Windows / Linux 桌面,有 NVIDIA 显卡

1. 同 release 页下 MSI(Windows)或 AppImage(Linux,x86_64 + glibc 2.39+)。
2. Windows 安装时优先选"current-user build",不弹管理员框。
3. 装模型清单里OmniVoice(默认)+ WhisperX 这一对,跟着 UI 走就行。
4. 想从命令行调?起服务后 curl http://localhost:3900/v1/audio/speech ... 直接拿音频。

路 C:不装本地 / 没显卡 / 想先试

• Google Colab 跑:打开 OmniVoice_Studio_Colab.ipynb,直接点 Run,免费 GPU。注意音频数据会上 Colab,别传未授权声音。
• Docker 跑:docker run -d -p 127.0.0.1:3900:3900 -v omnivoice-data:/app/omnivoice_data --name voicestudio palashdeb/omnivoice-studio:stable
• 从源码跑(开发者):git clone + bun install + bun run desktop,Node 20+/Bun + Python 3.11+。

硬件门槛:你能跑得起来吗

README 给出官方推荐配置,挑读者最关心的:

实测口径:8 GB 内存 + 纯 CPU,跑 PocketTTS / KittenTTS 这种纯 CPU 引擎没问题,质量一般但够听书、够英文口播;要做中文零样本克隆,显存 6 GB 是底线,8 GB 才不卡。

跟同类比:能打过的和打不过的

一句话:VoiceStudio 不是单点最强的(它不号称打过 ElevenLabs 顶配),它是"开箱即用的功能最广、本地化最彻底"那个。

适合谁用,我的判断

适合:

• 副业做短视频/有声内容/跨境搬运的独立创作者——月单 Audio 成本能砍 70%+。一份 ElevenLabs Starter 5 美元/月 ≈ 在 M 系列 Mac 上跑 OmniVoice 一整年电费。
• 个人服务器玩家 / 自托管爱好者——开源、AGPL-3.0、OpenAI 兼容 API + MCP,容易接入既有 Agent 工作流。我们 8/28 那篇 basecamp/omarchy 4.0 写的"所有 Coding Agent 接到 Linux 桌面"也是同一条"本地 AI 全栈"路线。
• 教育/培训机构——自制课程音频、做方言教学、英文听力材料,模型换 CosyVoice 3 / VoxCPM2 即可,不怕学生录屏二次传播的协议风险(选 MIT / Apache-2.0 引擎即可)。
• 播客主 / 有声书作者——批量队列 + EPUB/PDF 导入 + .m4b 导出,一条流水线出全集。

不适合:

• 完全没硬件、只能蹭网吧 / 公共机的人——请走 Google Colab,但商用场景别传客户声音到 Colab。
• 必须商用、对音质有"广播级"要求(电台片头、有声出版业向)——ElevenLabs Pro / 专业录音棚仍然更稳。
• 完全不愿折腾 PyTorch / 模型权重 / 显存的人——它的"零门槛"是"能装 DMG"门槛,不是"按一个键就出活"门槛。第一次装模型、看文档会花一两个小时,这个时间没法省。

风险与坑(给"我要直接上"的读者)

• 协议别混着用。应用层 AGPL-3.0(你把改过的 VoiceStudio 拿去对外提供网络服务,得开源);默认 OmniVoice 权重 CC-BY-NC(不能直接商用卖声音);CosyVoice 3 / VoxCPM2 / MOSS-TTS 等是 Apache-2.0,可以商用。做副业前必读所选模型 card。
• 零样本不等于无限准。3 秒真出活,但长难句、断句、英文口音、方言音字对照容易翻车;5–15 秒参考 + 干净人声 + 同语种才是稳的组合。
• 第一次跑模型下载很慢。OmniVoice 单模型几 GB,第一次启动请保证 20 GB 磁盘 + 稳定网络,别在 4G 移动网络下硬装。
• Apple Silicon 必走 MLX / MPS 通道。别手动指定 CUDA 后端,会 crash。
• Intel Mac 完全不支持本地后端(PyTorch wheels 没了),只能连远程 backend 或换 M 系列机。
• Windows AMD / Ryzen AI 走 CPU 模式。想加速得换 NVIDIA。
• 数据出本机风险:开启 Remote Worker 或 OpenAI 兼容 ASR 端点,音频才会出本机;默认全本地,Settings → Privacy 有开关,别手滑打开。

一句话

如果你已经入了"Claude Code + Codex + Agent Skill"这条本地 AI 工作流(我们 AI 编码工具横评 写过),VoiceStudio 是把"声音"这条腿补上的最快路径——下个 DMG,克隆一下自己的声音,半小时内你就能口播出第一条带 AI 水印的英文有声书。

别拿它去克隆没授权的人,别拿 CC-BY-NC 的 OmniVoice 直接卖钱;模型 card 读 5 分钟,省你将来一桩麻烦。

顺带一提:本地 TTS 想出声,一支像样的麦克风是另一半——直播间设备我们整理过知识博主直播间 2000 元整套,6 件配齐。

本文由拾光札记编辑部整理,勘误请联系我们。