GitHub 每日宝藏 · 每天替你试一个开源神器

录音 60 分钟,转写只要一次

微软开源 VibeVoice:会议纪要的活儿,它全包了

语音转文字 · 微软开源 · 会议纪要

音频波形转变为结构化笔记的插画

封面插图:AI 生成,仅作版面装饰

VibeVoice 是微软官方开源的语音 AI 家族,目前的主力是 VibeVoice-ASR:一段 60 分钟的会议录音直接丢进去,产出「谁、在第几分钟、说了什么」的结构化纪要。经常整理会议纪要、访谈录音、播客字幕的朋友,这篇就是为你写的。

这是本栏目第 1 期。读完你能拿走:一个 30 秒判断它值不值得装的方法、三段真实可跑的命令,以及没显卡时的替代方案——五分钟读完,今晚就能拿自己的录音验货。

目 录

01 这是什么项目:微软的前沿开源语音 AI
02 三个真正值钱的亮点
03 三步上手:从在线验货到本地跑通
04 谁最该装一个
05 常见问题,先替你问了

PART 01

这是什么项目

传统转写工具把长音频切成 30 秒一段、逐段识别再拼回去,说话人经常「中途换人」,上下文一断,纪要还得人工重排。VibeVoice-ASR 反着来:在 64K token 的上下文里一次处理 60 分钟连续音频,说话人前后一致、语义连贯;转写、说话人分离、时间戳三件事,一个模型全做。

出身也够硬:模型权重在 Hugging Face 公开下载,支持 vLLM 部署,团队可以直接上服务。

VibeVoice-ASR 模型架构图

图 1:VibeVoice-ASR 模型架构(来自 microsoft/VibeVoice 官方仓库)

项目 microsoft/VibeVoice
出品 微软官方开源
Star 数 57,200+(2026-11-17 实时核实)
主语言 Python
开源协议 MIT(可免费商用)
学术背书 ICLR 2026 Oral
VibeVoice 项目 Logo

图 2:VibeVoice 项目 Logo(官方开源仓库)

事实澄清:VibeVoice 早期还带语音合成(TTS)功能,微软出于防滥用考虑已将其下线,仓库现在专心做好「听」这一件事。再看到教声音克隆的旧教程,直接略过。

PART 02

三个真正值钱的亮点

一次转 60 分钟 不切片、不中断,长会议、深度访谈整段丢进去。因为全程一个上下文,说话人不会走着走着就换人,长音频质量反而比拼接式更好。

谁、在何时、说了什么 转写、说话人分离、时间戳三合一,直接输出结构化稿。省掉的不是打字,是对着进度条来回拖的那一下午。

50+ 语言与热词定制 中英混说不用手动切语言;把人名、项目名、行业术语提前喂给它,专业内容的识别准确率明显提升。

最重要的一条:别再手工切音频了——整段录音直接丢给它,才是 VibeVoice 的正确打开方式。

NOW · 实战

三步,从验货到跑通

PART 03

三步上手:从在线验货到本地跑通

STEP 01

零安装,先在线验货

打开官方 Playground(aka.ms/vibevoice-asr),上传一段音频点按钮,30 秒看到转写质量。建议直接用自己真实的会议录音试——验货最准。

STEP 02

有 GPU,本地跑起来

官方推荐用 NVIDIA PyTorch 容器管理 CUDA 环境(24.07~25.12 已验证),装好环境后先装仓库:

git clone \
https://github.com/microsoft/VibeVoice.git
cd VibeVoice
pip install -e .

然后转写本地音频,或者一行启动网页版(Gradio)给全组用:

python \
demo/vibevoice_asr_inference_from_file.py \
–model_path microsoft/VibeVoice-ASR \
–audio_files meeting.mp3

python \
demo/vibevoice_asr_gradio_demo.py \
–model_path microsoft/VibeVoice-ASR \
–share

flash-attn 别直接装

pip install flash-attn

常规安装会触发本地编译,半小时起步且大概率失败。正确做法是 pip install flash-attn --no-build-isolation,或者干脆用官方 NVIDIA 容器——里面已经带好了。

STEP 03

没 GPU?装 CPU 版

微软配套开源了 VibeASR.cpp(BitNet 量化版):模型从 4.62 GB 压到 1.58 GB,3 个以上 CPU 线程就能实时转写(RTF<1),普通笔记本能跑,不用为它买显卡。

PART 04

谁最该装一个

一切「长音频 → 结构化文字」的场景都在射程内:做会议纪要的打工人、整理访谈的记者和研究生、给播客配字幕的主播、记录用户访谈的产品经理——凡是经常和长录音打交道的人,都值得一试。

PART 05

常见问题,先替你问了

01 没有显卡能用吗?

能。装 VibeASR.cpp 的 CPU 量化版:1.58 GB、3 线程实时转写,笔记本就行。

02 商用要付费吗?

不用。MIT 协议、微软官方出品,模型权重在 Hugging Face 免费下载。

03 中文效果怎么样?

原生支持 50+ 语言、自动识别中英混说;AISHELL-4 中文测试集 WER 21.4,会议场景属第一梯队。

工具的价值不在参数表里,在于把你从重复劳动里捞出来。一段 60 分钟的录音、一下午的纪要,它只收一次推理的时间。

今晚就做一件事:从官方 Playground 上传一段你自己的会议录音,用 30 秒判断它值不值得进你的工具箱。

github.com/microsoft/VibeVoice · 官方仓库与 ASR 文档
huggingface.co/microsoft/VibeVoice-ASR · 模型权重

本文基于 microsoft/VibeVoice 官方仓库与公开文档整理,数据核实于 2026-11-17
命令与界面可能随版本迭代变化,以官方仓库最新说明为准

上一篇: 下一篇:

相关推荐

随机推荐

  1. Qoo10趣天日本广告投标助手
  2. 西西趣天采集插件2.0升级版
  3. 西西电商图片下载助手
  4. 西西趣天韩国批量上货助手最新版
  5. 西西趣天日本批量上货助手最新版
  6. 一个把 Photoshop 从零重写了一遍,一个把电视里的广告拆干净
  7. 录音 60 分钟,转写只要一次
  8. Filee:不用打开软件,拖一下就转好的免费格式转换器
  9. HeidiSQL_12.12绿色版
  10. WPS office 10.1.0.7311精简版(无联网功能)无广告超级好用
  11. dupeGuru – 电脑重复文件查找工具,支持跨平台使用!
  12. Caesium – 图片批量压缩软件
  13. 7-Zip 免费解压软件
  14. TrayS 绿色免安装版 (任务栏美化工具)
  15. AirDroid 3.7.2.1 Android 设备管家远程控制