英伟达发布语音转写模型:会议录音能分人整理,还能按要求翻译
10 月 28 日,英伟达发布 Nemotron 3.5 Transcribe,把语音转写、说话人区分和翻译放进同一个可用文字指令控制的模型。对整理会议、访谈和课程录音的人来说,痛点常常是文字已经出来,却不知道谁说了什么,也难以找到对应原声。本文解释这次更新如何改变录音处理流程,以及中文使用、离线部署和结果核对有哪些边界。

原创 AI 概念配图,以不同颜色的声波与文稿表现说话人区分,不是模型实测输出或产品截图。
[配图建议:一段混合录音拆成不同颜色的说话人轨道,再连接到带时间标记的文稿 + 清晰的科技杂志信息插画]
一、转出来之后,还要解决“谁说的、怎么写”
一次项目复盘里,产品经理提出需求,工程师解释限制,客户又补充了例外情况。只有一大段文字,很容易把建议、承诺和反对意见混在一起。整理者最终仍要一边听录音,一边重新标注段落和发言者。
Nemotron 3.5 Transcribe 的变化,是把这些任务做成同一模型里的不同输出方式。官方介绍,它支持 40 种语言转写,其中 31 种可与英语互译,13 种支持多说话人转写;录音长度可达一小时,最多标记八位说话人。这些是不同能力的覆盖范围,不能把“40 种语言”理解为每种任务都支持 40 种。 来源:英伟达发布说明
这里的“分人”,是把录音中的声音归到不同标签。它并不等于自动知道发言者的真实姓名。实际工作中,可以先用“说话人 A、B、C”组织文稿,再结合已知参会信息核对身份,避免把声音标签直接当成实名结论。来源:官方模型卡的用途说明
对读者最直接的收益,是让录音变成更容易审阅的材料:按发言者检查意见、定位某句话的上下文,再决定哪些内容可以写进会议纪要。模型整理的是线索,原声仍然是核对依据。
[配图建议:同一场讨论生成三条发言轨道,旁边保留“声音标签待核对”的姓名栏 + 编辑式录音工作流图]
二、同一段音频,可以先决定你要哪一种文稿
很多转写争议,其实来自输出目标没有说清。采访逐字稿需要保留停顿、重复和口误;供团队阅读的记录可能希望去掉口头填充词、规范标点;跨语言协作则需要翻译。它们使用相同的音频,验收标准却不同。
官方展示了用文字指令选择转写、翻译和录音问答的方式,也允许提供可能出现的术语作为上下文。与此同时,发布了 Granary v2 数据与整理流程,供开发者进一步研究领域适配。来源:英伟达发布说明
可以先写一份自己的输出任务单:
- 逐字记录:保留重复、犹豫和未完成的句子,适合需要检查措辞的访谈。
- 可读转写:先明确允许怎样处理口头语与数字,原本表达的含义保持可追溯。
- 翻译文稿:说明源语言、目标语言和专有名词,保留原文以便对照。
这份任务单是本文建议的整理方法,并非本站运行结果。接入时,应参照官方任务模板和语言支持范围,把需求转成对应请求。
尤其要区分“写得更顺”和“忠实记录”。例如“这周争取完成”被整理成“这周完成”,文字更短,承诺程度却变了。涉及时间、数量、否定和责任归属的句子,应单独复听。
术语表也有两面性。正确的产品名可能帮助识别,过长或错误的提示则可能把没有说出的内容带进文稿。技术报告专门讨论了上下文转写与错误、干扰词的影响。因此,给出术语时更适合写成“可能出现,仅在音频支持时采用”,并用有、无术语两版结果比较。来源:Nemotron 3.5 Transcribe 技术报告
[配图建议:一段声波分出逐字稿、可读稿与翻译稿,三份文稿共享同一条原声回溯线 + 干净的三栏信息图]
三、中文支持、实时体验和部署资源,要分别看
对中文读者,最值得先查的是任务矩阵。当前模型卡列出普通话转写、与英语互译、多说话人转写和语码混用支持,但质量档位标为 Supported;音频理解、推理和语音指令跟随仅在英语中评测。能转写中文,不代表中文录音问答已经获得同样验证。 来源:官方模型卡的语言支持矩阵
产品形态也要分清。这是处理已录制音频的离线模型,内部把音频分块处理,并不代表可以直接提供实时流式字幕。技术报告把原生流式转写列为后续工作。做会后整理、课程回放可以从这条路线评估;做实时通话助手,则需要另行确认延迟与流式处理方案。来源:技术报告的限制说明
“离线”在这里描述处理方式,也不自动意味着音频一定留在你自己的电脑。使用托管服务时,数据仍会送到服务端;自行部署才需要你安排模型、运行环境和资源。二者的选择应与资料存放要求、处理规模和维护能力一起考虑。
模型卡给出的总参数约为 340 亿,活跃参数约 43 亿,包含音频编码器,并提供 H100 80GB 的部署配置示例。活跃参数描述每步参与计算的规模,不能直接用来推断全部权重与运行内存。试用时应检查所选精度、硬件与框架的对应关系。来源:官方模型摘要及推理配置
同样,厂商在高并发短音频上的吞吐成绩,不能直接换算成一段长会议从上传到完成的等待时间。对实际业务,首次启动、音频长度、输出长度和并发负载都值得单独记录。
[配图建议:中文任务矩阵、录音后处理时间轴、模型运行资源三个独立面板,避免用一个参数代表全部能力 + 克制的技术解释图]
四、先拿一段真实工作录音,比较“改稿成本”
准备替换现有转写工具之前,可以先选一段已获得使用许可、没有敏感信息的短录音。最好包含两三个人轮流发言、几个专有名词、一句否定表达,以及一处插话。它不必复杂到覆盖全部业务,却要能暴露常见问题。
建议先手工做一份小型参考稿,再检查以下四项:
- 内容:姓名、数字、时间与否定词是否准确,有没有漏掉关键一句。
- 发言归属:插话前后的标签是否稳定,一段话有没有记到另一个人名下。
- 输出约定:要求逐字时是否擅自改写,要求翻译时是否改变了语气或条件。
- 复核效率:能否快速找到错误对应的原声,修完一份可交付文稿要花多久。
需要时间戳的应用,还要检查请求与返回结构。NeMo 的服务文档单独说明了词级时间对齐;集成时应按当前部署配置启用、解析并检查,不能只凭一段纯文本假定已经拿到完整字幕信息。来源:NeMo Speech 的 vLLM 服务文档
评估语音模型时,常会看到 WER,即词错误率。中文还可能使用 CER,即字错误率;说话人相关指标又有不同的计分方式。把它们和录音条件、语言、测试集一起看,才有比较意义。模型卡分别列出了这些结果,本文不把厂商成绩当成本站实测。来源:官方模型卡的评测结果
真正值得留下的记录,是这类音频最常错在哪里,以及人工修正是否更容易。一次好看的输出只是开始,连续几段同类材料能否稳定省下整理工作,才决定它是否适合接入。
[配图建议:原声、参考稿和模型稿并排对照,错误标记连接到时间点,底部记录人工修正时间 + 文稿校对台风格]
总结:让录音成为可核对的工作材料
Nemotron 3.5 Transcribe 为会后整理提供了一个值得评估的新选择:把文字内容、发言归属与输出要求一起处理。需要实时字幕或可靠中文录音问答的项目,应先核对额外条件。今天可以从一段短录音开始,同时比较关键句准确性和改稿时间。你现在整理录音最费劲的,是专有名词、多人插话,还是跨语言翻译?
[配图建议:录音文件变成带发言者与回溯标记的整洁文稿,关键句保留人工复核标记 + 简洁温暖的收尾插画]
资料核查:2026 年 10 月 29 日,北京时间。事件日期依官方发布说明与模型卡为 10 月 28 日。本文为资料分析,未部署或上传录音实测;试用方法为作者建议,封面为 AI 生成概念图。