Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文链接：https://arxiv.org/pdf/2306.02207.pdf
• Demo 页面：https://ga642381.github.io/SpeechPrompt/speechgen.html
• Code: https://github.com/ga642381/SpeechGen

引言与动机

大型语言模型（LLMs）在人工智能生成内容（AIGC）方面引起了相当大的关注，特别是随着 ChatGPT 的出现。

然而，如何用大型语言模型处理连续语音仍然是一个未解决的挑战，这一挑战阻碍了大型语言模型在语音生成方面的应用。因为语音信号包含丰富的信息，如说话者和情感，超越了纯文本数据，基于语音的语言模型 (speech language model (speech LM)) 不断涌现。

虽然与基于文本的语言模型相比，语音语言模型仍处于早期阶段，但由于语音数据中蕴含着比文本更丰富的信息，它们具备巨大的潜力，令人充满期待。

研究人员正积极探索提示 (prompt) 范式的潜力，以发挥预训练语言模型的能力。这种提示通过微调少量参数，引导预训练语言模型做特定的下游任务。这种技术因其高效和有效而在 NLP 领域备受青睐。在语音处理领域，SpeechPrompt 展示出了在参数效率方面的显著改进，并在各种语音分类任务中取得了竞争性的表现。

然而，提示能否帮助语音语言模型完成生成任务仍是未解之谜。在本文中，我们提出一个创新的统一框架：SpeechGen，旨在激发语音语言模型进行生成任务的潜力。如下图所示，将一段语音、一个特定的提示 (prompt) 喂给 speech LM 作为输入，speech LM 就能做特定的任务。比如将红色的 prompt 当作输入，speech LM 就能做 speech translation 的任务。

我们提出的框架具有以下优点：

1. 无文本 (Textless)：我们的框架以及其所依赖的语音语言模型独立于文字数据，拥有无可估量的价值。毕竟，获取标记文本与语音配对的过程耗时繁琐，而且在某些语言中甚至无法找到合适的文本。无需文字的特性使得我们的强大语音生成能力得以覆盖各种语言需求，让全人类受益匪浅。

2. 多功能性 (Versatility)：我们开发的框架通用性极高，能应用于各种各样的语音生成任务。论文中实验使用语音翻译、语音修复、语音连续当作例子。  

3. 简易性 (Easy to follow)：我们提出的框架为各类语音生成任务提供了通用解决方案，让设计下游模型和损失函数变得轻而易举。

4. 可迁移性 (Transferability)：我们的框架不仅容易适应未来更先进的语音语言模型，还蕴藏着巨大的潜力，让效率和效果得到进一步提升。尤其令人振奋的是，随着先进语音语言模型即将问世，我们的框架将迎来更为强大的发展。  

5. 经济性 (Affordability)：我们的框架经过精心的设计，只需训练少量参数，而不是整个庞大的语言模型。这极大地减轻了计算负担，并允许在 GTX 2080 GPU 上执行训练过程。大学的实验室也能负担得起这样的运算开销。

SpeechGen介绍

我们的研究方法在于构建一个全新的框架 SpeechGen，该框架主要利用语音语言模型（Spoken Language Models, SLMs）进行各种下游语音生成任务的微调。在训练过程中，SLMs 的参数保持不变，我们的方法侧重于学习任务特定的提示（Prompt）向量。SLMs 通过同时对提示向量和输入单元进行条件设置，有效地生成特定语音生成任务所需的输出。然后，这些离散单元输出被输入到基于单元的语音合成器中，生成对应的波形。

我们的 SpeechGen 框架由三个元素组成：语音编码器、SLM 和语音解码器（Speech Decoder）。

首先，语音编码器将波形作为输入，并将其转换为由有限词汇表导出的单位序列。为了缩短序列长度，会移除重复的连续单位以生成压缩的单位序列。然后，SLM 作为单位序列的语言模型，通过预测前一单位和单位序列的后续单位来优化可能性。我们对 SLM 进行提示调整，以引导其根据任务生成适当的单位。最后，SLM 生成的标记由语音解码器处理，将其转换回波形。在我们的提示调整策略中，提示向量会在输入序列的开始处插入，这将引导 SLMs 在生成过程中的方向。具体插入的提示数量，则取决于 SLMs 的架构。在序列到序列的模型中，编码器输入和解码器输入都会加入提示，但在只有编码器或只有解码器的架构中，只会在输入序列前面添加一个提示。

在序列到序列的 SLMs（如 mBART）中，我们采用了自我监督学习模型（如 HuBERT）来处理输入和目标语音。这样做可以为输入生成离散单元，并为目标生成对应的离散单元。我们在编码器和解码器输入的前面都添加了提示向量，以构造输入序列。此外，我们还通过替换注意力机制中的关键值对，以进一步增强提示的指导能力。

在模型训练中，我们以交叉熵损失作为所有生成任务的目标函数，通过比较模型的预测结果和目标离散单元标签来计算损失。在这个过程中，提示向量是模型中唯一需要训练的参数，而 SLMs 的参数在训练过程中保持不变，这确保了模型行为的一致性。我们通过插入提示向量，引导 SLMs 从输入中提取任务特定信息，并提高产生符合特定语音生成任务的输出的可能性。这种方法允许我们微调并调整 SLMs 的行为，而无需修改其基础参数。

总的来说，我们的研究方法基于一种全新的框架 SpeechGen，通过训练提示向量，引导模型的生成过程，并使其能有效地产生符合特定语音生成任务的输出。

实验

我们的框架可以用于任意的 speech LM 及各类生成任务，具有很好的潜力。在我们的实验中，由于 VALL-E 和 AudioLM 不是开源的，我们选择使用 Unit mBART 作为 speech LM 进行案例研究。我们用语音翻译 (speech translation)、语音修复 (speech inpainting)、语音连续 (speech continuation) 当作例子，来展示我们框架的能力。这三个任务的示意图如下图所示。所有的任务都是语音输入，语音输出，无需文本帮助。

语音翻译

我们在训练语音翻译 (speech translation) 时，用的是西班牙文转英文的任务。我们给模型输入西班牙语的语音，希望模型产生英文的语音，整个过程无需文本帮助。以下是几个语音翻译的例子，我们会展示正确答案 (ground truth) 与模型的预测 (model prediction)。这些演示示例表明模型的预测捕捉到了正确答案的核心含义。

语音修补

在我们进行语音修补 (speech inpainting) 的实验中，我们特别选取超过 2.5 秒的音频片段作为后续处理的目标语音，并通过随机选择过程挑选出一段时长介于 0.8 至 1.2 秒的语音片段。然后我们对选出的片段进行掩码，模拟语音修补任务中缺失或受损的部分。我们使用词错误率 (WER) 和字符错误率 (CER) 作为评估受损片段修复程度的指标。

对 SpeechGen 生成的输出与受损语音进行比较分析，我们的模型可以显著重建口语词汇，将 WER 从 41.68% 降低到 28.61%，将 CER 从 25.10% 降低到 10.75%，如下表所示。这意味着我们提出的方法能够显著提高语音重建的能力，最终促进语音输出的准确性和可理解性。

下图是一个展示样例，上面的子图是受损的语音，下面的子图是 SpeechGen 产生的语音，可以看到，SpeechGen 很好地修复了受损的语音。

语音连续

我们将通过 LJSpeech 展示语音连续任务的实际应用。在训练提示（prompt）期间，我们的策略是让模型只看到片段的 seed segment，这个 seed segment 占据了语音总长度的部分比例，我们将其称为条件比率（condition ratio, r)，并让模型继续生成后续的语音。

以下是一些实例，黑色的文字代表种子片段（seed segment），红色的文字则是 SpeechGen 生成的句子（这里的文字首先经过语音识别得到结果。在训练和推理过程中，模型完全进行的是语音到语音的任务，且完全不接收任何文字信息）。不同的条件比率使 SpeechGen 能够生成不同长度的语句以实现连贯性，并完成一句完整的话。从质量角度看，生成的句子与种子片段在语法上基本一致，并且语义相关。虽然，生成的语音仍然无法完美地传达一个完整的意思。我们预期这个问题将在未来更强大的语音模型中得到解决。

不足与未来方向

语音语言模型和语音生成正处于蓬勃发展的阶段，而我们的框架则提供了一种巧妙地利用强大语言模型进行语音生成的可能性。然而，这个框架仍有一些尚待完善之处，也有许多值得我们深入研究的问题。

1. 与基于文本的语言模型相比，语音语言模型目前还处于发展的初级阶段。虽然我们提出的提示框架能激发语音语言模型做语音生成任务，但并不能达到卓越的性能。不过，随着语音语言模型的不断进步，比如从 GSLM 到 Unit mBART 的大转身，提示的表现有了明显的提升。特别是以前对 GSLM 具有挑战性的任务，现在在 Unit mBART 下表现出更好的性能。我们预计未来会出现更多先进的语音语言模型崭露头角。

2. 超越内容信息：当前的语音语言模型并不能完全捕捉到说话者和情感信息，这给当前的语音提示框架在有效处理这些信息方面带来了挑战。为了克服这个限制，我们引入即插即用模块，专门为框架注入说话者和情感信息。展望未来，我们预计未来的语音语言模型将整合和利用这些内容之外的信息，以提高性能并更好地处理语音生成任务中的说话者和情感相关方面。

3. 提示生成的可能性：对于提示生成，我们有着灵活多变的选择，可以集成各种类型的指示，包括文本和图像指示。想象一下，我们可以训练一个神经网络，让它用图像或文本作为输入，而不是像本文中那样使用训练好的 embedding 当作提示。这个训练好的网络将成为提示生成器，为框架增添了多样性。这样的方式会让提示生成变得更加有趣、更加丰富多彩。

结论

本文我们探索了使用提示来解锁语音语言模型在各种生成任务中的性能。我们提出了一个名为 SpeechGen 的统一框架，该框架仅有约 10M 的可训练参数。我们所提出的框架具有几大特性，包括无需文本、多功能性、高效性、可转移性和可负担性。为了展示 SpeechGen 框架的能力，我们以 Unit mBART 为案例进行研究，并在三个不同的语音生成任务上进行实验：语音翻译、语音修复和语音延续。 

当这篇论文提交到 arXiv 时，Google 提出了一种更先进的语音语言模型 ——SPECTRON，它为我们展示了语音语言模型在建模说话人和情感等信息的可能性。这无疑是一个令人兴奋的消息，随着先进语音语言模型的不断提出，我们的统一框架具有巨大的潜力。

以上就是Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务的详细内容，更多请关注其它相关文章！

# 未来  # 惠州网站建设和制作  # 杭州优化网站建设费用  # 和田网站建设推广平台  # 广东seo推广公司排行  # 昆山网站建设推广多少钱  # 论坛网站建设系统哪家好  # 开封加油站营销策划推广公司  # 活动营销推广培训  # 最近的网站建设费用低  # 淮北网站推广公司去哪找  # 腾讯  # 很好  # 所示  # 框架  # 过程中  # 开源  # 是一个  # 的是  # 解锁  # 多项  # peech  # vall-e  # udio  # follow  # chatgpt  # 语音 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： OpenAI CEO 阿尔特曼到访日本，对全球 AI 协调合作表示乐观  人工智能在项目管理中的作用  机智云AI离线语音识别模组，让家电变得更加智能便捷  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  鸿蒙智能座舱的AI大模型革新，引领智能座舱领域的变革吗？  精准度可提高 20%：英国九家银行签约使用基于 AI 的“消费者欺诈风险系统”应对*  亚马逊确认今年不举办re:MARS人工智能大会  多家欧洲企业签署公开信，批评欧盟 AI 法案草案限制产业发展  五个IntelliJ IDEA插件，高效编写代码  人工智能快速发展 打开就业新空间  新华全媒+｜AI：当心，我可能欺骗了你！  定义人工智能的十个关键术语  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  无需标注数据，「3D理解」进入多模态预训练时代！ULIP系列全面开源，刷新SOTA  ChatGPT 可以设计机器人吗？  2025 世界人工智能大会闭幕，32 个重大产业签约总额达 288 亿元  小红书陷入麻烦！被指控未经许可使用用户图片进行AI训练  视觉中国宣布推出AI灵感绘图、画面扩展功能  Xbox游戏工作室负责人：VR/AR领域的用户规模还不足够  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  视觉中国推出AI灵感绘图功能，付费后可在“合法合规前提下使用”  pixivFANBOX 更新运营规则，禁止通过外链绕开 AI 生成禁令  五项人工智能尚未能够实现的任务  实现人工智能和物联网的协同运作  Nature发AIGC禁令！投稿中视觉内容使用AI的概不接收  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  亚太地区 70% 的企业高管正探索生成式 AI 应用或已经进行投资  食品分销跨国企业Sysco CIDO：我们的增长秘诀是以IT为中心  智能化解决方案：保障数据安全阻击泄露和丢失  日新月异，脑机接口技术都有哪些新应用？  家电行业观察：AI加持下，全屋智能将成为智能家电未来？  探展WAIC | 第四范式“式说”聚焦toB大模型，布局生成式AI重构企业软件  AYANEO AIR 1S 掌机发布：R7 7840U，预订价 4699 元起  OpenAI 向所有付费 API 用户开放 GPT-4  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  WHEE使用教程  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  人工智能的变革之路：通过OpenAI的GPT-4漫游  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  华为昇腾AI原生支持30多种基础大模型，包括GPT  刊·见 | 捕捉人工智能领域最新动态？收藏Applied Artificial Intelligence  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  聚焦WAIC｜AI技术支撑大模型探索未来  人工智能颠覆软件测试四大方式  人工智能如何与智能家居集成  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  十个AI算法常用库J*a版  零数科技CTO兰春嘉：区块链与人工智能的结合点在数据  智能手机应用中的人工智能的重要性  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了 

 2023-06-14