近日，全球语音顶会INTERSPEECH 2020 公布了论文接收结果，云知声联合上海师范大学、安徽大学等高校发表多篇论文成功入选。分别在中英文混合语音识别、大词汇量连续语音识别和多模态虚拟形象生成等领域取得突破，代表着云知声在语音及多模态交互领域持续的底层技术创新。同时，云知声也是今年会议的金牌赞助商，致力于加强工业界和学术界的技术协作，支持会议顺利举行。
INTERSPEECH 是世界上规模最大、最全面的顶级语音领域会议，由国际语音通信协会 ISCA(International Speech Communication Association)组织。该会议每年举办一次，今年大会是第 21 届 INTERSPEECH 被称为「瑞士钟表业教父」的LVMH旗下宇舶表董事局主席JeanClaudeBiver曾经说过这样一句话「看时间是手表最不重要的功能」，这也是他对于「为什么戴手表」的一种回应。手表的本意是指戴在手腕上、用以计时、显示时间的实用工具。而今随着计时工具的普遍化，其作用不在注重计时功能，这种大大超出其本身功能价值的小物件，更多的是一种饰物，象征着体现出配饰者的品味。在西方政治哲学中，评价一个社会的进步，是要看它是否抛弃了功能主义而实现了精神主义。可见，那些问「为什么要戴手表」的人还停留在功能主义上。而戴手表的人到底在追求怎样的精神主义，我jio得主要有以下几个原因。 会议，也是第二次在中国举办。本届会议以“Cognitive Intelligence for Speech Processing”为主题，内容涵盖信号处理、语音识别、自然语言处理、神经机器翻译等领域，收到超过 2100 篇投稿论文。会议研究成果代表着语音相关领域的最新研究水平和未来的技术发展趋势。
作为 INTERSPEECH 会议的一部分，国际语音合成比赛 Blizzard Challenge 2020 研讨会将于 10 月 30 日举行。Blizzard Challenge 是当今全球规模最大、最具影响力的语音合成领域顶尖赛事，在今年的 Blizzard Challenge 比赛中，由云知声-上海师范大学自然人机交互联合实验室申报的系统在强敌环伺的赛场中突出重围，首次参赛即斩获中文普通话、上海话多项关键指标第一。在 10 月 30 日的研讨会上，研究团队会通过 live online oral presentation 的形式对参赛系统进行详细解读，欢迎参与和讨论。
中英文混合语音识别
在中英文混合语音识别方向，针对混合语言语音 (code-switching) 场景，研究团队提出了一个基于Transformer模型的多编码器-解码器结构的语码转换混合语音识别方案(Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition)，该结构具有两个对称的与特定语言相关的编码器，以捕获各种语言的特有属性，从而改善每种语言的深度声学表示。这些深度表示被进一步在解码器模块中使用特定于语言的多头注意力机制进行有效整合，以最终提升整个端到端识别系统的性能。同时，团队还使用了大规模单语言语料库对每个编码器及其相应的注意力模块进行了预训练，旨在减轻语码转换训练数据不足的影响。借助预训练方式，研究团队的模型分别在 SEAME 中以中文和英文为主的评估集上达到 16.7% 和 23.1% 的词错误率，刷新了在此数据集上的最好成绩，相对之前论文的最佳成绩提升了12.5%的性能。
语码转换语音实例及多编码器的输出
大词汇量连续语音识别
研究团队提出了一种新颖的带深度声学结构和 Self-and-Mixed 注意力解码器结构(Self-and-Mixed Attention Decoder with Deep Acoustic Structure for Transformer-based LVCSR)，其利用具有深度声学结构的 Self-and-Mixed 注意力解码器，以改善基于 Transformer 的大词汇量连续语音识别的声学表示。具体来说，研究团队引入一种自注意力机制，以获取深层的声学表征。研究团队还设计了一种混合注意力机制，该机制可以在共享的特征空间中同时学习不同层次的声学表征及其对应的语言信息之间的对齐关系。本项研究工作在 AIShell-1 数据集上曾刷新最佳成绩，字符错误率降低至 5.1%，相对之前的最佳成绩提升了 24% 的性能，显著提升了识别效果。
多模态虚拟形象生成
如何在提高虚拟人面部动作的丰富和自然度，是目前虚拟人生成的热点问题。研究团队提出了一种基于面部关键点和改进的 GAN 模型的两级模型生成方案，实现从语音到虚拟人形象的生成，在本方案中，利用面部关键点作为语音特征到视频生成之间的信息表达中介，同时引入 attention 机制，解决在虚拟人生成过程中不同区域因子对视频效果质量的影响。实验生成的视频结果表明本方法保持了丰富的面部细节、精确的嘴部动作和自然的头动效果。在娱乐应用、拟人化交互等领域有广泛的应用和落地场景。
人工智能成功的关键在应用，而所有应用皆源自底层技术。为不断拓宽自身基础能力边界，云知声深入布局了语音、语言、视觉图像、机器翻译、AI芯片等诸多方向，形成丰富的具备全球领先的原创技术积累，相关研究成果多次在 NIPS、NIST、WMT、ACL 等全球顶会与赛事中得以印证。
本次在 INTERSPEECH 2020 大会上这些原创技术的提出，也将进一步夯实云知声全栈+硬核的人工智能技术“底座”，提高云知声在智能语音和多模态人机交互领域的技术领先性，推动人工智能系统以更人性化、高效的方式服务于千行百业，为用户带来更好的交互体验。
这项复杂功能包含最多的零件数目，通常多达400个以上。三问功能以音槌敲击淬硬钢音簧所发出的音乐声报时。它可根据佩戴者的要求以连续敲击低音音簧报时，敲击低/高音音簧报刻，而在上一刻钟报完后所剩余的每一分钟则敲击高音音簧报分。追针计时功能：计时是配备能测量和显示连续或不连续时间跨度的辅助机械装置，同时却不会影响正常的腕表计时功能。一枚中央计时码表秒针能随时随意启动、停止或重新启动，然后只需按下一或多次按钮就能立即归零。这不仅是日常生活中一项实用的功能，而且就技术层面而言也是一项非常精密复杂的功能。
原创文章，作者：leping，如若转载，请注明出处：https://www.zhjiashun.com/zjsb-171212.html
