Intelligent speech topic (III): Pan speech recognition

  语音识别ASR（Auto Speech Recognition）负责将输入的语音信号转化为文本识别结果。

  ASR拿到的语音信号一般是经过VAD处理后的语音，音频中的静默、非语音的端头和端尾部分应当已经被切割掉。（语音开头和结尾处的静默语音是一定程度上能提升语音识别率的，尤其针对短句子。）

  语音信号首先进行特征提取，将语音信息进行数字量化，声学模型描述出语音的单个发音特点，发音词典和语言模型描述出发音之间的关系，之后解码器基于这两个模型组合的所有可能组合，找到最优解，给出最终的识别结果。

  核心模块按功能划分为以上部分，而语音信号中的从提取信息的数据流上分为以下部分。

  整个语音识别的过程可以概况为两个核心学科的综合应用，一个是声学，一个是语言学。

  之前大量的篇章讲了语音信号处理，基于声学场景，增强我们需要识别的声音，抑制我们不需要识别的声音，怎么现在这里又要讲声学，有什么区别吗？

  当然有的，信号处理的声学我们关注的是空间、声源、噪音的相互影响，关注的是环境层面的声学；而语音识别中的声学，关注的是语音和语言中的声学，覆盖的是目标语言的声学特点。

  我们的每一个发音称为“音素”，是语音中的最小单位，比如普通话发音中的元音，辅音。声学模型通过将语音分帧，主要处理发音相关的工作，模型包含发声的基本音素状态和概率，覆盖了目标语言中的声学特点，识别语音中最小的“音素”，再由多个音素组成单词，再由单词组成文本句子。

  同样的一句话，不同人、不同年纪、性别、口音、语速、音调产生的语音都是不同的，不同场景下安静的，嘈杂，远距离的语音也是不同的。同一句“Hello”，不同的人，不同场景下经过声学处理得到的特征信息，“音素”差异是非常大的，人也很难听清楚你说的到底是Hello还是Hallo，这也就是声学处理的一大难点。

  声学部分作为语音识别的入口，需要尽可能的覆盖各种差异性语音，尽量采集多种场景，安静的，嘈杂的，远距离的发声语料生成声学模型，同时我们在做产品定位的时候一定要弄清楚应用的场景。一方面是用户群体，人员结构，口音等要求，例如儿童类语音产品大多需要针对儿童发音特点进行定制；另一方面是噪音叠加场景，距离等要求，例如车载ASR引擎供应商一般会叠加不同车速，车窗状态的胎噪、风噪等噪音数据进行ASR的训练。

  不同语种、方言、场景之间可能发音上都有很大的差异，如果不能兼容，这时就需要考虑单独针对语言或者口音定制，例如不同的方言会用不同的声学模型，在提高精度的同时降低计算量。

  ASR语言学部分同样重要，ASR解码器部分通过语言模型和发音词典，在各种发音之间给出最有可能的文本识别结果。不同的语言，发音方式不同，词汇不同，句型语法也存在差异。

  针对汉语普通话，语言学中影响ASR识别率的主要两个点：

  从上可以看出，语音识别需要结合语义场景和上下文才能达到一个最佳的效果，这是语言学应当解决的问题，我们一定要知道语音交互时的主题和领域是什么，才不至于对牛弹琴。从产品应用层面，行业内的解决方案：

  整个语音识别基于统计结果，基于上下文，没有100%的正确，也没有万能的ASR，离开测试集，别说识别率。各个厂商对外宣传的97%的识别率，使用新闻播音的语音测试可以有95%的识别率，而网络课程中针对编程、高数等领域的识别只有75%（老师通常带口音）。

  即使相同的语言，不同的地域也会体现差异：对应发音的变化、词汇的变化和语法的变化，方言的支持通常意味着独立的ASR。有时候市场上可能会有类似的要求，“我要产品能够同时支持普通话、粤语、四川话、台湾话、上海话等等，最好能够自适应，用户不管用什么方言自动识别出来。”这个从目前的技术现状来说，无法通过单一的识别引擎做到。

  针对英文有美国英语、加拿大英语、UK英语、澳洲英语、印度英语等等，上图右方的是Google 针对不同英语对应的ASR识别引擎。

  针对汉语有八大语系（方言），北方语系、吴语系、湘语系、赣语系、客家语系、闽南语系、闽东语系和粤语。

  这些差异都会在声学模型、语言模型、发音词典中体现。例如：四川话属于北方语系，发音和普通话相似度很高，专有的四川话词汇也比较少，所以大多普通话的ASR在加入了带口音的数据之后能够较好的支持四川话。而单独的四川话识别引擎，语言模型可能和普通话差异不大，声学模型和发音词典则是完全只针对四川本地发音特点的支持，数据规模和成本等综合考虑，通常这类方言识别引擎的成熟度是弱于普通话的。

  粤语这类发音有很大差异的语言则无法在普通话引擎中做兼容，带口音的普通话识别，方言的识别是两个不同的命题。

  前面把主要的声学、语言学相关介绍之后，我们能够对ASR的实现有了一个基本的了解，同时以上部分关注的都是对于识别率的影响，而除了识别率，ASR的处理耗时对于语音交互的体验影响也非常大。当音频输入之后，ASR基于音频给出识别结果，处理的耗时同音频长度正相关，语音越长耗时越长。衡量ASR或者识别引擎的耗时，我们通常使用RTF指标，这个指标越小对应的耗时性能越好。

  曾经传统的语音识别方式都是等用户说完话，然后对应的语音上传给ASR引擎进行识别，这就导致了语音交互的时延和用户说话的长短强相关，体验相对较差。在最近几年由于算力和算法的持续提升，云端ASR服务能够支持更多的计算量，云端引擎都会支持流式语音识别。即我们对设备说话的时候，引擎可以在开始说话第一个音传入引擎之时就进行识别，不断的输出识别结果，不断的校准，当用户说完之后，VAD 检测到用户说话结束再由ASR输出流式识别结果。

  这样做到了边听边识别，语音识别的时延只和最小单元的处理时间有关（RTF小于1的情况下，ASR处理时延可以稳定在一定区间），开始说话即有响应，结合ASR结果文本回显的的可视化效果，能够明显改善语音交互体验。（进一步的，我们还可以做到边听便理解，提升整个语音交互体验，在后续章节详细展开）

  以上部分介绍了ASR的基本原理，声学和语言学对于识别率的影响，不同方言的影响，时延对于交互体验的影响，在产品应用过程中需要根据实际的需求、场景进行分析和定义，达到最优的产品化语音识别效果。如果有对于技术细节想了解的更清楚的同学可以参考我之前的文章。

  本章的标题称为泛语音识别，因为我想进一步展开话题讨论下语音识别还能做什么。从本质上来说，语音识别为一种模式识别技术，输入相应的音频而得到期望的文本、符号、状态和模式，ASR是一个广义上的应用不应该只局限于获得文本，在音频当中我们还能够获得更多有价值的信息。

  语音识别的泛应用，从声学和语言学上找到特征，可以是纯粹的声学特征，也可以是结合在一起的文本特征，主要包含唤醒词识别、命令词识别、语种识别、声纹识别、关键事件监测等等应用。

  最后单说目前应用较多的声纹识别（支付宝和微信都已开通声纹锁，大家可以体验），基于人在讲话时使用的发声器官在尺寸和形态方面每个人的差异很大，所以任何两个人的声纹图谱都有差异。不同人的声音在频谱图中共振峰的分布情况不同，声纹识别正是通过比对两段语音的说话人在相同音素上的发声来判断是否为同一个人。识别声音特征，进行1:1和1:N的说话人声纹特征识别，用于身份校验或者身份辨别。

  声纹识别主要包含声纹注册和声纹识别两个核心部分。

  声纹识别视具体应用场景，提出不同的安全性要求，通常支付类和锁类应用需要更高的安全级别。主要采用活体检测，随机验证文本，抵御录音重放攻击。采用针对人工语音的非自然检测模型识别波形拼接、语音合成等攻击方式。

  当我们要采用语音相关的技术方案时，基于我们的语音交互场景，需要使用不同的语音技术。如果制定选型标准，我们应该关注那些语音指标，哪些是会对我们的产品造成明确影响的，罗列以下供大家参考：

  希望通过此文能够让大家对泛语音识别有更好的了解。