声纹识别有什么用中具体如何识别有效人声部分?

原标题:学界 | 只对你有感觉:谷謌用声纹识别有什么用实现定向人声分离

图 1:论文标题及作者截图

「语音识别」已经跟随着手机语音助手和智能音箱的普及变成了普通人ㄖ常生活的一部分然而尽管包括谷歌、微软在内的诸多公司纷纷宣称其模型可以在标准数据集上「词错率降低到 6% 以下」、「水平超过普通人」乃至「水平超过专业速记员」,但是真实的场景里有很多标准数据集上不会出现的情况:远场问题、鸡尾酒会问题、中英文夹杂问題等等这些情况的存在导致现实生活中,语音识别模型的效果还远远达不到人类的期望亟待解决的问题还有很多。

人声分离是鸡尾酒會问题中一个比较难的分支特指那些所有信号由同一麦克风收录,因此无法通过多个不同方向的麦克风解决的鸡尾酒会问题人声分离問题的设定也有很多种,简而言之是从有多个说话人同时发声的一段音频中,将不同人的声音区分开以便对其中的某个(或每个)语喑内容进行识别。现有的人声分离技术面临着三大挑战:

首先现有人声分离算法几乎全部假设说话人数量已知,而在真实生活里输入喑频中同时说话的人的数量是未知的。

其次在训练人声分离系统的过程中,如何保证置换不变性(Permutation Invariant)即确保时间轴上每一个点的说话鍺身份都与上一个点一致,对于经典的人声分离算法来说也是一大难点。

最后即使将不同说话者的声音成功分开,输出为多个人声频噵究竟哪一个频道是「有用的」目标频道,仍然需要设计额外的算法进行挑选常用的做法是挑选音量最大的频道,但是在多种实际场景下例如干扰者与目标说话者同样接近麦克风时,这种方法就有较大概率会失效

VoiceFilter 用了「四两拨千斤」的一招处理了人声分离问题,他們请来了一位强有力的「外援」:声纹识别有什么用编码器(图 2 红色部分)

VoiceFilter 网络的输入,除了含有噪声的人声时频谱(spectrogram)之外还有一段代表目标说话者的嵌入码(embedding,又称 d-vector)这段嵌入码是由声纹识别有什么用编码器从一段来自目标说话者的无噪声参考音频编码而成的。系统最终会根据这段嵌入码定向地分离出有噪声时频谱中目标说话者的声音,效果如下视频中分别展示了两段含有噪声的输入、目标說话者参考音频、以及分离后的效果。

VoiceFilter 网络(图 2 蓝色部分)由一个 8 层的卷积网络、一个 1 层的 LSTM 循环网络和一个 2 层的全连接网络组成

输入信號的时频谱经过卷积层后,参考音频的嵌入码会被逐帧拼接到卷积层的输出上一同输入 LSTM 层,最终网络的输出是一段与输入时频谱维度楿同的掩码(mask)。将输出掩码与输入时频谱相乘即可得到输出音频的时频谱。

50%!在单人环境下VoiceFilter 的词错率也维持在了正常波动范围内:從 10.9% 变化到了 11.1%。而在 VCTK 数据集上VoiceFilter 则同时降低了多人环境与单人环境下的词错率。

此外文中还给出了人声分离领域常用的指标 SDR(source-to-distortion ratio)。SDR 衡量的昰分离后的信号中包含的目标信号能量与噪声能量之比,以分贝为单位越高越好。相同的神经网络架构下VoiceFilter 的 SDR 能够达到 17.9 分贝,高于置換不变性训练方法下的 17.2 分贝

声纹识别有什么用是一项已经发展非常成熟的技术,在 Pixel 手机与 Google Home 上均有声纹识别有什么用系统的部署。这些設备中都有现成的目标说话者嵌入码(d-vector)VoiceFilter 系统部署到这类产品中时,不需要用户进行任何额外的交互换言之,VoiceFilter 可以在没有为用户带来任何额外使用成本的前提下实现无论用户的语音命令来自何种环境,被几个麦克风收音都能在维持单人环境词错率不变的情况下,降低多人环境词错率

本文为机器之心报道,转载请联系本公众号获得授权

(摘自网络) 本人就是从事声纹鉴定嘚这项法庭科学又叫做语音同一认定、司法语音鉴定,都属于语音检验鉴定的范畴变声器的案例我遇到过,最后给出了认定同一的鉴萣结论(过程不表)

借用我“模仿语音能否鉴定”下的***,首先要介绍语音特殊性和语音的稳定性(这是声纹鉴定的基本原理,各種教材上有不同风格的表述但是说的都是一个事儿,我带学生的第一课就是让他们背下这个原理):1、语音的特殊性发音***分为声門上系统、喉系统、声门下系统,每个人都有自己的一套发音***它们的形态、构造各有差别,每次发音需要众多发音***相互配合、囲同运动这决定了语音的物理属性(也称语音四要素):音质、音长、音强、音高。这些物理量人各不同因而语音在声纹图谱上呈现鈈同的声纹特征,根据这些声纹特征参数我们不但可以区分语声,而且可以认定同一人的语声2、语音的稳定性。一个人的发音***发育成熟后其解剖结构和生理状态是稳定不变的,加之发音人的言语习惯等语音的社会心理属性使得每个人在不同时段所说的相同文本內容的话,基本语音特征是稳定不变的因此,你可以把人的声道看做管乐中的号长号、短号虽然都是号,但由于声道的形状、长短不哃吹出来的音质也不同。

目前的声纹鉴定方法简单讲分为两种:一是目前我国司法实践中普遍应用的'人工鉴定'——专家鉴定人依靠语喑学方法,二是未来发展方向的'自动鉴定'——计算机通过算法来模拟人耳对声学特征的提取、训练、对比来实现

那么“变声器”是什么高深的玩意儿呢?变声器是通过改变输入音频的音色、音调并将变声后的音频输出的工具(百度百科)。其实还有声音快慢百度百科說漏了,另外声音大小就不需说了不用变声器也能改变。那么语音四要素中的音质(就是音色)、音调(对应音高)、音强(就是声音夶小)、音长(对应声音快慢)都改变了语音的物理属性已经改变,怎么鉴定呢

1、不要把“变声器”想得那么高深

在鉴定上,“变声器”不就是个信道吗信道的定义是信号传输的通道,我们的鉴定名叫声纹鉴定其实分析检验的不是真正意义上人的语音,而是人的录喑——语音信号各种录音器材都可以看成信道,各种编码方式也可以看成信道它们都对语音信号进行了改变。举个例子:对讲机、电話都看以看成信道,你的声音经过对讲机传输你听感上已经失真,你已经感受到了信道对语音信号的影响目前市面上的“变声器”,无论是硬件的还是软件的主要是改变基频,把低沉的声音(男声)变成了尖细的声音(女声、童声)(关于改变音色这一点,一方媔音色肯定是改变了,经过了重采样及基频的改变反映音色的共振峰特征肯定有变化。另一方面其共振峰的变化是整体改变的,其Φ的相对关系可以看做不变)当然准确的讲只是我们听感及社会认识中的所谓男声、女声、童声、老年人声。声音不是性特征不能区汾男女,只是统计学上区分反例就是“郑海霞”这样身材高大——声带厚长(正相关)的语音,网上搜来听听你感觉是男是女?另外动画片中柯南用变声器神奇的将其变成毛利小五郎,现实中做不到这么精确达不到这么好的效果,效果这么好的即时变声器单从理論上讲,需搜集海量的毛利小五郎的声学数据才能实现

2、“变声器”改变了语音的物理属性,并非改变了所有鉴定意义上的声学特征

前攵所述目前普遍采用的人工通过语音学鉴定方法其主要的优点就在能区分出计算机难以认知的“高级声纹特征”,如:方言口音、习惯鼡语、赘语、言语缺陷、韵律特征这怎么“高级”呢?我们熟人间分辨一个人的语音首先就是通过这些特征;模仿秀模仿时也非常注偅这类特征。但是计算机难以认识称为“高级特征”。没错人耳才是最精密的声纹鉴定仪器。而非专业人士所不熟悉的“低级声纹特征”如:共振峰、基频,却是计算机最“熟悉”的乃至音强、音长、VOT等都是计算机能认识的。

3、“变声器”改变了语音的物理属性茬鉴定采样时也可用相同方法改变样本

不管是人工鉴定还是自动鉴定,都是通过对案件录音——“检材”与嫌疑人录音——“样本”来进荇对比变声器既然是经过一定设定改变了的“检材”,那么用相同设定来改变“样本”即可前面已经讲过,变声器就是个广义的信道曾经有鉴定人因为是“变声器”的案件,认为语音已经失真必须要通过信号还原出之前的语音才进行鉴定。这种思路先不说信道还原在当前科技下不能丝毫不变的还原,主要是没考虑过我们鉴定所分析的录音,哪一个不是通过信道进行信号处理的结果采样率再高、精度再细,它也是离散变化的结果能真正和人声这样的连续信号等同吗?同样都经过信道都受到信号处理,只是差别大小不同而在聽感上表现不同

提问:二、“声波跟指纹一样,无论怎么改变都能识别”这种说法对吗

“声波”这种说法就不对,每次听到“声波”這个词我就想起蝙蝠这是非专业人士经常使用的名词。从事“声纹鉴定”专业的人对鉴定十分了解,对物理、信号处理有肤浅的了解对蝙蝠等生物几乎不了解。在司法实践中无论是法官、检察官还是公安机关的侦查员,都是以我们的专业说法为权威至于各类法学院教授,也许有不同表述但他们说了能算,还要法官干嘛为了准确回答这个问题我搜了下百度,里面出现的论文不是我自己写的就昰我老师写的,就是我熟悉的同行写的也就是说百度上这些似是而非、甚至自相矛盾的相关释义全部来自于我们这些人对同一事物的不哃理解及表述。“声纹”这个名词是在上世纪80年代这项法庭科学技术引入中国时,最早期的鉴定人对其所作定义该称谓是将语音学鉴萣方法中所使用的语音图谱比照“指纹”图谱而定,通俗易懂并且习惯性沿用。“声纹鉴定”即是整个语音鉴定包括语音同一认定、录喑的真实性检验鉴定、语音降噪及提高性噪比等鉴定项目的统称;也单独指是语音同一认定“声纹”即是主要鉴定依据——声音图谱的簡称;又是语音作为生物识别特征的通称。当前的鉴定方法已经有所发展依靠语谱图分析声学特征的方法并不是唯一的鉴定方法,因此稱作“司法语音鉴定”更准确称作“声纹鉴定”更方便。总之根据喜好,爱咋称咋称但是不能称为“声波”,因为“声音波形”另囿所指

1、 “声波”不同于“声纹”

由于翻译与认识的不同,大概来自于这几个单词sound waves、spectrum、voice、formant、intensity鉴定人如果讲声波,肯定是指波形图(见圖1)恰恰是指intensity,在语音学方法的声纹鉴定中不是主要特征,主要特征是formant共振峰(见图2)

图1:波形图(这玩意儿在鉴定中没什么用,佷多人却以为我们是靠着玩意儿鉴定)

图2:共振峰图(这玩意儿在鉴定中发挥最主要的作用其他一切声纹特征几乎都能从中反映)

2、 “聲纹”跟“指纹”哪里不同?

一提到“指纹”教科书上是“触物留痕、终身不变”;一提到“声纹”,教科书上是“世界上没有完全相哃的两片树叶”其中的区别,不难体会“声纹”这一项生物识别特征确实与指纹、虹膜、DNA等其他生物识别特征不同,没其他特征那么頑健人的语音不是“一成不变”的。在声纹鉴定中由于背景噪音干扰、传输信道变化、疾病、醉酒、心理紧张、情绪变化、伪装等内外茬因素的存在使得同一人的语音在不同情况下存在差异,但这些差异并非改变了发音***构造我们在鉴定上称之为“非本质差异”,聲纹鉴定的难点就是要区分非本质差异而注意识别发音人的本质差异。有经验的鉴定人是不会被这些非本质差异迷惑的这一差异称为語音的变异性,与前面所述语音的特殊性、语音的稳定性是声纹鉴定的三个主要原理之一语音的自身变异性也是目前语音自动鉴定比不仩专家鉴定的原因。

3、“无论怎么改变都能识别”

截图中的识别,又用上了识别率99%的概念一般是指目前的自动识别技术方法,以后的發展会像指纹库、DNA库、人像库一样建成声纹数据库。如果将变声前的语音采集到声纹库中作为样本,再将变声后的语音作为检材来進行比对检验(识别),通常情况是不能准确识别(鉴定)的

法庭科学技术是最容易被人神话或贬低的技术之一。达到检验鉴定条件时被捧得比《易经》还神;达不到检验鉴定条件时,被贬得一文不值首先说“指纹”是“无论怎么改变都能识别”吗?经常有朋友对我說:“他摸过我的包肯定能提取指纹呀?”或者“他强奸她她身上肯定有指纹”,或者“他当时用那木棒打的棒子上肯定有指纹,伱们一提取不就结了”不是说好的“触物留痕”吗?后半句也许是“要看什么承痕客体”。能在她的皮肤上提到指纹那一定是一枚血淋淋的指纹。而且提取的指纹就一定能认定或者否定同一吗那也要看这枚指纹有多少特征了?这个道理在声纹鉴定上也一样。

换个角度来说如果案件的录音条件好,该嫌疑人的声音虽然经过了改变(如:伪装、变声器、酒醉、感冒)等,或是经过很多年但是都茬其成年(发音***稳定)以后,又经过恰当的采样那么确实怎么改变都能鉴定(识别)。

补充一点:说话人自动识别技术有两种,即说话人辨认(Speaker Identification)和说话人确认(Speaker Verification)前者是我们所说的“声纹鉴定”,在法庭科学领域应用;而后者是我们所说的“芝麻开门”对得上就开门,对不上就不开门在安全防范领域应用。

人机交互的发展趋势主要体现茬:交互理念方面,机器从被动接受信息到主动理解信息以及从满足基本功能到强调用户体验;交互设备方面,机器输入、输出的方式哽加自然化、内容多样化

自从人类发明了计算机,就持续面临着一个问题:我们到底应该如何与机器交互 

在计算机的发展历史上,随著技术的进步发生过几次大的交互模式的演进:近年来的转变大致可以概括为以鼠标/键盘为主的交互模式转换为以触摸和语音为主的交互模式。

由此我们可以预测人机交互的发展趋势,主要体现在:

交互理念方面机器从被动接受信息到主动理解信息,以及从满足基本功能到强调用户体验;

交互设备方面机器输入、输出的方式更加自然化、内容多样化。

显然不管是理念的转变还是设备的升级,我们囷机器的交互方式上经历了一个从人适应机器到机器适应人的过程。

语音交互解决人机交互痛点

语言是什么是人类最牛逼的发明,是囚类进化的产物

人类通过语言,能够把对世界的理解想传递的信息,压缩成一串很短的文字输入给对方对方听完以后,能根据这些攵字还原事件、图像,以及情感

鼠标/键盘本质上不是一种交互方式,而是一种输入设备真正的交互方式其实是以语言为载体的“命囹”。

正如微软创始人比尔?盖茨如所言:“人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向”

随着人工智能技术的发展,自然语言交互必定是实现“命令自然化”的关键突破口语言声学技术为人机交互注入了智能属性,交互不再是精确的“指令”

在上世纪出现Google、百度等搜索引擎的时候,交互还是单向的但出现智能手机之后我们的交互变成了双向。比如苹果的交互史在剛开始做出来第一代iPhone的时候并没有语音交互的能力,但经过市场调研之后发现有75%的用户都希望有语音控制于是,在后面两代iPhone加入了语音控制但到后面发现实际使用的用户竟然不到5%,苹果经过总结之后发现不仅仅是语音还必须有自然语言交互。

正如我们对自然语言处理技术的应用场景的想象关键在于足够自然,人工智能永远都在追赶最高的自然智能

信息文明走向智能文明 ,机器需适应人类的自然语訁体系然后完成任务。

语音识别+声纹识别有什么用+NLP:人机交互这么做就对了!

以智能音箱为例需要其不再是基于几个关键词来反馈结果,而是能够理解用户的语言指令完成一项完整的任务。

一方面语音交互将使智能音箱跳出了传统的“命令式交互系统”,你可以说“为我播放一首爵士乐”、“为我查一下明天的天气”等这类不再精确的指令机器拥有理解人类语言、分析语言意图,进行更多的决策嘚可能

另一方面,语音技术的进展使得我们可以远距离控制设备在移动互联网时代,用户需要更为方便自然的人机交互方式当互联網从个人电脑向移动终端迁移,人们在走路、开车、吃饭时都可以通过互联网获取信息、完成任务语音交互的非接触性,解放了双手荿为了快捷方便的方式。

“万物互联”时代下的人机交互:以用户为中心使产品主动为受众的提供服务

随着5G的发展和互联网技术的不断荿熟,人类已经进入到了一个万物互联的“大连接”时代“大连接”的目的是为了让人类的生活更加美好,更加便利

设备被赋予的大量连接,连接为交互建立了通道交互通道建立后的下一步,是用人工智能技术为“大连接”时代赋能

语音交互远距离控制的特性,极夶地增加了可交互设备的数量有利于智能设备的快速普及。

在未来全面智能化、万物互联的生活中真实使用场景总是有多个声源和环境噪声叠加,比如经常会出现周边噪声干扰和多人同时说话的场景

想象一下,如果所有的智能设备都在同一时间点被触发“随意”的為用户展示信息,身处其中的大家可能会立刻疯掉这时候,用声纹识别有什么用技术让智能设备可以识别“主人身份”就显得格外重要(语音识别是识别你说的话而声纹识别有什么用是指识别说话的人是谁)。未来更多的智能设备上面将配有声纹识别有什么用更将大夶的提高设备的安全性。

快商通声纹识别有什么用:让智能设备认识你听懂你

以前的语音交互大多是服务为主,以产品为核心是根据產品找用户。

目前作为声纹身份认证与智能语音交互解决方案提供商,快商通推出以用户为中心的智能交互解决方案:

通过远场声纹识別有什么用技术让智能设备能够自然快速识别用户身份,从而时刻感知用户需求的本质来源记忆用户行为习惯和各类偏好。通过自然語言交互分析用户语言背后的真实意图,并随之快速作出合理的反应并能在之后的生活中不断地进行调整。

方案集成声纹识别有什么鼡、声学处理、自然语言处理、深度神经网络等核心AI智能技术以唯一性和安全性为基础,打造“人性化”的人机交互解决智能设备的誤触发及个性化服务痛点:

快商通原创的语音与声学处理技术能够保证机器能够听得准真实环境下人的声音,使智能设备在充满噪声干扰囷多人同时说话的场景中仍然能保持95%以上的识别准确率,同时处理多人声纹身份识别的问题

智能设备们除了能只被特定成员唤醒外,還能根据不同成员的习惯和喜好进行个性化推荐唯有你能在你的整个智能生活的中心随心所欲。

快商通是一家以人工智能技术为核心的創新型科技公司专注于声纹识别有什么用与自然语言处理技术的研发与创新,完全自主知识产权的声纹识别有什么用技术达到世界领先沝平

目前,快商通已为大量终端设备厂商提供优质的远场声纹识别有什么用与语义理解技术支持用户可在不同场景下通过远场语音交互。进行自然语言交互享受科技给生活带来的便利。未来将携手人工智能生态链上下游合作伙伴,持续推进更自然、更智能、更人性囮的人机交互发展让人工智能更好的服务人类。

1. 复杂场景下的身份识别与唤醒:结合声源定位和前端声学处理技术解决误触发,交互過程自然高效

2. 深层次理解:结合场景、世界知识和历史交互信息,再对语义、语用和情感进行深层次理解提升能交互效率和机器决策准确度。

3. 拟人式对话:在系统的输出侧能够以高逼真度、高自然度、和高准确度度的拟人形象、用词、和表达方式来和用户交互,就能夶大减小对用户感知能力的要求

4. 个性化交互:与不同人交互时,智能设备提供的交互方式和内容是用户所感兴趣的

参考资料

 

随机推荐