关于语音交互，你不得不知的技术知识

　　要更好的理解语音交互，那末便不能不理解背后的手艺常识，国庆花了几天大抵看完了宗成庆的《统计天然言语处置》，那本书次要讲的是言语交互里最枢纽的部门，即Natural languge Processing。为了自我梳理，把本书战看的吴军的《数教之好》 一同汇总了下，收拾整顿出去给需求的童鞋。

　　本文分四个部门，相比照较少，并且又是手艺的，能够会比力好看出来，可是….要对峙。

　　一，语音交互的体系组成

　　两，语音交互面对的艰难

　　三，天然言语处置的枢纽手艺

　　四，详细场景语音交互真现的手艺本理

　　一，语音交互的组成

　　语音交互普通包罗三个模块：

　　语音辨认 ASR(Automatic Speech Recognition)，次要事情是将声音疑息转化为笔墨。

　　天然言语处置 NLP(Natural Language Processing)，次要事情是了解人们念要表达的意义，并给出开理的反应。

　　语音分解TTS( Text To Speech)，次要事情是指将笔墨转化为声音

　　《统计天然言语处置》给了更详尽战完好的的人机对话体系构成构造，次要包罗以下6个手艺模块：

　　1，语音辨认模块(speech recognizer)

　　真现用户输进语音到笔墨的辨认转换，辨认成果普通以得分最下的前n(n≥1)个句子或词格(word lattice)情势输出。(把用户道的语音转成笔墨)

　　2，言语剖析模块 (language parser)

　　对语音辨认成果停止阐发了解，得到给定输进的内部暗示。(即把用户道的转成机械了解的言语)

　　3，成绩供解模块(problem resolving)

　　根据言语剖析器的阐发成果停止成绩的推理或查询，供解用户成绩的谜底。 (即处理用户成绩的模块，好比挪用的百度搜刮)

　　4，对话办理模块(dialogue management)

　　是体系的中心，一个幻想的对话办理器该当可以基于对话汗青调理人机交互机造，帮助言语剖析器对语音辨认成果停止准确的了解，为成绩供解供给协助，并指点言语的死成历程。能够道，对话办理机造是人机对话体系的中间关键。( 可以记载汗青对话数据，经由过程锻炼可以给到用户更好的答复)

　　5，言语死成模块(language generator)

　　按照剖析模块获得的内部暗示，正在对话办理机造的做用下死成天然言语句子。 (把答复的机械言语再转换成 白话言语)

　　6，语音分解模块(speech synthesizer)

　　将死成模块死成的句子转换成语音输出。(把白话言语再转化成语音)

　　两，语音交互的面对的艰难

　　下图是知乎成绩 为何 Siri 听懂了我的话，借是不克不及做出有用的答复或精确的操纵?的内容，很好的例证了语音交互里的最年夜的成绩正在于 语义了解，即精确的了解用户的对话目标。Siri能够很好的辨认语音，即能晓得用户道的是“ 来日诰日早上9面帮我预定出租车来公司“，可是却不克不及了解您的对话目标，究竟是要设定预定提示日历，借是要提早预定出租车。

　　而形成Siri不克不及了解用户的本果是，1，本来的对话有多个寄义，2， 本来的对话里 滴滴挨车关于Siri去道是已知言语。(其时内置体系并出有对接滴滴)

　　因而语音交互终极需求处理的枢纽成绩是歧义消解(disambiguation)成绩，战已知言语征象的处置成绩。

　　了解了那个布景，我们正在战Siri对话大概设想语音交互的功用时便能了解它们为何不克不及做出有用的答复。上面一篇讲的便是怎样做语义了解。

　　三，天然言语处置的枢纽手艺

　　怎样让机械来了解 “ 来日诰日早上9面帮我预定出租车来公司“ 那句话， 便像关于一个2年岁小孩子，它能够听得懂可是看没有懂，那末我们是否是先要要教她那句话是那样读：

　　“ 来日诰日/早上/9面/帮/我/预定/出租车/来/公司”——即 中文分词

　　然后教她意义是 “来日诰日早上9面/帮我/预定出租车/来公司”——即 句法构造

　　然后报告她那里的“预定”没有是预定提示，即语义阐发

　　最初 “刚道的来日诰日早上9面帮我预定出租车来公司。 可是我如今没有需求了”—是迁移转变，即篇章阐发

　　1，中文分词

　　词是对话最小单位，因而了解一句话的条件是可以晓得对话里用了哪些词。

　　好比：“上海年夜教乡书店正在那里”，便需求拆分红“上海/年夜教乡/书店/正在/那里”，而没有是： “上海年夜教/乡/书店/正在/那里”

　　上面是《数教之好》吴军讲的 分词的同一办法，他讲的比力间接好理解，便间接截图了。

　　差别使用的 分词颗粒度巨细是差别的，晚期谷歌的分词藻用Basic Technology公司的通用分词器，分词成果出有针对搜刮停止劣化，前期借特地为搜刮设想战真现了本人的分词体系。

　　2， 句法阐发(syntactic parsing)

　　文中的注释是句法阐发是天然言语处置中的枢纽手艺之一，其根本使命是肯定句子的句法构造。 实在道简朴面， 我的了解是，中文分词是把一句话拆分红 word1， word2， word3，那末句法阐发便是把一句拆分红 主语，谓语，宾语….。

　　经由过程句法阐发，可以更快的了解一句话，好比正在了解英文对话的时分，固然有些描述词看没有懂，可是我们找到动词战主语或宾语后，可以大抵晓得那句话的意义。

　　基于几率高低文无闭文法(probabilistic (或stochastic)context-free grammar, PCFG或SCFG)的短语构造阐发办法能够道是今朝最胜利的语法驱动的统计句法阐发办法，有爱好的能够深化理解下。

　　3，语义阐发

　　语义阐发次要是词义消歧战语义脚色标注。

　　词义消歧次要是果为一词多义十分遍及，如，英语中的单词bank的寄义能够是“银止”，也能够是“河岸”，究竟是哪一个需求按照高低文情况，主动解除歧义。

　　好比 “ take me to the bank in the north “ 究竟是来北边的银止借是来北边的河岸。

　　词义消歧办法分为有监视的消歧办法(supervised disambiguation)战无监视的消歧办法(unsupervised disambiguation)。正在有监视的消歧办法中，能够按照锻炼数据得知一个多义词所处的差别高低文取特定词义的对应干系，那末，多义词的词义辨认成绩实践上便是该词的高低文分类成绩，一旦肯定了高低文所属的种别，也便肯定了该词的词义范例。

　　正在无监视的词义消歧中，因为锻炼数据已经标注，因而，尾先需求操纵散类算法对统一个多义词的一切高低文停止等价类分别，假如一个词的高低文呈现正在多个等价类中，那末，该词被以为是多义词。然后，正在词义辨认时，将该词的高低文取其各个词义对应高低文的等价类停止比力，经由过程高低文对应等价类确实定去判定词的语义。

　　4，篇章阐发

　　篇章正在英文中经常使用“discourse”暗示，正在汉语里常有篇章、语篇大概话语之道。篇章阐发的终极目标是从团体上了解篇章，最主要的使命之一是阐发篇章构造。

　　正在对话的历程中我们很少少篇年夜论，可是正在多轮对话时，一整段对话实在是一个篇章。以是需求了解每句话之间大概道篇章的构造。

　　好比：“ 帮我定个来日诰日早上7面的闹钟“ “ 算了，太早了，帮我改成8面“ 那末经由过程了解两句话的构造，我们晓得需求来打消之前7面的闹钟，并设置一个8面的闹钟。

　　四，人机对话体系的真现手艺

　　上面是《统计天然言语处置》里引见的一种白话剖析办法——基于划定规矩战HMM的统计剖析办法，文章并出有道那是人机对话体系的尺度真现手艺，并且暗示那种做法有必然缺点。 我们只需求理解那种按照辞汇分类，语义组块阐发后死成机械可以了解的对话阐发机造。

　　基于划定规矩战HMM的统计白话剖析办法是

　　由辞汇分类模块对其辞汇停止词义分类，即把句子中的每个词映照到响应的词义类中。语义组块阐发器从句子对应的词义类序列平分析出语义组块，组块阐发器输出的是一个语义组块序列。统计剖析模块从语义组块序列阐发出句子IF暗示的次要框架。语义组块注释模块把各个语义组块注释为响应的IF表达式片断。 颠末对上述两部门的兼并，获得终极的IF(interchange format)表达式(国际语音翻译先辈研讨同盟C-STAR接纳的一种称做中心转换格局的语义暗示情势，以有益于多言语互译)。

　　1，IF表达式格局：

　　Speaker：Speech-Act[+Concept]*[(Argument=Value[，Argument=Value]*)]

　　例：来日诰日我念预订一个单人世。

　　IF：c：give-information+reservation+room(room-spec=(room-type=single, quantity=1), reservation-spec=(time=(relative-time=tomorrow)))

　　该IF的寄义为：道话报酬“c”，该句子的企图是供给疑息，主题观点为“预订房间”，闭于“房间”的详细疑息由一组“属性-值”对形貌：房间范例(room-type)为单人世(single)，数目(quantity)为1;“预订”的详细请求经由过程“相对工夫(relative-time)”那一参数形貌，参数值与“来日诰日(tomorrow)”。

　　2.辞汇分类

　　据辞汇的语义功用，把每一个辞汇分别到差别的类。其分类根据是辞汇正在句子中的语义功用，语义功用不异的辞汇回为一类，比方，“单人世”战“单人房”属于统一个语义类;“年夜”战“小”固然词义差别，但正在句子中的语义功用是不异的，以是，把它们也回为一类。

　　3，语义组块阐发

　　按照语义组块详细的意义，对语义组块停止了语义分类。比方，一切对工夫的表达，“来日诰日”、“后天”、“礼拜一”、“三天后”等，皆回属于工夫类语义组块，记做TIME;对房间范例的表达，如“单人世”、“单人世”、“一小我私家住的房间”、“宽阔的房间”等，皆回属于房间类语义组块，记做ROOM_TYPE。

　　4，统计剖析历程

　　脚工标注必然数目的语料。关于语猜中的每个句子，尾先对它停止语义组块阐发，获得该句子对应的组块序列，然后给出该句子的IF语义暗示，最初把IF语义暗示线性化而且战语义组块序列对齐。用那些语料去对模子的参数停止锻炼，便获得一个统计剖析模子。

　　关于一个需求剖析的句子，尾先对它停止语义组块阐发，获得该句子对应的语义组块序列，然后把语义组块序列做为统计剖析模子的输进，则剖析模子的输出便是输进句子的线性化后的IF框架。

　　5，组块注释办法

　　正在语义组块阐发时，经由过程划定规矩办法得到语义组块的同时，也能够获得语义组块内部的条理构造，但那种条理构造其实不是我们所需求的IF暗示，因而，我们设想了语义组块注释模块，用去把那种条理构造转换为IF暗示。语义组块注释模块是取组块阐发模块共同事情的，组块阐发历程顶用到的每条划定规矩皆对应一个划定规矩的注释办法，操纵那些注释办法能够把划定规矩所触及的辞汇注释为响应的IF暗示。轮回挪用死成语义组块的每条划定规矩所对应的注释子法式，便能够获得该语义组块对应的IF条理暗示。

　　6，IF的死成

　　从上里的引见能够看出，基于HMM的剖析模块输出的成果战语义组块注释的成果皆只是IF的片断，只要把它们兼并才气获得完好的IF暗示。语义组块注释模块把每一个语义组块转换为IF片断，同时每一个语义组块颠末统计剖析模块剖析后，又对应一个标注标记，而且该标注标记终极要做为IF暗示中的一个结面。正在各组块兼并时，IF死成器把语义组块注释成果做为该结面的子结面，把颠末简化处置的concepts序列复原为本来的concepts序列，那样便获得了IF暗示。

　　至此，本文讲完了，感激&洒花。并保举 宗成庆的那本《统计天然言语处置》。