多模态人机口语对话意图分析及分类方法

　　人机自然对话作为一种人机交互方式，在智能移动终端普及的今天，具有便携、自然、自由的特点，有望成为下一代被广泛使用的人机界面。实现自然流畅的人机对话核心和难点均在于使计算机从包括听觉和视觉的多个通道感知和理解人类的表达诉求，及时做出正确回答和反馈。基于多通道信息融合的自然人机对话管理策略是自然人机交互领域的研究重点，是自然人机对话得以流畅进行的重要保证。建立了多模态深度融合下的内容理解模型，有效提高了人机对话模型的自然度。

　　基于上述建立的人机对话系统及多模态自然人机对话历史记录，进一步分析了多模态人机对话中的意图监测对话内容和对话进程的影响，研究结果表明对话过程中的意图和话题检测对于提高人机对话自然度有重要作用。鉴于意图的准确理解对于对话的流畅非常关键，将词向量模型应用到对话系统的意图分类中，本文将词向量应用于意图分类中，比较了词向量方法、n-gram方法和LDA模型方法在分类复杂度、不同分类的短文本上的性能，实验结果表明，基于词向量的意图分类方法在分类精度、稳定性、对不同分类内容的表征能力都显著优于LDA模型和n-gram方法。

　　另外，相关工作《User behavior fusion in dialog management with multi-modal history cues》发表在国际期刊Multimedia Tools and Applications (Volume 74, Issue 22 (2015), Page 10025-10051) 上。

图 面向自然体感交互的多模态智能人机口语对话管理模型