基于语音和手势的人车交互系统

基于语音和手势的人车交互系统

虽然目前无人驾驶汽车得到迅速发展，但是这些车辆与人的交互灵活性以及用户对行驶路线的控制等问题尚未解决。对此，提供了一种基于语音和手势的人车交系统用于解决上述问题。

该人车交互系统执行指令分为以下几个步骤：①进行用户身份识别；②通过识别用户手势指向的车辆周围环境的“兴趣点”（POI）提取POI，并识别语音指令提取语义来创建命令。如果提取POI阶段的结果是不明确的，则用户可根据汽车反馈系统给出的反馈信息重新发送指令。如果没有歧义，则根据上一步创建的命令信息来计算和更新无人驾驶汽车的行驶路径；③根据外部多种传感器捕获的驾驶环境信息来评估这条新路径的可行性。如果该可行性分析确定计算出的路径不能在安全条件下执行,或不符合某些交通规则，则人车交互系统将不会执行该命令，并将通过汽车的反馈系统将其传达给用户。否则，系统将执行命令并遵循新路径进行无人驾驶行驶。

其中，POI识别方法是语音和手指方向被汽车内部传感器识别。基于语音的触发器由麦克风阵列捕获,并传输到语音引擎子系统进行处理。同时，手势指向的序列由基于飞行时间（ToF）的摄像头捕获,并发送到手势引擎去处理，用于形成指向矢量的骨骼关节坐标。该矢量与车辆的行驶方向形成一个角度，由GPS传感器给出。

基于语音和手势的人车交互系统，通过合理的外部POI识别方法、新的路径可行性分析、基于用户对话的反馈系统等手段，很好地解决了现存的问题。……