多模交互设计时该注意哪些事项？

最近一年都在探索多模交互相关的知识，今天把思考的内容整理出来分享给大家:-)

多模态交互相关

1.操作对象应支持一种或多种交互方式。

1. 每种交互方式都具备“目标选中”和“目标执行”两个属性。
2. 系统或应用级别的操作型控件应考虑一种或多种交互方式。
3. 如果当前GUI界面中，不同控件的交互方式尽量保持统一，若存在差异，建议显性说明。
4. 语音交互可以由用户或系统自主发起。
5. 不同类型的操作控件应有不同的语音交互意图和流程来支持。

2.多模态交互过程中，同时考虑操作对象和流程颗粒度的变化和返回逻辑，建议统一以一个用户界面（User Interface）作为参照对象进行管理。

1. GUI结构和流程具有稳定性，流程变化更多属于页面跳转。
2. VUI结构具有流动性，流程变化更多属于步骤跳转或者任务跳转。
3. 实体按钮的操作变化由自身的操作方式和属性定义。
4. 由于GUI具备所见即所得的特性，建议多模交互以GUI为参照对象进行管理。

3.考虑多模态交互状态间的同步、异步、返回、同一时间操作同一对象的容错处理，建议构建一个状态机进行管理。

1. 当前操作目标为同一个操作对象时，全部通道的交互流程应以最新的操作为准，并同步更新各自交互流程和相应数据。
2. 当前操作目标不是同一个操作对象时，各个操作对象保持原有的交互流程和相应数据。
3. 如果操作对象与其他对象产生联动，联动对象的全部通道的交互流程和相应数据需要同步更新。
4. 如果操作目标为多个操作对象时，相关对象的全部通道的交互流程和相应数据需要同步更新。

4.多通道之间的信息输入、输出存在着不同效率、同步/异步以及兼容/互斥的差异，设计时请考虑用户的注意力分配。

1. 当注意力集中在某一通道时，其他通道获取信息的效率迅速降低。
2. 在阅读和聆听同一长文本时，文字阅读的效率会下降。
3. 在同时阅读和聆听不同长文本时，阅读和聆听的效率会下降。
4. 其余还在研究，后续更新。

5.应以用户当前操作对象为目标发起交互流程，用户无法感知的操作对象、操作过程或操作结果应给予反馈。

1. 在语音交互过程中，聆听、识别、播报状态难以被感知，因此语音交互流程中GUI或者其他方式应给予反馈。
2. 部分实体按钮本身操作具有触感变化，自身兼备过程和结果的反馈，如果不具备结果反馈的能力，应该通过其他用户界面（User Interface）或者其他方式给予反馈。

6.跟安全相关的交互流程应具备身份识别或者二次确认的能力。

1. 语音交互可以在有限空间内被任何人发起，安全性较低。

GUI和VUI相关

1.如果内容可以用音标表示，请优先考虑使用音标。

2.文本类型的控件应支持语音播报能力，是否播报可以由业务方自行决定。

3.如果语音内容需要主动播报，请先播报音标引起用户的注意。

4.如果当前GUI文本支持语音播报，播报内容和显示文本应保持一致。

5.语音播报的内容、句式和结构需要保持简单。

6.如果长文本内容正在语音播报，建议显示当前播放进度在哪。

7.大部分人的工作记忆为10~15秒，因此语音播报内容尽可能控制在10秒以内（中文和数字约为40字以内），特殊情况可以最多15秒（中文和数字约为60字以内）。

8.语音交互内容包含的信息尽量控制在1-2项，最多不超过4项，减少用户记忆的压力。

9.当前GUI内容支持语音播报，它的阅读和朗读结构、顺序应具备相似性。

10.VUI下一轮交互不具备显性化，GUI可以充当提示的作用，但同时也会限制用户思维的发散。

11.VUI设计具备影响情感的能力，因此VUI设计不只包括播报文字的设计，还包括了音色、语速、语调、音效的设计。

12.VUI设计时应考虑统一的人物和性格设定。