本节主要介绍鼠标、键盘、触摸的交互操作处理方法。
鼠标
从上图可以看出,云渲染交互中鼠标消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的鼠标窗口消息。业务侧接入 SDK 发送鼠标消息时,需要将 SDK 运行所在平台的消息转换为鼠标消息来操作应用。
一般来说,各个平台处理情况如下:
在 Android 和 iOS 平台是将系统的触摸消息转换成云渲染鼠标消息。
在 Web 页面中则根据页面运行的系统来决定,当 Web 页面运行在 Windows/macOS 的浏览器中时将鼠标消息转换为云渲染鼠标消息,当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染鼠标消息。
其中,触摸消息转换为云渲染鼠标消息中,通常是将单指点击转换为云渲染鼠标点击,单指滑动转换为云渲染鼠标移动等。
因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:
Web 页面(小程序)参见文档:onTouchEvent,mouseMove,sendMouseEvent。
Android App 参见文档:Android 外设交互处理。
iOS App 参见文档: iOS 外设交互处理。
键盘
从上图可以看出,云渲染交互中键盘消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的键盘窗口消息。业务侧接入 SDK 发送键盘消息时,需要将 SDK 运行所在平台的消息转换为键盘消息来操作应用。
一般来说,各个平台处理情况如下:
在 Android 和 iOS 平台是将系统的触摸消息或者软键盘消息转换为云渲染键盘消息。
在 Web 页面中则根据页面运行的系统来决定,当 Web 页面运行在 Windows/macOS 的浏览器中时将键盘消息转换为云渲染键盘消息,当 Web 页面运行在 Android/iOS 的浏览器中时将触摸消息或者软键盘消息转换为云渲染键盘消息。
其中,触摸消息或软键盘消息转换为云渲染键盘消息中,通常是将触摸方向盘操作转换为云渲染键盘的 WASD 消息,将软键盘消息直接转换为云渲染键盘按键消息等。
因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:
Web 页面(小程序)参见文档:sendKeyboardEvent,Joystick。
Android App 参见文档:Android 外设交互处理。
iOS App 参见文档: iOS 外设交互处理。
触摸
从上图可以看出,云渲染交互中触摸消息的转换流程。其中,应用软件是业务侧在控制台自助上传的应用,它运行在 Windows 系统上,响应 Windows 的触摸窗口消息。业务侧接入 SDK 发送触摸消息时,需要将 SDK 运行所在平台的消息转换为触摸消息来操作应用。
一般来说,各个平台处理情况如下:
在 Android 和 iOS 平台将系统的触摸消息转换为云渲染触摸消息。
在 Web 页面仅运行在 Android/iOS 的浏览器中时将触摸消息转换为云渲染触摸消息。
只有当应用软件支持 Windows 的触摸窗口消息处理,并且应用软件在物理的 Windows 触摸屏设备上测试正常时,才建议业务侧可以使用 SDK 将所在平台的触摸消息转换为云渲染触摸消息。
注意:
不建议使用 UE、Unity 引擎的鼠标转触摸来测试应用软件对触摸消息的处理是否正常,因为触摸行为会在触摸屏设备上表现异常。
因此,业务侧需要根据使用的 SDK 及运行的平台做相应的适配,具体请参见:
Web 页面(小程序)参见文档:init.clientInteractMode,setClientInteractMode。
Android App 参见文档:Android 外设交互处理。
iOS App 参见文档:iOS 外设交互处理。