这架无人机使用AI来自动创造完美的电影镜头

编译：chux

出品：ATYUN订阅号

无人机逐渐成为艺术家最好的朋友，它们可以帮助业余爱好者和经验丰富的电影制作人创造流畅和美观的视频。然而，无人机用于电影摄影是非常具有挑战性的，因为它需要熟练的无人机操作员和提前计划的安全轨迹。

为了解决这个问题，让电影制作人有更多的创作空间，卡内基梅隆大学和日本雅马哈发动机公司的研究人员开发了一种基于深度学习的系统，可以自动创建平稳，安全，无遮挡的航拍。

研究人员表示，“空中交通工具正在彻底改变专业和业余电影制作人员拍摄演员和风景照片的方式，增加叙事元素的灵活性，并允许使用手持相机和推车等传统设备无法实现的空中观点构成。”

使用NVIDIA的GeForce GTX GPU的1080与cuDNN -accelerated PyTorch深度学习框架，团队用多个数据集上的约70000个图像训练卷积神经网络。经过训练，配备NVIDIA Jetson TX2的现成无人机可以预测演员的动作并计划平滑，无碰撞的轨迹，同时避免遮挡。

在上面的视频中，该团队展示了无人机和神经网络在不同类型的镜头和镜头过渡，演员动作和障碍物形状的真实条件下的稳健性。无人机遵守艺术原则，例如三分法，比例，相对角度，以及执行对象或人物跟踪。

研究人员说“与之前使用高精度室内运动捕捉系统或室外精密RTK GPS的作品不同，我们只使用传统的GPS，导致无人机定位和演员运动预测的高噪声。因此，我们决定将无人机和摄像机的运动分离，相机安装在一个3轴独立的万向节上，可以通过视觉检测将演员放在正确的屏幕位置，不管无人机的位置是否有误。”

系统架构。视觉子系统仅使用单眼图像控制摄像机方向，与计划子系统无关。规划使用无人机和演员的当前位置以及环境来为飞行控制器生成轨迹。

这项工作将在在阿根廷布宜诺斯艾利斯举行的实验机器人国际研讨会（ISER）上展示。

论文：arxiv.org/pdf/1808.09563.pdf