专栏首页arxiv.org翻译专栏回应 LiveBot:基于视觉和文字语境生成视频直播评论(CS CL)
原创

回应 LiveBot:基于视觉和文字语境生成视频直播评论(CS CL)

实时视频评论系统是在线视频网站的一个新兴功能。最近中国视频分享平台 Bilibili,流行了一种新颖的字幕系统,用户的评论以移动字幕流的形式显示在视频播放画面上,并实时播报给所有观众。最近 LiveBot 推出了一款新颖的自动实时视频评论(ALVC)应用。这可以从现有的视频流和现有的观众评论中自动生成实时视频评论。在寻求重现 Livebot 原始论文中报告的基线结果时,我们发现使用项目代码库重现的结果与论文中报告的数字之间存在差异。对这种情况的进一步检查表明,这可能是由项目代码中的一些小问题造成的,包括训练集和测试集之间不明显的重叠。在本文中,我们详细研究了这些差异,并提出了一个替代的基线实施方案,作为该领域其他研究人员的参考。

原文题目:Response to LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts

原文:Live video commenting systems are an emerging feature of online video sites. Recently the Chinese video sharing platform Bilibili, has popularised a novel captioning system where user comments are displayed as streams of moving subtitles overlaid on the video playback screen and broadcast to all viewers in real-time. LiveBot was recently introduced as a novel Automatic Live Video Commenting (ALVC) application. This enables the automatic generation of live video comments from both the existing video stream and existing viewers comments. In seeking to reproduce the baseline results reported in the original Livebot paper, we found differences between the reproduced results using the project codebase and the numbers reported in the paper. Further examination of this situation suggests that this may be caused by a number of small issues in the project code, including a non-obvious overlap between the training and test sets. In this paper, we study these discrepancies in detail and propose an alternative baseline implementation as a reference for other researchers in this field.

原文作者:Hao Wu, Gareth J. F. Jones, Francois Pitie

原文地址:https://arxiv.org/abs/2006.03022

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 1+1>2:MIT&IBM提出结合符号主义和连接主义的高效、准确新模型

    人工智能应该复制人脑的哪一部分功能?这个问题的答案反映了一场辩论的焦点,这场辩论和 AI 的历史一样久远。20 世纪 50 年代,人类开始探索如何创建可以思考的...

    磐创AI
  • 1+1>2:MIT&IBM提出结合符号主义和连接主义的高效、准确新模型

    人工智能应该复制人脑的哪一部分功能?这个问题的答案反映了一场辩论的焦点,这场辩论和 AI 的历史一样久远。20 世纪 50 年代,人类开始探索如何创建可以思考的...

    机器之心
  • 从CVPR 2021的论文看计算机视觉的现状

    计算机视觉(Computer Vision, CV)是人工智能领域的一个领域,致力于让计算机能够像人类一样识别和处理图像和视频中的物体。以前,计算机视觉只能在有...

    deephub
  • 开学三周了快补课:伯克利CS 294深度强化学习课,有视频有课件

    8月22日到现在,从行为的监督学习,讲到了策略梯度和演员-评论家,前六节课的视频已经放出来了。

    量子位
  • BERT-hLSTMS:面向视觉叙事的BERT和层次化LSTM(CS CL)

    面向视觉叙事是一项富有创意和挑战性的任务,旨在自动生成一系列图像的一个故事式描述。以往面向视觉叙事方法生成的描述缺乏一致性,因为它们使用字级序列生成方法,并且没...

    谭雪儿
  • 基于视觉的组合语义学持续学习(CS CL)

    儿童在视觉世界中的语言习得是一个不断从动态变化的环境中学习的真实例子,然而我们缺乏一个可实现的装置来研究神经网络在模仿人类语言习得方面的能力。本文通过模拟儿童语...

    Elva
  • 音视频技术开发周刊 60期

    LiveVideoStack
  • 转载:程序员都应该访问的最佳网站

    Zoctopus
  • Giselle 主题帮助文档 & FAQ

    主题设置基于Inspire,任何关于本主题的建议和问题反馈请在本篇文章留言讨论,我会统一收集,如果我们想法相符 + 有能力实现 + 不影响主题美观的情况下,新功...

    w候人兮猗
  • 详解音频编解码的原理、演进和应用选型等

    本文来自网易云音乐音视频实验室负责人刘华平在LiveVideoStackCon 2017大会上的分享,并由LiveVideoStack根据演讲内容整理而成(本次...

    JackJiang
  • 全球首个AI合成主播发布,效果以假乱真!揭秘背后技术原理

    2016年,王小川在正式论坛里秀出AI同传,那是机器实时翻译技术,首次在高规格国际会议上实战应用。

    量子位
  • 全球首个AI合成主播发布,效果以假乱真!揭秘背后技术原理

    2016年,王小川在正式论坛里秀出AI同传,那是机器实时翻译技术,首次在高规格国际会议上实战应用。

    昱良
  • 程序猿必须知道的一些有用的(外国)网站

    原文:https://github.com/sdmg15/Best-websites-a-programmer-should-visit

    华章科技
  • 程序猿必须知道的一些有用的网站

    来自:开源中国 原文:https://github.com/sdmg15/Best-websites-a-programmer-should-visit 在学习...

    企鹅号小编
  • 大数据揭示最受欢迎在线教育课程特点

    大数据文摘
  • AI驱动智能媒体生产

    本文总结了发表在IBC2018上的由日本NHK的Hiroyuki Kaneko等撰写的“AI-DRIVEN SMART PRODUCTION”,介绍了NHK在智...

    用户1324186
  • 谷歌AI:根据视频生成深度图,效果堪比激光雷达

    目前自动驾驶的核心技术是LiDAR(激光雷达),一种运用雷达原理,采用光和激光作为主要传感器的汽车视觉系统。LiDAR传感器赋予了自动驾驶汽车能够看到周边环境的...

    新智元
  • 检测文本分类的转移学习方法中的偏差(CS CL)

    分类是机器学习中必不可少的基础任务,在自然语言处理(NLP)和计算机视觉(CV)领域发挥着核心作用。在监督学习环境中,分类任务总是需要标签。特别是对于深度神经模...

    谭雪儿
  • 7 papers|EMNLP 2019最佳论文;Facebook语言模型XLM-R取得SOTA结果;最优学习的85%规则

    论文 1:Specializing Word Embeddings(for Parsing)by Information Bottleneck

    机器之心

扫码关注云+社区

领取腾讯云代金券