CNCC2017梳理

早上的论坛可以在爱奇艺下载视频

下午的分论坛是多个同时进行的,我也只去了一部分,这里先按时间顺序写自己的一些收获,之后会从另外的角度做一个总结。

如果觉得我的整理对你有帮助,欢迎star这个项目

10-26 am

丘成桐 现代几何在计算机科学中的应用

  • 从几何学的角度找到优化问题(如GAN)的等价形式,通过解决等价问题加速优化过程

沈向洋 理解自然语言 概述,对话和理解

  • 自然语言:机器学习(表述)->机器智能(对话)->机器意识(意境)
  • 图像表述:微软有一个Image Caption的api可以用
  • 检测,分割,识别只是基础任务,对图像进行理解是以后的热点
  • 小冰:LSTM端到端,话题引导,有意识的脑补

李飞飞 A Quest for Visual Intelligence: Exploration Beyond Objects

  • 在图像识别,分类,分割,检测之外,还有更多的东西可以做
  • 图像理解,场景理解,问答,场景检索,思维导图生成
  • 上一点也适用于视频

汤道生 让AI服务于人

  • 腾讯的AI产品
    • 微信语音转文字
    • QQ视频挂件,QQ扫码转文字
    • 天天P图:美颜美妆
    • QQ音乐:个性化推荐
    • 企鹅FM:文字转语音
    • 全民K歌:伴奏分离
  • 腾讯在方面已经有不错的工具,可以集成到我们想要做的东西中
    • 腾讯云小微三大开放平台
    • 腾讯云智慧交通
    • 腾讯觅影
  • 可以做的问题:
    • 手机性能挖掘,模型压缩,内存共享

马维英 人工智能和新一代信息与内容平台

  • 今日头条:智能内容分发(推荐系统)

10-27 pm 深度学习与医疗影像分论坛

疾病预警

  • 数据结构化,个性化服务
  • 半自动阅片
  • 异常检测

图像处理

  • 多模态处理
  • 分割 配准 可视化
  • 分割:亮度,边界,噪声
    • 区域分割(二维)、曲面分割(三维)
    • 识别(定位),边界寻优
    • Graph Cut,Graph Search,将图像转为图进行分割
    • 外观模型
    • 多模态PET-CT
    • 结构的信息和功能信息合起来进行分割
    • 对准两个模型(结构和功能)的图像,对两个模型的预测结果进行约束(比如希望两个模型的输出相近)
    • 主动外部模型
    • 双模型交互迭代优化
    • 基于能量函数做Graph Cut
  • 曲面分割
    • 对曲面做分层
    • 建模成三维的图结构,对边权和点权做最大流最小割
  • 异常区域分割
    • 区域矫正
  • 特征用深度学习的方法提取,距离度量用传统方法
  • 分割
  • 欠分割,过分割的解决
  • 位置约束
  • 亮度增强,PCI
  • 局部位置约束
  • 过分割(多边形近似->特征点标记->瓶颈检测(聚类)->像素与边缘的平均几何距离约束)
  • 边缘匹配
  • 识别

基于贝叶斯的视觉信息编解码

  • 视觉信息->人脑->神经活动(编码)(反之解码,解码也可能解码为语义信息)
  • fMRI检测神经活动
  • 分类,辨识,重建
  • 卷积 - 中间特征 (->关联神经活动信号)- 反卷积
  • 寻找中间特征和目标特征的共同表征(用贝叶斯推断)
  • 视觉图像->VAE(推理网络,生成网络),
  • 对目标信号,建立贝叶斯线性模型
  • 模拟目标信号和视觉信息的稀疏表达
  • 给定图像,自底向上推理得到中间特征
  • 相似度分析融入贝叶斯分析中
  • 多视图生成式自编码器

DL

  • 小数据集下的深度学习
  • 数据增广
  • pretrain
  • 传统+深度-检测
    • faster rcnn提取特征(可能漏选,传统方法预筛选更简单有效)
    • 多尺度卷积分类(LUNA2016第四名)
  • 分类
  • 领域知识在特征提取中的作用
    • 领域知识进行预处理,对于不同的输入图片,提取不同的特征,多特征融合预测
  • 分割
  • 多网络提取特征融合(ensemble)
  • 不同网络提取不同部分或者不同结构的局部的特征,将特征拼接起来
  • 多模型投票
  • 多模型相互学习(深度协同)
  • identification loss and classification loss
  • 贝叶斯推理
  • 深度学习影响分析
  • 将先验知识设计到网络中
  • 模拟数据去除隐私问题
  • 脉冲神经网络
  • 领域知识最大的作用在于不是直接端到端,而是对问题做分割,对子问题做端到端
  • 移动GPU

异常检测

  • 只有正常数据,如何发现异常数据
  • 高斯模型,低概率区域为异常数据
  • 高斯过程学习(非参数模型)
  • 生成式↑
  • 判别式(基于分类)↓
  • 单类SVM:将原点作为第二类,让超平面离原点尽可能远
  • 分类结果差越多(??),说明越异常
  • GAN做异常检测(如果还原出现异常(异常的局部会还原失败,从而自动完成标注),说明是异常图像)

10-27 am

物体识别到场景理解

  • Face Recognition, Car Recognition
  • 单类识别,多类识别
  • 可扩展方向:性能,稳定性,可解释性,推广性,与人感知的一致性
  • 视觉:什么东西在哪里
  • 场景理解-知识图谱
  • 属性组合挖掘

10-27 pm

语音前沿技术

  • 港中文
  • Man-Computer Symbiosis:人机共生
  • Microsoft speech-recognition
  • 人机共生三种场景
    • AI competencies
    • Challenge: 语音加情感识别,场景丰富,non-native, dysarthric, personal speaker
    • 人机协作解决困难问题
    • RFID加在电车上,可视化,动态规划车次
    • 人机合作发明新的知识
    • AI进行search,retrieve,cluster,categorize,compare....
  • Challenge: 语音加情感识别,场景丰富,non-native dysarthric speaker
  • 李锦辉 ECE
  • 语音识别(ASR),实际错词率比声称的高
  • 语音总是备选项,需要solution,speech app(在用户hands,eye-busy scenarios里)
  • more than WERs
  • 频谱转换(paradigm shift,旧方法应用在新的场景)
  • 降噪,增强,杂音分离,消除回响
  • 信号处理->识别
  • DNN黑箱
    • 属性分析,专业知识,不能盲目分析,不能说只有标签就行,knowledge-driven
    • 例如发音中识别摩擦音,爆破音
    • 将传统模型中里程碑式的东西拿过来用
  • 自动化语音属性抓取
  • 搜狗 陈伟
  • 自然交互
  • 知识计算
  • 语音←(asr tts)→语言←(ocr 图像生成)→图像
  • 语音听写(字幕,演讲,采访),语音翻译,语音同传
  • 可穿戴设备,车载,智能家居
  • SeqSequence CNN LSTM
  • 运算平台:单卡3TFlops->1PFlops
  • 基于容器对GPU运算做调度
  • GPU -> FPGA -> RDMA
  • 移动端:模型压缩,轻量化

人工智能与机器学习前沿技术论坛

  • 朱军:半监督深度学习模型
  • 贝叶斯深度学习
  • 基于贝叶斯推断的深度生成模型
  • 对GAN加中间约束的生成模型
  • ZhuSuan(珠算):概率编程模型,开源可用
  • 演化算法
  • 适用于:解空间不规则,需求不好精确建模的情况
  • 视频检索的哈希学习
  • 图像检索
    • 通常的特征太大,检索太慢
    • 用二进制编码的一个哈希值来表达特征
    • 设计一个损失,约束正负样本的相似度误差,用变量绝对值与1的差的一范数等价为二进制约束
  • 视频检索
    • 对两段视频分别切割为帧图片做图像检索的哈希学习

10-28 am

  • 下一个互联网引爆点
  • 十年后的智能机器人

10-28 pm 多媒体计算

多媒体计算

  • AI2.0
    • 大数据智能
    • 群体智能
    • 跨媒体智能
    • 混合增强智能
    • 自主无人系统
  • 应用:制造,农业,医疗

朱文武 TMM趋势

  • TMM介绍
    • IEEE of Transactions on Multimedia
    • 多媒体计算
    • 多媒体社交
    • 多媒体信号处理
    • 多媒体应用和系统
  • 趋势:
    • 2.5->3.5,CCF A, 长文
    • 一年900篇提交,接受30%-35%
    • 中了之后半年内出
    • 超过60%是机器学习+图像视频分析,多模态,跨媒体
  • 跨媒体智能
  • 文本图像语音视频及其交互属性混合
  • 多源融合+知识演化+系统演化
  • 解决语义鸿沟(机器认识世界是什么)意图鸿沟(机器理解人要达到什么目标)
  • 机器学习助力多媒体目前效果好,多媒体知识助力AI不成熟
  • 跨媒体深度分析和综合推理
    • 浅层到深度
    • 知识图谱指导多媒体分析,属性补全,知识表达理解是以后的趋势,多媒体理解,视频QA之类
    • 难点:跨媒体知识学习推理,多媒体情感分析
    • 知识离散,特征连续,如何转化
    • 知识和数据如何融合
    • 媒体到机器学习近期套路:
    • 深度学习+反馈(知识、规则进行反馈/强化学习)(黑箱)
    • 统计推理,贝叶斯推理(白盒)
    • 数据驱动 && 知识驱动
  • Cross-media analysis and reasoning: advances and ...

图像与视频生成的规则约束学习(GAN)

  • 已有工作
  • 人脸姿态转换,年龄转换,表情转换
  • 超分辨率,画风转换,字体转换,图片转视频
  • 应用:
    • 动画自动制作(补间),手语生成
    • 视频自动编辑(天气变化)
  • WGAN,PPGAN
  • 无监督新框架
  • 创意:随机性
  • 难点
  • 解空间巨大:需要找出解所在的低维子空间
  • 宏观结构的一致性(视频生成需要的像素感受野(pooling)很大,难以预测长期运动变化)
  • 微观结构的清晰度,要同时逼近多模分布,避免单模生成的结果不够精确
  • 用领域中的规则去约束GAN,加入破坏规则的代价
  • 缩小预测空间,保证宏观结构,加快细节生成
  • 工作介绍:
  • 景深风景生成
    • 难点:要求空间结构合理,不能有严重的模糊
    • 约束:从现有风景图像中对景深关系建模(对区域进行标注, 不同区域有不同的远近限制)
    • 建立位置和对象的关系,得到某个位置有某个对象的概率分布
    • Hawkes过程模型
    • 根据对象对图层做分解,由概率约束建立图层约束
    • 层内DCGAN,层间LSTM聚合出整图
  • 骨架约束的人体视频生成
    • 骨架运动有约束
    • 骨架提取很鲁棒,可以得到很多有标签知识(传统方法用来提取知识)
    • 静图+动作序列变动图
    • CNN编码解码,孪生网络双输入进行生成
    • 判别器:对生成和实际帧做Triplet loss优化
    • gan loss和视频相似度loss相加
    • 交互运动视频生成
  • 创意+规则约束+复杂场景+复杂交互

基于锚图的视觉数据分析

  • 图学习
  • 相似度矩阵 -> 图的邻接矩阵 -> 用图的方法对邻接矩阵进行优化
  • 标号建模 标号平滑 标号学习
  • 锚图学习(速度+)
  • coarse to fine
  • 利用数据点图,生成锚点图,先采一部分有代表性的数据(例如聚类中心)生成一个图模型,然后推理出其他图
  • 图模型:表示矩阵,邻接矩阵,如何建立,加快相似度计算
  • 高效锚图(性能速度+)
  • 数学上优化约束条件
  • 层次化锚图(速度++)
  • 锚点是线性增加的,也会增加得很快
  • 对第一层采样的点做再采样,多层采样减少了锚点数目,从最少的锚点的层逐层推理
  • 标号预测器(速度+++)
  • 优化对锚点的标号
  • 对最小的锚点层接一个优化器进行标号预测
  • 主动学习(样本选择)
  • 减小标号的误差损失
  • Google Expander Graph Learning平台:经典方法,并行运算

彭宇新 跨媒体智能

  • 形式上多源异构,语义上相互关联
  • 聚焦于跨媒体统一空间学习,获得多个媒体间共享的潜在子空间
  • 跨媒体实体关系,跨媒体知识图谱,跨媒体知识演化和推理
    • 讲了好多篇论文的Motivation和Solution,我会具体整理另一篇文章
  • 跨媒体智能描述与生成
  • 用于信息检索
  • 应用:内容自动监管,舆情分析,智能医疗

层次记忆网络:视频问答 跨媒体推理

  • 视频转语言
  • 视频帧 + 时序依赖 -> 动态动作信息
  • 选择ROI帧,时序结构编码(Dual Memory Recurrent Model--LSTM扩充来的),生成句子
  • 层次记忆网络
  • Image QA: 检查是否真的理解了图片
  • 视频时序推理

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

人人都能看懂的机器学习!3个案例详解聚类、回归、分类算法

机器学习,一言以蔽之就是人类定义一定的计算机算法,让计算机根据输入的样本和一些人类的干预来总结和归纳其特征和特点,并用这些特征和特点和一定的学习目标形成映射关系...

704
来自专栏量子位

搞机器学习/AI有什么必备的数学基础?| 经验之谈+资源大全

雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 今天是开学第一天!心里只有学习的量子位,发现Hacker News上又有高分话题,而且还跟学习有关...

3255
来自专栏AI科技评论

华为诺亚方舟实验室主任李航:自然语言处理的未来趋势

编者按:12月18日,腾讯大数据峰会暨KDD China技术峰会在深圳举行,华为诺亚方舟实验室主任李航博士在会上做了题为《自然语言处理中的深度学习:过去、现在和...

3426
来自专栏腾讯高校合作

犀牛鸟·学问 | ECCV 2018论文宣讲研讨会回顾(二)

1212
来自专栏人工智能头条

深度学习:推动NLP领域发展的新引擎

1825
来自专栏新智元

效果惊艳!FAIR提出人体姿势估计新模型,升级版Mask-RCNN

来源:densepose.org 【新智元导读】FAIR和INRIA的合作研究提出一个在Mask-RCNN基础上改进的密集人体姿态评估模型DensePose-R...

39313
来自专栏量子位

周星驰的睡梦罗汉拳心法,现在AI也学会了:梦中“修炼”,醒来“实战”

刚刚,两位人工智能界的大牛:Google Brain团队的David Ha(从高盛董事总经理任上转投AI研究),瑞士AI实验室的Jürgen Schmidhub...

863
来自专栏专知

Top 50!2017年机器学习热门文章精选

【导读】1月26日,Mybridge发布一篇看2017年热门网文入门机器学习应用开发。作者总结了2017年1月到12月近2万篇文章,从中选取前50名分享给大家。...

3475
来自专栏量子位

手把手带你入坑迁移学习(by 当过黑客的CTO大叔)

原作 Slav Ivanov Root 编译自 Slav寄几的博客 量子位 出品 | 公众号 QbitAI Slav Ivanov是Post Planer(提高...

3226
来自专栏携程技术中心

干货 | 携程个性化推荐算法实践

作者简介 携程基础业务研发部-数据产品和服务组,专注于个性化推荐、自然语言处理、图像识别等人工智能领域的先进技术在旅游行业的应用研究并落地产生价值。目前,团队已...

5295

扫码关注云+社区