01
多模态机器学习
多模态机器学习,英文全称 MultiModal Machine Learning (MMML),旨在通过机器学习的方法实现处理和理解多源模态信息的能力。
每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息有语音、视频、文字等媒介;多种多样的传感器,如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态,甚至在两种不同情况下采集到的数据集,亦可认为是两种模态。
02
爆火的多模态
当下,多模态技术有着相当广泛的应用场景,如淘宝搜图、AI字幕、AI虚拟数字人、仿人交互、智能助手、商品推荐和信息流广告、视频帧人脸帧的图向量检索、语音交互等等。
但是,另一方面,多模态技术又存在门槛高、落地困难等等缺点。
03
多模态技术1小时综述
我给大家分享在职高级算法研究员Clark老师的《1小时多模态技术综述》,系统地为大家介绍多模态的发展趋势和常见任务。
*01
分享内容
01 多模态模型的发展趋势
02 多模态数据集
03 常见多模态下游任务
*02
主讲人
对多模态技术感兴趣的同学
扫下方二维码观看
扫码支付0.1元即可观看
添加客服可领取分享的PPT讲义
04
多模态学习路径
01 多模态理论基础
学习多模态预训练相关论文——CLIP、ALIGN、VILT
02 自监督算法
学习一些多模态预训练可能用到的自监督方案——MAE、DINO、MOCO
03 多模态下游任务介绍
主要了解VQA任务和nlvr任务
04 多模态应用
Image Captioning案例、阿里电商跨模态检索案例。了解任务介绍、baseline搭建、模型优化、结果展示。
05 多模态项目
AI智能文案、基于多模态预训练模型的手机相册管理与检索、AI唇语识别、基于深度多模态目标检测和语义分割的自动驾驶
对多模态技术感兴趣的同学
扫下方二维码观看
扫码支付0.1元即可观看
添加客服可领取分享的PPT讲义