论文阅读理解 - Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs

Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs

Project

摘要 —— 主要是将CNN和概率图模型结合,来处理像素级分类问题,即语义图像分割. 由于CNN具有不变性,适合于 high-level 任务,如图像分类. 但CNN网络最后一层的输出不足以精确物体分割. 这里结合CNN最后输出层的特征与全连接CRF相结合,提升语义分割效果.

语义分割的目标——Goal:

将图像分割为不同的语义部分,并对不同部分进行分类.

主要是两部分:

    1. 采用CNN来初步得到图像分割结果
      • hole algorithm (atrous algorithm),应对subsampling问题.
      • train 阶段 - loss function 采用 CNN输出特征图的各像素空间位置的 sum of cross-entropy term (SoftmaxWithLoss). 原始图片的尺寸是CNN输出特征图的 8 倍, ground truth labels 也降采样到与CNN输出尺寸一致.
      • test 阶段 - 将CNN输出转换到原始图像分辨率. CNN输出图具有很好的平滑性,故采用 bilinear interpolation 来增加其分辨率(factor=8).
    1. 采用CRF将CNN分割结果精细化
      • spatial invariance

1. CNN

2. CRF

3. Results

好的分割结果:

差的分割结果:

4. Conclusion

  • Modify the CNN architecture to become less spatially invariant.
  • Use the CNN to compute a rough score map.
  • Use a fully connected CRF to sharpen the score map.

5. Reference

[1] - Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

[2] - Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs - slides

[3] - 深度学习轻松学-核心算法与视觉实践 - 第九章-应用:图像的语意分割

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏加米谷大数据

6 大最流行、最有用的自然语言处理库对比

现在自然语言处理(NLP)变得越来越流行,这在深度学习发展的背景下尤其引人注目。NLP 是人工智能的一个分支,旨在从文本中理解和提取重要信息,进而基...

11430
来自专栏互联网数据官iCDO

AI 帮助企业赢得市场竞争的7种方式

AI去年吸引了120亿美元的VC投资,预计2025年将达到1906亿美元。以下是AI可以帮助企业赢得市场竞争的7种简单方法。

11020
来自专栏数据科学与人工智能

如何从头开始构建数据科学项目

有许多关于数据科学和机器学习的在线课程将指导您完成理论,并为您提供一些代码示例和对非常干净数据的分析。

14020
来自专栏ATYUN订阅号

IBM与Medtronics合作开发IQcast AI,帮助糖尿病患者预测血糖下降

糖尿病是世界上最常见的疾病之一,全世界超过1亿人患有糖尿病。虽然最近的技术进步使得它比以前更容易治疗,但它离轻松解决还很遥远。患有糖尿病的人每天必须做出大约18...

13750
来自专栏加米谷大数据

【方法论】机器学习算法相关知识点

机器学习这个词是让人疑惑的,首先它是英文名称Machine Learning(简称ML)的直译,在计算界Machine一般指计算机。这个名字使用了拟...

9130
来自专栏数据科学与人工智能

掌握机器学习中数据准备的六个步骤

当今组织继续寻找快速,准确地准备数据的方法,以解决他们的数据挑战并实现机器学习(ML)。 但在将数据引入机器学习模型或任何其他分析项目之前,确保其数据清晰,一致...

11230
来自专栏加米谷大数据

大数据学习的关键技术知识体系及学习建议

大数据技术涉及内容庞杂,应用领域广泛,各领域和方向采用的关键技术差异性也会较大。本文从数据科学和大数据关键技术体系角度,来说说大数据的核心技术什么。

25530
来自专栏加米谷大数据

怎么用机器学习技术找到女票?

机器学习在我们生活中的用处有多大,就不用我们多说了,大到医疗诊断,小到手机应用,机器学习都应用的风风火火。但是用机器学习帮自己在学校找对象,你听说过...

9820
来自专栏未闻Code

机器学习(一)

最近在Coursera 上学习斯坦福大学的机器学习。根据费曼学习法的理论,教是最好最快最有效果的学习方法。因此,我将会开一系列机器学习相关的文章,同步我的学习进...

13530
来自专栏AI研习社

Github项目推荐 | Homemade Machine Learning - 自己动手实践机器学习算法

https://github.com/trekhleb/homemade-machine-learning

38840

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励