北京协和医院陆菁菁:盆腔器官分割和建模的尝试与挑战 | ISICDM 2018

近日,第二届图像计算与数字医学国际研讨会(ISICDM 2018)在成都圆满落幕。

本次大会由国际数字医学会主办,电子科技大学信息与通信工程学院承办,第三军医大学、中国科学院深圳先进技术研究院、数学图像联盟协办。

中国解剖学会理事长、国际数字医学会主席、中华医学会数字医学分会主任委员、第三军医大学张绍祥教授(少将)担任本次大会的名誉主席,大会主席分别由美国罗格斯大学Dimitris N. Metaxas教授、广东省人民医院影像医学部主任兼放射科主任梁长虹和南方医科大学方驰华教授担任。

电子科技大学李纯明教授作为ISICDM会议的发起人和程序主席,负责论坛形式、议程、报告主题的设计与专家邀请工作。

在大会第二天的“医生谈临床需求与挑战”专场,北京协和医院陆菁菁教授应李纯明教授邀请,向与会者分享了题为《盆腔器官分割和建模的尝试与挑战》的精彩专题报告。

陆菁菁教授与大会程序主席李纯明教授

陆菁菁教授毕业于北京协和医学院,后进入北京协和医院放射科工作,历经住院医、住院总、主治医、副主任医,现为主任医师、硕士生导师,2010年5月至2011年5月为哈佛医学院麻省总医院访问学者。

以下为陆菁菁教授的演讲内容,雷锋网AI掘金志经授权,作了不改变原意的编辑:

陆菁菁教授首先介绍了男性和女性的盆腔结构,她认为,复杂的人体盆腔结构有着巨大的可变性,也带来了千变万化的临床问题,临床诊断和治疗方案的量身定制就变得很重要。

对于盆腔,目前医院里主流的影像学检查主要包括超声、CT和核磁,其中,最常见的是超声。虽然超声科的超声检查很方便也很常见,但是它给出的报告却因操作者而异,而且不够直观。相比之下,放射科的CT和磁共振图像就很直观,比如,CT会根据组织密度的不同来成像,骨头就是白的,像低密度的水、尿液和脂肪等就是黑的,但是CT对于盆腔软组织、比如子宫的密度都很接近,显示不清楚,而磁共振就很好地解决了这个问题,能够看清楚很多器官和组织,比如上图明亮的卵巢囊肿和分三层结构的子宫,这一特点决定了磁共振在盆腔检查里有很好的适用性。

核磁共振的原理很复杂,但是也可以用几句话简单来说明一下:磁共振没有电离辐射伤害,是一种很好的检查。它发出的射频脉冲是一个波长非常长的电磁波,经过人体的组织,质子经过激励以后,会能级跃迁到一个新的状态,经过三维梯度场的转换后发出信号,再被接收线圈接收以后,通过计算机进行一个变换、其中包括傅里叶变换、模数转化等,来形成一个数字化的图像。

通常,我们在临床上采集的经典图像方位是横轴位,矢状位和冠状位。最常用的是横轴位图像。

在磁共振领域,还需要了解的一个概念是T1加权像和T2加权像。所谓T1和T2加权像,简单来说就是质子经过激励以后会产生一个纵向弛豫和横向弛豫,通过两个弛豫特征的加权来提取组织不同的特点。比如说T1加权像上的尿液是“黑”的,而在T2加权像上是“白”的。为了便于科普,可以用“一青二白”来简单的概括,就是说水在T1加权像是“青”的,T2加权像是“白”的。

上图就是一个横轴位图像,我们能看到骨头,能看到双侧卵巢,能看见卵泡,它是最常用的。中间的这个图像是矢状位,和之前看的解剖图一样,能看见子宫内膜、结合带、肌层和浆膜、宫颈,这张图是女性盆腔里大家最愿意看到的一张图。它最直观,如果患者长了肌瘤和畸形,都可以看得特别清楚。后面这个是冠状位,主要作为参考,这个图像上能看到卵巢相对位置等等一般观察女性盆腔,主要使用的是横轴位图像和矢状位图像。

做盆腔扫描的时候,一般一个序列会有二十多个层面图像,每个层面间隔是五毫米,相互之间有时候会出现容积效应,而且因为不是等像素各项同性采集,在做图像处理的时候会产生一些问题,但是可以有办法去解决。

所以放射科医生是怎么读片?就是一层一层地观察图像。举个例子,这是一个T2加权像序列,可以看到膀胱,尿液是亮的,然后能看到子宫,然后能看到双侧卵巢,接着是宫颈,宫颈再往下一层一层延续下去就是阴道。

放射科大夫首先要了解正常的结构,先知道正常是什么样,然后出现一个异常改变的时候就会很敏感的发现病灶所在。

深度学习或者说AI能做的最简单的任务就是能帮助大夫识别这些结构。人体有639块肌肉,如果不是相关领域的专家,一般医生很难全部都分清楚哪块是哪块,所以基于深度学习的盆腔结构语义分割就可以去尝试一下。

陆菁菁教授所在的团队首先从简单的肌肉骨骼结构分割开始做起,事先评价了该任务可能会遇到的挑战:比如形状多变、不同结构信号相似度高和缺少标注数据等问题。

在数据标注环节,第一例陆菁菁教授花了一个星期的时间,一有时间就去标,后面的速度就稍微快一点,再加上团队成员一起标注,做了15例标注以后就开始训练算法,然后再进行结构自动语义分割的尝试。

训练数据时使用的FCN(全卷积神经网络)算法,即使有了强大的数据增强功能,FCN也只能粗略地描述结构的轮廓。团队随后提出了一种用于复杂盆腔结构分割的注意力-金字塔网络,并采用了一种图像变形的数据增强策略,能够把只有十几张和几十张图像扩充到几万张,让标注样本更加有效。

实验结果表明,APNet效率是最高的,对细节的把握度也是最好的,也就是说,团队使用这个算法去把常规的盆腔图像输入进去,就已经能够自动识别肌肉和骨骼结构了,这已经对放射科大夫有了很大帮助,如果更进一步,把全身639块肌肉认全,真正接地气的应用也许就会出现。

总的来说,从分割算法的角度,根据不同的挑战,采取不同的策略来进行算法的修正,才能达到很好的效果。

这个是学生做的自动分割和手动分割的图像,当然还是很初步的工作。

对肌肉的体积测量,也可以使用自动的方法,和人工测量的金标准是非常接近的。总的来说,虽然有些细节可能还没有手动分割的那么精准,但是将来可以再做的更好。

从医学展望的角度看,肌肉结构的自动识别可以提高医生的工作效率,另外肌肉的定量测量可以做一些肌肉萎缩性疾病的评价和监测,比如肌少症。在老龄化的大背景下,监测老年人的肌少症可以改善患者的生活质量,这个还可以对患者以前做过的盆腔核磁或者是某个部位的核磁来进行动态的监察,不需要再去专门的为患者肌肉体积的测量来做额外CT的检查或者是其他的检查。另外盆腔结构的自动分割和建模可以作为盆底功能障碍、盆腔径线测量和手术计划拟定的一个基础性的建设。

陆菁菁教授团队也比较了一些既往的研究,比如这篇14年发表在JMRI的文章,文章着重研究了肌群而不是单块肌肉,使用的是水脂分离的磁共振特殊扫描技术,算法则是非深度学习算法的Multi-atlas算法。

2011年在MRI杂志上发表的这个研究,做了横截面的图像,尝试分割了不同的大腿肌肉,也没有使用深度学习的算法,而使用的是特征提取的算法。

这是2017年Medical physics上的一篇文章,它做了全身的大量器官的自动识别和分割,并且通过三种算法的比较,得出结论说CNN是最好的一种算法,分割效率相对最高。

文章把人体器官分成几大类,比如说左肺,右肺,肝脏和肾脏等等,还计算一下它们的符合度和相似度,并且总结了算法的相对优势和劣势,值得学习和借鉴。

还有,这篇2018年的文章利用了深度卷积神经网络这种比较先进的算法,而且也是比较有实用性的一篇文章。

它利用了不是很大的样本量来达到很多结构的这些识别,比如股骨、股骨的软骨、胫骨和髌骨、甚至是肌腱和韧带等等。

当然还有其他各种挑战,比如克服器官变形和图像伪影的挑战,这些可以个人通过经验提前看出来,但是机器可能需要较大量的样本图像去训练它,机器才能学习到。

还有就是器官的三维重建。

这是陆菁菁教授和妇产科团队合作,应用3D打印技术手术前诊断女性生殖道畸形的一例报告。模型是手动一层一层的画出来,勾画平滑以后,通过结合3D打印技术做出来的。

这是学生的初级工作,在子宫畸形上,开创性地运用不同的颜色去标示不同的结构,包括骨盆、子宫等等等等,能实现但是太费劲。

那么能不能做自动分割和重建呢,后来团队做了识别以后就做了一个简单初级的三维重建。

三维重建的意义是什么呢?其实妇产科的大夫不愿看核磁的图像,更愿意直接去手术,如果是有一个三维模型的话,他的接受度就会提高。

自动分割和三维重建在直肠和膀胱这些变形度较高的结构图像上都有比较大的需求。

最后一个比较大的需求就是多模态图像的融合和三维显示。

比如这个患者的核磁图像,有深部内异症导致卵巢的粘连、宫颈后壁和直肠前壁出现粘连带,要用很复杂的语言才能解释清楚,来指导腹腔镜的手术。但要是跟妇科大夫去讲磁共振图像,妇科大夫接受度是比较低的。

团队尝试了图像勾画和阴道内打药,然后在三维图像上直观显示出了病灶的位置。

并且病灶往往位于多个地方,比如不光是在宫颈发,有可能在卵巢,用一个三维的显示方法,让多个病灶同时发生在不同的位置和不同的形态得以立体展示,能够更好的告诉我们的妇产科大夫。

还有就是核磁图像虽然能显示子宫、宫颈和韧带,但很难看清楚子宫的动脉,很难看清楚坐骨结节,但是CT能看清楚,所以团队把这两个模态又融合起来,能够相互参考,但是目前展现效果还需要进一步提高。

在将来,可以通过更加复杂多模态图像融合和三维显示将患者多模态影像信息数字化,患者所有的信息都在里面,这样对临床大夫也好、对影像科大夫也好,都可以很直观、便捷地去提取这个信息。

谢谢大家。

作为全程参加完三天大会的医生嘉宾,陆菁菁教授除了在“医生谈例临床需求与挑战”专场作了深度报告外,还在“医工交流会”专场担任分享嘉宾,向台下的工科人展示了她们团队当下需要解决的宫颈区域分割难题和CT、fMRI数据融合问题。会场气氛十分活跃,众多工科学者和业者向陆菁菁教授讲述了他们的解决方法,医工双方均受益颇多。

陆菁菁教授与李纯明教授探讨图像分割问题

当天晚上,陆菁菁教授同时作为“临床数据分析挑战赛决赛”的评委,点评决赛选手的所有图像分割结果。决赛结束后,不少参赛选手纷纷谈到陆教授的意见之宝贵,这是他们在其他地方难以学习到的。

想了解更多ISICDM大会的嘉宾精彩报告,请关注微信公众号“AI掘金志”的后续报道。

相关阅读

第二届 ISICDM 开幕:10 位国际顶尖专家、20 大名医、80 名优秀学者聚首成都

本文分享自微信公众号 - AI掘金志(HealthAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

尊敬的机器之心Pro用户,您获取AI信息的效率超过了全国99%的人

上周,我们发布了最新产品:人工智能领域专业信息及数据平台「机器之心Pro」,旨在帮助 AI 从业人高效跟踪技术及行业动态、查找产业及应用数据、阅读深度文章及行研...

9430
来自专栏CreateAMind

Shreya Gherani:BERT庖丁解牛(Neo Yan翻译)

BERT是双向转换器(Bi-Transformer)的缩写。这是谷歌在2018年末开发并发布的一种新型语言模型。BERT等经过预处理的语言模型在问答、命名实体识...

8410
来自专栏机器之心

谷歌大脑提出概念激活向量,助力神经网络可解释性研究

可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展,创建了非常复杂的模型,这些模型可以包括数千个隐藏层、数千万神经元。虽...

20230
来自专栏机器之心

1分钟训练百万级别节点嵌入,加拿大Mila研究所开源图嵌入训练系统GraphVite

图是一种通用、灵活的数据结构,可以用来编码不同对象之间的关系,并且在现实世界中非常普遍,如社交网络、引文图、蛋白质相互作用图、知识图谱等,涵盖了多个应用和领域。...

14940
来自专栏机器之心

DeepMind烧钱的2018:负债超12亿美元、亏损达5.72亿美元

作为一家计算密集型公司,DeepMind 在算力方面的开销不容忽视。据统计,从 2012 年到 2018 年,最大型的 AI 模型训练所消耗的算力增长了 30 ...

12450
来自专栏SAMshare

MLK | 机器学习常见算法优缺点了解一下

2、使用基于决策树的combination算法,如bagging算法,randomforest算法,可以解决过拟合的问题。

11140
来自专栏SAMshare

Andrew Ng关于机器学习职业生涯以及阅读论文的一些建议

转了一篇对于ML的职业发展tips的文章,可以读读,里面的一些对于学习机器学习的方法还是可以借鉴呢。

12220
来自专栏小小挖掘机

学机器学习有必要懂数学吗?深入浅出机器学习与数学的关系

小黑,Datawhale团队成员,秦时明月十年铁粉,本科就读于山西大学,保研至天津大学并硕博连读,现为2018级博士,研究方向:脑机接口。

10820
来自专栏SAMshare

MLK | 如何解决机器学习树集成模型的解释性问题

前些天在同行交流群里,有个话题一直在群里热烈地讨论,那就是 如何解释机器学习模型 ,因为在风控领域,一个模型如果不能得到很好的解释一般都不会被通过的,在银行里会...

27820
来自专栏机器之心

基于Keras的关联神经网络CorrNet综合指南

人与动物都有这五种共同的感官:视觉、听觉、味觉、嗅觉和触觉。除此之外我们还有其它诸如平衡感、加速感和时间感等等。人类大脑无时不刻的在处理所有来自这些感官源的信息...

11930

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励