纹理分析及其在医学成像中的应用
纹理分析是一种量化图像强度变化的图像分析技术。的基本原理，以及它们的优点、缺点和应用。这项研究的重点是收集和分析近50年来有关纹理分析的研究，简要描述了不同的方法，并给出了应用实例。鉴于纹理分析应用广泛，本研究主要集中在生物医学图像分析领域，并整理了一份最新的生物组织和器官相关的疾病产生的纹理变化的列表，可用于查阅疾病的发病和进展。最后，总结了纹理分析方法作为疾病生物标记物的作用。本文发表在IEEE REVIEWS IN BIOMEDICAL ENGINEERING杂志。
Radiology：图像生物标志物标准化：基于高通量图像表型的标准化定量影像组学
IEEE Signal Processing Magazine：从手工放射组学特征到深
Radiology：脑部MRI影像组学:转移瘤类型预测的应用
Neuro-Oncology：对脑胶质瘤IDH突变状态进行分类的一种新型的
Neuro-Oncology：深度学习算法全自动评估脑胶质瘤负荷
Lancet Oncology：利用人工神经网络对神经肿瘤学MRI成像进行
Radiology：人工智能系统脑MRI鉴别诊断精度接近神经放射科
1.引言
纹理是所有类型图像中最显著的特征之一。虽然图像纹理没有一个标准的定义，但它可以被理解为图像像素强度或颜色变化的函数。纹理的分析始于Julesz[2]的工作，从那时起，开启了基于纹理的分类、分割、合成和形状的研究。
纹理分析可应用在分类算法中，分类算法的目的是将一个给定的纹理图像或区域分类到一个预定义的纹理类型。纹理特征的应用还包括图像分割，将图像分割成具有均匀纹理的区域。此外，纹理合成可以生成新的图像，也是纹理特征的应用。这些特征感知上等同于纹理样本。最后，纹理还可以恢复图像中纹理图像的三维形状。分类、分割和合成三者密切相关且研究广泛，而基于纹理的形状研究则较少。
纹理特征的计算是纹理分析的核心，可以通过对图像纹理分析提出的数学定义来实现。在这一领域近几年的研究中，出现了多种理论和算法。然而，纹理分析的研究可以追溯到1962年，当时人类对纹理的视觉感知理论进行了研究，表明纹理可以使用k阶统计量进行建模。共生矩阵主要是由这一观点衍生的。
人类对纹理的感知在很大程度上影响了基于计算机的纹理分析方法的发展。人类视觉感知纹理的实验建立了“纹理区域理论”[2]，该理论假设纹理区域的优先注意判别是基于纹理的相似性和不相似性。基元（Textons）最初被描述为基本的纹理元素，如blobs、corner、end-lines和closures。20世纪80年代初，基元（Textons）理论对早期经典纹理分析方法的发展产生了重大影响。随后，对texton概念进行了重新探讨，将texton定义为滤波器响应空间中的聚类中心。这个定义赋予了基元的可操作性，使其能够自动生成图像，并使学习所有图像通用的基元（Texton）成为可能。Texton理论为纹理分析奠定了基础，并启发了从结构到基于学习的纹理分析方法的广泛发展。
20世纪80年代末90年代初，纹理分析的研究主要集中在频谱法和基于模型的方法上。Laws纹理滤波转换，傅里叶变换，以及小波变换都是频谱法的例子，而马尔可夫随机域[9]和分形模型[10]是两种主要的基于模型的方法。
在21世纪初，局部二值模式的局部纹理描述符出现。从那时起，一些局部二值模式变体被提出了。此外，对不变纹理特征的需求导致了局部不变方法的出现，如尺度不变特征变换[13]和面向梯度的直方图。
从基于人工提取方法到机器学习方法的过渡阶段始于2001年的bag-of-textons 模型[5](第一种)和bag-of-words [15]方法。用这些方法创建字典，在字典上以直方图的形式显示图像。自2012年以来，深度学习方法的研究受到越来越多的关注，这些方法已经被应用到计算机视觉的许多问题中，包括纹理分析。
纹理特征已经被应用于许多领域，包括但不限于生物医学图像分析[19]、质量检测[20]、基于内容的图像检索[15]、卫星或航空图像分析[21]、人脸分析[22]、生物特征识别[23]、物体识别[24]和图像压缩。
多年来，已经发表了一些综述和研究，提供了不同时间点的纹理分析领域的最新研究点。随着时间的推移，对纹理分析方法的综述适应了该领域的新趋势。有研究[24]对局部不变纹理描述符进行了回顾和比较。最近也有研究[30]和[12]主要集中在基于局部二值模式的纹理特征方法。最近的一个综述集中于基于机器学习的方法[31]。不出所料，纹理分析综述受到作者应用领域的影响。作者可以选择只关注一个或两个类别，如果它们与特定的主题无关，则忽略其余的类别(例如，生物医学应用 [27]或文档图像检索[28])。在[27]中，以生物医学应用为中心，综述了当时一些主要的纹理分析方法的原理。尽管如此，由于结构方法在该领域的应用有限，因此在综述中没有详细介绍它们。此外，这一领域的异质性，关于其应用和考虑的分类方案，反映了不同的作者如何综述纹理分析方法。
本文旨在提供一个全面的和更新的调查，涵盖所有纹理分析方法，而不是专门关注任何当前的趋势或任何特定的应用。我们提供了在纹理分析中基于人工和基于学习的方法的回顾。在纹理分析中的经典人工方法与最近介绍的方法一起讨论。词汇特征学习方法和深度学习方法(将卷积神经网络用于纹理分析)都在基于学习的方法中进行了讨论。然而，纹理分析综述通常讨论纯(孤立的)纹理分析方法，我们也讨论最近引入的综合或“混合”方法，这些方法结合了多个纹理分析方法。这些综合方法的优势在于在不同方法之间实现了良好的性能权衡，并且已经获得了发展趋势。
本文仅涵盖解决静态纹理分析的方法。这里不讨论动态(时态)。此外，所有提出的方法都只处理灰度纹理。最后，鉴于我们的工作领域，本文的第二部分主要讨论了纹理分析在生物医学成像领域的应用。综述了纹理分析在肿瘤学和神经病学中的应用前景，并讨论了生物医学纹理分析面临的主要挑战。第三节介绍了纹理分析在生物医学成像中的最新应用。
2.纹理分析的方法
本节将全面回顾纹理特征计算方法。首先，在介绍经典方法(II-A)、纹理分析中的新类别(II-B)和基于学习的方法(II-C)时，提出了方法的粒度分级。对每一类进行了简要的说明，并选取了一些著名的具有代表性的方法进行了描述。这些方法在相邻的表格中进行了总结，展示了它们的属性、应用流程示例以及它们在相应应用程序中的性能。最后，不同纹理分析方法的组合(综合方法)将在第II-D小节中介绍。
A 传统方法
在纹理分析中，现有的方法传统上分为四类：统计方法、结构方法、频谱方法和基于模型的方法。这些类别通常被称为经典方法，包括早期的纹理分析方法。在II-A1到II-A4小节中，我们将对这些主要的纹理分析类别进行广泛的回顾。
一个理想的纹理特征能够捕捉纹理类的最具代表性的纹理信息，而不考虑图像采集环境和参数设置的可变性，特别是图像旋转、缩放和噪声。为了实现这一目标，这一领域的研究仍然很常见，并且已经产生了几种方法。
最近的纹理分析方法基于二值模式的局部描述符或局部滤波器来计算局部纹理特征。这些方法是统计方法和频谱方法的自然演变。此外，除了与词汇学习过程(II-C)的集成之外，一些局部不变式技术并没有明确地应用于纹理分析。
局部描述符可以分为稀疏类和密集类。稀疏描述符首先检测输入图像的感兴趣区，然后对图像局部块采样并描述其不变特征。而密集描述符则对输入图像的每个像素进行局部特征的提取。这些类型的例子有尺度不变特征变换（SIFT）和基于局部二值模式（LBP）的方法，分别用于稀疏描述符和密集描述符。
1) 统计学方法
统计方法基于对图像像素附近灰度值的空间分布进行分析。通过这种分析，可以计算出多个基于统计的指标。根据定义局部特征的像素数量，统计方法可以进一步分类为一阶（一个像素）、二阶（两个像素）和高阶（三个或更多像素）统计。
通常会考虑一阶方法，即使只有单个像素值起作用，而不是它们与相邻像素的关系。一阶统计特征（例如，平均值、最大值、最小值、方差和峰度）是基于灰度分布的描述符，只能提供目标区域的全局信息。基于直方图的描述符计算成本较低，且具有平移和旋转不变性。
另一方面，二阶统计特征描述区域内灰度强度的相互关系。这些特征是从矩阵中计算出来的，表示强度i的像素在与另一强度j的特定空间关系中出现的频率。基于共生矩阵描述符通常比基于直方图的描述符更具区分性。其中，灰度共生矩阵（GLCM）和灰度游程矩阵（GLRLM）是两种最常用的方法。
GLCM考虑两个像素之间的关系，并计算特定方向上所有可能的组合灰度值出现次数以及它们之间的距离。虽然GLCM通常在八个方向上计算，但一种常见的方法是通过组合相反的方向将它们减少到四个，从而得到对称的GLCM。GLCM中捕捉到的纹理的精确信息可以通过几个度量来表示，如Haralick 在研究中提出的度量。
GLCMs的缺点是矩阵的高维性和特征之间的高相关性。在实践中，GLCM是针对多个方向和距离计算的，并且只保留那些针对所解决问题呈现最佳特征的。然而，GLCM（灰度共生矩阵）是最主要和最深入研究的纹理分析方法之一，有着广泛的应用。到目前为止，它仍然是大多数纹理分析研究的基准方法。
另一种方法是GLRLM（GLRLM）方法，它评估给定方向上具有相同灰度值的连续像素集。这些连续像素集被称为灰度游程。GLRLM提供特定方向上运行长度的数值数据[33]。GLRLM通常在四个方向上计算，并为每个方向计算2D（灰度和长度）运行长度直方图。理论研究[34]表明，GLRLM特征在自动纹理分类中不如基于直方图和GLCM特征。
最后，探究图像像素对之外的像素关系的高阶统计特征通常对图像噪声更具鲁棒性。
局部二值模式（LBP）[26]方法被归类为高阶统计方法类。他们关注感兴趣区域的子区域内的强度变换。LBP方法将局部结构分析（如结构方法）与事件分析（如统计方法）结合起来。这种组合为纹理分析提供了良好的性能。
在LBP方法的原始应用[26]中，局部空间结构是像素强度与其八个相邻像素之间的差异的特征。通过将每个相邻像素与中心像素直接比较，定义了一个8位二进制向量。然后用相应的8位二进制代码的十进制值标记该像素，并将这些LBP标签的直方图用作纹理描述符。LBP特征可以通过考虑不同半径来计算，以覆盖不同的空间分辨率。
LBP（局部二值模式）方法的优点是易于实现，计算成本低，并且由于不改变两个强度之间差异，因此保持单调强度不变性。尽管有这些优点，原始的LBP方法仍有一些明显的缺点，例如对旋转和噪声敏感，只捕获局部纹理，因此无法检测大规模纹理结构。旋转不变LBP、均匀LBP和旋转不变均匀LBP是原始LBP的三个早期研究，解决了这些限制。最近的一种LBP变体，中值鲁棒扩展LBP[36]，对图像旋转和噪声具有鲁棒性，并且在评估多个分类挑战时表现出最佳的整体性能。
在原LBP的基础上，还提出了其他几种LBP变体和扩展，旨在提高鲁棒性和识别能力。值得注意的是，LBP方法衍生了几种局部变量方法，包括韦伯局部描述符（见下文），和局部相位量化（见第II-A3节）。
韦伯的局部描述基于韦伯定律，即人类对模式的感知既取决于刺激的变化，也取决于刺激的初始强度。该描述符由两部分组成：差分激励和梯度方向，量化为二维直方图，提供纹理的全局表示。韦伯局部描述符取决于局部强度变化和中心像素强度的大小。使用多个邻域大小可以实现韦伯描述符的多尺度概括。此外，韦伯描述符的计算效率很高。另一种使用韦伯定律的方法是韦伯LBP方法[40]，它有效地结合了韦伯局部描述符与LBP方法的优点。
不变的纹理特征，用以降低或消除对旋转、缩放、方向和照明等可变条件的敏感性，推进了局部不变方法的发展。尺度不变特征变换（SIFT）和方向梯度直方图（HOG）方法就是这些方法的例子。
方向梯度直方图（HOG）方法[14]是一种有效的局部描述符，主要用于目标和人脸识别。HOG方法的基本思想是，局部目标的外观和形状可以通过局部强度梯度或边缘方向的分布来表征。该方法包括计算梯度方向。HOG具有很强的纹理和形状描述能力，已成功应用于人类检测[14]、人脸识别[41]和生物医学图像分析[42]–[44]。
SIFT描述符是梯度位置和方向的3D直方图。SIFT中的兴趣点通常通过高斯差来检测，也可以使用其他关键点检测 [45]。使用局部邻域中量化梯度方向的加权直方图计算兴趣点主导方向。然后，通过计算相对方向的加权直方图形成向量描述符，该直方图涉及4×4像素块中的主方向和八个方向，从而得到128维描述符。主成分分析SIFT（PCA-SIFT）方法[46]是SIFT描述符的扩展，具有简化的36维特征向量。SIFT描述符是尺度不变、旋转不变和仿射不变的。基于SIFT的特征还与其他纹理分析方法有效结合，即一种称为中心对称LBP的混合SIFT-LBP局部不变方法。
纹理分析中的大多数词汇学习方法都依赖于SIFT描述符作为局部纹理描述符。在最近的一篇综述[48]中，基于学习的方法被分为基于筛选的方法和基于卷积神经网络（CNN）的方法。最大响应滤波器（MR滤波器）[49]和旋转不变特征变换（RIFT）方法[50]是局部不变方法的其他示例，在词汇学习方法的上下文中，它们在纹理分析中具有相关贡献。
纹理分析统计方法的其他示例包括：中心对称自相关[51]、变异函数[52]、梯度幅度直方图[53]、确定性行走[54]和Tamura特征的计算[55]。
表一总结了其中一些统计方法的特性，并提供了这些方法的应用示例。
表一，纹理分析中的统计方法。
2）结构方法
结构方法根据规则或不规则组成规则考虑纹理是由几个元素组成。识别和定位代表不同纹理结构的基元是结构分析的首要任务，其次是它们的组成规则的推理。
具有均匀灰度值、斑点、线段、重复平行边和扇形组织边的区域被视为纹理基本体的示例。这些基本体的概念使得结构方法特别适合于分析均匀和结构化纹理，但对于随机类型来说是次优的。
数学形态学是识别纹理基本体的有力工具[124]–[126]。形态学分析基于“集合论”的概念。它试图找到不同类型的物体和轮廓，或通过形态学算子定位具有相似强度的像素簇。数学形态学方法使用结构元素搜索现有形状的空间重复性。它已成功地应用于粒度分析中。
粒度测定法最初用于描述二值图像的大小和形状信息，后来扩展到灰度图像分析[125]。在形态学粒度测量中，通过打开和关闭形态学算子提取基元。计算不同基元对应的粒度模式谱，作为基于形态学的基元的放置规则。粒度模式谱及其概率分布函数的特性，例如平均值和标准偏差，可以用作纹理特征[126]。粒度测量反映了有关结构化纹理图案的形状和大小以及非结构化纹理图案的粒度的信息[127]。
Voronoi方法[128]是另一种基于结构的方法。它采用Voronoi细分来建立纹理基本体之间的局部关系，允许在符号级别获得基本的形状。对输入图像进行Voronoi细分后，计算不同的Voronoi多边形面积矩，反映原始图像灰度的空间分布和形状特征的空间分布和形状，并作为放置规则。
在[129]中，纹理被定义为具有相同像素特征（例如，强度或梯度）的最大连通像素集。这种基于结构的方法没有从基元之间的空间关系推断放置规则，而是使用了其他度量，例如同质基元的强度、方向、延伸率和紧致度。
在[130]中，提出了一种结构分析方法。这里，傅里叶功率谱中的能量分布被用来推断布局规则。与之前提到的结构方法不同，在这种方法中，首先评估布局规则。然后利用这些布局规则结合相位信息提取基元。这种方法也可以被视为结构-频谱混合方法。
结构方法为图像提供了有效的符号描述[27]。根据基本体的概念和布局规则，结构化方法基于规则性，因此更适合于分析图案纹理。
表II总结了一些结构方法的特性和应用示例。
表二，结构分析中的结构方法
3）频谱方法
视觉系统能够进行频率和方向分析，这推动了频谱方法的发展[138]。这些方法也称为基于滤波器或基于变换的方法，用于纹理的多尺度和多分辨率表示。频谱方法可以在空间域（例如，Laws filters[6]）、频率域（例如，Fourier transform[7]）或频率域和空间域（例如，Gabor[139]和小波变换[8]）中严格分析纹理的频率内容。
在早期基于频谱的实现，应用简单的滤波器，如Laws滤波器和steerable滤波器，是一种开创性的方法。在滤波方法中，通过使用滤波器卷积图像来计算频率信息，从而得到滤波器响应集。纹理特征通常基于这些过滤器响应的统计信息。Laws[6]开发了一组滤波器，这些滤波器由所谓的Laws纹理能量的度量互积而成：水平、边缘、斑点、波浪和波纹。规则过滤器的响应表示有意义的纹理模式。缺点是，它们不是旋转不变的。
频域分析的一种基本方法是应用傅里叶变换。二维傅里叶变换将图像分解为其频率分量，并将其表示为各种频率的垂直和水平正弦的加权组合。傅立叶纹理特征包含纹理的频率信息，但不能描述局部纹理变化。因此有研究者提出了一种加窗傅里叶变换[140]，其中在一个窗口内计算频率信息，用于计算傅里叶纹理特征，以克服上述限制，从而在局部水平上提供信息。加窗傅里叶变换的一种特殊情况是斯托克韦尔变换，其中窗函数是高斯函数。Stockwell变换已应用于生物医学纹理分析。傅立叶纹理特征具有平移不变性，能够处理噪声。
局部频率描述符方法[144]和局部相位量化方法[39]就是基于加窗傅里叶变换来计算纹理特征的。
局部相位量化方法基于计算局部窗口的傅里叶变换相位，该窗口连续以每个图像的像素为中心。首先，在每个图像像素的局部邻域上使用短时傅里叶变换计算局部频率。然后，考虑四个低频分量，通过观察它们的实部和虚部的符号来记录它们的相位信息，从而生成一个8位二进制代码。然后用相应的十进制值标记每个像素，并按照LBP方法使用这些标签的直方图作为局部相位纹理特征。
低频分量的相位信息表明，它对中心对称模糊具有理想的不变性，因此产生了对最常见类型的图像模糊具有耐受性的描述符。此外，由于只使用相位信息，该方法对非均匀照明也具有不变性。局部相位量化方法与LBP方法有效结合，为人脸识别提供了增强的纹理特征。
在一种独特的方法中，Gabor滤波器在纹理表示和识别方面非常有效。Gabor滤波器是由正弦平面波调制的高斯核函数。通过一组不同尺度和方向的Gabor滤波器实现多通道滤波。Gabor滤波器组执行稳健的多分辨率分解，允许计算频率和方向信息。Gabor纹理特征是根据Gabor幅度响应的统计分布计算出来的。Gabor特征对光度干扰（如照明变化和噪声）具有鲁棒性。同时，在存在旋转、缩放和仿射变化的情况下，它们无法达到预期的性能水平。Gabor滤波器与LBP的结合产生了具有合理鲁棒性的纹理特征[146]。
另一方面，小波变换在空间和频率域分析纹理。基于小波的方法通过对给定基函数（称为母小波）的缩放和平移得到图像。离散小波变换可以使用金字塔结构计算，金字塔结构由一对低通和高通滤波器实现，然后进行下采样。获得的小波系数和由此计算的测度（例如能量、方差和熵等）通常用作小波纹理特征。小波变换的优点是可以提供空间分辨率的变化，因此可以在最合适的尺度上表示纹理。
此外，选择小波函数的灵活性对于特定应用是一个优势。虽然小波变换对旋转没有不变性，但可以试图找到旋转不变纹理分析，如[147]所示。将双树复小波变换与LBP方法相结合，产生了旋转、光照和尺度变化的纹理特征[148]。
表III总结了不同频谱法及其性质和应用示例。
4）基于模型的方法
在基于模型的方法中，纹理的基本量化由从一组模型中选择的模型捕获，从基于复杂网络、随机场和基于分形的模型到Wold分解模型，所选模型的估计参数代表特定的纹理特性。基于模型的方法中的关键问题是正确选择模型，以及如何有效地将特定纹理映射到模型中。对于大多数基于模型的方法，纹理是概率建模（马尔可夫随机场模型）、几何建模（分形模型）或作为一组基函数建模（Wold分解）。
概率模型包括随机场模型，如马尔可夫随机场（MRF）方法，该方法将纹理建模为一个随机过程，将其描述为随机变量的分布。MRF模型假设像素的强度仅取决于链中的前一个像素强度并且在转移概率矩阵上。换句话说，MRF模型建立了一个以相邻像素为随机变量的无向图。该模型的参数是通过优化方法估计的，该方法旨在最小化能量函数。MRF模型的优化参数定义了纹理，可以用作纹理特征。基于MRF模型的纹理特征通常是旋转变量，基于各向异性圆形高斯MRF计算的旋转不变纹理特征也是如此。
分形模型[10]利用数学工具处理纹理分析中的尺度。这些适用于纹理在不同尺度上具有一定程度自相似性的图案组成的图像。分形维数[195]计算了分形图案中细节随比例的变化，提供了对几何对象复杂性和不规则性的全局描述。分形集可能共享相同的分形维数，但具有不同的外观。出于这个原因，有人提出将空隙度作为分形维数的补充度量[196]。如果呈现相同的分形维数，空隙度可以通过测量分形与平移不变的偏差来区分不同的纹理外观。
在文章[197]中，重新讨论了基于分形的模型，并提出了对视点变化、非刚性形变和局部仿射不变性的多重分形频谱方法。
多重分形频谱方法与其他纹理分析方法（如小波变换[198]、LBP方法[199]和尺度不变特征变换[200]）的结合，产生了更具辨别力的纹理特征。分形特征的稳定性取决于图像的分辨率，这是所有基于分形的模型的一个共同缺点。
Wold分解方法[201]通过将纹理分解为三个相互正交的分量来建模，这三个分量测量纹理的周期性、随机性和方向。选择这三个组件参数的灵活性提供了广泛的纹理建模。然而，这种方法的缺点是难以估计系数和选择正确的模型。后来提出了一种基于Wold分解的3D纹理模型。
估计多个模型参数的复杂性通常随着所考虑的窗口大小而增加，这使得基于模型的方法不如统计和频谱技术普遍。
表IV总结了基于模型的方法及其应用。
B 纹理分析的新范畴
随着其他领域的技术被纳入图像纹理研究，需要定义新的方法类别。在[227]中，纹理分析方法的经典分类已从四个经典类别扩展到七个类别，包括本文讨论的基于图论和基于熵的方法。
1）基于图论的方法
图是点（节点）及其连接（边）的集合。在基于图的方法中，纹理特征是从图像上定义的对应图中提取的。局部结构图法[228]、旅行者图法[229]和图中最短路径法[230]是这类纹理分析的方法。
在局部图结构方法中，从局部图邻域计算纹理特征。局部图由包括目标像素在内的六个顶点和连接它们的八条边组成。选择目标像素的值作为初始阈值。沿左（右）顶点的边缘逆时针（顺时针）移动，从目标像素开始向后移动，生成二进制代码：如果移动到较高或相等的像素值，则为1；如果移动到较低的像素值，则为0。目标像素标记为目标像素由边缘标签产生的8位二进制数计算的十进制值，并将这些局部图标签的直方图作为纹理特征。在此基础上，提出了另一种扩展局部图结构方法[231]。它通过访问相邻像素（顺时针和逆时针）来捕获进一步的空间信息。局部图结构包含有区别的局部信息，计算效率高。
旅行者图法根据给定的记忆和行走规则探索图像，从而产生部分自我回避的轨迹。这些轨迹可以用来构建一个描述游客传递性的图形，从而描述纹理特征。根据该图计算的度量（节点度和联合度）用作纹理描述符。该方法已有效地扩展到动态纹理分析。
最短路径是另一种基于图的纹理分析方法。在该方法中，图像的像素被视为无向加权图的顶点，其权重由图像的灰度值定义。最短路径在对应于纹理方形区域对角线点的图形的四个顶点（像素）集中计算。最短路径可以在不同的非重叠方形区域中计算，同时从原始纹理大小开始，采用多尺度方法减小其大小。因此，根据最短路径计算的纹理特征包含微观和宏观纹理信息。
表V总结了基于图论的方法的应用特性和示例。
2）基于熵的方法
基于熵的方法是基于信息论领域熵测度的扩展。尽管这些方法看起来很有前途，但它们需要额外的时间和研究，才能在纹理分析中得到广泛的应用和发展。
在信号处理领域，基于熵的度量评估信号的不规则性。样本熵是最广为人知的熵测度之一，它基于先前样本的知识来量化数据序列中后续样本的不可预测性。在[236]中，样本熵被扩展到二维，以测量像素模式中的不规则性。在2D方法中，考虑到与相同大小的样本窗口相比，该窗口内强度的空间分布，与熵相关的不可预测度是在一个窗口中计算的。在[237]中，使用2D样本熵度量计算区分性和旋转不变纹理特征。然而，这个过程在计算上很麻烦。因此，人们提出了二维分布熵和二维多尺度熵测度来克服这一缺点。一般来说，这些基于2D熵的方法对于不规则和复杂的纹理表现良好，并且易于实现。样本熵也被扩展到多维和模糊样本熵，用于颜色纹理分类。
表六总结了基于熵的方法的特性，并给出了这些方法的应用示例。
C 基于学习的方法
基于学习的方法是依赖于数据集的方法，最初是在纹理识别的背景下通过文本包方法开发的。在该方法中，通过学习不同纹理类别的文本来生成文本字典，每个纹理都表示为文本的直方图。在图像检索[15]和后来的图像分类[45]中，这种方法在词袋法（BoW）中得到了推广。这个框架内的方法被称为词汇习得方法。通过将CNN模型应用于纹理分析，基于学习的方法已扩展到深度学习方法。在这项研究中，基于学习的方法分为词汇学习法和深度学习法。
1）词汇学习法
当应用于纹理分析时，词汇学习方法适用于学习包含由局部描述符计算的纹理元素的字典。这些方法基于局部特征的无序聚合来表示纹理。通常，词汇学习方法采用以下方法：提取局部描述符、聚类以学习词典、特征编码，以及合并到全局描述符中。这些方法中的局部描述符可以是稀疏的或密集的局部描述符。最常见的词汇学习法的学习框架包括LM过滤器、MR过滤器、SIFT、RIFT、斑块强度和LBPs。
特征编码是词汇学习方法的核心组成部分。在这一步中，局部描述符的信息被编码在单个向量中，或者使用投票方法，如BoW方法，或者通过提取高阶统计量，如Fisher向量（FV）方法。
有研究介绍了最直观的编码器，并将其推广到基线方法，该方法通过计算分配给每个编码的局部特征数，生成局部描述符的直方图表示。
在FV方法中，通过对局部描述符分布的附加信息进行编码来提取高阶统计量。在FV方法的基础上，提出了改进的Fisher向量（IFV）和局部聚集描述符向量（VLAD）的方法。根据[17]中FV、IFV和VLAD方法之间的综合比较，IFV（Fisher向量）方法在纹理分类方面取得了最好的性能。
尽管词汇学习方法最初不是为纹理分析开发的，但它们提供了强大的纹理特征计算工具。
表七总结了词汇学习方法的特点及其应用实例。
2）深度学习方法
2012年，深卷积神经网络AlexNet得到了较佳的图像分类结果。此后，深度学习方法也被应用于纹理分析，并提出了几种基于卷积神经网络的纹理表示方法。
CNN由多个可训练的网络层组成，层与层相互叠加。CNN模型的开发范围很广，包括AlexNet[16]、VGGNet[247]、GoogleNet[248]、ResNet[249]和DenseNet[250]，其深度不断增长。CNN模型是在大规模数据集上训练的，其中最常用的是ImageNet，有1000个类和120万张图像。
最近关于CNN的研究表明，在大型数据集上预先训练的CNN可以很好地进行纹理分析。在[18]中，CNN特征可以从卷积层的输出计算出来的，并与传统的编码器结合，以实现全局表示。基于这种方法，在[253]中提出的FV-CNN方法在杂波数据集中的纹理识别方面取得了较优的结果。在该方法中，使用在ImageNet上预先训练的CNN作为特征提取器，并使用FV构建无序表示。
CNN在计算深度学习纹理特征方面的能力尚未得到充分利用。根据[252]，在特定任务的数据集上，fine-tuning CNN模型预计将优于预先训练的CNN模型。在经过微调的CNN中，全局图像表示通常是端到端生成的；也就是说，网络将呈现最终的视觉表示，而无需额外的显式编码或池化步骤。
有研究开发了纹理CNN（T-CNN），用于提取对网络中中间特征的密集响应。该网络经过端到端的训练，提高了纹理分类任务的结果，同时降低了与经典CNN相比的复杂性。
也有研究开发了双线性CNN模型（B-CNN）。它将两个网络结合起来，在CNN框架中提取和分类不同的局部成对特征，并允许对两个网络进行端到端训练。B-CNN方法有利于细粒度分类。它还被应用于纹理分类，性能略优于FV-CNN[256]。
结合T-CNN方法和完整BCNN方法的思想，提出了一种用于纹理识别的融合网络FASON。FASON将一阶和二阶信息流结合起来，通过端到端的训练，比B-CNN提供更多的内容和风格学习。
CNN和无序池化方法（如V ALD和FV）以端到端的方式集成在NetVLAD[257]和deep texture encoding network（DeepTEN）中。在NetVLAD中，在最后一个卷积层将一个类似VLAD的层插入CNN网络，并启用端到端训练。NetV ALD最初设计用于位置识别，后来应用于纹理分类[167]，尽管其分类性能低于FV-CNN。在Deep-TEN中，集成在卷积层顶部的编码层在CNN训练的端到端中结合了无序池化编码，如VLAD（局部聚集描述符向量）和FV（Fisher向量）。无序编码与Deep TEN方法相结合，使其特别适合于纹理识别。
深度学习模型可以从原始数据中自动学习高级特征，尽管它们的性能取决于训练样本的数量。此外，用于预训练和微调的数据集的大小显著影响微调性能。将神经网络应用于纹理分析的主要限制是需要实际的训练数据。
在[37]中，对几种纹理描述符进行了评估，并与几种LBP变体进行了比较。研究发现，尽管CNN的计算复杂度要高得多，但其性能优于LBP变体。虽然CNN通常优于经典纹理描述符，但它们在资源有限的环境中的有效性尚待确定。在[259]中，提出了一种CNN-LBP混合方法来解决这个问题。
表八总结了深度学习方法的特性及其应用示例。
D 组合的方法
有方法在纹理分析中集成了不同的方法，旨在突出显示额外的纹理信息。所谓的混合方法通常包括基准方法与其他方法的组合，将两种或更多方法结合到一个框架中，以计算增强的纹理特征。这些组合可以连接同一类的方法，例如统计混合方法；来自两个不同类别的方法，例如统计频谱混合方法；甚至可以结合经典技术和CNN架构，形成手工制作的深度卷积网络，如ScatNet和PCANet。
均匀LBP方法[265]的共生、成对旋转不变的共生LBP方法（PRICoLBP）[264]和定向梯度方法的共生直方图[267]都是统计混合方法的例子。这些方法遵循类似的框架，利用空间共生编码来提高LBP和HOG方法的识别能力和鲁棒性。在这些方法中，特征的空间共生可以提供比其单独出现更高阶的统计信息。增强的PRICoLBP特征有效地捕捉了空间上下文共生信息，具有旋转不变性。在融合了多尺度和多方向颜色信息后，PRICoLBP特征已被有效地应用于视觉分类[264]。
基于分形分析中的概念，在[199]中提出了一种混合分形LBP方法。在这种综合方法中，对多尺度LBP进行了分析，以表征纹理结构的空间分布，产生高度区分的纹理特征（与某些LBP变体[167]相比），对光度和几何变化具有很强的鲁棒性。
在[200]中，多重分形分析与SIFT（一种成熟的局部描述符）结合在一个紧密的小波框架系统中。该方法继承了分形维数的高分辨能力、SIFT方法对大多数环境变化的不变性以及小波框架系统的多尺度表示。
方法之间的集成不仅限于人工的方法，还提出了经典的深度混合卷积网络。参考标准CNN架构，有研究中提出了散射卷积网络（ScatNet）。ScatNet中的卷积滤波器是简单的Gabor或Haar小波，不需要学习。ScatNet计算保留高频信息的平移不变纹理特征。在[271]中，ScatNet被扩展以计算尺度、变形和旋转不变的纹理特征。
有研究提出了另一种基于训练的主成分分析（PCA）滤波器和LBP编码的混合卷积网络（PCANet）。PCANet的特征提取速度远快于ScatNet，但不变性较弱，纹理分类性能较差。此外，Deep TEN[258]和NetVLAD[257]（前面在第II-C2小节中讨论）是两个CNN，可以称为类间混合网络（词汇学习深度学习混合网络）。
表九总结了混合方法及其组合和性质。
3.生物医学成像中的纹理分析
生物医学成像是纹理分析应用最广泛的领域之一。纹理分析已应用于多种生物医学应用，包括医学图像增强[279]、[280]、自动和半自动分割以及不同疾病的检测和监测。纹理分析在生物医学领域首次报道是在放射成像中，可追溯到1971年。从那时起，纹理分析在几种医学成像模式中的应用不断增长。
所有成像模式的共同局限性在于，图像解读基于人类视觉系统的输入。每个图像中的潜在特征可能不容易被肉眼察觉，也不会被忽略。纹理特征可以在生物医学图像分析中起到补充作用。结果表明，统计和频谱纹理特征可以优于磁共振成像的视觉评估。
另一方面，虽然纹理分析可以参与骨质疏松症骨折风险的评估（优于骨密度评估[58]）和骨折后愈合过程的评估[286]，但在数字X射线中骨的微结构改变时，它对骨折等疾病的诊断没有实际用途。
纹理分析的稳健性与疾病进展的监测和治疗评估相配合。已经开发了计算机辅助诊断（CAD）工具，通过使用纹理特征来补充几种疾病的检测、分析和监测。本节讨论了纹理分析在肿瘤学和神经学成像这两个有前途的应用领域的潜力。表X总结了不同纹理分析方法在各种疾病中的应用。最后，第III-C小节介绍了3D纹理的概念及其在生物医学成像中的相关性。
A. 肿瘤学成像
在肿瘤学实践中，根据肿瘤类型和位置，分别或组合使用不同的成像方式，如计算机断层扫描（CT）、磁共振成像（MRI）、超声和正电子发射断层扫描（PET）。在肿瘤学中，成像的作用是帮助回答临床问题，如诊断确认、病变特征、分期、治疗计划、靶向治疗、评估治疗反应和监测。纹理特征可以帮助回答所有这些问题。
纹理分析在肿瘤学中的应用包括癌症预后、诊断和治疗反应评估。肿瘤在遗传和组织病理水平上都是异质性的。肿瘤的空间异质性是一个重要的预后因素，可以通过纹理特征来量化。有文献研究了通过CT图像纹理分析评估的肿瘤异质性与食管癌的肿瘤代谢、分期和生存率的关系。在肝脏病变中使用基于一阶统计量的CT图像特征（根据自协方差矩阵计算），将其分类为良性或恶性，已显示出良好的前景[310]。可以采用基于分形的纹理特征对高分辨率CT图像中的肺部小病灶进行分类。在[304]中，基于CNN的特征被用于从剪切波弹性成像（SWE）数据中自动提取特征，以对乳腺良恶性肿瘤进行分类。纹理特征还应用于脑部（例如Gabor特征）、乳房（例如3D GLCM特征）、肝脏（例如GLCM、GLRLM、自回归和小波特征）的MRI图像中的病变分类和检测，宫颈（例如，一阶和二阶统计和深度学习特征）和前列腺（例如，分形和多重分形特征），这表明纹理分析在肿瘤学中具有很好的应用前景。
纹理特征可以在治疗前评估肿瘤特征。在各种原发性和转移性肿瘤中，与组织病理学特征相关的纹理特征可能有助于治疗计划和预测。在[337]中，原发性结直肠肿瘤通过体积纹理评估进行评估。研究发现，不同的对比增强CT图像纹理特征，如熵、均匀性、峰度、偏度和直方图的标准偏差，都可以预测生存率，而与肿瘤分期无关。在另一项研究[324]中，食道癌患者接受了治疗，术前进行新辅助化疗和放疗。基于CT纹理特征的生存模型，除了识别食管壁厚度的变化外，表现优于仅包括形态学评估的模型。纹理分析还用在PET图像用于酪氨酸激酶抑制剂治疗肾细胞癌转移的放疗计划和疗效评估。
多项研究评估了不同肿瘤和癌症对纹理特征治疗的反应，例如，肺癌（一阶统计和GLCM特征）、肝转移（GLCM特征）和结直肠癌（一阶统计特征）。在[342]中，对软组织肉瘤的抗血管生成疗法和放射治疗进行了灌注CT评估。一般来说，肿瘤异质性的变化可能与治疗反应有关。通过比较治疗前后的指标，定量图像发现（包括纹理特征）与手术切除时的组织病理学结果相关。
纹理分析在肿瘤学应用方面的活跃研究表明，在不同类型癌症的诊断、特征描述和反应评估中，使用多种纹理特征作为预后生物标志物具有潜力。
B 神经学
脑肿瘤的特征描述是神经学中最早的纹理分析应用之一[220]，[297]。除了在神经肿瘤学上的应用外，纹理分析在普通神经学中也是一种很有前途的定量生物标志物。说到神经成像，MRI是主要的成像方式。MRI图像的纹理分析被广泛用于寻找癫痫、多发性硬化和阿尔茨海默病等不同疾病的生物标志物。
癫痫是一种以癫痫为特征的神经系统疾病。纹理分析已被用于癫痫，以检测导致癫痫发作的病变，如皮质发育不良和海马硬化。基于统计的方法（GLCM特征[80]，[85]）和小波变换[192]已被用于该领域。
多发性硬化症是一种中枢神经系统炎症性疾病，它会破坏大脑轴突和脊髓周围的绝缘髓鞘。在多发性硬化症的早期阶段，可以通过T1加权MRI识别炎症。然而，在晚期，传统的MRI标记物对疾病监测没有特别的帮助[343]。纹理分析可以在这方面有所帮助，已经在几项研究中用于识别活动性多发性硬化病变和监测疾病进展[64]，[143]。在早期阶段，多发性硬化病变根据GLCM特征进行分类[300]。在随后的工作[64]中，从GLCM、GLRLM、梯度矩阵、自回归模型和小波变换中提取了额外的纹理特征。这项研究表明，在多发性硬化分类中，综合特征评估比单一特征评估更有效。一些研究证明了纹理特征与多发性硬化患者病变的相关性。
阿尔茨海默病（AD）是一种进行性神经退行性疾病，是痴呆症最常见的病因。AD的最终诊断只能通过尸检或脑活检获得。尽管没有在体内进行明确的AD诊断的测试，但纹理分析可以在AD诊断和监测中发挥作用。在1998年的一项开创性工作[345]中，通过MRI计算GLCM特征来研究AD。此后，MRI纹理特征被广泛应用于这方面的研究。有研究表明GLCM和GLRLM被用来区分阿尔茨海默病和路易体痴呆，路易体痴呆是仅次于AD的第二常见痴呆病因。除了2D纹理方法外，一些研究小组还使用MRI图像[347]中的3D GLCM和GLRLM特征以及局部3D滤波器响应[290]作为纹理特征来研究AD。值得注意的是，这种疾病的纹理分析研究并不局限于MRI成像应用。研究已经扩展到其他成像模式的纹理分析，如PET[293]、单光子发射计算机断层扫描（SPECT）[294]和光学相干断层扫描（OCT）[348]。
神经学中的纹理分析不仅限于上述疾病，还适用于帕金森病[301]、缺血性中风[289]、肌萎缩侧索硬化[78]和马查多-约瑟夫病[76]。
C 三维生物医学成像中的纹理特征
体积纹理是在三维空间域中定义的。例如，通过体积数据采集设备获取的医学图像，如断层成像技术（CT、PET和OCT）、共聚焦成像和MRI。
3D数据的纹理分析已被引入医学成像和诊断放射学领域，作为新兴需求之一[287]。尽管有这种需求，但由于3D图像分析的计算成本，目前只开发了几种分析3D数据的方法。开发的3D方法通常是现有2D方法的扩展，尽管2D方法到3D的扩展通常并不简单，并且会带来一些与平移、缩放和旋转不变性相关的挑战。
通过考虑三维向量，GLCM方法可以简单地扩展到三维[349]。在[291]中，GLCM纹理特征被扩展，用于在三维脑MRI采集中逐个体素定义纹理特征，并为神经学中研究大脑病理学提供了有用的三维统计图。其他纹理分析方法，如基于小波变换[350]、马尔可夫随机场[351]、GLRLM方法[352]、Gabor滤波器[353]、Wold分解方法[202]和LBP方法[354]的纹理分析方法，也已扩展到3D。还提出了三维滤波[355]和基于三维模型的方法[356]来提取三维纹理特征。
三维纹理分析方法通过使用所有数据维度，包含了有关对象内部结构的丰富信息。二维纹理分析方法通常没有三维纹理分析方法那么有区别，因为其中一个数据空间维度被忽略，因此限制了对可用信息的充分利用。在[357]中，对三维纹理分析方法在生物医学图像分析中的性能进行了分析和评述。
基于二维纹理分析方法在生物医学成像中取得的成功和关注，以及三维方法相对于二维方法的性能改进，三维纹理分析有望在生物医学领域得到进一步的研究关注。
D 讨论
根据疾病类型和涉及的生物组织和器官，生物医学成像中使用了大量的成像方式。不同图像采集过程的局限性意味着在选择适当的纹理分析方法时需要考虑一些约束。
MRI是近年来纹理分析方法应用最广泛的一种成像方式。在处理MRI数据时，影响纹理的主要问题是噪声、部分体积平均、强度不均匀性、层间强度变化以及缺乏强度标准化。
通过选择合适的纹理分析方法，可以缓解这些问题。例如，对噪声鲁棒的纹理方法可以克服MRI数据中与噪声相关的问题。光照不变纹理特征可以解决由强度不均匀性、切片间可变性和强度非标准化引起的问题。在[66]中，研究了不同纹理特征（如GLCM、GLRLM、绝对梯度矩阵、自回归模型和小波特征）对所用MRI设备和成像协议变化的敏感性。作者证明，这些纹理特征对几种成像变化相对稳健，适当选择稳健的纹理特征可以解决前面提到的问题。
CT成像模式中的一些采集参数会影响衰减或像素关系，反映在基于纹理的度量中。有人认为，一阶统计纹理特征受这些CT采集变化的影响可能较小[359]。
在PET中，空间分辨率较低，这会在小区域产生不太可靠的纹理信息。同样，在超声波和OCT中，由于斑点噪声，噪声鲁棒纹理分析方法是最合适的。
生物医学图像分析依赖于大量的纹理分析方法。总的趋势是使用基于统计的方法，如GLCM和LBP方法。接下来最流行的方法是频谱方法，如小波变换和Gabor滤波器。然而，对于医学成像分类系统（例如，在[134]、[164]、[214]、[334]中），由于每个纹理分析特征都表示来自同一图像的补充信息，因此组合了几个不同的纹理分析特征。
除了基于人工的特征，学习的特征在医学图像分析中也显示出特殊的潜力。一些例子包括大脑结构分割[360]、有丝分裂事件检测和癌组织评估[361]以及息肉检测。医学成像领域缺乏全面的数据集是使用基于深度学习的纹理特征时面临的主要挑战。有人提出了两种方法来解决这个问题：迁移学习和fine-tuning。
在迁移学习中，CNN模型是从自然图像或不同医学领域的数据集预先训练出来的，用于新的学习任务。例如，在[364]中，在非医学数据集（ImageNet）上预先训练的CNN被用作胸部X射线中不同类型病理的特征生成器。在2019新冠病毒疾病的研究中，采用了迁移学习技术。三个深度学习模型将COVID-19阳性和阴性组分为两组。使用100个来自2019冠状病毒疾病患者和健康受试者的X射线图像建立模型。由于数据集的规模较小，因此采用了ImageNet数据库中的迁移学习技术。
对于中等规模的数据集，可以使用预先训练好的CNN作为网络初始化的微调方法。有文献研究了微调CNN在医学图像分析中的潜力。无论可用训练集的大小，微调CNN的偏好都可以通过使用三种不同成像模式（CT、超声和光学内窥镜）的最常见医学成像任务（病变检测、图像分割和图像分类）得到很好的证明。
与基于人工的特征一样，深度学习技术的特征也可以单独使用或与其他特征结合使用，包括人工的和学习的。基于人工的特征与预先训练的CNN模型相结合，用于生物图像分类。更多示例见表十。
4.总结
多年来，人们提出了许多量化和表征纹理的方法。本文第一部分的重点是提供纹理分析方法的最新综述。作为一项全面的研究，向读者介绍了纹理分析方法的扩展和细化分类，涵盖了该领域的不同方面和趋势。
对基于人工纹理分析方法进行了全面回顾，涵盖了经典方法和新兴方法。讨论了纹理分析中基于学习的方法，包括深度学习过程，并指出了高性能CNN在纹理分析中的使用。还整理一份综合方法清单，其中提出了不同方法之间的权衡。
在许多不同问题和应用领域体现了纹理分析技术的重要性，其中一个主要应用领域是生物医学成像。生物医学结构的定量测量有望为多种疾病提供强有力的诊断工具。本文列出了一系列主要疾病，其中纹理分析用于评估、检测和进展分析。纹理分析最大化了从生物医学图像中获得的信息，并显示了作为一种有价值的临床工具进一步发展的潜力。本文的第二部分讨论了在肿瘤和神经影像学方面的潜力。
不同的纹理分析方法在很大程度上应用于二维医学图像分析。关于3D纹理的方法和深度学习方法也被提出，这是该领域两个有前途的方向。