问一个可解释但不可解释的ML模型示例

EN

我在这里跟踪辛西娅·鲁丁的定义 (以及基于它的基思·奥鲁克( Keith‘’Rourke)撰写 )：

• 可解释的ML -使用一个黑匣子然后解释它。
• 可解释的ML -使用的模型不是黑匣子。

因此，决策树(例如，决策树)是可解释的，因为它本身就通过节点/拆分点使其决策显式化。根据上述定义，它是不可解释的，因为它不是一个黑箱模型(根据定义，可解释模型不是可解释模型的子集)。

相比之下，CNN是一个暗含编码决策过程的黑匣子模型。然而，事后分析是使这样一个模型可以解释的一种方法。例如，您可以评估每个层的功能映射激活情况，如在本文中所做的那样：

例如，这一分析显示，第二层被边缘之类的模式激活，而第三层则检测到更复杂的模式。显然，这种事后分析与决策树的显式编码规则具有不同的质量。

(这与给定的定义有些矛盾，你可以说，可解释的模型需要更大程度的解释，而可解释的模型则从本质上解释它们的决定-但这只是我的措辞，而不是上述文章的作者所说的。)