机器学习模型的解释方法工作得如何？

想象一下，一组医生使用神经网络检测乳房X光图像中的癌症。即使这种机器学习模型表现良好，它也可能关注与肿瘤意外相关的图像特征，如水印或时间戳，而不是肿瘤的实际体征。

为了测试这些模型，研究人员使用了“特征归因方法”，这些技术应该告诉他们图像的哪些部分对神经网络的预测最重要。但是，如果属性方法忽略了对模型重要的特征，该怎么办？由于研究人员不知道哪些特征是重要的，他们无法知道他们的评估方法是无效的。

为了帮助解决这个问题，麻省理工学院的研究人员设计了一个过程来修改原始数据，这样他们就可以确定哪些特征对模型实际上很重要。然后，他们使用修改后的数据集来评估特征属性方法是否能够正确识别这些重要特征。

他们发现，即使是最流行的方法也常常忽略了图像中的重要特征，有些方法几乎无法达到随机基线的效果。这可能会产生重大影响，特别是如果神经网络应用于医疗诊断等高风险情况。首席作者周一伦（Yilun Zhou）是计算机科学和人工智能实验室（CSAIL）的电气工程和计算机科学研究生，他解释说，如果网络不能正常工作，并且捕捉这些异常的尝试也不能正常工作，人类专家可能不知道他们被错误的模型误导了。

“所有这些方法都被广泛使用，特别是在一些非常高风险的场景中，比如从X光或CT扫描中检测癌症。但是这些特征属性方法一开始可能是错误的。它们可能会突出一些与模型用于预测的真实特征不一致的东西，我们发现这些特征通常是错误的这是一个很好的例子。如果你想使用这些特征属性方法来证明模型工作正常，你最好首先确保特征属性方法本身工作正常，”他说。

周与EECS研究生Serena Booth、微软研究人员Marco Tulio Ribeiro和资深作者Julie Shah共同撰写了这篇论文。Julie Shah是麻省理工学院航空航天教授，也是CSAIL互动机器人小组的负责人。

关注特色

在图像分类中，图像中的每个像素都是神经网络可以用来进行预测的特征，因此它可以关注数百万个可能的特征。例如，如果研究人员想设计一种算法来帮助有抱负的摄影师改进，他们可以训练一个模型来区分专业摄影师拍摄的照片和休闲游客拍摄的照片。该模型可用于评估业余照片与专业照片的相似程度，甚至提供改进的具体反馈。研究人员希望该模型能够在培训期间重点识别专业照片中的艺术元素，如色彩空间、构图和后处理。但碰巧的是，一张专业拍摄的照片可能包含了摄影师姓名的水印，而很少有旅游照片有水印，因此模特可以走捷径找到水印。

“显然，我们不想告诉有抱负的摄影师，水印是你成功职业生涯所需要的一切，因此我们希望确保我们的模型关注艺术特征，而不是水印的存在。使用特征属性方法来分析我们的模型是很有诱惑力的，但归根结底，不能保证因为模型可以使用艺术特征、水印或任何其他特征，所以它们可以正确工作，”周说。

Booth补充道：“我们不知道数据集中那些虚假的相关性是什么。可能有太多不同的东西对一个人来说是完全不可察觉的，比如图像的分辨率。”。“即使我们感觉不到，神经网络也可能提取出这些特征并使用它们进行分类。这是根本问题。我们对数据集的了解程度不高，但对数据集的了解程度也不高。”

研究人员修改了数据集，以削弱原始图像和数据标签之间的所有相关性，从而保证原始特征不再重要。

然后，他们向图像添加一个新的特征，这个特征非常明显，神经网络必须关注它来进行预测，就像不同图像类别的不同颜色的明亮矩形。

周说：“我们可以自信地断言，任何一个获得真正高置信度的模型都必须把重点放在我们放入的彩色矩形上。然后，我们可以看到，所有这些特征属性方法是否都急于突出该位置，而不是其他任何东西。”。

“特别令人震惊”的结果

他们将这项技术应用于许多不同的特征归因方法。对于图像分类，这些方法产生了所谓的显著性图，它显示了分布在整个图像上的重要特征的集中。例如，如果神经网络对鸟类图像进行分类，显著性图可能会显示80%的重要特征集中在鸟类的喙周围。

在去除图像数据中的所有相关性后，他们通过几种方式处理照片，例如模糊图像部分、调整亮度或添加水印。如果特征属性方法工作正常，近100%的重要特征应该位于研究人员操纵的区域周围。

结果并不令人鼓舞。没有一种特征属性方法接近100%的目标，大多数几乎没有达到50%的随机基线水平，有些甚至在某些情况下表现比基线差。因此，即使新特征是模型可以用来进行预测的唯一特征，特征属性方法有时也无法识别。

“在所有不同类型的伪相关性中，这些方法似乎都不是非常可靠。这尤其令人担忧，因为在自然数据集中，我们不知道哪些伪相关性可能适用，”周说。“可能有各种各样的因素。我们本以为可以相信这些方法告诉我们的，但在我们的实验中，似乎真的很难相信它们。”

他们研究的所有特征归因方法在检测异常方面都比没有异常要好。换句话说，这些方法可以更容易地找到水印，而不是识别图像不包含水印。因此，在这种情况下，人们更难相信给出负面预测的模型。

该团队的工作表明，在将特征属性方法应用于真实世界模型之前，测试它们是至关重要的，尤其是在高风险的情况下。

Shah说：“研究人员和实践者可能会使用解释技术，如特征归因方法，来建立一个人对模型的信任，但除非首先对解释技术进行严格评估，否则这种信任是无法建立的。”。“解释技巧可以用来帮助校准一个人对模型的信任，但校准一个人对模型解释的信任同样重要。”

接下来，研究人员希望利用他们的评估程序来研究可能导致虚假相关性的更微妙或真实的特征。他们希望探索的另一个工作领域是帮助人类理解显著性图，以便他们能够根据神经网络的预测做出更好的决策。