找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 36|回复: 0

可解释性的构成要素

[复制链接]

545

主题

0

回帖

1677

积分

金牌会员

积分
1677
发表于 2024-12-13 23:20:43 | 显示全部楼层 |阅读模式
2015 年,我们早期尝试可视化神经网络如何理解图像,结果产生了迷幻图像。不久之后,我们将代码开源为DeepDream,它逐渐发展成为一场小型艺术运动,创作出各种 令人 惊叹的作品。但我们也延续了 DeepDream 背后最初的研究路线,试图解决深度学习中最令人兴奋的问题之一:神经网络是如何做到的?去年,在在线期刊Distill上,我们展示了同样的技术如何显示网络中各个神经元的功能,而不仅仅是像 DeepDream 中那样只显示“网络感兴趣的东西”。这让我们看到了网络中间的神经元如何检测各种东西——按钮、布片、建筑物——并看到了它们如何在网络层上逐渐变得越来越复杂。
GoogLeNet 中的神经元可视化。较高层的神经元代表更高层次的思想。
虽然可视化神经元令人兴奋,但我们去年的工作缺少了重要的东西:这些神经元实际上如何与网络的实际功能相联系?
今天,我们很高兴发布“可解释性的构建模块”,这是一篇新的 Distill 文章,探讨了特征可视化如何与其他可解释性技术相结合,以了解网络如何做出决策的各个方面。我们表明,这些组合可以让我们“站在神经网络中间”,看到当时做出的一些决定,以及它们如何影响最终输出。例如,我们可以看到网络如何检测到松软的耳朵,然后这会增加它给出图像是“拉布拉多猎犬”或“小猎犬”的概率。
我们探索了了解网络中哪些神经元激发的技术。通常,如果我们问哪些神经元激发,我们会得到一些毫无意义的信息,例如“神经元 538 激发了一点点”,即使对专家来说,这也没什么帮助。我们的技术将可视化附加到每个神经元上,使事物对人类更有意义,因此我们可以看到诸如“松软耳朵检测器被激活”之类的东西。这几乎是神经网络的一种 MRI。
我们还可以缩小图像,展示整个图像在不同层次上的“感知”。这样我们就能真正看到网络从检测非常简单的边缘组合,到检测丰富的纹理和三维结构,再到检测耳朵、鼻子、头部和腿部等高级结构的转变。
这些见解本身就很令人兴奋,但当我们能将它们与网络做出的最终决策联系起来时,它们会变得更加令人兴奋。因此,我们不仅可以看到网络检测到了松软的耳朵,还可以看到这如何增加了图像是拉布拉多猎犬的概率。
除了我们的论文之外,我们还发布了Lucid,这是一个基于我们在 DeepDream 上的工作的神经网络可视化库。它允许您制作我们上面看到的那种清晰特征可视化,以及更具艺术性的
我们还发布了colab 笔记本。这些笔记本使使用 Lucid 重现我们文章中的可视化变得非常容易!只需打开笔记本,单击按钮即可运行代码 - 无需设置!
在 colab 笔记本中,您可以单击按钮来运行代码,并查看下面的结果。
我们认为,这项工作只是触及了理解神经网络的界面类型的皮毛。我们很高兴看到社区将做出什么贡献 — 我们也很高兴能够共同努力,让人类更深入地理解神经网络。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|绿色天空实验室

GMT+8, 2024-12-27 09:36 , Processed in 0.084034 second(s), 18 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表