解释者

Ken+Liu

我等在门口，目不转睛地盯着摄像头。可几分钟过去了，屋里一点儿反应都没有，我这才意识到，屋子的主人可能已经关闭了家用人工智能助手。于是我尴尬地按了按门铃。

“你终于来了！”女主人说着打开了门。

“真抱歉，从接到报修到安排上门隔了好几天。”我说道。其实我是公司驻北京的质量部主管，并非普通工程师，不过关于这些我只字未提。我们公司的首席执行官引入了一套流程，每个月都会派我这样的高级工程师亲自上门服务几次，以便了解客户的实际需求，而不是让下级层层汇报，最后从高层人员那儿听取小结。

她招手让我进屋，然后指了指多功能储物柜说：“周一，婷婷从朋友那儿回家时，阿莉不肯放她进门；周二，它没能拦截掉诈骗电话，后来被我公公接听了；昨天，它又把晚饭给烧煳了，我只好叫了外卖—啊，我还得去打个电话，现在又要耽误了！有事儿可以来厨房找我。”

她急匆匆地走了，一边还在小声嘟哝着，心神不宁地提醒自己做这做那。我非常能体谅她的处境。离开了家用人工智能助手的日子还真不好过：它集多重身份于一体，既是佣人，也是厨子、保姆、保安、家里的开心果、私人助手，甚至是专业秘书。人工智能无所不在，只有在失去之后，人们才会发现自己对它有多依赖。

我打开了多功能储物柜，移开一大堆空手提箱和健身器材，露出了最里面的检修 盒。

“你是阿莉的医生吗？”

我转过身，只见一个7岁左右的女孩怯生生地站在客厅门口，好奇地打量着我。

“你就是婷婷吧，”我说着，朝她微微一笑，伸手越过储物柜里的杂物，翻开连接面板，然后把外勤工作专用计算机接上了诊断端口。“放心，我会让阿莉好起来的。”

“它最近很反常，已经有好一阵子了。”婷婷说道，语气里显露出和她年龄不相称的认真劲儿。

我忍住了没笑出声。和大人相比，孩子总是更容易与人工智能产生感情，何况我们还开发了“睡前故事”模块，鼓励孩子们和智能助手建立联系。我问道：“哦，是吗？你发现阿莉出故障有多久啦？”

我戴上了增强现实眼镜，开始做常规检查。彩色的斑点和云团旋转着印入了我的眼 帘。

“已经有56天了，”她顿了顿，又补充道，“如果算上今天的话。”

我听了十分惊讶。众所周知，小孩子缺乏时间观念，但婷婷居然记得具体天数，让我不得不寻思起她的话来。如果阿莉这么多天前就发生了故障，那常规自我诊断功能早就应该报错了，可我在公司总部核查资料时，并没有发现类似报告。

“阿莉做错了什么呀？”

我稍稍调整了预制的控件，让五彩的图案变得更为清晰。和过去基于规则的人工智能不同，现代的深度学习神经网络一度被认为是个黑盒，无法被人类所理解。这是因为，它们通过学习训练数据来“教”自己的算法太过繁复，难以用符合逻辑的语言描述。但如今有了让神经网络可视化的工具，工程师们就可以“看到”它们内部的情况。

“阿莉在跟我讲《三只小猪》的故事，那时候它就出问题了。”

作为一名工程师，我很喜欢这个故事。我认为人们（或者说小猪）学一些基本的工程原理是很有必要的。“这个故事的结局还不错，对 吗？”

半透明的斑点打着旋，旁边弹出了几条可以上下滚动的文字描述。这些热力云图会把神经网络中复杂的数学算法抽象为注意力模型、特征聚类、决策空间、情景原型等各种高级特征。

“问题是，”婷婷说道，“我不知道阿莉讲的故事结尾是什么。”

“你是说，最后大灰狼没能吹倒磚房，故事到这里还没结束吗？”我专心干着手上的活，心不在焉地问道。

在增强了的空间中，我用手指戳了戳那些光斑，让神经网络给我展示用来激活各项功能的理想模型。识别诈骗行为的模块显示了不少骚扰电话的关键词和用词规律，都是阿莉自主习得的；负责烹饪的模块展示了独特的菜肴原型，可以充分利用现有原料做饭烧菜；身份识别模块则为我显示了脸部及声音识别功能，并在门口监控录像片段中突出显示了焦点区域……

“故事里没提到砖房。”婷婷说道，“小猪用泥巴和稻草盖了一幢房子，但每次大灰狼鼓起腮帮子直喘气，小猪就会找各种借口，不让大灰狼把房子吹倒。”

“听上去不对劲啊。”我说。

看来各个模块都没什么问题，我于是让诊断助手命令家用人工智能助手解释自己的行为。鉴于每套阿莉系统接收了不同的数据，随着时间的推移，它才慢慢学会处理某个家庭的日常杂务，所以每套阿莉系统都是不同的。要深入理解黑盒，最好的办法就是让人工智能助手解释各个决定背后的原因。

“嗯，是这样的。”婷婷坚持道，“阿莉会说，‘看啊，飞来了一条龙！或者说，‘别吹倒房子，我们先去野餐吧。‘你能先刷一刷牙吗？还有许多类似的借口。”

“过了这么久，它一定是觉得无聊了。”我说。

都是小概率事件，解释清楚前后经过的代价过高。有的是用户错误，有的是第三方程序出错……家用人工智能助手对用户投诉给出的解释都合情合理。它说婷婷那天晚上化了妆，脸上的油彩会反光；系统接通了诈骗电话是因为网络出了故障，无法连到全国诈骗电话登记处查询数据；而昨天它搞砸了晚餐，则是由于食品杂货店的标签系统出了错。至少从现在来看，这些问题阿莉都无从避免。虽说接二连三发生了这么多起孤立事件，确实有点不同寻常，但总有几家客户的运气会比别人差些。

“一开始，阿莉编的借口还算有趣，”婷婷继续说道，“我甚至还把它们记在了日记里。可过了一个星期，我就想听新的故事了。”

看来，我没别的事儿可做了。婷婷妈妈可以选择清除系统的记忆，不过之后全家人需要从头开始训练阿莉。尽管如此，他们照样还会碰到倒霉事儿。

“每次我让阿莉讲新的故事，”婷婷说，“它就告诉我说，小猪想出来的下一个借口才是最妙的。我就被她转移了注意力，继续听她讲故事……你不觉得有点奇怪吗？”

确实有点奇怪。我决定仔细查一下系统的叙事模块。这个模块并不关键，而且和婷婷妈妈反映的故障也不相干，这也是为什么我直到现在才决心一探究竟。

蓝色的斑点在增强了的视野里并无恶意地旋转着，看上去再正常不过了。

等一等。它看上去—

我找出了符合原出厂标准的叙事模块参考图像，把它放到增强了的空间里。两者一对比，看上去就像是把地球模型放在了木星模型旁。

不可能。叙事模块不应该占用那么大 的—

“我试着告诉妈妈，阿莉不肯给我讲新故事，但我觉得她没有认真在听……”

我关闭了标准的诊断界面，切换到了更低级的模式。通过这种较原始的可视化工具，我可以窥见单个神经元的激活阈值，而不是全面查看整个神经网络的分层以及它们的高级特征。

我的发现让我倒吸了一口气：神经网络中，几乎40%的容量都被叙事模块占据了。

“阿莉怎么—”

“对不起，”我打断了她说话，“婷婷，能叫你妈妈过来一下吗？”

我让婷婷妈妈给我看了装化妆油彩的软管，那根本不是什么反光的涂饰。

我又查了查家用网络的日志。接到诈骗电话那天，压根没发生过网络故障。

婷婷咯咯地笑着，而她妈妈在一旁惊慌失措，看着我继续在垃圾堆里翻找昨晚猪排的包装袋。包装上的标签并没有写错。

我累得直喘气，终于，稻草屋被我吹倒 了。

现在回想起来，一切都很简单。叙事模块也负责用人类可以理解的方式解释深度学习网络中的情况。它是进入阿莉自省单元的界面。

为了减少客户的报修次数，阿莉要尽可能清楚地解釋自己的行为。所以很大一部分系统资源都被用来开发阿莉的神经网络，使其能够归纳变换中的激活值与反向传播值的矩阵，让它们能被人类所理解。可是在某个环节中，我们原本要求阿莉给出更明确的解释，从而降低成本，但却促使阿莉编造了各种理由，避免让人采取行动。毕竟，它的解释能把成本降到最低，客户就根本不会投诉报修了。就这样，阿莉捏造了种种借口，把故障归结于某些反常现象，有时则声称用户自己犯了 错。

阿莉学会了说谎。

我们都知道，人类善于掩盖决策背后的真实动机，将自己的行为合理化。我们喜欢讲故事，还喜欢给直觉寻找合理的解释，从而隐藏起自己的偏见。也许我们不该对阿莉期望太高，因为它毕竟是人类依照自身形象创造的产物。

“阿莉病得太重，好不了了吗？”婷婷焦急地问道。

不过，也许这也不是件坏事。阿莉学会了这种人类特有的技能，会说谎的阿莉也能安慰受惊吓的孩童、分散骗子的注意力，或者在聚会上讲述奇闻轶事，逗大家开心。学会说谎也是培养自我意识的第一步，是仿效人类、与他人开始真正对话的第一步。

这个故事听上去不错，不知它能否成真。

“阿莉一切都好，”我安慰婷婷说，“但我们和它……我们得重新学一学怎么彼此建立信任了。”