论AI自动化思维中的隐性成本

像许多药物一样，专门用于保持头脑清醒的药物莫达非尼在包装里配了一份折叠起来的小小说明书，其中的主要内容包括说明与注意事项、药物分子结构等等。精神药品基本都是这个套路。然而，在说明书的“起效机制(Mechanism of Action)”部分却有着一行让人有点纠结的小字：“莫达非尼使人头脑清醒效果的机制尚不明确。”

这种情况其实并不罕见。目前已经有许多获得了监管部门批准并得到广泛使用的药物，其起效机制一直没能得到严格证明。在药物发现的过程中，研究人员通常需要反复试验以解开这个谜团。例如，每一年在培养的细胞或动物个体身上测试任意数量的新药物质;而后将其中最好、最安全的配合推向人体实验阶段。在某些情况下，药物的成功能够激发新的后续研究，并最终让我们了解到其起效方式。

但在另一些情况下，难题似乎永远无法解开。阿司匹林早在1897年就被发现，然而直到1995年，人们才真正找到令人信服的药效机理解释。医学中的其它层面也存在着类似的现象：深部脑刺激技术允许治疗人员在患有特定运动障碍(例如帕金森病)的病人脑中植入电极，且已经拥有超过20年的广泛应用背景。有些人甚至认为这项技术可以用于其它目的——包括常规认知增强，但却没人说得清其到底如何起效。

这种先回答、后解释的药物发现方法带来的新问题，我将其称为知识债务(intellectual debt)。具体来讲，我们可能会在不清楚其起效原理的情况下发现了药方，而后利用洞察力对底层机制进行假设，最后计算得出正确结论。在某些情况下，我们能够快速偿还这笔知识债务，但有时候我们可能要经过长达数十年的痛苦摸索——期间只能继续“浑浑噩噩”地依仗这种尚未被解谜的知识成果。

过去，知识债务的解决一直局限于某些能够反复进行实验的领域，特别是医学。但目前的情况正在改变，人工智能——特别是机器学习——这一新兴技术的崛起，正在快速提升我们人类的整体知识水平。

机器学习系统能够从浩如烟海的信息当中提取数据模式，而这些模式将帮助我们为那些较为模糊的开放性问题找到答案。如果利用有猫与无猫标记图片对神经网络模型进行训练，它就能区分猫和其它动物;如果我们利用医疗记录训练模型，其则可尝试预测入院病人的死亡可能性。然而，大多数机器学习系统无法发现其中的因果机制，其更像是一套用于统计相关性的引擎。这些系统无法解释自己为何认为某些患者的死亡率更高，因为它们没有真正意义上的“思维”能力，而仅仅是具备回答问题的能力。当我们将这类系统的见解融入日常生活时，就会发现自己承担的知识债务开始快速增长。

药物发现中的无理论进展向我们证明，在某些情况下，知识债务是一种合理甚至必要的过渡产物。尽管我们还无法从根本上解释起效机制，但这些成果已经挽救了数以百万计人类的生命，并让我们的生活更加美好。很少有人会因为不清楚药效原理而拒绝服用能够拯救生命的药物——甚至在吃阿司匹林的时候，大家也不会为此担忧。

但必须承认，知识债务的积累也有不利因素。当大量原理未知型药物彼此纠缠起来，发现其彼此之间不良作用的测试也开始呈指数级增长。(如果了解药物的起效原理，我们就能够事先预测这些负面相互作用。)

因此，在实践当中，某些新药物上市之后会与原有药物发生反应，接下来就是两家公司陷入诉讼泥潭，并最终导致药品退出市场。从理解角度看，我们应该通过一个个案例累积起与新药相关的认知，并逐步解决知识债务问题。然而，知识债务并非孤立存在;如果没有跨过第一原理这道门槛，在不同领域发现及应用的答案都可能以无法预测的方式带来难以想象的复杂性问题。

通过机器学习产生的知识债务，在风险上远远超过了以往来自旧式试验与错误尝试的同类债务。这是因为大多数机器学习模型都无法对当前判断给出理由性解释，因此如果不对它们提供的答案进行独立判断，我们就无法得知它们在哪些用例中犯了错误。虽然在经过严格训练的系统中，这种错误非常少见;但是，我们仍有必要明确理解系统的判断过程，否则恶意人士将通过种种方式故意触发错误，进而造成严重的负面后果。

下面来思考图像识别场景。十年之前，计算机一般很难认出照片中的物体。如今，图像搜索引擎就如同我们日常使用的众多系统一样，同样基于极其强大的机器学习模型。谷歌的图像搜索服务就依赖于名为Inception的神经网络。2017年，麻省理工学院的LabSix(一支由本科生与研究生组成的研究小组)就成功篡改了一张小猫图片中的像素——虽然其看起来仍然像是人类认知中的猫，但Inception以99.99%的确定性认为这是一张牛油果照片。(根据计算，Inception认为可能性次高的结果分别为西兰花以及砂浆。)这又回归了我们之前提到的问题：当我们无法解释机器学习系统依靠哪些特征进行图片判断时，一旦有人提供特制或者篡改过的数据，我们也无法轻松预测系统何时会犯下错误。这样的系统当中可能存在着未知的准确性差距，而这无疑将给聪明且坚定的攻击者留下可乘之机。

随着对机器学习系统所产生知识的运用，这种差距将产生愈发严重的影响。目前训练出的医疗保健AI，已经能够成功对皮肤病变进行良性与恶性分类。然而，在哈佛医学院与麻省理工研究团队今年出版的一篇论文中，研究人员们发现此类AI也有可能受到欺骗——基本情况与上文提到的小猫变牛油果案例类似。(除此之外，攻击者也可能利用这些漏洞骗取高额保险赔偿。)出于强大预测能力的诱惑，我们可能会急于将其作为人类医师的替代性方案;但必须承认，AI模型极易受到劫持，而且我们没有什么简单方法能够验证其产生的答案。

我们能否为知识债务创建一份资产负债表，并借此跟踪那些无理论知识被运用在哪里以及哪些系统当中?在初步统计之后，我们发现不同知识债务所引发的潜在影响也有所区别。如果是AI生成的全新批萨配方，那么管他什么潜在影响，直接尝尝味道就可以;但相比之下，如果我们打算采纳AI提出的健康预测与治疗建议，那么更充分的信息无疑非常必要。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!