热门:唱唱反调：AI是否能带我们去向理想中的乌托邦

本篇文章6294字，读完约16分钟

原创 abeba birhane 神经现实 收录于话题#深度 | deep-ping127个

如今，科技领域能量空前、影响巨大。多个科技企业市值庞大，雇佣着千万的员工，重塑着众多尚难完全被取代的其它领域来维持它们的特权。这些企业消费数百万美元进行游说、干预政治选举和影响政策法规，使其国际政治影响很大进一步扩大。在学术行业，人工智能和机器学习行业的研究能相对容易地获取资金，它们的利益和必要性似乎是理所当然的。科技企业继续直接或间接地慷慨投入巨资，塑造出光辉的领域面貌、酷炫的码农形象以及整个社会的技术化前景。

映入眼帘的，是这样一幅景象：科技进步势不可挡，其必然性不必多言，因为此我们要毫不犹豫地完全拥护它。对技术信徒来说，人工智能研究的不可或缺，不证自明，它是人类不断攀升的进步与成就所堆砌之金字塔尖的下一面胜利旗帜。在这种语境下，ai，能使人类超越自身的局限与偏见。持有这种观点的人，更加愿意去想象科幻小说中最坏的情况：ai会取代人类吗？我们能否创造出有知觉的机器？如果是，我们应该赋予它与人类同等的权利吗？被这些关乎ai的重要道德问题所占据了大脑的世界伟大思考者们，却极大地忽略了当前ai所带来的实际问题。

事实上，这些科技领域对人类的福祉和公正几乎漠不在乎。它们的一贯方法都与保护社会的弱势群体相左，不论是禁止员工抗议对lgbt群体的歧视、保护白人（而不是一个黑人儿童）免受仇恨言论，还是以糟糕的待遇来对待它们的低薪员工、消费数百万美元游说反对用以保护被剥夺权利者和弱势群体的法规，甚至是开发诸如“妻子跟踪应用程序”之类的卑鄙技术等。

- matt chinworth -

但这不足以解释为何领域变得更加保守了，因为科技领域已经掌握了越来越多的权力，也因为此，它们可以从保持现状中获得越来越多的好处。一直以来，科技领域所带来的颠覆与改革创新，都趋向于为现有的权力关系所服务。在1985年麻省理工学院新闻源服务部the tech的采访中，约瑟夫·维森鲍姆（joseph weizenbaum）（其于1964年发明了第一个聊天机器人eliza）指出：“从一开始，计算机就是一种在本质上就十分保守的力量，这种力量常被用来维系、甚至是加固现有权力。”通过取代根本性的社会变革，计算机技术催生着让现有权力阶层得以稳固的技术方案。

维森鲍姆早在几十年前就认知到了这个问题。在上世纪50年代，他帮助美国银行设计了美国首个计算机银行系统，使其在快速增长中实现了银行手续的计算机化。他亲眼见证了计算机的应用，是怎么使得这些机构及其快速发展目标能在很大程度上维持原样，而无须考虑社会性变革、权力下放或者其他性质的变革以适应银行的快速扩张。

但后来维森鲍姆对此转向了批评态度，而这缘于人们对eliza的狂热接受。eliza是他为了模仿rogerian疗法（一种通过将病人的陈述反映给他们自己的做法）所发明的。虽然他确定表明eliza与心理治疗无关，但其他人，如斯坦福的精神医生肯尼斯·科比（kenneth colby）却称赞它是我们踏出寻找替代精神医生的第一步。而维森鲍姆哪些可以说是对计算机有着非常深刻了解的同事们，也极力夸大了eliza的能力，声称它可以“理解”人类语言。并且，维森鲍姆发现，这些客户在与eliza进行互动时，会对它打开心扉畅所欲言。维森鲍姆在其之后的著作《计算力量与人类理性：从评估到计算》（computer power and human reason：from judgement to calculation）写道，他自己“惊奇地发现，哪些与eliza进行交流的人是怎么迅速地在情感上与计算机树立了深入的联系，以及他们怎么坚信该计算机是个‘人’”。他最终将该人工智能项目批评为“一种欺骗人类信任本能的行为”。

- matt chinworth -

当时（以及现在）的计算机科学家抱有这样一种幻想：人类的思想是可完全计算的。但在《计算力量与人类理性》这本书中，维森鲍姆一再认为人与机器之间存在关键区别，认为某些涉及人际关系、尊重、情感以及理解的行业，不应被计算机所入侵，不论它们看起来是否可行。他写道：“没有其他生物体，当然也不包括计算机，可以用人类的方法面对真正的人类问题。”

自1956年达特茅斯会议举行以来，人工智能就被认为是一个旨在开发人类思维模型的项目。人工智能先驱约翰·麦卡锡（john mccarthy）、马文·明斯基（marvin minsky）和克劳德·香农（claude shannon）等关键人物均出席了该会议，并在将人工智能快速发展为一个学术行业的道路上发挥了核心作用。受图灵机概念的启发，通过计算机编程，实现模拟人类智能的机器似乎是顺理成章地成为了下一步的目标。但随着ai项目的推进，它逐渐不再在乎怎么模拟人脑，而越来越多的是被用来创建金融帝国。

从一开始，这些公司就集中体现出了这样一种态度：代码背后的黑客能给出处理任何问题的做法，同时“他（没错，总是‘他’而不是一个‘她’）一个体就能搞定”。这种态度逐渐地为黑客文化铺平了道路，最终催生了像比尔·盖茨、杰夫·贝佐斯和马克·扎克伯格等“全知”（the know-it-alls）。这个称谓出自记者诺姆·科恩（noam cohen）著于年的一本关于硅谷政治声望的崛起的书。虽然，现阶段人工智能究竟是作为“一个思维模型”，还是作为“一个监督工具”之间仍无确定的界限，但丝毫没有疑问的是，人工智能是实现企业利润最大化的工具。

- dmitry mòói -

维森鲍姆作为模拟人类思想项目最初的参与者，逐渐意识到eliza项目存在“人类不过是一个新闻解决系统”这种明显的误解。于是他以此为依据，开始警告人们不要把目标定位为制造“人造的知识分子”。在《计算力量与人类理性》中，维森鲍姆一再认为“人类和计算机不是同一物种”，因为人类“面临着任何机器都不可能面临的问题。虽然我们也在解决新闻，但我们解决新闻的方法和计算机不同”。他认为：“像‘计算机是否捕捉到了人类理智’这个问题本身只不过是一种消磨罢了（如果不是为了给回答者挖坑的话），因为其背后真正的问题应该是‘人类是否理解人类的本质’，而这个问题是无法用科技来回答或处理的”。

除了对“智能机器”的盛行持怀疑态度，维森鲍姆还意识到计算机是怎么被简单粗暴地用于处理多而杂多变且具有多面性的问题的。虽然这种方法十分普遍，但在教育行业中则是尤为明显。在1985年the tech的采访中，当维森鲍姆被问到将计算机引入教室的利益时，他毫不犹豫地指出这个问题是“本末倒置”，同时是毫无事实依据的。他回答道：如果当务之急是改善教育，那么问题就应该是“我们应当完成什么样的教育？教育中最应考虑什么？”而不是一个“我们应当怎么在教室中采用计算机”

一旦将问题要点转向教育的目的上，那么一系列更深层的问题则无可不使地暴露了出来，比如，“为何学校没能处理这些当务之急？”从这些质问所揭示出来的其中一个原因，就是一点穷苦学生是饿着肚子来上学的，或者是来自一个认为读书是生存的非必须品的环境。于是我们就要问，为什么世界上，尤其是在大城市，以及哪些极富裕的国家（例如美国），有如此多的贫穷人口？为什么班级人数总是很庞大？为什么美国半数的科学与数学老师都不具备资格证，而是持着临时资格证上岗的？维森鲍姆认为这些问题反映出“教育在美国的优先级比起军事行业在内的其他大多数行业都要低”。问题的产生并非由于科技在教育中的缺失，而是一系列多变因素的结果，包括不断增长的系统性的不平等问题。

- fill ryabchikov -

但是，相较于去直面这些“丑陋的社会现实”，维森鲍姆说，“把一点设备（如计算机）装满学校，要更容易也更使人心安理得。这样，人们便可以坐下来讲，‘你瞧！我们不是正在处理这些问题吗！’”把计算机带进课堂让我们误以为我们已经处理了问题，但事实是——我们归因错误并把问题的根源隐藏了起来。

如今，这些依靠计算工具（如软件、算法和apps）的错误做法，已经成为整个西方社会的默认思路，并逐渐影响着快速发展中国家。仅仅在教育行业，计算机以及其他监视工具的推出，就被当作用来处理学生辍学危机、观察力缺失的问题的做法，以迎合“计算机是学习不可缺少的一部分”这个普遍化的态度。这些技术的采用绕过了丑陋的社会现实：经济问题加上繁重的课外作业，耗尽了学生的观察力，或最终导致他们辍学。这些影响学生辍学的因素本应能够得到更好地理解，但是更多的监视工具以及无处不在的技术，代替了直接与学生进行交谈，以及处理他们所面临的多面性和结构性的挑战。

但当一个体沉溺于“技术处理法”时，询问哪些技术终端客户的意见往往是很少见，甚至是无关紧要的。ai行业持续地被贴上“乌托邦远景”和“乐观主义”的标志，而关于道德责任和结构化权力多样化的讨论则令人厌倦，即使是对专业的人道主义者来讲也是如此。面对着这个领域的乐观情绪、潜力和兴奋，不断地指出其负面影响几乎得不到任何回报。事实上，这种行为有时甚至会被视为对企业的威胁，从而导致惩罚、报复或压制。相比之下，鼓吹其进步、支持ai的潮流，或者成为“游戏规则的改变者”，则要容易得多。哪些做着审查其准确性、危害性、虚假声明、承诺的富有挑战性的从业的人，常被认为是卢德分子（luddite）*。早在1985年，维森鲍姆就提出：“要是科学家或技术专家声称他们不得而知或无从知晓他们自己创造的技术会被怎么应用，这是很不合理的。”

*译者注

卢德分子（luddite）：指19世纪初英国一群捣毁新引进的纺织机的工人，引申为强烈反对机械化或自动化的人。参考《资本社会的17个矛盾》。

- renato klieger -

社会行业中的多个“难题”犹如移动标靶，需要不断地通过谈判、修订和迭代来处理，它们不是一个静止的简单问题，一劳永逸是不可能的。然而，各个混乱的社会情况却被简易化成“问题处理方案”的思维方法，而这一思路在计算机公司中根深蒂固，因为它们信奉“算法处理问题”。在这种情况下，哪些无法被利落地公式化的问题则会被忽视，或者被剥夺掉其多而杂性。

1972年，维森鲍姆在《科学》杂志上呼吁人们关注ai行业是怎么通过乐观的欢呼声和实用主义的宿命论来掩盖其本质的保守主义。他在《关于计算机对社会之影响的典型论文结构》一文中做了如下的描述：

“首先，是一段关于‘一方面’的论述，讲述计算机对社会带来的全部利益，甚至经常尝试论述‘要不是因为计算机潮流，社会秩序将早已崩塌’。紧接着，‘另一方面’则讲述了一点由于引入了计算机而带来的问题。而这一般会提到由银行大数据引起的对个体隐私的威胁及由工业自动化所带来的大规模的低就业率。最后，作者们为计算机领域繁荣的现状及充满希望的未来再次喝彩，并表明第二部分所提及的哪些危险将会被精密的科技手段所减轻。结尾处，呼吁社会对计算机研究和快速发展给予越来越多更大的支持。一般这里或多或少地会伴随着某一种假设：只有计算机科学，即只有计算机科学家，才能保护世界免受应用计算机技术带来的有害影响。”

这种写作模式广泛存在于关于新技术的讨论文案中：哪些潜在的特点收获喝彩，而哪些危险则被用作论据，来进一步地说明这种科技是迫切需要的，需要有越来越多的社会支持。

- fill ryabchikov -

如今，被维森鲍姆所谴责的修辞模式对ai的助攻表现如下：一种机器学习模型被提出，然后因为它可以比人类做得更好，或者因为它可以为多而杂的挑战提供某一种计算的捷径，所以接下来，它会受到技术人员和信息从业者的空前赞誉和报道。然后，批评者开始呼吁人们关注其缺陷、对问题的粗略简化、不准确性、做法论问题或数据集的局限性。在社会交往行业应用的几乎全部的机器学习模型中，提出的处理方案的准确性都会被严重夸大，在某些情况下还会带来伤害和歧视。而遭受歧视的个人会把该歧视带入到社会交往媒体。另外，在医学、神经科学或心理学等行业，模型宣称提供了“最先进的”处理方案，而历史学家则会指出某些技术做法是怎么复兴了早已声名狼藉的伪科学实践（如颅相学或优生学）。连特定行业的专家（包括医学、社会护理和认识科学行业的专家）也会揭露出它们对该问题缺乏细致入微的理解。

但是，人们的愤怒以及对谨慎和严格判断的呼吁，终将会被这些淹没：对下一个伟大的最新技术“发明”的宣传，对强调技术潜力的声援，以及对尽力处理上一个技术所带来的问题的处理方案的拥护。

在哪些为开发有害技术的正名言辞中，有这样一种声明自己无奈的说辞：反正它终将被某人发明，所以为什么不能是我呢？例如，哪些参与开发了识别性别取向算法的研究者们所提供的，就是这个理由。

- dmitry mòói -

而另一种为其正名的论断，则将其局限、问题和危害与其特点和潜力相比，然后将前者视为次要问题。例如，当谈到数据中间商和科技企业收集了大量客户数据时，辩护者可能会试图将这一行为合理化，将这一结果视作仅仅是为了投放定向广告的原因，进而将其驳回。“它能有多糟呢？您是可以忽略它们的”。如果一个体处于特权的、非边缘的地位，这种说法或许正确。但是，定向广告对哪些没有特权的人有着更深刻更隐蔽的影响。例如，部分人被定向广告不公平地排除在了住房、教育和从业机会之外。

采用ai或机器学习的“处理做法”以代替哪些多而杂的形式来处理社会问题已经很普遍了。从《技术造福社会》的提倡中可以看出，它们将地缘性的政治问题和文化挑战简化为代码的形式，并优先采用技术手段去处理。同样，在福利系统的自动决定中，哪些多而杂交错的不断变化的社会经济因素，不是被视为无关紧要就是被完全忽视。在对比心理健康的算法中，本就需要十分的敏感和细致，而非片面地干预和粗糙地简化哪些细微的差别和背景。然而，这些技术做法甚至正在成为刑事司法系统和警务系统不可缺少的一部分。它们的普及使得一点人将其视为对地缘政治冲突（例如北爱尔兰边界）的合理干预，来代替政治意愿和可能为期数十年之久的谈判。

- marco goran romano -

科技已成为一把“全能的锤子”，能敲击全部可以想象到的“钉子”。尽管它过分夸大的功能、局限和危险已经逐一展现了出来——这些都是它所带来并维护着的不公平，以及它所侵蚀的隐私保护——但它并不会直面这些丑陋的现实，并提出一点有意义的问题，如“首先我们需要这种技术吗？”相反，更常见的却是要求“越来越多的数据、更好的技术以及强调ai潜力”，正如维森鲍姆在1972年所提及的。全部指出技术局限性的文案，都伴随着“对大规模计算机研发给予越来越多社会支持的需求”。

本文中有关技术的争论并不鲜见，但历史表明，它们仍需要不断强调和重申。幸运的是，在一次次对硅谷隐秘的动机和空前的权力的曝光中，多个来自领域内外的个人，尤其是黑人妇女，都仍在继续挑战着这些强大的科技帝国。阅览至此，愿君点赞。维森鲍姆提到的哪些正名说辞仍将持续存在，而本文所列观点以及对科技的谨慎和批判性参与的呼吁，也很可能会消失在大背景中，取而代之的，则是对明天即将出现的惊人新技术的不断炒作。

*译者注

译文有删减。

作者：abeba birhane | 封面：matt chinworth

译者：lu | 校对：greg chen

译者：leon | 排版：文英

原文：reallifemag/fair-warning/

阅览原文

/] 【专题】一线科学技术大v矩阵，硬核解读前端动态 [/h

来源：搜狐微门户