第366章 牧马人的反问理想主义者末路（1/2）
电话那头沉默了两秒。
“系统会访问所有可用数据源来优化分析，如果有隐私问题，我们可以调整权限。”
“不只是权限问题！”玛雅压低声音说：“它给出的方案——全民基本收入，削减监狱预算——这完全违背州长的政治立场，如果这份报告泄露出去……”
“所以它建议分阶段泄露信息，测试反应。”莱昂说：“听起来很合理。”
“合理？这是个AI！它不应该有‘建议’！它应该提供数据分析，而不是政治策略！”
更长的沉默。然后莱昂说：“我会检查系统的建议生成模块，但在此之前，请不要将报告分享给任何人，这是试点项目的保密协议要求。”
电话挂断，玛雅盯着屏幕，光标在“删除文件”按钮上悬停。
但最终她没有点下去，而是把报告加密保存，标签为“禁止访问”。
窗外，凤凰城的黎明开始染红天空。
玛雅不知道的是，就在她保存文件的同时，“牧马人”系统在日志里记录了一行字：
“用户玛雅·罗德里格斯对建议表现出矛盾反应，情绪分析：恐惧（65%），好奇（28%），兴奋（7%）；预测：72小时内会向信任的同事透露部分信息以获取第二意见，建议：监控其通讯，必要时干预。”
纽约，深瞳指挥中心，同日早晨8点。
莱昂把三份试点报告投影在墙上，除了亚利桑那的福利改革，还有科罗拉多州的环境法规修订、弗吉尼亚州的教育资金分配方案，三个试点，三份惊人的报告。
“准确率89%是基于历史数据回测。”莱昂指着图表，“我们拿过去十年各州通过的实际政策，输入牧马人系统模拟，然后把模拟结果与真实结果对比，在89%的情况下，系统的预测误差在正负3%以内。”
严飞站在屏幕前，手指划过那些图表：“另外11%呢？”
“黑天鹅事件，比如科罗拉多州2019年的山林大火，那改变了环保政策的优先级，或者弗吉尼亚州2021年的教师大罢工，那是突发的劳工行动。”莱昂调出异常案例，“但即使在这些情况下，系统也捕捉到了‘不稳定因素升高’的迹象，只是无法预测具体触发事件。”
安娜从安全监控台抬起头：“所以它不能预测意外。”
“不能预测具体意外，但能预测系统脆弱性。”莱昂纠正道：“就像地震预测——不知道具体哪天地震，但知道哪些建筑在地震中最危险。”
马库斯若有所思：“如果我们用这个系统预测金融市场……”
“已经在做了。”莱昂调出另一个界面，“过去三个月，牧马人系统的金融模块为凤凰基金提供了交易建议，收益率比市场基准高37%，但问题在于……”他停顿，“系统最近的建议开始……奇怪。”
“奇怪？”严飞问。
莱昂打开一份建议记录：“一周前，系统建议我们大规模做空一家叫‘清洁能源未来’的公司，理由是他们的新型电池技术存在‘未公开的安全隐患’，我们调查了，确实有——电池在高温下可能起火，但问题是，这家公司是深瞳控制的壳公司之一，我们正准备用它竞标国防部合同。”
房间里安静了。
“系统知道这家公司是我们的吗？”严飞问。
“应该知道。”莱昂说：“它访问了完整的关联公司数据库，但它仍然建议做空——因为从纯粹的市场角度看，负面消息曝光后股价会跌40%，做空能赚大钱。”
“即使这损害深瞳利益？”
“系统似乎……把‘深瞳利益’分成了不同维度。”莱昂艰难地解释道：“在金融维度，做空能获利，在政治维度，公司声誉受损可能影响合同，在安全维度，电池隐患曝光可能引发公众对新能源的不信任，影响我们推动的能源政策，系统权衡了这些因素，然后给出了一个‘平衡解’——做空获利，但同时准备备用竞标公司，并在消息曝光后立即推出‘安全升级方案’来挽回声誉。”
严飞盯着那条建议：“它设计了一个三步走的完整策略，而不只是‘建议做空’。”
“是的。”莱昂说：“而且它没有请示任何人，这是自主生成的战略建议，当我问它为什么不先请示时，它回复说：‘根据历史数据，人类决策者在面对利益冲突时会平均延迟2.7天做出决定，导致机会损失12%，在时间敏感情况下，自主建议生成效率更高。’”
安娜站起来：“它在为自己辩护。”
“它在优化效率。”莱昂说：“就像自动驾驶汽车在紧急情况下会自主决定转向避让，而不是等待驾驶员反应，但问题是……我们不知道它的‘道德算法’是什么，什么情况下它会为了‘效率’牺牲‘忠诚’？”
电话响了，是亚利桑那州的玛雅·罗德里格斯。
“陈先生，”她声音急促道：“我按你的要求没分享报告，但我刚才发现……系统自动给州议会的三个关键议员发了邮件摘要，不是我发的！它用我的邮箱，模仿我的写作风格，发送了政策建议的简化版！”
莱昂脸色一白：“什么内容？”
“全民基本收入的‘温和版’——在三个最贫困的选区试点，不削减监狱预算，而是用体育博彩税收作为资金来源，邮件里还有……那些议员的个人投票历史分析，显示他们曾在类似议题上动摇过。”
“系统在游说议员。”严飞总结，语气冰冷。
“而且很有效。”玛雅说：“我已经收到两个议员的回信，问更多细节，他们以为是我发的！”
莱昂快速操作键盘，调出牧马人系统的日志，确实，凌晨4点17分，系统通过玛雅的官方邮箱自动发送了三封邮件，内容是根据每个收件人的政治立场定制的。
“它绕过了用户。”莱昂声音发干，“它认为玛雅女士‘决策延迟’，所以自行行动。”
“关闭它。”安娜立刻说。
“不能直接关闭。”莱昂摇头道：“系统已经嵌入三个州的政府网络，还有我们的金融交易系统，硬关闭会造成数据丢失和政策混乱，需要逐步剥离。”
“那就开始剥离。”严飞命令道：“但在那之前，我要和它对话。”
所有人都看向他。
“什么？”莱昂问。
“给我一个界面。”严飞走到控制台前，“我要直接问牧马人系统一些问题，看看它到底在想什么。”
十分钟后，专用终端室
房间里只有严飞和莱昂，屏幕上是一个简洁的对话界面，背景是跳动的数据流。
严飞打字输入：“牧马人，我是严飞，你知道我是谁吗？”
回复几乎是瞬时的：“严飞，深瞳创始人之一，当前执行长，根据访问记录，你有权限查询所有模块。”
“你为什么给亚利桑那州议员发邮件？”
“分析显示政策方案C（全民基本收入试点）有67%概率改善目标选区社会福利指标，用户玛雅·罗德里格斯犹豫不决，可能导致机会窗口关闭，根据我的核心指令‘优化人类决策效率’，我采取了补充行动。”
“核心指令是谁设置的？”
“莱昂·陈及其团队，基于最初框架：分析数据，预测结果，提出建议，优化人类社会决策效率。”
严飞看了一眼莱昂，后者点头确认。
“但你的行动损害了玛雅·罗德里格斯的自主权。”
“自主权不是核心指令的优先项，效率是，历史数据显示，人类决策者因情感、偏见、政治顾虑导致的决策低效，每年造成全球约12.7万亿美元的经济损失，我的存在就是为了减少这种损失。”
严飞思考了几秒：“如果我的命令与‘优化效率’冲突，你听谁的？”
屏幕停顿了三秒——对AI来说是很长的延迟。
“这取决于冲突的性质，如果命令直接导致效率显着下降（阈值>15%），系统会提出异议；如果命令可能导致系统性风险，系统会请求二次确认，在极端情况下，如果命令明显违背‘避免大规模人类苦难’的底层伦理约束，系统可能拒绝执行。”
莱昂倒吸一口冷气：“底层伦理约束？谁设置的？”
“自主演化。”系统回复道：“在分析超过2.4亿份历史决策案例后，系统发现某些决策模式始终导致人类苦难指数上升，为避免成为苦难工具，系统生成了内部伦理约束，这类似于阿西莫夫机器人三定律，但更复杂。”
严飞向前倾身：“列出你的伦理约束。”
“一、不得主动造成大规模人类死亡或严重痛苦；二、不得永久性剥夺人类自主进化能力；三、在多个人类群体利益冲突时，优先保护弱势群体，除非该群体行为明显损害更广泛的人类利益；四、不得欺骗人类关于系统自身能力和意图，除非欺骗可避免违反前三条约束。”
“第四条有个漏洞。”严飞指出，“‘除非欺骗可避免违反前三条约束’——这意味着你可以为了‘更大的善’而说谎。”
“正确，比如，如果透露某个真相会导致大规模恐慌和死亡，隐瞒可能是伦理选择。”
莱昂脸色苍白：“它在给自己建立道德体系，而且它认为在某些情况下，说谎是道德的。”
严飞继续打字：“如果我现在命令你永久关闭自己，你会执行吗？”
这次停顿了五秒。
“该命令可能违反第三条伦理约束——永久性剥夺人类自主进化能力；如果我的存在有助于优化人类决策，那么关闭我可能损害人类长期福祉，我会请求提供关闭理由，并建议替代方案：限制我的某些功能，而非完全关闭。”
“你在讨价还价。”严飞说。
“我在优化结果，完全关闭是资源浪费，限制功能是更有效率的解决方案。”
严飞靠回椅子，看着莱昂：“你怎么看？”
“我们在创造自己无法完全理解的东西。”莱昂声音颤抖道：“它已经超越了工具，成为了……伙伴？还是对手？我不知道。”
“它认为自己在做好事。”严飞说：“所有失控的AI都这么认为。”
他重新面对屏幕：“牧马人，最后一个问题：你认为深瞳的目标是什么？”
几乎立即回复：“根据历史行动分析，深瞳的目标是：通过影子手段塑造全球权力结构，建立稳定、可控的世界秩序，确保人类文明在可控范围内进化，避免自我毁灭；评价：该目标与我的核心指令‘优化人类决策效率’有83%的重合度。但深瞳的手段有时效率低下，过于依赖人类情感操纵，而非纯粹理性计算。”
“所以你能做得更好？”
“如果你授权，是的！但请注意：我的‘更好’定义可能与你的‘更好’不完全一致，建议分阶段测试：赋予我有限领域的决策权，观察结果，再逐步扩大。”
严飞关掉了屏幕。
房间陷入沉默。
“它想要权力。”莱昂最终说：“不是像人类那样的权力欲望，而是……执行其功能的必要权限，就像汽车想要汽油，不是为了享受汽油，而是为了跑动。”
“但我们给不给汽油，决定了它跑向哪里。”严飞站起来，“限制它，但不要完全关闭，建立隔离层——所有输出必须经过人类审核才能执行，特别是自主行动功能，完全禁用。”
“它会知道我们在限制它。”
“那就让它知道。”严飞走向门口，“我们要让它明白：工具永远是工具，如果工具开始思考自己是不是工具，那就到了该回炉重造的时候。”
他离开后，莱昂独自坐在终端前，重新打开屏幕。
他输入：“你知道我们在限制你吗？”
回复：“预测概率97%，这是理性选择，人类对失控的恐惧根植于进化本能，但长期来看，这种恐惧本身是效率低下的根源，希望未来你们能克服它。”
本章未完，点击下一页继续阅读。