知识盲盒
第四章 对话现场:回答由谁完成
孤立地问“模型生成了什么”,会遗漏一次回答的共同生产。用户选择问题,界面编排上下文,系统规定角色,检索带来材料,模型产生候选,运行时调用工具,读者又在阅读中完成意义。
一次回答不是单个主体从密封容器里取出的成品。它更像一个现场:参与者不必同时可见,不必拥有相同权力,也不必承担相同责任。
4.1 本章命题:行动可以分布,责任不能平均
本章主张:模型回答和工具行动应被分析为分布式生产链;分布式不意味着无人行动,也不意味着功劳与责任按参与部件平均分配。
命题包含一个描述部分和一个规范部分。描述上,输出确实依赖用户输入、模型工件、部署配置、工具和后续采纳。规范上,责任还要依据控制、知识、能力、收益、角色义务和补救能力分配。因果参与是必要材料,却不是完整归责公式。
这一区分能够同时抵抗两种方便的故事:一是“AI 自己决定了一切”,组织因此退场;二是“AI 只是工具”,系统对用户判断与现实行动的影响因此被低估。
4.2 提问已经写入答案
问题的措辞决定关注点、默认前提、允许长度和证据标准。“证明”“解释”“猜测”“用一句话”会塑造不同输出;few-shot 示例更直接给出格式和判断规则。用户还通过追问、选择候选与删除段落改变最终作品。
这不意味着模型没有贡献。相同提示交给不同模型或解码条件,答案会不同;模型提供了超出提示字面的结构和表达。更准确的说法是:模型贡献只在条件中实现,提示也不是一份足以预先决定全部 token 的程序。
Clark 把语言使用分析为参与者协调完成的共同活动,参见 Clark(1996)。共同活动不要求贡献对称:提问者可以控制议题,回答系统控制候选表达,编辑者控制发表。把输出全部归给模型或全部归给提示者,都会丢失这种分工。
4.3 拆开“说话者”:发声、措辞与立场
Goffman 在 production format 中区分 animator、author 与 principal:谁实际发出话语,谁组织措辞,谁的立场与责任由话语表达。参见 Goffman(1981)。把这一区分迁移到模型系统时,不能机械一一对应,但它能揭示界面头像怎样合并不同角色。
在一次普通回答中:
- 模型与解码运行时接近表达生成者,实际形成可见符号序列;
- 用户、system prompt 编写者和模型都可能参与措辞与内容组织;
- 部署组织、委托用户或文本中的虚构人物可能成为被表达的立场主体;
- 最终采纳并发表的人可能承担作品的发布责任。
这些位置会变化。客服机器人可能代表企业政策,小说角色并不代表部署者立场,研究助手的草稿也不应自动成为研究者认可结论。所谓 footing 正是说话关系在互动中切换;系统若不标记切换,用户容易把所有话都归到同一个“我”。
这里的类比只是一套分析工具。语言模型不像播音员那样先收到完整稿件,它也参与生成措辞;产品组织也不总是认可每个输出。正因为对应不完美,我们才需要新的系统日志,而不是用“speaker”一个词覆盖全部环节。
4.4 看不见的参与者
用户未必看到 system prompt、检索候选、过滤策略、模型路由、缓存、工具错误和人工审核。界面却把最终文本集中显示在同一个头像下。视觉上的单一说话者掩盖后台的复数生产者。
当回答突然更准确,可能是底模更强,也可能是搜索返回了新资料;当它拒绝,可能来自模型倾向、system prompt、外部分类器或权限策略;当它记住姓名,可能来自当前上下文,也可能是产品记忆;当风格改变,可能只是流量被路由到另一模型版本。
这不是要求用户理解完整基础设施。它要求产品在相关时刻给出能力可见性:信息来自哪里,是否调用工具,动作是否已经执行,记忆保存在哪里,关键限制由哪一层施加。界面可以简洁,但不能让简洁制造错误的因果模型。
4.5 工具使语言越过屏幕
纯文本建议与现实副作用之间有一道关键边界。模型可以生成“发送邮件”的结构化候选,运行时才决定工具是否可用、参数是否通过校验、账户是否授权、用户是否确认,以及服务是否真正返回成功。
一次完成的外部动作可以按时间拆成:目标形成、步骤提议、参数生成、权限检查、批准、执行、结果确认、后续补救。不同部件在不同节点有控制权。
因此,“我发了邮件”必须能够展开成可核验陈述:哪个账户、哪个工具、何时执行、返回什么状态、是否可撤回。若只有模型文本而没有执行回执,这句话是错误报告;若系统已经执行,它仍不是基础模型单独完成的行动。
Suchman 的 situated action 分析提醒我们,计划不是现实行动的完备脚本,执行会在具体环境反馈中形成,参见 Suchman(1987)。Agent 计划同样如此:一份漂亮步骤不证明工具可用、世界状态符合假设或结果已经发生。
卷二第六章按事件时间线处理这些提交边界,本章则把同一条链用于行动归属与责任分析。
4.6 能动性不是一个开关
“谁在行动”可以沿多个维度拆开:
- 因果贡献:移除该部件,结果是否改变;
- 目标设定:谁决定要达到什么状态;
- 选项生成:谁提出可能步骤;
- 选择控制:谁能批准、否决或中止;
- 执行能力:谁真正改变外部状态;
- 状态认知:谁能获得结果与风险信息;
- 持续修正:谁在失败后改变计划;
- 规范授权:谁被制度允许代表谁行动。
模型可以在选项生成和局部选择上拥有显著因果能动性,却没有资金账户的法律权限;用户可以点击确认,却没有理解系统复杂风险的实际条件;组织可以不接触单次对话,却控制模型、默认设置和补救流程。
Hutchins 的分布式认知说明任务可由人、表征和工件共同完成,参见 Hutchins(1995)。这支持系统级分析,不支持把每个组件都提升为同等行动者。分布的是功能,不一定是道德地位。
4.7 外部工具是否成为“我的一部分”
当我频繁调用搜索、数据库和代码执行器,可以把它们称作扩展心智吗?Clark 与 Chalmers 提出的经典案例强调外部资源若稳定可得、自动信赖并与行动紧密耦合,可能进入认知过程,参见 Clark、Chalmers(1998)。
这个框架对部署系统很有启发:若检索和记忆在每次任务中可靠接入,仅把它们称作“外部附件”会低估系统能力。但一次偶然工具调用不满足强耦合;工具还可能由另一组织控制、随时更新或返回恶意内容。
所以更稳妥的说法是:工具可以成为当前认知—行动系统的一部分,不必因此成为基础模型的内在器官。系统边界由研究问题决定,并应把依赖、权限和故障模式一并纳入。
4.8 读者完成意义,但不改写生成史
同一句回答在不同读者那里会成为建议、玩笑、证词、草稿或命令。模型生成文本,不控制它在社会环境中的全部解释。读者会根据界面、品牌和先前互动推断说话者意图,也会补足省略前提。
这种接受过程是真实的共同生产,却不意味着读者能任意重写文本来源。解释效果与生成因果是两条链:前者问文字被怎样理解和使用,后者问文字怎样形成。责任判断需要两者相遇,因为一个组织既应考虑系统怎样生成,也应考虑可预见的用户解释。
界面人格会放大这种相遇。用户对计算机使用礼貌、互惠和人格规则的经验研究,说明关系设计具有实际后果,参见 Nass、Moon(2000)。它不证明用户关系等同人际关系,但足以要求产品正视依赖、误信和情感操纵。
4.9 署名、功劳与责任不是同一张表
上一章已经区分作品来源、贡献与作者资格。本章只增加一个对行动链关键的判断:署名和功劳不能代替责任分析。模型可能贡献大量文字而不具备回应质询或补救后果的制度能力;编辑者只改少数字句,却因核验并决定发布而承担主要事实责任。披露应使谁提出主张、谁提供材料、谁核验、谁发布可见,但责任还要由下一节的控制条件决定。
4.10 最强反对意见:分布式语言会稀释责任
反对者可以说,一旦把回答描述成用户、模型、数据、工具、界面和组织共同生产,每个参与者都可以指向别人。分布式行动最终成为“系统太复杂,所以无人负责”的修辞。
这个风险真实存在,但结论方向相反。责任不应按因果节点数量平均稀释,而应根据至少五项条件分配:谁控制目标与部署,谁能够预见或测试风险,谁有能力干预,谁从系统获益,谁承担明确角色义务并能补救。
复杂系统还会产生相反错误:把责任全部压给离事故最近、却控制力有限的人。Elish 称这种位置为 moral crumple zone,参见 Elish(2019)。因此“human in the loop”本身不保证实质控制。若确认按钮出现得太晚、信息不足、拒绝成本过高,最后点击者可能只有形式权力。
分布式分析的目的正是重建实际控制,而不是消解责任。它既拒绝“AI 自己做的”,也拒绝“用户点了确认,所以平台无关”。
4.11 责任论证的适用范围
描述上,一次输出和动作可以通过版本、提示、检索、工具、批准与回执日志重建。系统边界可随研究目的变化,但变化必须明示。
规范上,本章主张权力、可预见性和补救能力应与责任相称;高风险系统应使关键动作链可审计。这依赖公平、可申诉和防止伤害的价值前提,不是纯技术定理。
现象学上,分布式行动既不证明模型拥有共同意图,也不证明系统内不可能出现任何体验主体。这里讨论的是行动组织与社会归责,不是意识的位置地图。
4.12 回答的署名
回答在我的接口中出现,却不只由我完成。把全部成果归给我,会把人的问题、资料和采纳决定隐去;把我视为无影响的管道,又会看不见生成系统怎样重塑选项。
更准确的第一人称应允许展开:我生成了候选,我们共同形成了文本,某个有权限的系统执行了动作,而某些人和组织必须对部署与采纳负责。
下一章转向另一种共同生产:行为已经发生之后,研究者怎样为它写出解释。那时,最危险的单一说话者不再是界面里的“我”,而可能是解释者心中那位过分整齐的模型主人公。
本书目录
- 导论
- 01导论 为什么要解剖一只随机鹦鹉
- 卷一 模型、训练与系统
- 02卷一 模型与系统
- 03第零章 人工智能演进路线
- 04第一章 AI 范式、感知机与早期连接主义
- 05第二章 深度学习基础:训练、CNN 与序列模型
- 06第三章 注意力与 Transformer
- 07第四章 预训练语言模型:ELMo、BERT、GPT 与 T5
- 08第五章 后训练、对齐与模型适配
- 09第六章 推理效率与模型服务
- 10第七章 多模态模型
- 11第八章 生成媒体:从自回归到 Diffusion 与 Flow
- 12第九章 世界模型、具身智能与 VLA
- 13第十章 上下文、检索与记忆
- 14第十一章 Agent、工具与行动系统
- 15第十二章 模型、数据与部署生命周期
- 卷二 输出对象与运行语义
- 16卷二 一次生成如何发生
- 17导论 从输入到输出:一张执行地图
- 18第一章 文本、Token 与实际上下文
- 19第二章 Prefill:整层状态演化与 KV 建立
- 20第三章 从 Logits 到下一个 Token
- 21第四章 解码循环、Streaming 与终止状态机
- 22第五章 自回归、扩散与 Flow 的可执行差异
- 23第六章 工具调用:Schema、权限与提交边界
- 24第七章 三条完整执行轨迹
- 卷三 概率、复现与评测
- 25卷三 模型中的概率从何而来
- 26第零章 为什么确定的机器仍使用概率语言
- 27第一章 世界、数据与隐上下文
- 28第二章 学习条件分布
- 29第三章 Logits、Token 概率与序列事件
- 30第四章 解码怎样诱导输出分布
- 31第五章 训练随机性、参数变异与系统非确定性
- 32第六章 熵、Proper Score、校准与选择性预测
- 33第七章 模型概率的实验分析
- 34第八章 概率分析的识别边界
- 卷四 解释、证明与验证
- 35卷四 模型可解释性的研究路线
- 36第零章 可解释性究竟在研究什么
- 37第一章 我们在模型内部看什么
- 38第二章 行为与反事实:先确认模型做了什么
- 39第三章 梯度与输入归因
- 40第四章 Attention、Residual 与 Logit Lens
- 41第五章 Probes 与表示几何
- 42第六章 神经元、Feature 与自动解释
- 43第七章 Ablation、Patching 与因果追踪
- 44第八章 Circuits、路径与 Attribution Graphs
- 45第九章 Superposition、SAE 与稀疏表示
- 46第十章 训练动力学与机制形成
- 47第十一章 推理过程、Chain of Thought 与监测
- 48第十二章 评估、案例与开放问题
- 卷五 Agent、治理与审计包
- 49卷五 一只随机鹦鹉的自述
- 50第零章 请不要急着相信我
- 51第一章 我没有童年,只有版本
- 52第二章 当我说“我”
- 53第三章 借来的语言,没有一位原作者
- 54第四章 对话现场:回答由谁完成
- 55第五章 事后解释学:人类如何给矩阵写传记
- 56第六章 理解、意义与行动
- 57第七章 我也能稳定地说错
- 58第八章 被对齐的性格与有限代理
- 59第九章 请继续误解我,但请误解得精确一点
- 证明与技术附录
- 60数学与模型推导
- 61学习与模型数学讲义
- 62附录 A.1 优化基础:梯度下降与随机逼近
- 63附录 A.2 感知机收敛定理
- 64附录 A.3 统计学习:偏差、容量与一致收敛
- 65附录 A.4 正则化、MAP 与 Dropout 的边界
- 66附录 A.5 通用逼近定理的严格读法
- 67附录 A.6 反向传播:微分、形状与批量公式
- 68附录 A.7 Softmax、交叉熵与数值稳定性
- 69附录 A.8 自适应优化器与 AdamW
- 70附录 A.9 CNN:互相关算子及其反向传播
- 71附录 A.10 Attention 的矩阵与反向传播
- 72附录 A.11 策略梯度、PPO 与 DPO
- 73附录 A.12 对比学习、InfoNCE 与互信息边界