序章：从一次曝光开始

同一个夜景，用短曝光拍摄后提亮，和直接延长曝光，屏幕上的平均亮度可以相近，阴影里的颗粒却常常不同。换一支镜头，画面中央的文字可能更清楚，角落的星点却拖出尾巴。照片中这些容易观察的差异，分别来自光的统计、读出电路和光学成像。

来自场景的光经过镜头，在传感器表面形成光学像。像素在有限时间内收集光子，将其中一部分转换成电子；读出电路测量电荷，文件保存测量结果。显影软件随后估计颜色、压低噪声、调整明暗，显示器再把数字变成光。曝光决定入射光子预算，读出增益影响电荷到码值的换算，RAW保存采样结果，调制传递函数（MTF）描述不同粗细纹理的对比传递。

0.1 从曝光到显示

数字成像的主要阶段可以简记为：

\mathcal I =\mathcal D\circ\mathcal C\circ\mathcal A\circ\mathcal Q\circ\mathcal O (\mathcal L).

$\mathcal L$ 是场景的光谱辐亮度场； $\mathcal O$ 是镜头与光阑形成光学像的过程； $\mathcal Q$ 把像面曝光随机转换成电子； $\mathcal A$ 表示读出、增益与模数转换； $\mathcal C$ 表示去马赛克、白平衡、颜色变换、降噪和色调映射； $\mathcal D$ 表示显示或印刷。最终图像 $\mathcal I$ 依赖整条链。

光电转换和读出含有随机性。同样的曝光重复一百次，电子数和码值仍会逐张波动；在条件不变、各次独立的模型中，多次观测的平均值才逐渐接近期望值。光学系统的输出以辐照度度量，像素信号以电子数度量，文件里的数则带有黑电平、增益和白点约定。区分这些单位，是后文计算噪声和动态范围的起点。

约定 0.1（测量条件）. 后文的性能数值随输入量、输出量、控制变量和统计口径一起使用。例如，量子效率要注明波长，读噪要注明读出模式，MTF 要注明频率和像高。若只说“高 ISO 更亮”，还需确定观察的是 RAW 码值、监看预览还是最终显示图像。

先沿同一次曝光看一遍这条链。下面固定波长和像素面积，逐步显示能量、光子数、电子数、电压、码值和显示信号。每一步保留自己的单位；数值是完整曝光的期望值，播放只突出当前环节，不把平均电子数画成确定会到达的粒子。

互动会保留上次的参数与暂停位置。下文的“起始状态”指首次打开或按“重置参数”后的设置；已有操作记录时，先重置，再按图前的顺序比较。预设有的给出一组场景，有的只切换模式、改变一个条件或定位回放步骤，其余参数可以继续保留。静态图的输入写在图注里，不方便操作时，也可以用这些数值和相邻公式作同样的预测。

滑杆用于连续调节，旁边的数值框可以直接输入题目给定的值，按回车或离开输入框后生效。数值框使用读数所示的单位，例如秒、米、f数；距离中的“∞”表示无穷远。模式和展示阶段按名称选择，主要结果列在操作区下方。编辑参数会暂停正在播放的动画，便于比较同一时刻的读数。输入有误时会提示并保留原参数；按Esc可撤销尚未生效的输入。

先选“本书起始曝光”，看光子数和电子数之间相差的比例；再选“固定曝光提高增益”，只比较电子数与记录码值。这一步对应下表的同一次曝光：增益改变读出刻度，光电转换已经完成。

互动示意：同一次曝光从能量、光子、电子到码值与显示

互动示意：4 μm像素、550 nm、曝光量10⁻⁴ J/m²、QE 70%。先计算平均光子和电子，再通过固定满阱、电压跨度和14 bit ADC到显示。电压读数取模拟增益之前的节点。

提高模拟增益时，可以先停在“信号电子”，再看到“记录码值”：前者不变，后者变大。若光电二极管已经饱和，后续环节无法区分更强的输入。第一至五章分别解释这些步骤；第九章继续区分记录和显示，第十章则打开文件中的实际样本。

贯穿算例的固定参数

后文沿用例 1.4 的同一次曝光，按下表给定的虚拟单色相机计算各层换算。像面曝光量已经包含前方光学系统的能量传输，算光子数时不再乘一次镜头透射率。

环节	固定输入与约定
入射与像素	550 nm 窄带光，像面曝光量 $10^{-4}\ \mathrm{J/m^2}$ ，方形像素节距及感光宽度均为 4 μm
光电转换	外量子效率 0.70；固定窗口内 Poisson 光子计数，每个光子独立地贡献零或一个电子
噪声与容量	满阱 32,000 e⁻，输入等效读噪 4 e⁻ rms，暗电流与 PRNU 在本例中取零
线性读出	满阱对应增益前 1 V 信号跨度，默认模拟增益一；14 bit 端点等距量化，黑电平 0 DN，白电平 16,383 DN
显示支路	按黑白电平归一化为 $x$ ，显示码取 $x^{1/2.2}$ ；屏幕亮度另需显示器的光度标定
空间响应	另取无像差圆瞳、空气中远焦 $f/8$ ，无 OLPF、无运动，局部线性、空间不变；在同一平均曝光附近比较小调制度条纹

默认值与上方成像链演示一致，噪声和光学部分由后续章节加入。第 2 章计算电子计数的分布，第 3--5 章分别处理码格、SNR 和增益，第 9--10 章跟踪监看与文件，第 12、17 章计算并报告空间响应。各处标题中的“贯穿算例”都指这张参数表。其他例子会给出自己的输入，不自动继承这组数值。

0.2 两条主线及其汇合点

本书沿两条主线展开。

第一条主线追踪光子怎样成为文件。第 1 章从辐亮度、光圈和曝光量开始，第 2--4 章把光子计数、硅光电转换、读出噪声、满阱和动态范围放进同一电子刻度。第 5--10 章继续处理 ISO、双转换增益、滚动与全局快门、背照和堆栈、色彩滤阵、多帧 HDR、 Log 以及静态和视频 RAW。沿这条线，读者应能回答：一次曝光记录了多少信息，增益和编码又改变了什么。

第二条主线追踪场景怎样在像面形成有限分辨率的光学像。第 11 章从 Snell 定律、近轴矩阵和主平面建立镜头的一阶模型，第 12--15 章进入衍射、PSF、OTF、MTF、像差、玻璃、树脂、萤石、非球面、衍射元件与镀膜。第 16 章讨论对焦、变焦和防抖中的镜组运动，第 17 章结合镜头、传感器、测试靶和数字处理，介绍成像系统的测试方法。第18章接着讨论通光尺寸、减重、近摄与增距附件，以及对焦驱动的工程约束。

两条线在采样处汇合：镜头形成的连续光学像先被像素面积积分，再按像素位置采样。像差、衍射和离焦决定到达这里的细节；像素节距、色彩滤阵和显影方法决定这些细节怎样进入文件。第 12 章和第 17 章会把两侧的影响放在同一空间频率坐标上比较。

读者可以按兴趣先沿其中一条线阅读，但第 1--4 章给出的曝光和噪声语言、第 11--12 章给出的成像与频率语言，是理解全书比较结论的共同基础。遇到陌生符号时可查符号表，查技术名词可用术语索引；练习答案集中在答案手册。

分层阅读建议

第一遍可侧重物理量的含义、适用条件和计算结果，需要复算时再细读完整推导。下表列出各章的阅读重点和进阶内容。互动实验适合在读完相应概念后进行，无需逐页启动每个面板。

章节	第一遍阅读的重点	第二遍的推导或实验
1 辐射度学	曝光量、像素能量、光子数；f 数平方律与 cos⁴θ 的条件	§1.4 有限出瞳的面积分与圆周积分；区分数值误差和小瞳近似偏差
2 光电转换、3 读出	QE、Poisson 计数、电子/电压/DN 与剪切位置	稀疏化证明、CDS 协方差、斜坡 ADC 和列误差
4 噪声、5 增益	用同一电子刻度比较曝光、噪声、增益与高光余量	成对平场、共享校准与双读出协方差；练习 4.5
6 结构与快门	曝光窗口、入光方向和功能层分别说明什么	快门时序、曲率匹配；练习 6.4
7 颜色与采样	相机通道、混叠、减黑后白平衡与颜色矩阵	Luther 条件的线性空间证明；插值协方差实验 7.4
8 HDR	配准、未剪切支持与融合权重	二维搜索、局部运动和共同样本数；练习 8.4
9 编码、10 RAW	捕获、记录、监看各自的上限；按标签解码	分段 Log 连续性、逐码反解和微型 DNG 检查
11 近轴光学	物像共轭、主平面、光阑与两侧瞳	矩阵连乘、厚系统及孔径截光
12 衍射、13 像差	PSF 的宽度与形状，MTF 的频率与方向；相位信息另读 OTF	复瞳自相关证明、Bessel 积分、轴上比与峰值比；练习 13.5
14 材料、15 元件	色散、面形、衍射与镀膜解决的不同问题	消色差条件、温漂补偿和非球面斜率；练习 14.5、15.5
16 镜组运动	对焦、呼吸、补偿、防抖、景深与远心性	按章首五步指引，每次只固定或改变一个条件
17 系统测试	区分预采样模型、RAW 系统测量与处理后图像	斜边拟合、装夹重复性及贯穿算例的报告；练习 17.5
18 镜头工程	入瞳与尺寸、增距与延长、反装共轭、驱动与最近对焦	通光包络、附件追迹、瞳与光量；区分指令步距和实际位置

需要复数、概率或 Fourier 变换时，可先读附录 A 的相应部分。各章实验题给出了可复算的输入和参考答案；演示用于比较观测与已知真值，静态阅读时也能完成主要推理。

0.3 一句器材结论里可能有几个问题

例子 0.2（像素面积与比较尺度）.

以“像素大，所以噪声小”为例。设两个像素接收相同像面辐照度和曝光时间，量子效率也相同。若像素面积之比为 $4:1$ ，大像素平均收集的电子数为小像素的四倍。在光子散粒噪声占主导时，单像素信噪比分别近似为

\frac{4\mu}{\sqrt{4\mu}}=2\sqrt\mu, \qquad \frac{\mu}{\sqrt\mu}=\sqrt\mu.

所以在这个比较里，大像素的单像素 SNR 高一倍。但若四个小像素覆盖同一总面积，并在同一输出分辨率下独立求和，信号为 $4\mu$ 、方差为 $4\mu$ ，SNR 同样是 $2\sqrt\mu$ 。若再计入读噪，大像素的一次读出与四个小像素的四次读出便可能产生差异；第四章会给出相应的方差求和。这个例子说明，100% 放大下的单像素观察和相同输出尺寸下的照片比较，需要分别计算。

0.4 比较条件与测量记录

规格只有和条件一起出现才构成测量。一个传感器数值通常至少需要说明其中的相关项：

波长或照明光谱；
曝光时间、温度和读出速度；
模拟增益、转换增益模式及位深；
单像素、单位面积还是固定输出尺寸；
时间噪声还是包含固定图样噪声的总噪声；
线性 RAW、相机处理结果还是显示图像；
均值、标准差、分位数还是最坏值。

镜头数值还需附带焦距、光圈、物距、像高、方向、波长、空间频率和对焦位置。 “中心 MTF 为0.8”还需说明测的是哪种频率、哪个光圈；锐化JPEG的斜边结果则同时包含镜头、传感器与处理链的影响。

约定 0.3（等效比较）. 本书比较不同画幅时，优先固定相同场景、相同视角与透视位置、相同最终输出尺寸。若还要固定景深、曝光时间或总入射光子数，会额外说明。只说“同参数”并不足够，因为相同焦距和相同 f 数在不同画幅上未必对应相同视角、景深和总收光。

例如，要检验提高 ISO 是否降低读噪，应固定光圈、快门和照明，再把 RAW 换算到相同电子刻度。若同时缩短快门，比较中又加入了光子数变化。两种拍法都常用，只是回答的问题不同。

0.5 公式、标准与产品资料的使用范围

本书使用 Poisson 计数、近轴光学和标量衍射等模型；每个模型都会在引入时说明条件。器件工艺和文件格式则需要查具体实现。例如，“堆栈”说明不同功能层的制造与互连，扫描时间仍要从时序或测量中取得；DNG 规定一组数据标签，解码时必须按标签的含义处理样本。相关标准、论文和厂商文档集中列在资料源，逐章说明用途。

0.6 推导范围与后续阅读

辐射度学换算、Poisson 稀疏化与噪声合成、量化模型、薄透镜关系、近轴矩阵、瞳函数到 OTF 的关系、像素采样、基础色差条件和若干测试公式在书内推导。完整硅器件工艺、复杂镜头处方优化、现代去马赛克算法的实现、感知色貌模型与具体编解码器属于相邻学科。本书介绍它们在成像链中的位置与输入输出，进一步学习可沿资料源查阅。

书中算例使用声明的参数，技术图展示结构或解析模型。真实器材的性能还需要 RAW 样本、光谱标定或镜头实测来确定。读者可以先跟随算例掌握方法，再把实测参数代入。

第一章从一块受光表面开始，计算它接收的能量和光子数。