# 附录 A.5 通用逼近定理的严格读法 《随机鹦鹉解剖学》章节：附录 A.5 通用逼近定理的严格读法。 ## Metadata - HTML: https://glenzli.com/dr-stochastic-parrot/stochastic-parrot-anatomy/appendices/learning-notes/a-5-universal-approximation/ - Markdown: https://glenzli.com/dr-stochastic-parrot/stochastic-parrot-anatomy/appendices/learning-notes/a-5-universal-approximation.md - Collection: Dr. Stochastic Parrot - Language: zh-CN - Published: 2026-07-17 - Status: published - Tags: ai-generated, stochastic-parrot, stochastic-parrot-anatomy, ai ## Content 本附录为卷一第一章的表示能力讨论提供精确版本。通用逼近是函数空间中的**存在性与稠密性**结论；它不提供训练算法、宽度上界、样本复杂度、泛化保证或分布外外推能力。 ## A.5.1 函数类与范数 令 $K\subset\mathbb R^d$ 为紧集，$C(K)$ 为 $K$ 上实值连续函数组成的 Banach 空间，范数为 $$ \|f\|_\infty=\sup_{x\in K}|f(x)|. $$ 对激活函数 $\sigma:\mathbb R\to\mathbb R$，定义有限宽单隐层网络类 $$ \mathcal S_\sigma =\left\{ x\mapsto c+\sum_{j=1}^m a_j\sigma(w_j^\mathsf Tx+b_j): m<\infty \right\}. \tag{A.5.1} $$ 宽度 $m$ 可随目标函数和误差容限变化。偏置 $b_j$ 是定理的重要组成部分。 ## A.5.2 两个不能混用的定理版本 **定理 A.5.1（Cybenko，1989）** 取 $K=[0,1]^d$。若 $\sigma$ 连续且 sigmoidal，即 $$ \lim_{t\to-\infty}\sigma(t)=0, \qquad \lim_{t\to+\infty}\sigma(t)=1, $$ 则 $\mathcal S_\sigma$ 在 $C(K)$ 中按 $\|\cdot\|_\infty$ 稠密。 **定理 A.5.2（Leshno 等，连续激活的特例）** 若 $K\subset\mathbb R^d$ 紧，$\sigma$ 连续且不是多项式，则 $\mathcal S_\sigma$ 在 $C(K)$ 中按一致范数稠密。反之，若 $K$ 有非空内部且 $\sigma$ 是多项式，则该类不稠密。 ReLU $\sigma(t)=\max(0,t)$ 连续且非多项式，所以由定理 A.5.2 得到普适性；它不满足 Cybenko 定理的有界 sigmoidal 假设。原论文还处理更一般的局部有界、分段连续激活；这里使用足以覆盖正文的连续版本。 两条定理都意味着：对任意 $f\in C(K)$ 与 $\epsilon>0$，存在某个有限 $m$ 和参数，使 $$ \sup_{x\in K} \left|f(x)-c-\sum_{j=1}^m a_j\sigma(w_j^\mathsf Tx+b_j) \right|<\epsilon. \tag{A.5.2} $$ 它们没有给出满足 (A.5.2) 所需的最小 $m$。 ## A.5.3 Cybenko 证明的逻辑闭包 Cybenko 使用下面的判别性引理。 **引理 A.5.3（sigmoidal 函数的判别性）** 若 $\sigma$ 满足定理 A.5.1 的条件，$\mu$ 是 $K=[0,1]^d$ 上有限正则符号 Borel 测度，并且 $$ \int_K\sigma(w^\mathsf Tx+b)\,d\mu(x)=0 \qquad\text{对所有 }w,b, \tag{A.5.3} $$ 则 $\mu=0$。 **证明** 连续 sigmoidal 函数在 $\mathbb R$ 上有界。先在 (A.5.3) 中取 $w=0$，再选一个满足 $\sigma(b)\ne0$ 的 $b$，得到 $\mu(K)=0$。 固定 $w\ne0$、$b\in\mathbb R$ 和 $\varphi\in\mathbb R$，定义 $$ H^+_{w,b}=\{x\in K:w^\mathsf Tx+b>0\}, \qquad H^0_{w,b}=\{x\in K:w^\mathsf Tx+b=0\}. $$ 对每个 $\lambda>0$，把 $(\lambda w,\lambda b+\varphi)$ 代入 (A.5.3)。当 $\lambda\to\infty$ 时，被积函数逐点收敛到 $$ \mathbf 1_{H^+_{w,b}}(x) +\sigma(\varphi)\mathbf 1_{H^0_{w,b}}(x). $$ 由于 $\sigma$ 有界且 $\mu$ 的全变差有限，可对符号测度使用支配收敛定理，得到 $$ 0=\mu(H^+_{w,b}) +\sigma(\varphi)\mu(H^0_{w,b}). \tag{A.5.4} $$ 由 sigmoidal 极限可选 $\varphi_1,\varphi_2$ 使 $\sigma(\varphi_1)\ne\sigma(\varphi_2)$。对这两个值写出 (A.5.4) 并相减，得到 $\mu(H^0_{w,b})=0$；代回即得 $\mu(H^+_{w,b})=0$。所以 $\mu$ 在每个开半空间及其边界超平面上都为零。 对固定 $w\ne0$，令 $\nu_w$ 是映射 $x\mapsto w^\mathsf Tx$ 对 $\mu$ 的推前符号测度。对每个 $a\in\mathbb R$， $$ \nu_w((a,\infty)) =\mu\{x:w^\mathsf Tx>a\}=0, $$ 且 $\nu_w(\mathbb R)=\mu(K)=0$。集合族 $\{B:\nu_w(B)=0\}$ 是一个 Dynkin 系统，而半直线 $(a,\infty)$ 构成生成 $\mathbb R$ 上 Borel $\sigma$-代数的 $\pi$-系统；由 $\pi$--$\lambda$ 定理，$\nu_w$ 在所有 Borel 集上都为零。 于是对任意 $\xi\in\mathbb R^d$， $$ \int_K e^{i\xi^\mathsf Tx}\,d\mu(x)=0; $$ $\xi=0$ 的情形使用 $\mu(K)=0$，其余情形使用 $\nu_\xi=0$。函数 $x\mapsto e^{i\xi^\mathsf Tx}$ 的有限线性组合在 $K$ 上构成含常数、对复共轭封闭且分离点的代数。复 Stone--Weierstrass 定理说明该代数在 $C(K;\mathbb C)$ 中一致稠密。积分泛函对一致范数连续，故它消去所有 $C(K)$ 函数；Riesz--Markov 表示的唯一性遂给出 $\mu=0$。$\square$ **定理 A.5.1 的证明** 设 $\overline{\mathcal S_\sigma}\ne C(K)$。由 Hahn--Banach 分离定理，存在非零有界线性泛函 $L\in C(K)^*$，使 $L(g)=0$ 对所有 $g\in\mathcal S_\sigma$ 成立。由 Riesz--Markov 表示定理，存在非零有限正则符号 Borel 测度 $\mu$，使 $$ L(g)=\int_Kg\,d\mu. $$ 特别地，$L$ 消去每个 ridge function，故 (A.5.3) 成立。引理 A.5.3 推出 $\mu=0$，与 $L\ne0$ 矛盾。因此 $\overline{\mathcal S_\sigma}=C(K)$。$\square$ 这给出了判别性引理与稠密性归约的完整证明；支配收敛、$\pi$--$\lambda$、Stone--Weierstrass、Hahn--Banach 与 Riesz--Markov 是所用的测度论和泛函分析先修结果。 ## A.5.4 一维 ReLU 的显式构造 一般多维定理是非构造性的。对一维 ReLU，可以直接写出逼近网络。 令 $f\in C([A,B])$。取网格 $$ A=x_0