附录 C 有限维算子网络

有限算子网络把输入分配到不同路径；在一条路径内部，局域算子又按顺序复合。本附录用 附录 B 的有限维工具分别描述这两层结构：先沿固定路径计算导数，展开正交块之间的作用通路，并在实际发生域上取得距离上界；再考察仿射网络的路径单元如何参与复合，以及实际发生域中的变化方向如何沿路径传递，并据此估计输出覆盖。

网络仍按 § 5.1 定义，路径、路径域与路径复合沿用 § 5.3。

以下取 $n\ge1$、$I=\{1,\ldots,n\}$，并令

采用 附录 B 的坐标规范族或一个固定正交块规范族。设 $\mathcal N\in\mathcal X_{\mathrm{net}}$ 为输入域 $U\subseteq\mathbb R^n$ 非空的有限算子网络，节点集为 $V$，节点 $\beta$ 的局域算子为 $f_\beta$，其定义域记为 $U_\beta$。

C.1 路径导数与距离估计

假设对每个节点 $\beta\in V$，存在包含 $U_\beta$ 的开集 $O_\beta\subseteq\mathbb R^n$ 与连续可微映射

使

固定可达路径

及 $x\in U_p$。定义路径中间点

以及节点发生处的 Jacobi 矩阵

由于 $x\in U_p$，这些中间点与网络求值轨迹的点值相同，并且 $x_{p,s-1}(x)\in U_{\beta_s}\subseteq O_{\beta_s}$。

命题 C.1（路径复合的 Jacobi 乘积）：对任意 $p\in\mathcal P(\mathcal N)$ 与 $x\in U_p$，路径复合

在 $x$ 的某个开邻域内良定义，并满足

若存在 $x$ 的开邻域 $W$ 使

则网络外延算子在 $W$ 上等于 $C_p$，因而

其中 $\phi_{\mathcal N}\big|_W$ 由 $W\subseteq U_p\subseteq U$ 视为取值于 $\mathbb R^n$ 的局部映射。

证明：沿用 命题 B.15 的复合求导方法，先说明路径复合在 $x$ 附近良定义。令

则 $V_1$ 是包含 $x$ 的开集，且 $C_1$ 在其上连续可微。假设前 $s$ 步复合 $C_s$ 已在包含 $x$ 的开集 $V_s$ 上连续可微，其中 $1\le s<r$。由于

可取

由 $C_s$ 的连续性及 $O_{\beta_{s+1}}$ 的开放性，$V_{s+1}$ 仍是包含 $x$ 的开集，而

在其上良定义且连续可微。如此递推，得到 $C_r=C_p$ 在开邻域 $V_r$ 上良定义且连续可微。

再计算导数。第一步有 $DC_1(x)=A_{p,1}(x)$。对 $2\le s\le r$，由链式法则，

逐次代入即得

最后，设 $W$ 是 $x$ 的开邻域且 $W\subseteq U_p$。对每个 $y\in W$，网络均沿路径 $p$ 求值，各步输入均属于相应节点的定义域。在这些输入处，扩展映射 $F_{\beta_s}$ 与局域算子 $f_{\beta_s}$ 一致，因此由 命题 5.7 的路径分解，

故网络外延算子与 $C_p$ 在 $x$ 的开邻域 $W\cap V_r$ 上相等，从而

$\square$

这里的 $DC_p(x)$ 按选定的节点扩展 $F_\beta$ 计算。本命题关于外延算子导数的结论仅在存在开邻域 $W\subseteq U_p$ 时适用；不满足该条件时，本命题不作连续性或可微性结论。不同扩展的比较见 习题 C.2。

为考察路径导数在不同正交块之间的作用，固定正交直和分解

记 $P_a$ 为到 $V_a$ 的正交投影，并令 $H=\{1,\ldots,h\}$。固定路径 $p$ 与 $x\in U_p$。一条块通路要求每一步从输入块到输出块的线性映射均非零；下面给出它与路径复合导数的关系。

推论 C.2（非零路径块导数的通路必要条件）：对任意 $a_0,a_r\in H$，若 $P_{a_r}\circ DC_p(x)\circ P_{a_0}\ne0$，则存在中间块指标 $a_1,\ldots,a_{r-1}\in H$，使

反向一般不成立。

证明：由 命题 C.1，在相邻 Jacobi 因子之间插入恒等分解

并利用 $P_a^2=P_a$ 展开有限乘积，得到

当 $r=1$ 时，没有中间块指标，右侧只含一个求和项。左侧非零，故右侧至少有一个非零求和项；该项的各个块因子都必须非零，因而得到所需的块通路。

为说明反向不成立，在 $\mathbb R^2\cup\{\bot\}$ 上取两个串联节点，局域算子在 $\mathbb R^2$ 上依次采用 命题 B.15 中的两步线性映射，在 $\bot$ 处取 $\bot$。第一节点的入口片与通向第二节点的边域均为 $\mathbb R^2$，第二节点无出边。每个输入均沿这两个节点求值后终止，故得到一条实际可达路径。

取 $H=\{1,2\}$ 及两个坐标轴组成的一维正交块分解。由所引命题中的矩阵计算，输入块 $1$ 到输出块 $1$ 之间有两条非零块通路，相应矩阵条目的两个通道乘积分别为 $1$ 与 $-1$，而复合导数的对应块为零。因此块通路存在不排除不同通路项相消。$\square$

上面计算了固定输入处的导数及其块展开。下面在各节点发生的实际输入集上取得统一距离上界，再沿路径复合。

对固定路径 $p=(\beta_1,\ldots,\beta_r)$，沿用 命题 5.19 中第 $s$ 个节点发生的实际输入域记号。在本节的轨迹表示下，

推论 C.3（节点发生域上的导数证书）：设对每个 $1\le s\le r$，存在非空凸集

并且矩阵

对所有 $i,j\in I$ 均有限。记 $\mathbf L_{p,s}=(L_{p,s;i\to j})$。则

对上述正交分解，若改定义

且所有条目有限，则相应块矩阵乘积

是 $c_p$ 在 $U_p$ 上关于正交块规范族的 Lip 证书。

证明：在每个非空凸集 $Q_{p,s}$ 上应用 命题 B.5 或 命题 B.9，分别得到扩展映射 $F_{\beta_s}$ 的坐标或正交块 Lip 上界。线段估计在扩展映射的定义域 $O_{\beta_s}$ 内进行，因此允许 $Q_{p,s}$ 超出节点原来的定义域 $U_{\beta_s}$。

将上述估计限制到实际输入集 $D_{p,s}^{\mathrm{in}}$，由 $F_{\beta_s}$ 与 $f_{\beta_s}$ 在该集上一致，得到 $f_{\beta_s}$ 在该发生域上的合法 Lip 证书。由定义，$D_{p,1}^{\mathrm{in}}=U_p$，且 $D_{p,s+1}^{\mathrm{in}}=f_{\beta_s}(D_{p,s}^{\mathrm{in}})$（$1\le s<r$）；路径合法性保证 $U_p\subseteq\operatorname{dom}(c_p)$。因此，以 $U_p$ 为起始域应用 推论 2.5 的 (i)，即得所示矩阵乘积。$\square$

C.2 仿射网络

下面转向局域算子具有仿射扩展的网络。仿射复合给出每条路径上的作用公式，路由条件决定公式实际适用的输入域；网络之间的复合还会进一步细分这些域。

称 $Q\subseteq\mathbb R^n$ 为一个线性单元，若它可由有限多个仿射等式、严格不等式与非严格不等式的共同解集表示。

命题 C.4（仿射局域算子的路径单元）：设每个节点局域算子在 $U_\beta$ 上由仿射映射

给出。进一步假设所有入口输入片 $U_\beta^{\mathrm{in}}$、边域 $D_{\beta\to\gamma}$ 与终止域 $T_\beta$ 都是线性单元。

(i) 对路径

令

则路径域具有表达

因而 $U_p$ 是线性单元，且 $c_p\big|_{U_p}=C_{p,r}\big|_{U_p}$。网络外延算子在 $U$ 上是由有限路径域分划给出的分片仿射映射。

(ii) 上述分片仿射表示不保证 $\phi_{\mathcal N}\big|_U$ 在不同路径域的交界处连续。

证明：(i) 沿路径 $p$ 求值的输入必然满足所示入口、逐步转移和终止条件。反之，若 $x$ 属于右侧交集，则 $x\in U_{\beta_1}^{\mathrm{in}}\subseteq U_{\beta_1}$。每个边域满足 $D_{\beta_s\to\beta_{s+1}}\subseteq U_{\beta_{s+1}}$，故可归纳地确认：每步中间点都在对应节点的定义域内，仿射扩展的值与真实局域算子的值一致，并按指定边继续。最后一个条件保证在 $\beta_r$ 终止。因此它确实沿 $p$ 求值，交式成立。$r=1$ 时，边域条件对应的空交取为 $\mathbb R^n$。

有限多个线性单元取交，只需合并其约束；仿射原像则把各约束与仿射映射复合，仍得到仿射等式或同方向不等式。各 $C_{p,s}$ 都是仿射映射，故所示交式给出线性单元 $U_p$。再由 § 5.3 的有限路径分解，得到外延算子的有限分片仿射表示。

(ii) 取 $n=1$、$U=\mathbb R$，使用两个无出边入口节点，其入口片分别为

两个节点的定义域均取 $\mathbb R$，局域算子在其中分别为常值仿射映射 $F_1(x)=0$ 与 $F_2(x)=1$，在 $\bot$ 处均取 $\bot$；终止域分别为 $T_1=\{0\}$ 与 $T_2=\{1\}$。这给出求值长度恒为 $1$ 的有限算子网络。所有入口片和终止域均为线性单元，网络外延算子在 $U$ 上满足

故在 $0$ 处不连续。$\square$

命题 C.5（仿射网络外延的复合封闭性）：设 $\mathcal N_1,\mathcal N_2$ 的输入域分别为 $U_1,U_2$，且两网均满足 命题 C.4 的仿射与线性单元条件。记各路径上的仿射表达为

在复合的有效域

上，所有非空集合

构成有限线性单元分划，且

存在同样满足上述仿射与线性单元条件的有限网络 $\mathcal M$，其输入域为 $D$，且 $\phi_{\mathcal M}=\phi_{\mathcal N_2}\circ\phi_{\mathcal N_1}$；$D=\emptyset$ 时取空网络。

证明：对 $x\in D$，第一网有唯一实际路径 $p$，而 $F_p(x)=\phi_{\mathcal N_1}(x)\in U_2$ 在第二网中又有唯一实际路径 $q$。因此 $x$ 恰属于一个 $U_{p,q}$。反之，属于某个 $U_{p,q}$ 的点满足复合有效域条件；两网路径集有限，故得到所述有限分划。

由 命题 C.4，各 $U_p^{(1)}$ 与 $U_q^{(2)}$ 为线性单元。仿射原像及有限交保持线性单元，所以 $U_{p,q}$ 也是线性单元。在该域内依次代入两条路径的仿射式，即得复合公式。

若 $D\ne\emptyset$，对每个非空 $U_{p,q}$ 设置一个无出边入口节点，其入口片为 $U_{p,q}$，局域算子在 $\mathbb R^n$ 上取仿射映射 $G_q\circ F_p$，在 $\bot$ 处取 $\bot$。该节点的终止域是 $(G_q\circ F_p)(\mathbb R^n)$，为一个仿射子空间；选取其方向空间正交补的一组基，可将它写成有限个仿射等式的共同解集，故也是线性单元。

各入口片非空且分划 $D$，每次求值在所选入口节点一次终止，因此满足入口唯一、统一有限终止及无冗余节点条件，出边条件为空。所得网络 $\mathcal M$ 在 $D$ 上给出上述复合，在域外取 $\bot$，所以外延相等。若 $D=\emptyset$，复合处处为 $\bot$，由空网络实现。$\square$

该构造给出复合的一种网络表示。它按路径对分别设置节点，不保留原网络的节点共享；结论不指定网络对象之间的典范复合运算。

网络中的实际发生域还可能落在低维仿射子空间内。以下沿用 引理 B.13 的方向空间 $W_S=\operatorname{span}(S-S)$，在实际域上读取矩阵作用。

命题 C.6（仿射发生域与路径中的变化方向）：设 $\mathcal N$ 的节点仿射表达为 $F_\beta(x)=A_\beta x+b_\beta$。

(i) 发生域与阈值。 若入口片与边域均为线性单元，则每个可达前缀 $q=(\beta_1,\ldots,\beta_s)$ 的实际发生域 $D_q^{\mathrm{in}}$ 非空且凸。采用坐标规范族及任意有限正阈值 $\tau_\sigma,\tau_{\mathrm N}$ 时，

第二项等于 $1$ 当且仅当末节点的第 $j$ 个输出坐标在该发生域上为常值。

(ii) 固定路径中的方向。 固定完整可达路径 $p=(\beta_1,\ldots,\beta_r)\in\mathcal P(\mathcal N)$，记 $C_{p,s}=F_{\beta_s}\circ\cdots\circ F_{\beta_1}$。令 $D_0=U_p$，$D_s=C_{p,s}(U_p)$（$1\le s\le r$），并记 $W_s=W_{D_s}$。则

这一分项不要求入口片、边域或终止域是线性单元。

证明：(i) 令 $C_{q,t}=F_{\beta_t}\circ\cdots\circ F_{\beta_1}$。沿用可达前缀的初始域 $U[q\ast]$，有

沿该前缀求值的输入满足右侧条件。反之，右侧条件逐步保证节点作用有定义并沿指定边继续；网络从每个入口输入出发均唯一有限终止，所以该前缀必能延续为一条完整实际路径。不需要另加末节点的终止条件。$s=1$ 时，空交取为 $\mathbb R^n$。

右侧是线性单元，因而凸。$q$ 可达保证它非空；$D_q^{\mathrm{in}}$ 在 $s=1$ 时等于该集合，在 $s>1$ 时是它在 $C_{q,s-1}$ 下的仿射像，所以也非空且凸。在这个域上对末节点 $f_q=f_{\beta_s}$ 应用 命题 B.14 的 (ii)，得到

因 $0<\tau_{\mathrm N}<+\infty$，代入 § 5.5 的阈值定义即得分类式；常值解释由 引理 B.13 给出。

(ii) 此处始终使用同一完整路径域 $U_p$。由 $D_s=F_{\beta_s}(D_{s-1})$ 及 引理 B.13，得到 $W_s=A_{\beta_s}(W_{s-1})$。线性映射的像空间维数不超过定义域维数，故得到逐步不增式。$\square$

方向空间的维数与常值坐标的数量不同。例如两步作用 $F(s,t)=(s,0)$、$G(u,v)=(u,u)$ 将 $\mathbb R^2$ 先映到横轴，再映到对角线。两次像的方向空间均为一维，而第二个输出坐标由常值变为可变。这是 命题 3.3 中常值分量不一定向后保持的具体情形。类似地，命题 C.4 的阶跃例中，各路径分别常值，整个网络却不为常值；路径内的结论仍须限定在对应路径域上。

输出覆盖估计只需节点具有仿射扩展，不要求入口片、边域或终止域是线性单元。对路径 $p=(\beta_1,\ldots,\beta_r)$，写

并令

由 引理 B.13，$r_p$ 由实际受限映射 $c_p|_{U_p}$ 决定，且不超过 $\operatorname{rank}(A_p)$。以下仍使用所选全空间仿射扩展的算子范数，因此维数指数不依赖扩展，整个上界的数值则仍可能依赖这一选择。

推论 C.7（路径限制秩给出的网络输出覆盖上界）：设 $\varepsilon>0$。若对每个 $p\in\mathcal P(\mathcal N)$，存在 $x_p\in U_p$ 与有限 $R_p\ge0$，使

则

当 $r_p=0$ 时，对应项等于 $1$。

证明：固定路径 $p$。对任意 $x\in U_p$，

结合 $\|x-x_p\|_2\le R_p$，得到

这里 $x-x_p\in W_{U_p}$，而 $A_p(W_{U_p})$ 的维数为 $r_p$；半径 $\|A_p\|_{2\to2}R_p$ 有限非负，且 $x_p\in U_p$ 保证 $c_p(U_p)$ 非空。对这一实际路径像集应用 命题 B.4 的 (i)，得到

最后使用 命题 5.13 的路径输出有限并覆盖上界并对 $p$ 求和。$r_p=0$ 时 $c_p(U_p)$ 为单点，对应覆盖数为 $1$。$\square$

该公式的右侧同时使用路径数、各路径实际输出的仿射维数、路径域半径与线性放大。若只使用环境矩阵秩，则由 $r_p\le\operatorname{rank}(A_p)$ 和底数不小于 $1$，仍可得到较宽的覆盖上界。

有限维表示把网络作用分成两层：路径内部的复合，以及路径域之间的分划。可微条件下，前者给出导数与距离证书，后者决定这些公式适用于哪些输入。仿射条件下，路径单元还可用于构造网络复合，实际域的方向空间则把常值分量、零化判据和输出覆盖中的维数联系起来。

使用这些结果时，须保留其实际评估域。固定路径的估计不自动控制跨路径点对；扩展映射的导数，以及仿射扩展线性部分的算子范数，可能随扩展选择改变，实际方向空间上的仿射限制则由域内作用确定。

C.3 习题