返回书架算子演化论:第一卷

附录 D 习题解答

本附录按习题所在章节的顺序给出解答。各题的假设与记号以相应题面及其所在小节为准。

基础

习题 1.1 的解答:

(i) 每个 did_i 的自距零、对称性和三角不等式均由实数距离经 qiq_i 拉回得到。添入 ⊥\bot 后,自距零和对称性仍成立;含 ⊥\bot 的三角不等式中,若两端只有一个是 ⊥\bot,则右侧至少一项为 +∞+\infty,若中间点是 ⊥\bot 而两端均不是,则右侧为 +∞+\infty,其余情形直接成立。因此题给结构满足扩展规范空间的定义。

在 UU 内,半径为 11 的 d1d_1-开球为 {a,c}\{a,c\}、{b}\{b\},d2d_2-开球为 {a,b}\{a,b\}、{c}\{c\}。每种情形均需要且只需要两个中心,故

N1(1,U)=N2(1,U)=2.\mathcal N_1(1,U)=\mathcal N_2(1,U)=2.

任意两个不同点至少在一个分量下距离为 11,所以 d{1,2}=max⁡(d1,d2)d_{\{1,2\}}=\max(d_1,d_2) 的半径 11 开球都是单点集。因此

N{1,2}(1,U)=3.\mathcal N_{\{1,2\}}(1,U)=3.

(ii) 联合读数集合为

{(0,0),(1,0),(0,1)}.\{(0,0),(1,0),(0,1)\}.

虽然每个 qiq_i 的值域都是 {0,1}\{0,1\},组合 (1,1)(1,1) 却没有对应的点。联合读数集合只是两个值域的笛卡尔积的真子集,两个读数不能任意组合;相应联合覆盖数也不等于两个单分量覆盖数之积。□\square

分量伪度量分别规定如何比较点,并不预设这些区分结果能够独立组合。

习题 1.2 的解答:

(i) 不同点间距离为 δ\delta 或 11,均为正。自距零和对称性成立。对三个不同点,若都属于 {b1,…,bm}\{b_1,\ldots,b_m\},三角不等式化为 δ≤2δ\delta\le2\delta;若包含 aa,则只需检验 1≤1+δ1\le1+\delta 和 δ≤2\delta\le2,均成立。因此 dd 在 UU 上是度量;添入隔离的吸收元得到扩展规范空间。

当 0<ε≤δ0<\varepsilon\le\delta 时,每个开球与 UU 的交集都是单点集;当 δ<ε≤1\delta<\varepsilon\le1 时,这些交集为 {a}\{a\} 与 {b1,…,bm}\{b_1,\ldots,b_m\};当 ε>1\varepsilon>1 时,一个以 UU 内任意点为中心的开球即可覆盖 UU。因此

N(ε,U)={m+1,0<ε≤δ,2,δ<ε≤1,1,ε>1,Eε(U)={log⁡2(m+1),0<ε≤δ,1,δ<ε≤1,0,ε>1.\mathcal N(\varepsilon,U)= \begin{cases} m+1,&0<\varepsilon\le\delta,\\ 2,&\delta<\varepsilon\le1,\\ 1,&\varepsilon>1, \end{cases} \qquad E_\varepsilon(U)= \begin{cases} \log_2(m+1),&0<\varepsilon\le\delta,\\ 1,&\delta<\varepsilon\le1,\\ 0,&\varepsilon>1. \end{cases}

端点归属来自开球条件 d(x,y)<εd(x,y)<\varepsilon。

(ii) 对任意 0<η≤1−δ0<\eta\le1-\delta,

Eδ(U)−Eδ+η(U)=log⁡2(m+1)−1.E_\delta(U)-E_{\delta+\eta}(U)=\log_2(m+1)-1.

给定任意 M>0M>0,取整数 m≥2m\ge2 且 m+1>2M+1m+1>2^{M+1},上式即大于 MM。因此该增量没有与 mm 无关的上界,即使精度改变量 η\eta 任意小也是如此。□\square

精度略大于 δ\delta 时,一整个点簇可以由一个中心覆盖;到精度 δ\delta 时,簇内每个点都需要单独覆盖。低熵刻画的是指定精度下的覆盖复杂度,不能据此限制更细精度下的复杂度。

习题 1.3 的解答:

(i) 所有算子均保持 ⊥\bot,所以 d(ϕ(⊥),ψ(⊥))=0d(\phi(\bot),\psi(\bot))=0。由于 UU 有限非空,在 X\mathcal X 上取上确界等于在 UU 上取最大值,故

dop(ϕ,ψ)=sup⁡x∈Xd(ϕ(x),ψ(x))=max⁡x∈Ud(ϕ(x),ψ(x)).d_{\mathrm{op}}(\phi,\psi)=\sup_{x\in\mathcal X}d(\phi(x),\psi(x))=\max_{x\in U}d(\phi(x),\psi(x)).

对于 dopavd_{\mathrm{op}}^{\mathrm{av}},自距零与对称性逐项成立。逐点应用三角不等式、求和并乘以 1/n1/n,得到

dopav(ϕ,χ)≤dopav(ϕ,ψ)+dopav(ψ,χ).d_{\mathrm{op}}^{\mathrm{av}}(\phi,\chi) \le d_{\mathrm{op}}^{\mathrm{av}}(\phi,\psi)+d_{\mathrm{op}}^{\mathrm{av}}(\psi,\chi).

若 ϕ≠⊥op\phi\ne\bot_{\mathrm{op}},则存在 x∈Ux\in U 使 ϕ(x)≠⊥\phi(x)\ne\bot,相应求和项 d(ϕ(x),⊥)d(\phi(x),\bot) 为 +∞+\infty。由于 1/n>01/n>0,有

dopav(ϕ,⊥op)=+∞.d_{\mathrm{op}}^{\mathrm{av}}(\phi,\bot_{\mathrm{op}})=+\infty.

恒等算子提供非吸收算子,故所有公理均满足。

(ii) ϕ\phi 与 ψ\psi 仅在 x1x_1 处距离为 11,其余输入处距离为 00;ϕ\phi 与 χ\chi 在每个非吸收输入处距离均为 11。因此

dop(ϕ,ψ)=dop(ϕ,χ)=1,d_{\mathrm{op}}(\phi,\psi)=d_{\mathrm{op}}(\phi,\chi)=1, dopav(ϕ,ψ)=1n,dopav(ϕ,χ)=1.d_{\mathrm{op}}^{\mathrm{av}}(\phi,\psi)=\frac1n,\qquad d_{\mathrm{op}}^{\mathrm{av}}(\phi,\chi)=1.

上确界记录最大的逐点距离,平均值还计入差异出现的输入点数量;在本题的离散度量下,对在 UU 上均有定义的两个算子,平均距离恰为输出不同的输入点所占比例。□\square

算子界

习题 2.1 的解答:

(i) 对任意 x,y∈R2x,y\in\mathbb R^2,记 a=∣x1−y1∣a=|x_1-y_1|、b=∣x2−y2∣b=|x_2-y_2|。由三角不等式,

d1(ϕ(x),ϕ(y))=a=d1(x,y),d_1(\phi(x),\phi(y))=a=d_1(x,y), d2(ϕ(x),ϕ(y))=a+∣(x1−y1)+(x2−y2)∣≤2a+b≤2(a+b)=2d2(x,y).\begin{aligned} d_2(\phi(x),\phi(y)) &=a+|(x_1-y_1)+(x_2-y_2)|\\ &\le 2a+b\le 2(a+b)=2d_2(x,y). \end{aligned}

故题给的对角矩阵是 Lip 证书。

(ii) 此时

d~2(ϕ(x),ϕ(y))=∣(x1−y1)+(x2−y2)∣≤d1(x,y)+d~2(x,y),\widetilde d_2(\phi(x),\phi(y)) =|(x_1-y_1)+(x_2-y_2)| \le d_1(x,y)+\widetilde d_2(x,y),

而第一分量仍满足等式,故可取

M=(1011).\mathbf M=\begin{pmatrix}1&0\\1&1\end{pmatrix}.

对任意 Lip 证书 M\mathbf M,取 x=(1,0)x=(1,0)、y=(0,0)y=(0,0),第二分量的 Lip 不等式给出

1=d~2(ϕ(x),ϕ(y))≤M1→2⋅1+M2→2⋅0=M1→2.1=\widetilde d_2(\phi(x),\phi(y)) \le M_{1\to2}\cdot1+M_{2\to2}\cdot0=M_{1\to2}.

因此 M1→2≥1M_{1\to2}\ge1。□\square

两问保持映射 ϕ(s,t)=(s,s+t)\phi(s,t)=(s,s+t) 不变,改变的是规范结构。第一组规范的 d2d_2 已经记录第一坐标的差异,因此允许 L1→2=0L_{1\to2}=0;改用只记录第二坐标差异的 d~2\widetilde d_2 后,任何 Lip 证书都必须满足 M1→2≥1M_{1\to2}\ge1。映射的坐标依赖没有改变,但规范读取的差异改变了,上界中所需的分量项也随之改变。因此,解释 Lip 证书的零项时,必须结合所选的规范结构。

习题 2.2 的解答:

由 Lip 矩阵定义与 Lk→j=0L_{k\to j}=0(k≠jk\neq j):

dj(ϕ(x),ϕ(y))≤Lj→j⋅dj(x,y).d_j(\phi(x), \phi(y)) \leq L_{j \to j} \cdot d_j(x, y).

由 co-Lip 矩阵定义及各项非负,

Kj→jdj(x,y)≤∑k∈IKk→jdk(x,y)≤dj(ϕ(x),ϕ(y)).K_{j\to j}d_j(x,y)\le\sum_{k\in I}K_{k\to j}d_k(x,y)\le d_j(\phi(x),\phi(y)).

合并即得。□\square

若上述对角输入项条件对所有 j∈Ij \in I 均成立,则得到逐分量的标量双侧不等式。若进一步要求 Lj→j,Kj→j<+∞L_{j \to j}, K_{j \to j} < +\infty,则得到有限标量双侧放缩界。

算子局部退化

习题 3.1 的解答:

(i) 由

ϕ(0)=−1,ϕ(1)=1,\phi(0)=-1,\qquad \phi(1)=1,

得到 ϕ(U)={−1,1}\phi(U)=\{-1,1\}。这两个输出虽不相等,却满足

di(−1,1)=∣∣−1∣−∣1∣∣=0.d_i(-1,1)=\bigl||-1|-|1|\bigr|=0.

结合自距为零,得到

Fib⁡ϕ,i(ϕ(0)∣U)=U,\operatorname{Fib}_{\phi,i}(\phi(0)\mid U)=U,

且 i∈Iconst(ϕ∣U)i\in I_{\mathrm{const}}(\phi\mid U)。

再次作用后,ϕ2(x)=4x−3\phi^2(x)=4x-3,从而

ϕ2(0)=−3,ϕ2(1)=1,di(−3,1)=2>0.\phi^2(0)=-3,\qquad \phi^2(1)=1,\qquad d_i(-3,1)=2>0.

因此

Fib⁡ϕ2,i(ϕ2(0)∣U)={0},\operatorname{Fib}_{\phi^2,i}(\phi^2(0)\mid U)=\{0\},

且 ii 不属于 ϕ2∣U\phi^2\mid U 的常值分量。又有

di(ϕ2(0),0)=di(−3,0)=3>0,d_i(\phi^2(0),0)=d_i(-3,0)=3>0,

故 ii 也不属于恒等分量。因此 i∈Iact(ϕ2∣U)i\in I_{\mathrm{act}}(\phi^2\mid U)。

(ii) 不能。设替换后的算子为 ϕ~\widetilde\phi,且存在 c∈Rc\in\mathbb R,使得对所有 x∈Ux\in U 均有 ϕ~(x)=c\widetilde\phi(x)=c。则

ϕ~2(x)=ϕ~(c)(x∈U).\widetilde\phi^2(x)=\widetilde\phi(c)\qquad(x\in U).

若 ϕ~(c)≠⊥\widetilde\phi(c)\ne\bot,则自复合输出仍是同一个点,0,10,1 仍落入同一计算纤维,ii 仍属于常值分量。若 ϕ~(c)=⊥\widetilde\phi(c)=\bot,则 U∩dom⁡(ϕ~2)=∅U\cap\operatorname{dom}(\widetilde\phi^2)=\varnothing,此时不能在 UU 上按本章定义讨论计算纤维,也不构成纤维分离。□\square

第一问中的中间输出 −1-1 与 11 是不同的点,只是在所选伪度量下距离为零;再次作用的 ϕ\phi 没有保持这对点的零距关系。落入同一计算纤维只表示当前输出在所选规范下零距,并不等同于输出点相同。

习题 3.2 的解答:

(i) 反设存在 x∈Ux\in U,使得

0<di(x,y)<rϕ,i,jN(y∣U).0<d_i(x,y)<r^{\mathrm N}_{\phi,i,j}(y\mid U).

由零化半径的上确界定义,存在有限正半径 ρ>di(x,y)\rho>d_i(x,y),使得

Bi(y,ρ)∩U⊆Fib⁡ϕ,j(ϕ(y)∣U).B_i(y,\rho)\cap U\subseteq\operatorname{Fib}_{\phi,j}(\phi(y)\mid U).

于是 x∈Bi(y,ρ)∩Ux\in B_i(y,\rho)\cap U,故 dj(ϕ(x),ϕ(y))=0d_j(\phi(x),\phi(y))=0。另一方面,由 co-Lip 下界(§ 2.1)及各项非负,

0=dj(ϕ(x),ϕ(y))≥∑k∈IKk→jdk(x,y)≥Ki→jdi(x,y)>0,0=d_j(\phi(x),\phi(y)) \geq\sum_{k\in I}K_{k\to j}d_k(x,y) \geq K_{i\to j}d_i(x,y) >0,

矛盾。因此 di(x,y)d_i(x,y) 或为 00,或不小于 rϕ,i,jN(y∣U)r^{\mathrm N}_{\phi,i,j}(y\mid U)。

(ii) 任取 x,y∈Ux,y\in U。由下确界定义,

0<r‾ϕ,i,jN∣U≤rϕ,i,jN(y∣U).0<\underline{r}^{\mathrm N}_{\phi,i,j}\big|_U\leq r^{\mathrm N}_{\phi,i,j}(y\mid U).

若 di(x,y)≠0d_i(x,y)\ne0,则由 (i) 得到

di(x,y)≥rϕ,i,jN(y∣U)≥r‾ϕ,i,jN∣U.d_i(x,y)\geq r^{\mathrm N}_{\phi,i,j}(y\mid U)\geq\underline{r}^{\mathrm N}_{\phi,i,j}\big|_U.

这就给出所述统一距离间隙。□\square

习题 3.3 的解答:

(i) did_i 的零距关系由绝对值相等确定。恒等算子在 UU 上的计算纤维分划为

{{−3},{−2,2},{0}}.\bigl\{\{-3\},\{-2,2\},\{0\}\bigr\}.

由

ϕ(−3)=−2,ϕ(−2)=−1,ϕ(0)=1,ϕ(2)=3,\phi(-3)=-2,\qquad \phi(-2)=-1,\qquad \phi(0)=1,\qquad \phi(2)=3,

得到 ϕ\phi 在 UU 上的计算纤维分划为

{{−3},{−2,0},{2}}.\bigl\{\{-3\},\{-2,0\},\{2\}\bigr\}.

两种分划均有三个类,但

di(−2,0)=2,di(ϕ(−2),ϕ(0))=0,d_i(-2,0)=2,\qquad d_i(\phi(-2),\phi(0))=0, di(−2,2)=0,di(ϕ(−2),ϕ(2))=2.d_i(-2,2)=0,\qquad d_i(\phi(-2),\phi(2))=2.

因此,原本分开的 −2,0-2,0 被归入同一纤维,原本零距的 −2,2-2,2 则落入不同纤维,两种分划互不细化。

(ii) 在输入端,00 到 UU 中其余点的距离至少为 22,故任何半径 32\tfrac32 的内覆盖都必须以 00 为一个中心,且至少还需一个中心。取中心 0,−20,-2 即可覆盖 UU,所以

Ni(32,U)=2.\mathcal N_i(\tfrac32,U)=2.

输出端为 ϕ(U)={−2,−1,1,3}\phi(U)=\{-2,-1,1,3\}。这些点到中心 −2-2 的距离分别为 0,1,1,10,1,1,1,故

Ni(32,ϕ(U))=1.\mathcal N_i(\tfrac32,\phi(U))=1.

于是

ΔE32,i(ϕ∣U)=log⁡22−log⁡21=1.\Delta E_{\frac32,i}(\phi\mid U)=\log_2 2-\log_2 1=1.

输入与输出的覆盖熵分别为 11 和 00。与此同时,一对点由零距变成正距,另一对点由正距变成零距;输出覆盖熵为零也没有使三个计算纤维合为一个。□\square

本题中的平移没有保持所选伪度量。映射熵差比较的是指定规范与精度下的覆盖数,其符号不能单独判定计算纤维分划的粗细,也不能概括所有点对距离的变化。

习题 3.4 的解答:

(i) 计算结果如下:

局部输入域 DDdiam⁡d(D)\operatorname{diam}_d(D)r‾f,d,dN∣D\underline{r}^{\mathrm N}_{f,d,d}\big\vert_D阈值组合
[0,12][0,\tfrac12]12\tfrac12+∞+\infty(1,1)(1,1)
[910,1110][\tfrac9{10},\tfrac{11}{10}]15\tfrac1500(1,0)(1,0)
{0,2}\{0,2\}2222(0,1)(0,1)
[0,2][0,2]2200(0,0)(0,0)

三个闭区间的直径均为两端点之差,二点集 {0,2}\{0,2\} 的直径为 22。

第一行中 ff 恒取 00,故全部有限正半径都有效。第二、四行都包含 11 及任意接近 11 的左侧点;对任意有限正数 rr,取 0<δ<min⁡{r,1/10}0<\delta<\min\{r,1/10\},则 1−δ1-\delta 与 11 的输入距离小于 rr,输出分别为 00 与 11。所以基点 11 处没有有效的正零化半径,统一零化半径为 00。第三行中,半径不超过 22 的开球只含相应基点,而半径大于 22 的开球包含输出不同的另一点,故统一零化半径恰为 22。

(ii) 不成立。取 D={0,2}D=\{0,2\},由 (i) 有

r‾f,d,dN∣D=2≥1,d(f(0),f(2))=2>0.\underline{r}^{\mathrm N}_{f,d,d}\big\vert_D=2\geq1, \qquad d(f(0),f(2))=2>0.

这里的正零化半径来自输入域中的距离间隙:半径不超过 22 的开球在 DD 中只含相应基点,并不要求两个不同输入的输出零距。同一算子在四个输入域上得到不同的阈值组合,说明这些读出必须连同所用输入域一起考察。□\square

习题 3.5 的解答:

(i) 不同点的距离至少为 11,所以 0<ε≤10<\varepsilon\le1 时每个开球只能覆盖一个点,需要四个中心。

当 1<ε≤21<\varepsilon\le2 时,中心集 {0,2}\{0,2\} 可以覆盖 UU。另一方面,任何内部中心到某个端点的距离至少为 22,一个半径不超过 22 的开球不能覆盖整个 UU,因此至少需要两个中心。

当 ε>2\varepsilon>2 时,以 11 为中心即可覆盖 UU。故

N(ε,U)={4,0<ε≤1,2,1<ε≤2,1,ε>2.\mathcal N(\varepsilon,U)= \begin{cases} 4,&0<\varepsilon\le1,\\ 2,&1<\varepsilon\le2,\\ 1,&\varepsilon>2. \end{cases}

两个临界点的归属来自开球的严格不等式。虽然半径 7/47/4、中心 3/23/2 的开球包含 UU,但 3/2∉U3/2\notin U,不满足内覆盖的中心条件。

(ii) 两个像集均为 UU。因此对任意有限正精度,

N(ε,f(U))=N(ε,g(U))=N(ε,U),ΔEε(f∣U)=ΔEε(g∣U)=0.\mathcal N(\varepsilon,f(U))=\mathcal N(\varepsilon,g(U))=\mathcal N(\varepsilon,U), \qquad \Delta E_\varepsilon(f\mid U)=\Delta E_\varepsilon(g\mid U)=0.

(iii) ff 保持距离,故最小 Lip 常数为 11。对 gg,不同输入的距离至少为 11,输出距离至多为 33,所以 33 是合法 Lip 常数;输入对 0,10,1 给出距离比 33,故最小常数恰为 33。

在 ε=7/4\varepsilon=7/4 时,Lip 覆盖传递分别给出

N(7/4,f(U))≤N(7/4,U)=2,N(7/4,g(U))≤N(7/12,U)=4.\mathcal N(7/4,f(U))\le\mathcal N(7/4,U)=2, \qquad \mathcal N(7/4,g(U))\le\mathcal N(7/12,U)=4.

真实的两个像集覆盖数都为 22。前一个估计达到真实值,后一个估计并不紧。两个算子的像集及全部尺度的覆盖数完全一致,但输入与输出的对应不同,最小 Lip 常数也不同。因此,像集覆盖数描述输出集合在指定精度下需要多少中心,并不记录输出随输入顺序的往复变化。□\square

算子链演算

习题 4.1 的解答:

(i) 两个输出分量的距离均为

∣(x1−y1)+(x2−y2)∣≤d1(x,y)+d2(x,y),|(x_1-y_1)+(x_2-y_2)|\le d_1(x,y)+d_2(x,y),

故

L=(1111)\mathbf L=\begin{pmatrix}1&1\\1&1\end{pmatrix}

是合法 Lip 矩阵。分别取 x=(1,0),y=(0,0)x=(1,0),y=(0,0) 与 x=(0,1),y=(0,0)x=(0,1),y=(0,0),可知任意合法 Lip 矩阵的每个条目都至少为 11。因此 L\mathbf L 是逐条目最小的证书。

L\mathbf L 的特征多项式为 λ(λ−2)\lambda(\lambda-2),且 L2=2L\mathbf L^2=2\mathbf L,所以

ρ(L)=2,Ln=2n−1L(n≥1).\rho(\mathbf L)=2,\qquad \mathbf L^n=2^{n-1}\mathbf L\quad(n\ge1).

另一方面,

ϕ2(s,t)=ϕ(s+t,−s−t)=(0,0),\phi^2(s,t)=\phi(s+t,-s-t)=(0,0),

故 ϕn(s,t)=(0,0)\phi^n(s,t)=(0,0) 对所有 n≥2n\ge2 成立;吸收元始终映为自身。

固定证书的矩阵幂逐条目增长,实际算子却在两步后将实数部分映为同一点。原因在于第一步的像落在直线 t=−st=-s 上,第二步在该像域上恒为零。因此,若逐步限制到真实像域,第二步即可选取零矩阵作为 Lip 证书;反复使用全域的 L\mathbf L 没有利用这一信息。

(ii) 当 x≠yx\ne y 时,

∣ψ(x)−ψ(y)∣∣x−y∣=1+x2+xy+y2≥1.\frac{|\psi(x)-\psi(y)|}{|x-y|}=1+x^2+xy+y^2\ge1.

因而单分量矩阵 K=(1)\mathbf K=(1) 合法。取 x=t≠0,y=0x=t\ne0,y=0,该比值为 1+t21+t^2,随 t→0t\to0 趋于 11,所以任何合法单分量 co-Lip 证书都不超过 11。故最大证书为 K=(1)\mathbf K=(1),且 ρ(K)=1\rho(\mathbf K)=1。

固定 x≠yx\ne y,记

xn=ψn(x),yn=ψn(y),δn=∣xn−yn∣.x_n=\psi^n(x),\qquad y_n=\psi^n(y),\qquad \delta_n=|x_n-y_n|.

由

xn2+xnyn+yn2=14(xn−yn)2+34(xn+yn)2≥14δn2,x_n^2+x_ny_n+y_n^2 =\frac14(x_n-y_n)^2+\frac34(x_n+y_n)^2 \ge\frac14\delta_n^2,

得到

δn+1≥(1+δn24)δn≥δn.\delta_{n+1}\ge\left(1+\frac{\delta_n^2}{4}\right)\delta_n\ge\delta_n.

于是 δn≥δ0>0\delta_n\ge\delta_0>0,进一步归纳得

δn≥δ0(1+δ024)n⟶+∞.\delta_n\ge\delta_0\left(1+\frac{\delta_0^2}{4}\right)^n\longrightarrow+\infty.

因此,每对不同点的迭代距离都趋于无穷,尽管全域上不存在谱半径大于 11 的单分量 co-Lip 证书。这里,每个固定点对都有自己的大于 11 的增长率,但这些增长率在初始距离趋于零时可以任意接近 11。□\square

两问分别使用了最小的 Lip 证书和最大的 co-Lip 证书,差距并非来自任意放松证书。谱条件给出充分保证(参见 命题 4.5);这些条件不满足时,仍需考察实际像域、具体点对或多步作用,不能据此反推相反的迭代行为。

习题 4.2 的解答:

记 c0=id⁡Xc_0=\operatorname{id}_{\mathcal X},cm=ϕm∘⋯∘ϕ1c_m=\phi_m\circ\cdots\circ\phi_1。当 m=1m=1 时,c0=id⁡Xc_0=\operatorname{id}_{\mathcal X} 且 ∏←r=10L(r)=I\overleftarrow{\prod}_{r=1}^{0}\mathbf L^{(r)}=\mathbf I,故下式成为等式。每进一步,把已得分量上界代入下一步的 Lip 不等式;矩阵条目非负,故保持不等号方向。对步数归纳,得到对任意 m≥1m\ge1,

di∗(cm−1(x),cm−1(x′))≤∑i∈I[∏←r=1m−1L(r)]i→i∗di(x,x′).d_{i^*}(c_{m-1}(x),c_{m-1}(x')) \le \sum_{i\in I}\left[\overleftarrow{\prod}_{r=1}^{m-1}\mathbf L^{(r)}\right]_{i\to i^*}d_i(x,x').

右侧趋于 00,故存在 M≥m0M\ge m_0,使得对所有 m≥Mm\ge M,

di∗(cm−1(x),cm−1(x′))<r0N.d_{i^*}(c_{m-1}(x),c_{m-1}(x'))<r^{\mathrm N}_0.

此时 cm−1(x),cm−1(x′)∈Umc_{m-1}(x),c_{m-1}(x')\in U_m,且

di∗(cm−1(x),cm−1(x′))<r0N≤rϕm,i∗,j∗N(cm−1(x)∣Um).d_{i^*}(c_{m-1}(x),c_{m-1}(x')) < r^{\mathrm N}_0 \le r^{\mathrm N}_{\phi_m,i^*,j^*}(c_{m-1}(x)\mid U_m).

由零化半径定义(§ 3.3),第 mm 步在输出分量 j∗j^* 上将该点对归零,即 dj∗(cm(x),cm(x′))=0d_{j^*}(c_m(x),c_m(x'))=0。□\square

把 xx 与 x′x' 看作初始状态及其扰动状态,本题说明:在所给条件下,初始扰动沿链传播后,从某一步起在指定输出伪度量下变得不可分辨。

习题 4.3 的解答:

(i) 初始熵有限。对 1≤m≤r1\le m\le r,假设第 mm 个熵有限,记其值为 eme_m。若后继熵为 +∞+\infty,则

ΔEε,i(ϕm∣Um)=em−(+∞)=−∞,\Delta E_{\varepsilon,i}(\phi_m\mid U_m) =e_m-(+\infty)=-\infty,

与熵差下界 δ>0\delta>0 矛盾。因此后继熵也有限;又因 Um+1U_{m+1} 非空,其熵非负。记其值为 em+1e_{m+1},便可在实数中计算

em−em+1=ΔEε,i(ϕm∣Um)≥δ,em+1≤em−δ.e_m-e_{m+1}=\Delta E_{\varepsilon,i}(\phi_m\mid U_m)\ge\delta, \qquad e_{m+1}\le e_m-\delta.

归纳即得 U1,…,Ur+1U_1,\ldots,U_{r+1} 上的熵均为有限非负实数,并满足所述递推不等式。

(ii) 若 k∗=0k^*=0,由 e1/δ≥0e_1/\delta\ge0 及 ⌈e1/δ⌉=0\lceil e_1/\delta\rceil=0 得 e1=0e_1=0,取 m=1m=1 即可。以下设 k∗≥1k^*\ge1。

若 U1,…,Uk∗U_1,\ldots,U_{k^*} 中已有一个集合的熵为零,结论成立。否则这些熵均为正,由 (i)(取 r=k∗≤kr=k^*\le k)可将前缀熵写成有限非负实数 e1,…,ek∗+1e_1,\ldots,e_{k^*+1}。逐步应用递推不等式,得到

0≤ek∗+1≤e1−k∗δ≤0,0\le e_{k^*+1}\le e_1-k^*\delta\le0,

其中最后一步由 k∗=⌈e1/δ⌉k^*=\lceil e_1/\delta\rceil 得出。因此 Eε,i(Uk∗+1)=0E_{\varepsilon,i}(U_{k^*+1})=0,取 m=k∗+1m=k^*+1 即得结论。□\square

算子网络

习题 5.1 的解答:

局域算子的定义域与像均为 N0\mathbb N_0,故自环转移域 N>0\mathbb N_{>0} 满足源像与目标域条件,终止域为 {0}\{0\}。对输入 n≥1n\ge1,唯一终止轨迹为

(β,n)⇝(β,n−1)⇝⋯⇝(β,1),(\beta,n)\leadsto(\beta,n-1)\leadsto\cdots\leadsto(\beta,1),

其终止输出为 fβ(1)=0f_\beta(1)=0,长度恰为 nn。这里正常点 00 与吸收元 ⊥\bot 不同。

(i) 入口与各步后继唯一,每个输入都在有限步后终止,且唯一节点被经过。但对任意候选统一长度界 NN,输入 N+1N+1 的轨迹长度为 N+1N+1。因此不存在统一有限长度界,这些数据不构成本章的有限算子网络。

(ii) 当入口片为 UmU_m 时,每个输入 nn 的轨迹长度为 n≤mn\le m;节点 β\beta 被输入 11 的轨迹经过。因此,入口分划、出边互斥、统一有限终止与无冗余节点四条条件全部成立。外延算子为

ϕNm(x)={0,x∈{1,…,m},⊥,x∉{1,…,m}.\phi_{\mathcal N_m}(x) = \begin{cases} 0,&x\in\{1,\ldots,m\},\\ \bot,&x\notin\{1,\ldots,m\}. \end{cases}

输入 mm 的轨迹长度为 mm,故 Depth⁡(Nm)=m\operatorname{Depth}(\mathcal N_m)=m。全部可达路径为由 kk 个 β\beta 组成的序列 pk=(β,…,β)p_k=(\beta,\ldots,\beta),其中 1≤k≤m1\le k\le m,且

Upk={k}.U_{p_k}=\{k\}.

其他节点序列的路径域为空。□\square

习题 5.2 的解答:

取 X={⊥,a,b,c}\mathcal X=\{\bot,a,b,c\},四点互异,正常点间可取离散距离。取两个节点 α,β\alpha,\beta,局域算子为

fα=idX∣{a,c},fβ=idX∣{b,c}.f_\alpha=\mathrm{id}_{\mathcal X}|_{\{a,c\}}, \qquad f_\beta=\mathrm{id}_{\mathcal X}|_{\{b,c\}}.

入口片为 Uαin={a}U_\alpha^{\mathrm{in}}=\{a\}、Uβin={b}U_\beta^{\mathrm{in}}=\{b\},两条边及其转移域为

α→β,Dα→β={c},β→α,Dβ→α={c}.\alpha\to\beta,\quad D_{\alpha\to\beta}=\{c\}, \qquad \beta\to\alpha,\quad D_{\beta\to\alpha}=\{c\}.

两条边域均非空,且均包含于相应的源像与目标定义域;每个节点只有一条出边。原终止域分别为 Tα={a}T_\alpha=\{a\}、Tβ={b}T_\beta=\{b\}。

输入 a,ba,b 分别在节点 α,β\alpha,\beta 一步终止,输出分别为 a,ba,b。因此网络深度为 11,两个节点均被经过,全部网络条件成立;但两条边都不被任何入口求值轨迹经过。原图具有闭路 α→β→α\alpha\to\beta\to\alpha。

节点实际输入域为

Uαeff={a},Uβeff={b}.U_\alpha^{\mathrm{eff}}=\{a\}, \qquad U_\beta^{\mathrm{eff}}=\{b\}.

有效约化保留两个节点及其入口片,将局域算子分别限制为 idX∣{a}\mathrm{id}_{\mathcal X}|_{\{a\}}、idX∣{b}\mathrm{id}_{\mathcal X}|_{\{b\}}。两条有效边域均为空,故不再记录边;有效终止域仍分别为 {a}\{a\}、{b}\{b\}。所得无边图无环。□\square

习题 5.3 的解答:

(i) 两条入口片非空且互不相交。节点 α\alpha 将 {−2,−1}\{-2,-1\} 映为 {1,2}\{1,2\},节点 β\beta 保持 {1,2}\{1,2\} 不变,因此两条边均满足转移域条件。节点 γ\gamma 无出边,两类输入均在经过两个节点后终止;三个节点都被实际经过。故这些数据构成有限算子网络,求值深度为 22。

全部可达路径及其路径域为

p−=(α,γ),Up−={−2,−1},p+=(β,γ),Up+={1,2}.p_-=(\alpha,\gamma),\quad U_{p_-}=\{-2,-1\}, \qquad p_+=(\beta,\gamma),\quad U_{p_+}=\{1,2\}.

两个路径链在正常点上都为 x↦x2x\mapsto x^2,故

ϕN(x)={x2,x∈{−2,−1,1,2},⊥,x∉{−2,−1,1,2}.\phi_{\mathcal N}(x) = \begin{cases} x^2,&x\in\{-2,-1,1,2\},\\ \bot,&x\notin\{-2,-1,1,2\}. \end{cases}

(ii) 这里 q=p−q=p_-、q′=p+q'=p_+ 本身就是完整路径,因而

U[q∗]={−2,−1},U[q′∗]={1,2},U[q\ast]=\{-2,-1\},\qquad U[q'\ast]=\{1,2\},

但

Dqin=Dq′in={1,2},Dqout=Dq′out={1,4}.D_q^{\mathrm{in}}=D_{q'}^{\mathrm{in}}=\{1,2\}, \qquad D_q^{\mathrm{out}}=D_{q'}^{\mathrm{out}}=\{1,4\}.

三个节点的实际输入域为

Uαeff={−2,−1},Uβeff=Uγeff={1,2}.U_\alpha^{\mathrm{eff}}=\{-2,-1\}, \qquad U_\beta^{\mathrm{eff}}=U_\gamma^{\mathrm{eff}}=\{1,2\}.

所以,初始输入片互不相交并不保证当前输入域互不相交:不同分支的前置作用可以把不同初始输入送到同一组当前点值。

(iii) 复制后仅有路径 (α,γ−)(\alpha,\gamma_-)、(β,γ+)(\beta,\gamma_+),路径域仍分别为 {−2,−1}\{-2,-1\}、{1,2}\{1,2\}。两条路径都长为 22,各步作用与原路径相同;四个节点均被经过,故复制后仍为有限算子网络。

令 ss 为正常点上 s(x)=x2s(x)=x^2、在 ⊥\bot 处取 ⊥\bot 的算子。两网的路径分段读出均为

{{−2,−1}:s, {1,2}:s},\{\{-2,-1\}:s,\ \{1,2\}:s\},

外延算子也相同。原网络的两条路径共享末节点 γ\gamma,复制后的两条路径使用不同末节点。标记表达的同构要求同一全局节点重命名保持标签共享关系;原网络有三个节点,复制后有四个节点,不存在这样的节点双射。因此两网不有效等价。□\square

习题 5.4 的解答:

两个节点的定义域均为 R\mathbb R,像分别为 {0}\{0\}、{1}\{1\}。两个非空入口片分划

U=(−1,0)∪(0,1).U=(-1,0)\cup(0,1).

由于没有边,每个输入在其入口节点一步终止,两个节点都被经过,故网络条件成立。仅有两条单节点路径,路径域分别为 (−1,0)(-1,0)、(0,1)(0,1),外延算子为

ϕN(x)={0,−1<x<0,1,0<x<1,⊥,x∉U.\phi_{\mathcal N}(x) = \begin{cases} 0,&-1<x<0,\\ 1,&0<x<1,\\ \bot,&x\notin U. \end{cases}

每条路径链在其路径域上为常值,故输出距离恒为零,可取 Lip 上界 00,也可取任意有限正上界。

若整个 UU 上存在有限 Lip 上界 L≥0L\ge0,则对每个整数 n≥2n\ge2,取 xn=−1/nx_n=-1/n、yn=1/ny_n=1/n,有

1=∣ϕN(xn)−ϕN(yn)∣≤L∣xn−yn∣=2Ln.1=|\phi_{\mathcal N}(x_n)-\phi_{\mathcal N}(y_n)| \le L|x_n-y_n|=\frac{2L}{n}.

选择整数 n>max⁡{2,2L}n>\max\{2,2L\} 即得矛盾。因此,路径内的有限 Lip 上界不足以控制跨路径点对。□\square

习题 5.5 的解答:

记 M=Neff\mathcal M=\mathcal N^{\mathrm{eff}}。有效约化保持每个初始输入的完整节点序列与各步当前点值,所以,按相同标签比较,有

Uβeff,M=Uβeff,N(β∈V).U_\beta^{\mathrm{eff},\mathcal M} =U_\beta^{\mathrm{eff},\mathcal N} \qquad(\beta\in V).

记右侧为 AβA_\beta。M\mathcal M 的局域算子为 fβ∣Aβf_\beta|_{A_\beta},其定义域正是 AβA_\beta;再次限制到实际输入域 AβA_\beta 不改变该算子。入口片在两次有效约化中均保持不变。

对 M\mathcal M 的任一边 β→γ\beta\to\gamma,记其边域为 Dβ→γMD^{\mathcal M}_{\beta\to\gamma}。由第一次有效约化的定义,

Dβ→γM=fβ(Aβ)∩Dβ→γN⊆fβ(Aβ).D^{\mathcal M}_{\beta\to\gamma} =f_\beta(A_\beta)\cap D^{\mathcal N}_{\beta\to\gamma} \subseteq f_\beta(A_\beta).

而 M\mathcal M 在节点 β\beta 的实际输出像仍为 fβ(Aβ)f_\beta(A_\beta),故第二次有效约化的边域为

fβ(Aβ)∩Dβ→γM=Dβ→γM.f_\beta(A_\beta)\cap D^{\mathcal M}_{\beta\to\gamma} =D^{\mathcal M}_{\beta\to\gamma}.

第一次约化中删除的空边不会重新出现,保留边的边域也不再改变。同理,由

TβM=fβ(Aβ)∩TβN⊆fβ(Aβ)T_\beta^{\mathcal M}=f_\beta(A_\beta)\cap T_\beta^{\mathcal N} \subseteq f_\beta(A_\beta)

可知终止域在第二次约化中保持不变。节点集、局域算子、入口片、边集与边域全部相同,所以 Meff=M\mathcal M^{\mathrm{eff}}=\mathcal M。□\square

习题 5.6 的解答:

(i) 由 命题 5.16 的证明,每步都有

M(Nj+1)+1≤M(Nj).M(\mathcal N_{j+1})+1\le M(\mathcal N_j).

相加得到 M(Nk)+k≤M(N0)M(\mathcal N_k)+k\le M(\mathcal N_0)。因 M(Nk)≥0M(\mathcal N_k)\ge0,即得步数界。

(ii) 记 Nm\mathcal N_m 为经历 mm 次加细后的网络。它由 m+1m+1 个 ee 节点串联,唯一入口片为 {a}\{a\};每个非末节点的唯一出边域为 {a}\{a\},末节点没有出边。输入 aa 逐个经过全部节点,点值始终为 aa,故轨迹长度恒为 m+1m+1,全部节点均实际发生,且

∣VNm∣=Depth⁡(Nm)=m+1,ϕNm=e.|V_{\mathcal N_m}|=\operatorname{Depth}(\mathcal N_m)=m+1, \qquad \phi_{\mathcal N_m}=e.

由于 e({a})={a}e(\{a\})=\{a\} 且 e∘e=ee\circ e=e,将任一节点替换为两个 ee 节点满足代数加细的定义,并使串联长度增加 11。同样的分解可以反复使用,所以得到无限合法加细序列。

(iii) (i) 只允许真节点域分划;(ii) 使用代数加细,单点域并未被分割。事实上后者各网络的 MM 都等于 00,不能作为严格下降量。若存在自然数值函数 μ\mu 对其每步严格下降,则对任意 mm 有

μ(Nm)+m≤μ(N0),\mu(\mathcal N_m)+m\le\mu(\mathcal N_0),

取 m=μ(N0)+1m=\mu(\mathcal N_0)+1 即矛盾。对局域算子秩,允许 e=e∘ee=e\circ e 将要求

2r(e)<r(e),2r(e)<r(e),

这对自然数 r(e)r(e) 不可能成立。可见固定网络的有限求值并不提供表示加细的终止证书。□\square

分离规范特化

习题 A.1 的解答:

(i) 设 x,y∈Ux,y\in U 且 ϕ(x)=ϕ(y)\phi(x)=\phi(y)。对每个 i∈Ii\in I,选取使 Ki→j>0K_{i\to j}>0 的 jj。由 co-Lip 不等式,

0≤Ki→jdi(x,y)≤∑a∈IKa→jda(x,y)≤dj(ϕ(x),ϕ(y))=0.0\le K_{i\to j}d_i(x,y) \le\sum_{a\in I}K_{a\to j}d_a(x,y) \le d_j(\phi(x),\phi(y))=0.

正的扩展非负系数与 di(x,y)d_i(x,y) 的乘积为零,故 di(x,y)=0d_i(x,y)=0。这对全部 ii 成立,族分离性给出 x=yx=y。正对角条件对应于每个 ii 都选取 j=ij=i,所以是本题条件的特例。

(ii) 坐标交换满足

d1(ϕ(x),ϕ(y))=d2(x,y),d2(ϕ(x),ϕ(y))=d1(x,y).d_1(\phi(x),\phi(y))=d_2(x,y),\qquad d_2(\phi(x),\phi(y))=d_1(x,y).

因此题设矩阵在各输出分量的 co-Lip 不等式中均取等号。每个输入分量均有一个系数为 11 的输出通道,故 (i) 适用,而该矩阵的两个对角条目均为零。

进一步,设 K′\mathbf K' 为任意合法 co-Lip 矩阵。将点对 (1,0),(0,0)(1,0),(0,0) 代入第一输出分量的不等式,得到 K1→1′≤0K'_{1\to1}\le0;将点对 (0,1),(0,0)(0,1),(0,0) 代入第二输出分量的不等式,得到 K2→2′≤0K'_{2\to2}\le0。各条目非负,故两个对角条目都为零。该算子单射,却不存在正对角 co-Lip 证书。

(iii) 若 x,y∈[0,1]x,y\in[0,1] 且 x2=y2x^2=y^2,则 (x−y)(x+y)=0(x-y)(x+y)=0。若 x+y=0x+y=0,由非负性得 x=y=0x=y=0;否则 x−y=0x-y=0。所以 ψ∣V\psi\big|_V 单射。

设 KK 为合法 co-Lip 常数。比较 11 与 00,得到 K≤1K\le1,从而 KK 有限。若 K>0K>0,取 t=K/2∈(0,1]t=K/2\in(0,1]。比较 tt 与 00,得到

Kt≤t2,从而K≤t=K/2,Kt\le t^2, \qquad\text{从而}\qquad K\le t=K/2,

矛盾。因此 K=0K=0;反之,K=0K=0 显然满足全部 co-Lip 不等式。单射性并不保证存在正的统一 co-Lip 下界,故 (i) 的正通道条件也不是必要条件。□\square

习题 A.2 的解答:

(i) 因 ff 为恒等映射、通常距离分离点,1/n1/n 的计算纤维是单点集 {1/n}\{1/n\}。其最近的不同点为 1/(n+1)1/(n+1),距离为

gn=1n−1n+1=1n(n+1).g_n=\frac1n-\frac1{n+1}=\frac1{n(n+1)}.

确实,若 m>nm>n,则 1/n−1/m≥gn1/n-1/m\ge g_n;若 m<nm<n,则 n≥2n\ge2,且

1m−1n≥1n−1−1n=1n(n−1)>gn.\frac1m-\frac1n\ge\frac1{n-1}-\frac1n =\frac1{n(n-1)}>g_n.

因此半径不超过 gng_n 的开球在 UU 内只有基点,而半径大于 gng_n 时包含 1/(n+1)1/(n+1)。故

rf,d,IN(1/n∣U)=gn>0,r‾f,d,IN∣U=inf⁡n≥1gn=0.r^{\mathrm N}_{f,d,I}(1/n\mid U)=g_n>0, \qquad \underline{r}^{\mathrm N}_{f,d,I}\big|_U =\inf_{n\ge1}g_n=0.

最后一个等号可由 0<gn≤1/n0<g_n\le1/n 得到。

对任意有限正数 rr,取正整数 NN 使 1/N<r1/N<r,并令

SN={1/k:1≤k≤N}⊆U.S_N=\{1/k:1\le k\le N\}\subseteq U.

前 NN 个点均为球心;对 n>Nn>N,有 ∣1/n−1/N∣<1/N<r|1/n-1/N|<1/N<r。因此 SNS_N 给出半径 rr 的有限内覆盖,NI(r,U)≤N\mathcal N_I(r,U)\le N。然而 f(U)=Uf(U)=U 是无限集。

(ii) 正整数中任意两不同点的距离至少为 11,且每个 nn 都有距离恰为 11 的邻点 n+1n+1。与 (i) 相同的开球论证给出

rf,d,IN(n∣V)=1(n∈V),r‾f,d,IN∣V=1.r^{\mathrm N}_{f,d,I}(n\mid V)=1\quad(n\in V), \qquad \underline{r}^{\mathrm N}_{f,d,I}\big|_V=1.

半径 11 的开球在 VV 内都是单点,有限多个这样的球不能覆盖 VV,所以 NI(1,V)=+∞\mathcal N_I(1,V)=+\infty。恒等映射的像 f(V)=Vf(V)=V 仍无限。

第一例有任意正尺度的有限覆盖和逐点正半径,却没有统一正半径;第二例有统一正半径,却没有同一半径下的有限覆盖。两者分别说明题述有限像结论的两个条件不能按题中方式削弱或删去。□\square

习题 A.3 的解答:

(i) 先设统一零化半径为 +∞+\infty。它是各基点零化半径的下确界,故每个 y∈Uy\in U 均有 rf,dI,IN(y∣U)=+∞r^{\mathrm N}_{f,d_I,I}(y\mid U)=+\infty。任取 x,y∈Ux,y\in U 且 dI(x,y)<+∞d_I(x,y)<+\infty,由半径的上确界定义,存在合法的有限正半径 r>dI(x,y)r>d_I(x,y)。于是 x∈BI(y,r)∩Ux\in B_I(y,r)\cap U,故

di(f(x),f(y))=0(∀i∈I).d_i(f(x),f(y))=0\qquad(\forall i\in I).

族分离性给出 f(x)=f(y)f(x)=f(y)。

反之,设所有有限 dId_I 距离的点对都被映到同一点。任取 y∈Uy\in U 与有限正数 rr。对每个 x∈BI(y,r)∩Ux\in B_I(y,r)\cap U,有 dI(x,y)<r<+∞d_I(x,y)<r<+\infty,故 f(x)=f(y)f(x)=f(y)。因此每个有限正半径都合法,rf,dI,IN(y∣U)=+∞r^{\mathrm N}_{f,d_I,I}(y\mid U)=+\infty;再对 y∈Uy\in U 取下确界即得统一半径为 +∞+\infty。

若所有点对距离有限,上述等价便给出任意 x,y∈Ux,y\in U 都有 f(x)=f(y)f(x)=f(y)。固定非空集 UU 中的一点即可得到 f∣Uf\big|_U 常值。证明只需逐对距离有限,不需要为全部点对距离选取共同的有限上界,因而无须直径有限。

(ii) 题设距离对称、自距为零,并满足三角不等式:若两端点不同,任意中间点至少与其中一端不同,所以右侧至少有一项为 +∞+\infty。不同点距离为 +∞>0+\infty>0,故族分离性与吸收元隔离均成立。

任意有限半径的球都只有球心,因此恒等算子在每个这样的球与 UU 的交上为常值。每个基点的零化半径以及统一零化半径均为 +∞+\infty,但 f(a)=a≠b=f(b)f(a)=a\ne b=f(b)。这不违反 (i):点对 (a,b)(a,b) 的距离为 +∞+\infty,不在其中的有限距离条件内。□\square

有限维实坐标模型

本节的实矩阵运算沿用 § B.2 中的有限条目识别约定。

习题 B.1 的解答:

由欧氏范数的坐标表达,

dEuc(x,y)2=∑i=1n∣xi−yi∣2=∑i∈supp⁡(x−y)di(x,y)2.d_{\mathrm{Euc}}(x,y)^2 =\sum_{i=1}^n|x_i-y_i|^2 =\sum_{i\in\operatorname{supp}(x-y)}d_i(x,y)^2.

和式包含 ∣supp⁡(x−y)∣|\operatorname{supp}(x-y)| 个非零项,每项不超过 dI(x,y)2d_I(x,y)^2,故取平方根得到第二式。□\square

习题 B.2 的解答:

(i) 非负矩阵的 ℓ1\ell^1 诱导范数等于最大列和,因此

∥L∥1→1=max⁡i∈I∑j∈ILi→j≤cLmax⁡.\|\mathbf L\|_{1\to1} =\max_{i\in I}\sum_{j\in I}L_{i\to j} \le cL_{\max}.

对任意 u∈Rnu\in\mathbb R^n,逐行使用 Cauchy-Schwarz 不等式,得到

∥Lu∥22=∑j∈I(∑i∈ILi→jui)2≤∑j∈I(∑i∈I(Li→j)2)∥u∥22≤mLmax⁡2∥u∥22.\begin{aligned} \|\mathbf L u\|_2^2 &=\sum_{j\in I}\left(\sum_{i\in I}L_{i\to j}u_i\right)^2\\ &\le\sum_{j\in I}\left(\sum_{i\in I}(L_{i\to j})^2\right)\|u\|_2^2\\ &\le mL_{\max}^2\|u\|_2^2. \end{aligned}

最后一步利用平方和至多有 mm 个非零项,每项不超过 Lmax⁡2L_{\max}^2。取平方根,再对单位向量取上确界,便得欧氏算子范数界;这一论证也包括 m=0m=0 的零矩阵情形。

(ii) 由 命题 B.6,

dEuc(ϕ(x),ϕ(y))≤∥L∥2→2dEuc(x,y).d_{\mathrm{Euc}}(\phi(x),\phi(y)) \le\|\mathbf L\|_{2\to2}d_{\mathrm{Euc}}(x,y).

代入 (i) 的欧氏算子范数界即可。□\square

习题 B.3 的解答:

非零条目恰为 (Bn)1→j(B_n)_{1\to j}(j∈Ij\in I),所以共有 nn 个,占 n2n^2 个位置的比例为 n/n2=1/nn/n^2=1/n。每行的和均为 11,故 ∥Bn∥∞→∞=1\|\mathbf B_n\|_{\infty\to\infty}=1。

对任意 u∈Rnu\in\mathbb R^n,有 Bnu=(u1,…,u1)\mathbf B_nu=(u_1,\ldots,u_1),从而

∥Bnu∥2=n ∣u1∣≤n ∥u∥2.\|\mathbf B_nu\|_2=\sqrt n\,|u_1|\le\sqrt n\,\|u\|_2.

取 u=e1u=e_1 时 ∥u∥2=1\|u\|_2=1 且上式取等号,故 ∥Bn∥2→2=n\|\mathbf B_n\|_{2\to2}=\sqrt n。当 n→∞n\to\infty 时,非零比例趋于零,欧氏算子范数却趋于无穷。

这里每个输出分量只接收同一个输入分量,最大分量放大始终为 11;欧氏范数则累加了 nn 个输出分量的平方。推论 B.7 控制的是最大范数,因此与本例一致。□\square

习题 B.4 的解答:

(i) 当 x−y∈Vax-y\in V_a 时,对 c≠ac\ne a 有 Pc(x−y)=0P_c(x-y)=0,而 Pa(x−y)=x−yP_a(x-y)=x-y。将此代入 命题 B.9 的不等式,得到

∥Pb(F(x)−F(y))∥2≤La→bV∥x−y∥2.\|P_b(F(x)-F(y))\|_2 \le L^V_{a\to b}\|x-y\|_2.

若 La→bV=0L^V_{a\to b}=0,则左端为零,故 PbF(x)=PbF(y)P_bF(x)=P_bF(y)。

(ii) 若所有 b≠ab\ne a 均满足 La→bV=0L^V_{a\to b}=0,则由 (i) 和正交直和分解,

F(x)−F(y)=∑b∈HPb(F(x)−F(y))=Pa(F(x)−F(y))∈Va.F(x)-F(y) =\sum_{b\in H}P_b(F(x)-F(y)) =P_a(F(x)-F(y))\in V_a.

这就得到第二部分。□\square

习题 B.5 的解答:

按上述约定,将有限 Lip 矩阵不等式读作实数不等式,得到

dj(ϕ(x),ϕ(y))≤∑i∈ILi→jdi(x,y).d_j(\phi(x),\phi(y)) \le \sum_{i\in I}L_{i\to j}d_i(x,y).

当 i∉supp⁡j(L)i\notin \operatorname{supp}_j(\mathbf L) 或 i∉supp⁡(x−y)i\notin\operatorname{supp}(x-y) 时,对应项为零。其余每一项不超过 Lmax⁡dI(x,y)L_{\max}d_I(x,y),故第一式成立。再对 jj 取最大值得第二式。□\square

习题 B.6 的解答:

(i) 若 FjF_j 在 UU 上为常值,则其梯度处处为零。反之,设 ∇Fj\nabla F_j 在 UU 上处处为零,并固定 x0∈Ux_0\in U。对任意 x∈Ux\in U,凸性保证线段 x0+t(x−x0)x_0+t(x-x_0)(0≤t≤10\le t\le1)包含于 UU。由连续可微性与微积分基本定理,

Fj(x)−Fj(x0)=∫01⟨∇Fj(x0+t(x−x0)),x−x0⟩ dt=0.F_j(x)-F_j(x_0) = \int_0^1 \langle\nabla F_j(x_0+t(x-x_0)),x-x_0\rangle\,dt =0.

故 FjF_j 在 UU 上恒等于 Fj(x0)F_j(x_0)。在坐标规范下,输出的第 jj 分量零距等价于对应坐标相等;因此上述常值条件也恰好等价于 j∈Iconst(ϕF∣U)j\in I_{\mathrm{const}}(\phi_F\mid U)。

(ii) 令 Gj(x)=Fj(x)−xjG_j(x)=F_j(x)-x_j,则

∇Gj(x)=∇Fj(x)−ej.\nabla G_j(x)=\nabla F_j(x)-e_j.

若 Fj(x)=xjF_j(x)=x_j 对所有 x∈Ux\in U 成立,则 GjG_j 恒为零,因而 ∇Fj=ej\nabla F_j=e_j,且 Fj(x0)=(x0)jF_j(x_0)=(x_0)_j。反之,梯度条件与 (i) 的论证给出 GjG_j 在 UU 上为常值;基点条件给出 Gj(x0)=0G_j(x_0)=0,故 GjG_j 处处为零,即 Fj(x)=xjF_j(x)=x_j。

最后核对恒等分量定义中的常值排除条件。由于 UU 开且 x0∈Ux_0\in U,存在 δ>0\delta>0 使 x0+δej∈Ux_0+\delta e_j\in U。这两点的第 jj 坐标相差 δ\delta,所以坐标函数 x↦xjx\mapsto x_j 在 UU 上不是常值。于是 Fj(x)=xjF_j(x)=x_j 同时给出逐点的第 jj 分量零距和非常值性,恰好等价于 j∈Iid(ϕF∣U)j\in I_{\mathrm{id}}(\phi_F\mid U)。□\square

习题 B.7 的解答:

由 F(s,t)=F(y1,y2)F(s,t)=F(y_1,y_2) 当且仅当 s=y1s=y_1,得到

F−1(F(y))={(y1,t):t∈R}.F^{-1}(F(y))=\{(y_1,t):t\in\mathbb R\}.

线性部分 T=diag⁡(1,0)≠0T=\operatorname{diag}(1,0)\ne0,由 命题 B.14 的 (ii),

rϕF,dI,IN(y∣R2)=0.r^{\mathrm N}_{\phi_F,d_I,I}(y\mid\mathbb R^2)=0.

纤维允许第二个坐标任意变化,却要求第一个坐标固定。任意 r>0r>0 的全族输入球中都包含点 x=(y1+r/2,y2)x=(y_1+r/2,y_2),它满足 ∥x−y∥∞=r/2<r\|x-y\|_\infty=r/2<r,但 F(x)≠F(y)F(x)\ne F(y)。因此该直线不包含任何以 yy 为中心的全族输入小球。□\square

习题 B.8 的解答:

(i) 当 k=1k=1 时,待证式就是题设递推,余项前的空矩阵乘积为恒等矩阵。设结论已对前 k−1k-1 步成立。由于 M(k)\mathbf M^{(k)} 逐条目非负,左乘该矩阵保持逐分量不等式,故

e(k)≤M(k)e(k−1)+r(k)≤M(k)⋯M(1)e(0)+∑m=1k−1M(k)⋯M(m+1)r(m)+r(k)=M(k)⋯M(1)e(0)+∑m=1kM(k)⋯M(m+1)r(m).\begin{aligned} e^{(k)} &\le \mathbf M^{(k)}e^{(k-1)}+r^{(k)}\\ &\le \mathbf M^{(k)}\cdots\mathbf M^{(1)}e^{(0)} +\sum_{m=1}^{k-1} \mathbf M^{(k)}\cdots\mathbf M^{(m+1)}r^{(m)} +r^{(k)}\\ &= \mathbf M^{(k)}\cdots\mathbf M^{(1)}e^{(0)} +\sum_{m=1}^{k} \mathbf M^{(k)}\cdots\mathbf M^{(m+1)}r^{(m)}. \end{aligned}

最后一步把 r(k)r^{(k)} 写成恒等矩阵作用于该向量。归纳即得结论;整个论证没有要求初始向量 e(0)e^{(0)} 为零。

(ii) (i) 两侧均逐分量非负,故可对逐分量不等式取 ℓ∞\ell^\infty 范数。再使用三角不等式、矩阵算子范数界及其次乘性,得到

∥e(k)∥∞≤(∏t=1kαt)∥e(0)∥∞+∑m=1k(∏t=m+1kαt)∥r(m)∥∞.\|e^{(k)}\|_\infty \le \left(\prod_{t=1}^k\alpha_t\right)\|e^{(0)}\|_\infty +\sum_{m=1}^k \left(\prod_{t=m+1}^k\alpha_t\right)\|r^{(m)}\|_\infty.

其中 m=km=k 时不再经过任何矩阵,故空标量乘积为 11。由矩阵条目非负,其 ℓ∞\ell^\infty 算子范数等于最大行和;每行至多含 sms_m 个非零条目,每个条目不超过 λm\lambda_m。因此,按 推论 B.7,

αm=∥M(m)∥∞→∞≤smλm.\alpha_m =\|\mathbf M^{(m)}\|_{\infty\to\infty} \le s_m\lambda_m.

所有因子非负,逐项代入上述有限乘积便得

∥e(k)∥∞≤(∏t=1kstλt)∥e(0)∥∞+∑m=1k(∏t=m+1kstλt)∥r(m)∥∞.\|e^{(k)}\|_\infty \le \left(\prod_{t=1}^k s_t\lambda_t\right)\|e^{(0)}\|_\infty +\sum_{m=1}^k \left(\prod_{t=m+1}^k s_t\lambda_t\right)\|r^{(m)}\|_\infty.

(iii) 固定 x,y∈U1x,y\in U_1,令 x0=xx_0=x、y0=yy_0=y,并递归定义

xm=ϕm(xm−1),ym=ϕm(ym−1).x_m=\phi_m(x_{m-1}),\qquad y_m=\phi_m(y_{m-1}).

由实际输入域的构造,xm−1,ym−1∈Um⊆dom⁡(ϕm)x_{m-1},y_{m-1}\in U_m\subseteq\operatorname{dom}(\phi_m)。因此所有参与比较的点均为非吸收点,其坐标距离为有限实数。令

ej(m)=∣(xm)j−(ym)j∣,r(m)=0.e_j^{(m)}=|(x_m)_j-(y_m)_j|, \qquad r^{(m)}=0.

第 mm 步的合法 Lip 证书逐条目有限,因而按上述约定有

ej(m)≤∑i∈IMi→j(m)ei(m−1).e_j^{(m)} \le\sum_{i\in I}M^{(m)}_{i\to j}e_i^{(m-1)}.

这正是 (i) 的无余项递推。又有 ∥e(m)∥∞=dI(xm,ym)\|e^{(m)}\|_\infty=d_I(x_m,y_m),故由 (ii) 得到

dI(ck(x),ck(y))≤(∏m=1ksmλm)dI(x,y).d_I(c_k(x),c_k(y)) \le \left(\prod_{m=1}^k s_m\lambda_m\right)d_I(x,y).

□\square

有限维算子网络

习题 C.1 的解答:

(i) 首节点的两个转移域不交且穷尽其非吸收输出;后继节点立即终止,故每条入口轨迹均恰有两个节点。两个半方形均非空,因此所有三个节点都实际可达。可达路径只有

p−=(α,β),p+=(α,γ),p_-=(\alpha,\beta),\qquad p_+=(\alpha,\gamma),

对应

Up−=[−1,0)×[−1,1],Up+=[0,1]×[−1,1].U_{p_-}=[-1,0)\times[-1,1],\qquad U_{p_+}=[0,1]\times[-1,1].

路径复合分别为 cp−(s,t)=(s,0)c_{p_-}(s,t)=(s,0)、cp+(s,t)=(0,t)c_{p_+}(s,t)=(0,t),故

ϕN(U)=([−1,0)×{0})∪({0}×[−1,1]).\phi_{\mathcal N}(U) =([-1,0)\times\{0\})\cup(\{0\}\times[-1,1]).

(ii) 两条路径的线性部分分别是 diag⁡(1,0)\operatorname{diag}(1,0) 与 diag⁡(0,1)\operatorname{diag}(0,1),其像空间都是一维;它们都是非零正交投影,欧氏算子范数均为 11。各路径域均包含其所选中心的一个开邻域,故点差张成 R2\mathbb R^2,实际限制秩也均为 11。在任一路径域中,点与相应中心的横坐标差的绝对值不超过 1/21/2,纵坐标的偏差绝对值不超过 11,所以

∥x−xp±∥22≤14+1=54.\|x-x_{p_\pm}\|_2^2\le\frac14+1=\frac54.

两中心各自在对应路径域内,因而 R=5/2R=\sqrt5/2 满足覆盖命题的条件。逐路径代入后求和即得

NEuc(ε,ϕN(U))≤∑p∈{p−,p+}(1+2⋅1⋅(5/2)ε)1=2(1+5ε).\mathcal N_{\mathrm{Euc}}(\varepsilon,\phi_{\mathcal N}(U)) \le\sum_{p\in\{p_-,p_+\}} \left(1+\frac{2\cdot1\cdot(\sqrt5/2)}{\varepsilon}\right)^1 =2\left(1+\frac{\sqrt5}{\varepsilon}\right).

该指数来自每条路径线性像的维数:输入域虽然是二维的,每条路径的输出却被限制在一条直线上。□\square

习题 C.2 的解答:

(i) 对 (s,0)∈U(s,0)\in U,有 F(s,0)=G(s,0)=(s,0)F(s,0)=G(s,0)=(s,0)。两扩展的导数分别为

DF=(1000),DG=(1001),DF=\begin{pmatrix}1&0\\0&0\end{pmatrix},\qquad DG=\begin{pmatrix}1&0\\0&1\end{pmatrix},

故秩分别为 11、22。

(ii) 域内点差均为 (a,0)(a,0),且包含一个非零横向向量,故

WU=R×{0}.W_U=\mathbb R\times\{0\}.

DFDF 与 DGDG 在这个空间上都把 (a,0)(a,0) 映为 (a,0)(a,0),因此两个限制映射相同,秩均为 11。由 推论 C.7 得到的覆盖指数均为 11;二者的全空间算子范数也都为 11,所以取相同中心、半径时给出相同上界。共同输出集合为 F(U)=G(U)=UF(U)=G(U)=U。

若改用整个矩阵的秩,两个指数会分别为 11 与 22,后一估计仍有效但较宽。实际路径域未包含的第二坐标方向的变化影响扩展矩阵的秩,却不改变 引理 B.13 所确定的受限秩。□\square

习题 C.3 的解答:

(i) 对 推论 C.2 证明中的有限和使用三角不等式,再对每个通路项逐次使用欧氏算子范数的次乘性,得到

∥Par∘DCp(x)∘Pa0∥2→2≤∑a1,…,ar−1∈H∥(Par∘Ap,r(x)∘Par−1)∘⋯∘(Pa1∘Ap,1(x)∘Pa0)∥2→2≤∑a1,…,ar−1∈H∏s=1r∥Pas∘Ap,s(x)∘Pas−1∥2→2.\begin{aligned} &\|P_{a_r}\circ DC_p(x)\circ P_{a_0}\|_{2\to2}\\ &\quad\le \sum_{a_1,\ldots,a_{r-1}\in H} \bigl\|\bigl(P_{a_r}\circ A_{p,r}(x)\circ P_{a_{r-1}}\bigr)\circ\cdots\circ \bigl(P_{a_1}\circ A_{p,1}(x)\circ P_{a_0}\bigr)\bigr\|_{2\to2}\\ &\quad\le \sum_{a_1,\ldots,a_{r-1}\in H} \prod_{s=1}^r \|P_{a_s}\circ A_{p,s}(x)\circ P_{a_{s-1}}\|_{2\to2}. \end{aligned}

相邻块因子复合时,重复的投影由 Pa2=PaP_a^2=P_a 合并,故每个通路项正是这些块映射的复合。当 r=1r=1 时,上式只有一项,结论也成立。

(ii) 单块分解的投影为 P1=I2P_1=I_2。由于 A≠0A\ne0、B≠0B\ne0,两步各自的唯一块映射均非零,存在块指标通路 1→1→11\to1\to1。但是

BA=(0000),BA=\begin{pmatrix}0&0\\0&0\end{pmatrix},

所以复合映射及其唯一块映射均为零。另一方面,

im⁡(A)=R×{0}=ker⁡(B),\operatorname{im}(A)=\mathbb R\times\{0\}=\ker(B),

这解释了 BA=0BA=0。这里没有不同通路之间的相消:唯一通路上的两个非零块映射,其复合本身就是零。逐步非零条件没有记录前一步像空间与后一步核空间的相对位置。□\square

习题 C.4 的解答:

(i) 域内点差均与 (1,1)(1,1) 共线,且存在非零点差,所以

WDqin=span⁡{(1,1)}.W_{D_q^{\mathrm{in}}}=\operatorname{span}\{(1,1)\}.

节点矩阵的两行分别为 (1,−1)(1,-1) 与 (1,1)(1,1)。第一行在该方向空间上为零,第二行不为零;直接代入也得到

fq(t,t)=(0,2t)(−1≤t≤1).f_q(t,t)=(0,2t)\qquad(-1\le t\le1).

因此常值分量集合恰为 {1}\{1\}。第一行虽然非零,但实际域只允许沿对角线变化,而该行在这个方向上消失。

(ii) 两个输入坐标的取值范围均为 [−1,1][-1,1],直径均为 22。该发生域非空且凸,由 命题 B.14 的 (ii),对任意 i∈{1,2}i\in\{1,2\} 有

r‾qN(i,1)=+∞,r‾qN(i,2)=0.\underline{r}^{\mathrm N}_q(i,1)=+\infty, \qquad \underline{r}^{\mathrm N}_q(i,2)=0.

取两个阈值均为 11,按照 § 5.5 的定义得到

Type⁡q(i,1)=(0,1),Type⁡q(i,2)=(0,0).\operatorname{Type}_q(i,1)=(0,1), \qquad \operatorname{Type}_q(i,2)=(0,0).

发生域在 R2\mathbb R^2 中没有内点,不能把受限行的零性替换为整行的零性;否则会误判第一个输出分量。□\square

本章内容