返回书架算子演化论:第一卷

第 1 章 基础

本章先用有限族分量伪度量描述集合上的不同分辨关系,再用覆盖数与度量熵衡量有限精度下的分辨量,最后把点之间的距离提升到算子之间。由此建立后续比较算子作用及其复合所需的空间与记号。

1.1 扩展规范空间

定义(扩展规范空间):设 X\mathcal{X} 为集合,⊥∈X\bot \in \mathcal{X} 为指定的吸收元,并要求非吸收部分非空:

X∖{⊥}≠∅.\mathcal{X}\setminus\{\bot\}\neq\emptyset.

X\mathcal{X} 上的一个规范结构 G={di}i∈I\mathcal{G} = \{d_i\}_{i \in I}(II 为有限非空指标集)是一族扩展伪度量,每个 di:X×X→Rˉ+=[0,+∞]d_i: \mathcal{X} \times \mathcal{X} \to \bar{\mathbb{R}}_+ = [0, +\infty] 满足:

(i) di(x,x)=0d_i(x, x) = 0,

(ii) di(x,y)=di(y,x)d_i(x, y) = d_i(y, x)(对称),

(iii) di(x,z)≤di(x,y)+di(y,z)d_i(x, z) \leq d_i(x, y) + d_i(y, z)(三角不等式),

(iv) di(x,⊥)=+∞d_i(x, \bot) = +\infty(∀ x≠⊥\forall\, x \neq \bot,吸收元隔离)。

约定(Rˉ+\bar{\mathbb{R}}_+ 算术):全文采用标准扩展非负实数算术:a+(+∞)=+∞a + (+\infty) = +\infty,0⋅(+∞)=00 \cdot (+\infty) = 0,a⋅(+∞)=+∞a \cdot (+\infty) = +\infty(a>0a > 0)。

称三元组 (X,G,⊥)(\mathcal{X}, \mathcal{G}, \bot) 为扩展规范空间(简称规范空间)。公理 (iv) 使 ⊥\bot 在度量上与 X∖{⊥}\mathcal{X} \setminus \{\bot\} 完全隔离;⊥\bot 的代数功能见 § 1.3。每个 did_i 称为 G\mathcal{G} 的一个分量(扩展)伪度量,后续简称分量伪度量。

另外,对 X\mathcal X 的子集作如下约定。

约定(子集排除吸收元):后文选取 X\mathcal{X} 的子集时,除非另有说明,均默认不含 ⊥\bot;由公式明确给出的集合按其定义理解。

对 x0∈Xx_0 \in \mathcal{X}、r∈(0,+∞)r \in (0, +\infty) 与分量伪度量 did_i,定义开球:

Bi(x0,r):={x∈X:di(x,x0)<r}B_i(x_0, r) := \{x \in \mathcal{X} : d_i(x, x_0) < r\}

约定(半径的值域):本书中,开球半径 rr 取有限正实数(0<r<+∞0 < r < +\infty)。若后文对一族有限正半径取上确界,该上确界本身允许等于 +∞+\infty;但这不把 Bi(x0,+∞)B_i(x_0,+\infty) 变成合法开球。

定义(族零距关系与族分离性):对任意 x,y∈Xx,y\in\mathcal X,定义

x∼Gy⟺di(x,y)=0(∀i∈I).x\sim_{\mathcal G}y \quad\Longleftrightarrow\quad d_i(x,y)=0\qquad(\forall i\in I).

若

x∼Gy⟹x=yx\sim_{\mathcal G}y\quad\Longrightarrow\quad x=y

对所有 x,y∈Xx,y\in\mathcal X 成立,则称规范族 G\mathcal G 分离 X\mathcal X,并称相应规范空间为分离规范空间;否则称其为非分离规范空间。

引理 1.1(族零距关系是等价关系):∼G\sim_{\mathcal G} 是 X\mathcal X 上的等价关系。

证明:自反性由 di(x,x)=0d_i(x,x)=0 得到;对称性由每个 did_i 的对称性得到。若 x∼Gyx\sim_{\mathcal G}y 且 y∼Gzy\sim_{\mathcal G}z,则对任意 i∈Ii\in I,

0≤di(x,z)≤di(x,y)+di(y,z)=0,0\le d_i(x,z)\le d_i(x,y)+d_i(y,z)=0,

故 di(x,z)=0d_i(x,z)=0,即 x∼Gzx\sim_{\mathcal G}z。□\square

约定(正文不预设族分离性):除非另有说明,本卷不预设族分离性;全分量零距离不必意味着两点相同。

1.2 空间覆盖与度量熵

固定分辨精度后,考察集合能否被有限个以内部点为中心的开球覆盖。若能,所需中心的最少数量给出这一精度下的分辨量。

定义(覆盖数):对分量伪度量 did_i、精度 ε∈(0,+∞)\varepsilon \in (0, +\infty) 与子集 U⊆XU \subseteq \mathcal{X},定义 UU 在 did_i 下的 ε\varepsilon-覆盖数:

Ni(ε,U):=min⁡{∣S∣:S⊆U,  ∣S∣<∞,  U⊆⋃s∈SBi(s,ε)}\mathcal{N}_i(\varepsilon, U) := \min\bigl\{|S| : S \subseteq U,\; |S| < \infty,\; U \subseteq \textstyle\bigcup_{s \in S} B_i(s, \varepsilon)\bigr\}

即从 UU 内部选取中心点、以开球覆盖 UU 所需的最小点数(内覆盖)。若 UU 不可有限覆盖则 Ni(ε,U)=+∞\mathcal{N}_i(\varepsilon, U) = +\infty;由定义,Ni(ε,∅)=0\mathcal{N}_i(\varepsilon, \emptyset) = 0。

对任意非空指标子族 J⊆IJ\subseteq I,定义子族复合伪度量

dJ(x,y):=max⁡j∈Jdj(x,y).d_J(x,y):=\max_{j\in J}d_j(x,y).

由于 II 有限,dJd_J 仍为扩展伪度量。对 x0∈Xx_0\in\mathcal X 与 r∈(0,+∞)r\in(0,+\infty),定义其对应的开球:

BJ(x0,r):={x∈X:dJ(x,x0)<r}.B_J(x_0,r):=\{x\in\mathcal X:d_J(x,x_0)<r\}.

对 S⊆XS\subseteq\mathcal X,以 BJB_J 代替 BiB_i,按上述覆盖数定义得到的量记为 NJ(ε,S)\mathcal N_J(\varepsilon,S),称为 SS 在 dJd_J 下的 ε\varepsilon-子族覆盖数,并沿用上述约定。当 J={i}J=\{i\} 时,NJ(ε,S)=Ni(ε,S)\mathcal N_J(\varepsilon,S)=\mathcal N_i(\varepsilon,S)。

定义(度量熵):基于覆盖数定义单分量度量熵:

Eε,i(U):=log⁡2Ni(ε, U)E_{\varepsilon, i}(U) := \log_2 \mathcal{N}_i\bigl(\varepsilon,\, U\bigr)

并基于子族覆盖数定义子族度量熵

Eε,J(S):=log⁡2NJ(ε,S).E_{\varepsilon,J}(S):=\log_2\mathcal N_J(\varepsilon,S).

当 J={i}J=\{i\} 时,Eε,J(S)=Eε,i(S)E_{\varepsilon,J}(S)=E_{\varepsilon,i}(S)。Eε,iE_{\varepsilon, i} 与 Eε,JE_{\varepsilon,J} 对非空子集取值于 Rˉ+=[0,+∞]\bar{\mathbb{R}}_+ = [0, +\infty];约定空集熵为 log⁡20=−∞\log_2 0 = -\infty。

约定(对数底数):全文采用以 22 为底的对数 log⁡2\log_2。

1.3 算子空间与诱导规范

用吸收元统一表示未定义的输出后,可以在普通函数复合下讨论偏定义映射,并用各输入处的输出距离比较两个映射。

定义(算子空间):

Xop={ ϕ:X→X  ∣  ϕ(⊥)=⊥ }\mathcal{X}_{\mathrm{op}} = \{\, \phi : \mathcal{X} \to \mathcal{X} \;\big|\; \phi(\bot) = \bot \,\}

ϕ∈Xop\phi \in \mathcal{X}_{\mathrm{op}} 称为 X\mathcal{X} 上的一个算子。条件 ϕ(⊥)=⊥\phi(\bot) = \bot 保证吸收元在所有算子下不变;ϕ(x)=⊥\phi(x) = \bot 表示 ϕ\phi 在 xx 处未定义。指定 Xop\mathcal{X}_{\mathrm{op}} 的吸收元 ⊥op∈Xop\bot_{\mathrm{op}} \in \mathcal{X}_{\mathrm{op}} 为全未定义算子:⊥op(x)=⊥\bot_{\mathrm{op}}(x) = \bot(∀x∈X\forall x \in \mathcal{X})。

定义其定义域:

dom(ϕ):={ x∈X  ∣  ϕ(x)≠⊥ }\mathrm{dom}(\phi) := \bigl\{\, x \in \mathcal{X} \;\big|\; \phi(x) \neq \bot \,\bigr\}

约定(公共定义域简写):对有限族 ϕ1,…,ϕn∈Xop\phi_1,\ldots,\phi_n\in\mathcal{X}_{\mathrm{op}}(n≥1n\geq1),记

dom(ϕ1,…,ϕn):=⋂r=1ndom(ϕr).\mathrm{dom}(\phi_1,\ldots,\phi_n) := \bigcap_{r=1}^n\mathrm{dom}(\phi_r).

特别地,dom(ϕ,ψ)=dom(ϕ)∩dom(ψ)\mathrm{dom}(\phi,\psi)=\mathrm{dom}(\phi)\cap\mathrm{dom}(\psi)。

由 ϕ(⊥)=⊥\phi(\bot) = \bot,对所有 ϕ∈Xop\phi \in \mathcal{X}_{\mathrm{op}} 均有 ⊥∉dom(ϕ)\bot \notin \mathrm{dom}(\phi)。定义其像集:

Im(ϕ):=ϕ(dom(ϕ))={ϕ(x):x∈dom(ϕ)}\mathrm{Im}(\phi) := \phi(\mathrm{dom}(\phi)) = \{\phi(x) : x \in \mathrm{dom}(\phi)\}

由定义域排除 ⊥\bot 及 x∈dom(ϕ)⇒ϕ(x)≠⊥x \in \mathrm{dom}(\phi) \Rightarrow \phi(x) \neq \bot,故 ⊥∉Im(ϕ)\bot \notin \mathrm{Im}(\phi)。⊥\bot 的作用是将偏函数统一为全函数,dom(ϕ)\mathrm{dom}(\phi) 与 Im(ϕ)\mathrm{Im}(\phi) 分别刻画 ϕ\phi 给出有意义输出的源点与目标点区域。Xop\mathcal{X}_{\mathrm{op}} 在函数复合下构成幺半群:封闭性 ϕ2∘ϕ1∈Xop\phi_2 \circ \phi_1 \in \mathcal{X}_{\mathrm{op}}(由 (ϕ2∘ϕ1)(⊥)=ϕ2(⊥)=⊥(\phi_2 \circ \phi_1)(\bot) = \phi_2(\bot) = \bot),单位元 idX∈Xop\mathrm{id}_{\mathcal{X}} \in \mathcal{X}_{\mathrm{op}},结合律由函数复合的一般性质继承。对有限族 ϕ1,…,ϕk∈Xop\phi_1,\ldots,\phi_k\in\mathcal X_{\mathrm{op}},本卷按函数复合约定记

ck=ϕk∘⋯∘ϕ1,c_k=\phi_k\circ\cdots\circ\phi_1,

并在 k=0k=0 时取 c0=idXc_0=\mathrm{id}_{\mathcal X}。这一记号只使用 Xop\mathcal X_{\mathrm{op}} 的幺半群结构;作为链来读取时见 § 4.1。

诱导规范结构

对分量伪度量 di∈Gd_i \in \mathcal{G},定义 Xop\mathcal{X}_{\mathrm{op}} 上的诱导算子伪度量:

dop,i(ϕ,ψ):=sup⁡x∈Xdi(ϕ(x),ψ(x))d_{\mathrm{op},i}(\phi, \psi) := \sup_{x \in \mathcal{X}} d_i(\phi(x), \psi(x))

记 Gop={dop,i}i∈I\mathcal{G}_{\mathrm{op}} = \{d_{\mathrm{op},i}\}_{i \in I}。

约定(算子规范):除非另有说明,本书默认采用上述逐点上确界诱导的算子规范 Gop\mathcal G_{\mathrm{op}}。

命题 1.2(算子规范空间):dop,id_{\mathrm{op},i} 是 Xop\mathcal{X}_{\mathrm{op}} 上的扩展伪度量,(Xop,Gop,⊥op)(\mathcal{X}_{\mathrm{op}}, \mathcal{G}_{\mathrm{op}}, \bot_{\mathrm{op}}) 构成扩展规范空间。

证明:

  • 非吸收部分非空:由 § 1.1,取 z∈Xz\in\mathcal X 且 z≠⊥z\neq\bot。恒等算子 idX\mathrm{id}_{\mathcal X} 满足 idX(z)=z≠⊥\mathrm{id}_{\mathcal X}(z)=z\neq\bot,故 idX≠⊥op\mathrm{id}_{\mathcal X}\neq\bot_{\mathrm{op}}。
  • 自距零:dop,i(ϕ,ϕ)=sup⁡xdi(ϕ(x),ϕ(x))=0d_{\mathrm{op},i}(\phi, \phi) = \sup_x d_i(\phi(x), \phi(x)) = 0。
  • 对称性:由 did_i 的对称性逐点继承。
  • 三角不等式:对任意 xx,di(ϕ(x),χ(x))≤di(ϕ(x),ψ(x))+di(ψ(x),χ(x))d_i(\phi(x), \chi(x)) \leq d_i(\phi(x), \psi(x)) + d_i(\psi(x), \chi(x))。取 sup⁡x\sup_x 并用 sup⁡(f+g)≤sup⁡f+sup⁡g\sup(f+g) \leq \sup f + \sup g 即得。
  • 吸收元隔离:对 ϕ≠⊥op\phi \neq \bot_{\mathrm{op}},存在 x0∈dom(ϕ)x_0 \in \mathrm{dom}(\phi),故 dop,i(ϕ,⊥op)≥di(ϕ(x0),⊥)=+∞d_{\mathrm{op},i}(\phi, \bot_{\mathrm{op}}) \geq d_i(\phi(x_0), \bot) = +\infty。□\square

注(定义域隔离):dom(ϕ)≠dom(ψ)\mathrm{dom}(\phi) \neq \mathrm{dom}(\psi) 蕴含 dop,i(ϕ,ψ)=+∞d_{\mathrm{op},i}(\phi, \psi) = +\infty(∀i∈I\forall i \in I)。

证明:对称差非空,不失一般性取

x0∈dom(ϕ)∖dom(ψ).x_0 \in \mathrm{dom}(\phi) \setminus \mathrm{dom}(\psi).

则

ψ(x0)=⊥,di(ϕ(x0),⊥)=+∞.\psi(x_0)=\bot,\qquad d_i(\phi(x_0),\bot)=+\infty.

因而

dop,i(ϕ,ψ)≥di(ϕ(x0),ψ(x0))=+∞.d_{\mathrm{op},i}(\phi,\psi)\ge d_i(\phi(x_0),\psi(x_0))=+\infty.

另一侧由 dop,id_{\mathrm{op},i} 的对称性给出。因而按定义域划分算子时,不同类在每个诱导分量下均相距 +∞+\infty。□\square

受限评估

对 U⊆XU \subseteq \mathcal{X},记受限评估:

dop,i(ϕ,ψ)∣U:=sup⁡x∈Udi(ϕ(x),ψ(x))d_{\mathrm{op},i}(\phi, \psi)\big|_U := \sup_{x \in U} d_i(\phi(x), \psi(x))

当 U=∅U=\emptyset 时,上确界按约定取 00。

注(受限评估的伪度量性质与局限):对固定 UU,dop,i(⋅,⋅)∣Ud_{\mathrm{op},i}(\cdot, \cdot)\big|_U 满足自距零、对称、三角不等式(前三条扩展伪度量公理),并且恒有

dop,i(ϕ,ψ)∣U≤dop,i(ϕ,ψ).d_{\mathrm{op},i}(\phi, \psi)\big|_U \leq d_{\mathrm{op},i}(\phi, \psi).

但 dop,i(⋅,⋅)∣Ud_{\mathrm{op},i}(\cdot, \cdot)\big|_U 一般不满足吸收元隔离(公理 (iv)),因此作为推导工具使用,不一定构成 § 1.1 意义下的扩展规范空间。

证明:前三条公理逐点继承,并在同一个 UU 上取上确界;全域上界由 U⊆XU\subseteq\mathcal{X} 直接给出。

若 U=∅U=\emptyset 且 ϕ≠⊥op\phi\neq\bot_{\mathrm{op}},则

dop,i(ϕ,⊥op)∣∅=0,d_{\mathrm{op},i}(\phi,\bot_{\mathrm{op}})\big|_\emptyset=0,

不能给出 +∞+\infty 隔离。□\square

注(受限评估的三角不等式):三角不等式只在固定同一个 UU 的受限评估中使用。当三项分别取不同限制域时,本书不把这些量视为同一个伪度量上的三角结构。受限评估将度量比较限定在特定子集(如上游像集或某个局部评估域),不计入 UU 外点的差异,因此可用于局部误差估计。

规范空间给出了点与集合的分辨量,诱导规范则使算子之间也可以作距离比较。下一章转而固定一个算子,研究输入的分量距离如何约束输出的分量距离。

1.4 习题

习题 1.1(分量与联合区分):设 U={a,b,c}U=\{a,b,c\} 由三个不同点组成,X=U⊔{⊥}\mathcal X=U\sqcup\{\bot\}。在 UU 上定义两个函数

q1(a)=q1(c)=0,q1(b)=1,q_1(a)=q_1(c)=0,\qquad q_1(b)=1, q2(a)=q2(b)=0,q2(c)=1,q_2(a)=q_2(b)=0,\qquad q_2(c)=1,

并令 di(x,y)=∣qi(x)−qi(y)∣d_i(x,y)=|q_i(x)-q_i(y)|(i=1,2i=1,2,x,y∈Ux,y\in U)。各分量均按吸收元隔离公理扩展到 X\mathcal X,且 di(⊥,⊥)=0d_i(\bot,\bot)=0。

(i) 验证 (X,{d1,d2},⊥)(\mathcal X,\{d_1,d_2\},\bot) 是扩展规范空间,并计算 N1(1,U)\mathcal N_1(1,U)、N2(1,U)\mathcal N_2(1,U) 与 N{1,2}(1,U)\mathcal N_{\{1,2\}}(1,U)。

(ii) 求 {(q1(x),q2(x)):x∈U}\{(q_1(x),q_2(x)):x\in U\},并与 q1(U)×q2(U)q_1(U)\times q_2(U) 比较。

习题 1.2(度量熵与精度):设 m≥2m\ge2,0<δ<10<\delta<1,U={a,b1,…,bm}U=\{a,b_1,\ldots,b_m\} 由 m+1m+1 个不同点组成,X=U⊔{⊥}\mathcal X=U\sqcup\{\bot\}。规定 d(x,x)=0d(x,x)=0,且

d(a,bk)=d(bk,a)=1,d(bk,bℓ)=δ(k≠ℓ),d(a,b_k)=d(b_k,a)=1,\qquad d(b_k,b_\ell)=\delta\quad(k\ne\ell),

并按吸收元隔离公理扩展到 X\mathcal X。本题省略单分量下标。

(i) 验证 dd 在 UU 上是度量,并求所有 ε>0\varepsilon>0 时的 N(ε,U)\mathcal N(\varepsilon,U) 与 Eε(U)E_\varepsilon(U)。

(ii) 固定 δ\delta,对 0<η≤1−δ0<\eta\le1-\delta,求 Eδ(U)−Eδ+η(U)E_\delta(U)-E_{\delta+\eta}(U),并讨论它随 mm 的变化。

习题 1.3(算子规范的两种选择):设 U={x1,…,xn}U=\{x_1,\ldots,x_n\} 由 n≥2n\ge2 个不同点组成,X=U⊔{⊥}\mathcal X=U\sqcup\{\bot\}。在 UU 上取离散度量 d(x,y)=1d(x,y)=1(x≠yx\ne y),并按吸收元隔离公理扩展到 X\mathcal X。本题省略单分量下标。对 ϕ,ψ∈Xop\phi,\psi\in\mathcal X_{\mathrm{op}},定义

dopav(ϕ,ψ)=1n∑x∈Ud(ϕ(x),ψ(x)).d_{\mathrm{op}}^{\mathrm{av}}(\phi,\psi)=\frac1n\sum_{x\in U}d(\phi(x),\psi(x)).

(i) 验证默认算子伪度量满足

dop(ϕ,ψ)=max⁡x∈Ud(ϕ(x),ψ(x)),d_{\mathrm{op}}(\phi,\psi)=\max_{x\in U}d(\phi(x),\psi(x)),

并证明 dopavd_{\mathrm{op}}^{\mathrm{av}} 也使 (Xop,{dopav},⊥op)(\mathcal X_{\mathrm{op}},\{d_{\mathrm{op}}^{\mathrm{av}}\},\bot_{\mathrm{op}}) 成为扩展规范空间。

(ii) 取不同的 a,b∈Ua,b\in U。令 ϕ\phi 在 UU 上恒取 aa,ψ\psi 仅在 x1x_1 处取 bb、其余处取 aa,χ\chi 在 UU 上恒取 bb,三个算子均保持 ⊥\bot。分别计算两种规范下 ϕ\phi 与 ψ\psi、ϕ\phi 与 χ\chi 的距离。

本章内容