期望、方差与矩；詹森不等式

正文用到本节的地方：玩具模型的平均值与涨落（§2.2）；能量涨落与热容（§4.4）；博戈留波夫不等式（§18.5）；相对熵的非负性（§23.6）；雅津斯基等式与第二定律（§33.4）。

§C2.1期望（平均值）

离散变量 $\langle X\rangle = \sum_kx_kp_k$，连续变量 $\langle X\rangle = \int x\,p(x)\,dx$。函数的平均值直接用原来的分布计算：

（不必先求出 $g(X)$ 的分布。）数学书中也记作 $E[X]$；物理中常写 $\langle X\rangle$ 或 $\bar X$。

线性：$\langle aX + bY\rangle = a\langle X\rangle + b\langle Y\rangle$，无论 $X$、$Y$ 是否独立（用联合分布写出来，求和可以拆开，附录 C3）。这一条看似平凡，却极其有用。

指示变量技巧。事件 $A$ 的指示变量 $\mathbb 1_A$ 在 $A$ 发生时为 1、否则为 0，$\langle\mathbb 1_A\rangle = P(A)$。要求"满足某种条件的对象的平均个数"，把总数写成指示变量之和再用线性性。例：§2.2 中 $n = \sum_ix_i$，$\langle n\rangle = \sum_i\langle x_i\rangle = N/2$；体积 $V$ 中 $N$ 个独立均匀分布的粒子，落在子体积 $v$ 中的平均个数为 $N\cdot(v/V)$。

注意 $\langle g(X)\rangle\ne g(\langle X\rangle)$（除非 $g$ 是线性的）。例如 $\langle X^2\rangle\ne\langle X\rangle^2$，$\langle1/X\rangle\ne1/\langle X\rangle$，$\langle e^X\rangle\ne e^{\langle X\rangle}$。两者之间的不等式关系由 §C2.5 的詹森不等式给出。

§C2.2方差与标准差

（第二个等号：展开平方，$\langle X^2 - 2X\langle X\rangle + \langle X\rangle^2\rangle = \langle X^2\rangle - 2\langle X\rangle^2 + \langle X\rangle^2$，用了线性性与"$\langle X\rangle$ 是常数"。）标准差 $\sigma = \sqrt{\mathrm{Var}}$ 衡量分布的宽度；$\sigma/\langle X\rangle$ 是相对涨落。性质：$\mathrm{Var}(aX + b) = a^2\mathrm{Var}(X)$（平移不改变宽度）；$\mathrm{Var}\ge0$，等号当且仅当 $X$ 恒为常数。

物理中的例子：$\sigma_E^2 = k_{\mathrm B}T^2C_V$（(4.13)），于是由 $\mathrm{Var}\ge0$ 得 $C_V\ge0$——热力学稳定性条件成了概率论的平凡推论。

§C2.3切比雪夫不等式

（$\mu = \langle X\rangle$。）证明：$\sigma^2 = \int(x - \mu)^2p\,dx\ge\int_{\lvert x-\mu\rvert\ge k\sigma}(x - \mu)^2p\,dx\ge k^2\sigma^2\int_{\lvert x-\mu\rvert\ge k\sigma}p\,dx$，两边除以 $k^2\sigma^2$。

它对任何分布都成立，所以很粗糙（高斯分布偏离 $3\sigma$ 的概率是 0.27%，切比雪夫只保证不超过 11%），但它告诉我们：只要方差小，大偏离就不可能。这是证明大数定律的关键一步（附录 C6）。例：宏观量的相对涨落 $\sigma/\mu\sim10^{-12}$，则偏离平均值达 $10^{-8}$（相对值）的概率不超过 $(10^{-12}/10^{-8})^2 = 10^{-8}$——这还只是最保守的估计。

§C2.4矩、累积量与生成函数

矩 $m_n = \langle X^n\rangle$，中心矩 $\langle(X - \mu)^n\rangle$。方差是二阶中心矩；三阶中心矩衡量分布的不对称（偏度），四阶衡量"尾巴"的轻重。

矩生成函数 $M(s) = \langle e^{sX}\rangle = \sum_n\frac{s^n}{n!}m_n$：它在 $s = 0$ 处的各阶导数就是各阶矩。累积量生成函数

的展开系数 $\kappa_n$ 称为累积量。由 $K' = M'/M$、$K'' = M''/M - (M'/M)^2$ 在 $s = 0$ 处取值（$M(0) = 1$）：

为什么用累积量：若 $X$、$Y$ 独立，$\langle e^{s(X+Y)}\rangle = \langle e^{sX}\rangle\langle e^{sY}\rangle$（附录 C3），所以 $K_{X+Y} = K_X + K_Y$：独立变量之和的各阶累积量都是相加的。对高斯分布，$K(s) = \mu s + \frac12\sigma^2s^2$（由 (A7.5)），三阶及以上的累积量全为零；所以高阶累积量衡量"偏离高斯的程度"。

$\ln Z$ 就是累积量生成函数。正则分布下 $\langle e^{-\lambda E}\rangle = \frac{1}{Z(\beta)}\sum_ie^{-(\beta + \lambda)E_i} = \frac{Z(\beta + \lambda)}{Z(\beta)}$，所以能量的累积量生成函数为 $\ln Z(\beta + \lambda) - \ln Z(\beta)$（以 $-\lambda$ 为变量），

$n = 1,2$ 就是 (A7.6)。由于 $\ln Z\propto N$，能量的所有累积量都正比于 $N$；相对涨落 $\kappa_2^{1/2}/\kappa_1\propto N^{-1/2}$，偏度 $\kappa_3/\kappa_2^{3/2}\propto N^{-1/2}$——$N$ 越大，分布越接近一个窄的高斯峰。

特征函数 $\phi(k) = \langle e^{ikX}\rangle = \int p(x)e^{ikx}dx$ 是概率密度的傅里叶变换（附录 A14 的时间约定）。它对任何分布都存在（$\lvert e^{ikx}\rvert = 1$），$\phi(0) = 1$，并且通过反变换唯一地确定 $p(x)$。矩由导数给出：$\langle X^n\rangle = (-i)^n\phi^{(n)}(0)$。高斯分布的特征函数是 $e^{ik\mu - \sigma^2k^2/2}$（由 (A14.9)）。附录 C6 用它证明中心极限定理。

§C2.5詹森不等式

凸函数（$g''\ge0$，图像向上弯）位于它任一点切线的上方：$g(x)\ge g(x_0) + g'(x_0)(x - x_0)$。取 $x_0 = \langle X\rangle$，对 $X$ 的分布求平均，右边第二项的平均为零，于是

对凹函数不等号反向。若 $g$ 严格凸（$g''>0$），等号当且仅当 $X$ 是常数。直观图像：凸函数上两点的连线（弦）在曲线上方，"先平均再取函数"落在曲线上，"先取函数再平均"落在弦上。

例：

1. $g = x^2$：$\langle X^2\rangle\ge\langle X\rangle^2$，即 $\mathrm{Var}\ge0$。
2. $g = e^x$：$\langle e^X\rangle\ge e^{\langle X\rangle}$。这就是博戈留波夫不等式 (18.21) 的来源：$\langle e^{-\beta(\mathcal H - \mathcal H_0)}\rangle_0\ge e^{-\beta\langle\mathcal H - \mathcal H_0\rangle_0}$。
3. 雅津斯基等式与第二定律（§33.4）：$\langle e^{-\beta W}\rangle = e^{-\beta\Delta F}$ (33.1)。由 (C2.7)，$e^{-\beta\langle W\rangle}\le\langle e^{-\beta W}\rangle = e^{-\beta\Delta F}$，所以 $\langle W\rangle\ge\Delta F$：平均而言，外界做的功不少于自由能的增加——这就是第二定律。个别实现中 $W<\Delta F$ 是允许的，只是必须足够罕见。
4. 熵的上界：$\ln$ 是凹函数，所以 $\langle\ln Y\rangle\le\ln\langle Y\rangle$。取 $Y = 1/P_i$（以概率 $P_i$ 取值，只计 $P_i>0$ 的 $\Omega$ 个态）：$-\sum_iP_i\ln P_i = \langle\ln(1/P)\rangle\le\ln\sum_iP_i\cdot\frac{1}{P_i} = \ln\Omega$。熵在等概率分布时最大，与附录 A8 的例 2 一致。
5. 相对熵非负（吉布斯不等式）：对两个分布 $P$、$Q$，

证明：$-D = \sum_iP_i\ln\frac{Q_i}{P_i}\le\ln\sum_iP_i\frac{Q_i}{P_i} = \ln\sum_iQ_i\le0$；等号当且仅当 $P = Q$。§23.6 中 $\mathcal D(t) = \sum_iP_i\ln(P_i/\pi_i)\ge0$ 就是相对熵，它随时间单调减小到零（(23.20)，证明用到细致平衡），说明满足细致平衡的主方程总使系统趋于平衡分布。

自测题

1. 求 $[0,1]$ 上均匀分布的方差。［答：$\frac13 - \frac14 = \frac1{12}$。］
2. 指数分布 $p = \lambda e^{-\lambda x}$ 的累积量生成函数是 $K(s) = -\ln(1 - s/\lambda)$。求 $\kappa_1$、$\kappa_2$ 与一般的 $\kappa_n$。［答：$1/\lambda$，$1/\lambda^2$，$\kappa_n = (n-1)!/\lambda^n$。］
3. 两能级系统（能量 $0$ 与 $\varepsilon$），激发态概率 $p = 1/(e^{\beta\varepsilon} + 1)$。求能量的方差，并由 (4.13) 写出热容。［答：$\varepsilon^2p(1-p)$；$C = k_{\mathrm B}(\beta\varepsilon)^2\frac{e^{\beta\varepsilon}}{(e^{\beta\varepsilon} + 1)^2}$（肖特基峰）。］
4. 用詹森不等式证明：对正的随机变量，$\langle1/X\rangle\ge1/\langle X\rangle$。
5. 对 $Y =$ 骰子点数，比较切比雪夫不等式对 $P(\lvert Y - 3.5\rvert\ge2.5)$ 给出的上界与真实值。［答：$\sigma^2 = 35/12$，$k = 2.5/\sigma\approx1.46$，上界 $\approx0.47$；真实值 $2/6\approx0.33$。］