附录 C3 联合分布、边缘分布与独立性

正文用到本节的地方：玩具模型中独立单元之和的方差（§2.2）；单粒子分布作为边缘分布（§4.5 的 (4.20)）；独立子系与因子化（§4.5）；磁化率与关联函数之和（(18.3)）；结构因子（§22.3）；布朗粒子的位移方差 (23.8)；高分子末端距的三个分量（§30.1）；蒙特卡罗的统计误差（§32.5）。

§C3.1联合分布与边缘分布

两个随机变量的联合分布 $P(x,y)$ （离散）或联合密度 $p(x,y)$ （连续）给出它们同时取某组值的概率。只关心其中一个时，把另一个"求和掉"或"积分掉"，得到边缘分布：

P(x) = \sum_yP(x,y),\qquad p(x) = \int p(x,y)\,dy \tag{C3.1}

例：§4.5 中 $N$ 个独立（可区分）粒子的联合分布是 $\prod_ie^{-\beta\varepsilon_{j_i}}/q^N$ （由 (4.18)；对 (4.19) 而言， $1/N!$ 在比值中相消）；对 2 号到 $N$ 号粒子的状态求和，就得到 1 号粒子的分布 (4.20)。又如麦克斯韦分布 (5.10) 对 $v_y$ 、 $v_z$ 积分，得到单个分量 $v_x$ 的一维高斯分布。

§C3.2条件概率

已知 $Y = y$ 时 $X$ 的分布称为条件分布：

P(x\vert y) = \frac{P(x,y)}{P(y)},\qquad\text{即}\qquad P(x,y) = P(x\vert y)\,P(y) \tag{C3.2}

（乘法规则。）交换 $x$ 、 $y$ 的角色再相除，得贝叶斯公式 $P(y\vert x) = P(x\vert y)P(y)/P(x)$ 。

统计力学中的条件概率：§4.1 推导正则分布时，"系统 + 热源"的总能量固定（微正则），问"系统处于态 $i$ "的概率——这是在总能量给定条件下的概率，它正比于热源的微观态数 $\Omega_{\mathrm R}(E_{\mathrm{tot}} - E_i)$ 。马尔可夫过程中的转移概率 $P(x,t\vert x',t')$ 也是条件概率（附录 C9）。

§C3.3独立性

若联合分布可以分解为边缘分布之积，

P(x,y) = P(x)\,P(y) \tag{C3.3}

则称 $X$ 、 $Y$ 独立。等价地， $P(x\vert y) = P(x)$ ：知道 $Y$ 的值对 $X$ 毫无帮助。独立变量满足 $\langle f(X)g(Y)\rangle = \langle f(X)\rangle\langle g(Y)\rangle$ （对因子化的分布，求和或积分分别进行）。

物理中的独立性来自没有相互作用：若 $\mathcal H = \mathcal H_1 + \mathcal H_2$ ，两部分的变量不同，则 $e^{-\beta\mathcal H} = e^{-\beta\mathcal H_1}e^{-\beta\mathcal H_2}$ 因子化，两部分相互独立，配分函数相乘（§4.5）。经典气体中动能是各速度分量的平方和，所以速度的三个分量相互独立（这正是麦克斯韦 1860 年假设的内容，§27.3）。相互作用使变量关联起来；连续相变（临界点）正是关联长度发散的现象。

§C3.4协方差与相关系数

\mathrm{Cov}(X,Y) = \langle(X - \langle X\rangle)(Y - \langle Y\rangle)\rangle = \langle XY\rangle - \langle X\rangle\langle Y\rangle \tag{C3.4}

相关系数 $r = \mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)$ 满足 $-1\le r\le1$ （柯西–施瓦茨不等式，附录 B1；把 $X - \langle X\rangle$ 、 $Y - \langle Y\rangle$ 看成"向量"， $\langle\cdot\,\cdot\rangle$ 看成内积）， $\lvert r\rvert = 1$ 当且仅当 $Y$ 是 $X$ 的线性函数。

独立 ⇒ 不相关（协方差为零），反之不成立。 例： $X$ 在 $[-1,1]$ 上均匀分布， $Y = X^2$ 。 $\mathrm{Cov} = \langle X^3\rangle - \langle X\rangle\langle X^2\rangle = 0$ ，但 $Y$ 完全由 $X$ 决定。物理中的例子：自由连接链的一个键 $\mathbf b$ 的三个分量 $b_x,b_y,b_z$ 两两不相关（ $\langle b_xb_y\rangle = 0$ ），却不独立（它们满足 $b_x^2 + b_y^2 + b_z^2 = b^2$ ）。§30.1 说末端距 $\mathbf R = \sum\mathbf b_i$ 的三个分量"相互独立"，确切的含义是： $N\gg1$ 时由中心极限定理， $\mathbf R$ 服从多元高斯分布，其协方差矩阵是对角的；而对高斯分布，不相关就等于独立（附录 C5）。

协方差矩阵 $C_{ij} = \mathrm{Cov}(X_i,X_j)$ 是对称、半正定的：对任意系数 $a_i$ ， $\sum_{ij}a_iC_{ij}a_j = \mathrm{Var}\left(\sum_ia_iX_i\right)\ge0$ 。

§C3.5和的方差：双重求和的模式

\mathrm{Var}\left(\sum_{i=1}^NX_i\right) = \sum_{i,j}\mathrm{Cov}(X_i,X_j) = \sum_i\mathrm{Var}(X_i) + \sum_{i\ne j}\mathrm{Cov}(X_i,X_j) \tag{C3.5}

（把 $\left(\sum_i\delta X_i\right)^2$ 写成 $\sum_i\sum_j\delta X_i\delta X_j$ 再取平均。）

独立（或不相关）时，方差相加： $N$ 个相同的独立变量之和， $\sigma\propto\sqrt N$ ，相对涨落 $\propto1/\sqrt N$ ——这就是 (2.2)。
有关联时，关联函数之和起作用。伊辛模型中 $M = \sum_is_i$ ，平移不变性使 $\mathrm{Cov}(s_i,s_j)$ 只依赖于 $i - j$ ，于是 $\mathrm{Var}(M) = N\sum_j\mathrm{Cov}(s_0,s_j)$ ，由 (18.2) 得 (18.3)： $\chi = \beta\sum_j(\langle s_0s_j\rangle - m^2)$ 。若关联只延伸到有限距离 $\xi$ ，和是有限的， $\mathrm{Var}(M)\propto N$ 仍然成立；在临界点 $\xi\to\infty$ ，和发散， $\chi$ 发散。
结构因子（§22.3）： $\langle n_{\mathbf k}n_{-\mathbf k}\rangle = \sum_{i,j}\langle e^{-i\mathbf k\cdot(\mathbf r_i - \mathbf r_j)}\rangle$ ，对角项 $i = j$ 贡献 $N$ ，非对角项给出对关联函数的傅里叶变换。
连续时间的版本（(23.8)）。布朗粒子的位移 $\Delta x = \int_0^tv(s)\,ds$ ，

\langle\Delta x^2\rangle = \int_0^t\!\!\int_0^t\langle v(s)v(s')\rangle\,ds\,ds' = \int_0^t\!\!\int_0^tC_v(s - s')\,ds\,ds' = 2\int_0^t(t - \tau)\,C_v(\tau)\,d\tau

最后一步：在正方形 $[0,t]^2$ 中， $s - s' = \tau$ 的线段长为 $t - \lvert\tau\rvert$ ，所以二重积分等于 $\int_{-t}^t(t - \lvert\tau\rvert)C_v(\tau)\,d\tau$ ，再用 $C_v$ 是偶函数。 $t$ 远大于关联时间时， $\langle\Delta x^2\rangle\approx2t\int_0^\infty C_v\,d\tau$ ，与 $2Dt$ 比较就是格林–久保公式 (23.9)。

相关样本的统计误差（§32.5）。设一串样本 $X_1,\dots,X_M$ 的方差为 $\sigma^2$ ，相关系数 $\rho_k = \mathrm{Cov}(X_i,X_{i+k})/\sigma^2$ 。由 (C3.5)，样本平均的方差为

\mathrm{Var}(\bar X)\approx\frac{\sigma^2}{M}\left(1 + 2\sum_{k\ge1}\rho_k\right)

若 $\rho_k = e^{-k/\tau}$ 且 $\tau\gg1$ ，括号约为 $2\tau$ ： $M$ 个相关样本只相当于 $M/(2\tau)$ 个独立样本。

§C3.6独立变量之和的分布：卷积

若 $X$ 、 $Y$ 独立， $Z = X + Y$ 的概率密度为

p_Z(z) = \int p_X(x)\,p_Y(z - x)\,dx \tag{C3.6}

（ $Z = z$ 要求 $Y = z - x$ ，对所有 $x$ 求和。）这是卷积，由卷积定理 (A14.8)，它的特征函数是两个特征函数之积： $\phi_Z(k) = \phi_X(k)\phi_Y(k)$ ——与 §C2.4 中"累积量生成函数相加"是同一件事。例：两个独立高斯变量之和仍是高斯变量，均值相加、方差相加；两个 $[0,1]$ 上的均匀变量之和服从 $[0,2]$ 上的三角形分布。

统计力学中的同一结构：两个相互接触、交换能量的系统，总能量为 $E$ 的微观态数是 $\Omega(E) = \int\Omega_1(E_1)\Omega_2(E - E_1)\,dE_1$ （§3.2）——也是一个卷积。

自测题

掷两枚骰子， $X_1$ 为第一枚的点数， $S = X_1 + X_2$ 。求 $\mathrm{Cov}(X_1,S)$ 与相关系数。［答： $\mathrm{Cov}(X_1,S) = \mathrm{Var}(X_1) = 35/12$ ； $r = 1/\sqrt2$ 。］
对 $X$ 在 $[-1,1]$ 上均匀分布、 $Y = X^2$ ，验证 $P(Y>1/4\,\vert\,\lvert X\rvert>1/2) = 1\ne P(Y>1/4) = 1/2$ ，从而 $X$ 、 $Y$ 不独立。
一串平稳的随机变量满足 $\mathrm{Cov}(X_i,X_{i+k}) = \sigma^2r^{\lvert k\rvert}$ （ $0<r<1$ ）。证明 $N\to\infty$ 时 $\mathrm{Var}\left(\sum_{i=1}^NX_i\right)\approx N\sigma^2\frac{1+r}{1-r}$ 。
两个独立的指数分布变量（速率均为 $\lambda$ ）之和的概率密度是什么？［答： $\lambda^2te^{-\lambda t}$ （ $t\ge0$ ）。］
用 (C3.5) 证明： $N$ 个相互独立、方差为 $\sigma^2$ 的变量的平均值 $\bar X$ 的方差为 $\sigma^2/N$ 。