WARNING注意支撑集的范围喵
事件运算#
P(A+B)=P(A)+P(B)−P(AB)P(A−B)=P(A)−P(AB)=P(AB)至少发生一次:
P(至少发生一次)=1−P(一次也不发生)至少一个不发生:
P(至少一个不发生)=1−P(都发生)
独立性条件#
-
独立和不相容是互斥的。两个事件不可能既独立又不相容(除非有一个概率为0)。
-
独立不相关,相关不独立;但正态分布下独立 ⟺ 不相关。
-
1概率事件与任何事件独立,0概率事件与任何事件独立。
-
两两独立不一定相互独立。相互独立一定两两独立。
相互独立的额外条件:
P(ABC)=P(A)P(B)P(C)
- 随机变量X,Y独立,则g(X)和h(Y)也独立;但如果两个变量都依赖于同一个原始变量(比如 X 和 X2),则它们通常不独立。
联合概率密度也能反应独立性和同分布性:(参见综合10选择)
P(AB)=P(A)P(B)f(x,y)=fX(x)fY(y)F(x,y)=FX(x)FY(y)
-
独立:联合等于边缘乘积(综合14);同分布:边缘相等
-
x,y独立 ⟺ f(x,y)=fX(x)fY(y) ⟺ x,y的支撑集是矩形区域;反之,支撑集不是矩形区域则不独立
-
x,y同分布 ⟺ fX(x)=fY(y) ⟺ x,y的支撑集关于y=x对称;反之,支撑集不对称则不同分布
全概率公式#
P(B)=i=1∑nP(Ai)P(B∣Ai)
贝叶斯公式#
P(Ai∣B)=∑j=1nP(Aj)P(B∣Aj)P(Ai)P(B∣Ai)
条件分布#
一句话:条件分布就是联合除以边缘(参考深圳17秋选择最后一道和大题最后一道)
在Y确定的条件下X的分布情况;
对于连续型随机变量(注意F的积分变量)
fX∣Y(x∣y)=fY(y)fX,Y(x,y)FX∣Y(x∣y)=P(X≤x∣Y=y)=FY(y)FX,Y(x,y)=∫−∞xfX∣Y(t∣y)dt对于离散型随机变量
P(X=xi∣Y=yj)=P(Y=yj)P(X=xi,Y=yj)=p⋅jpij
离散分布#
NOTE抽签具有公平性和独立性。
二项分布#
X∼B(n,p)E(X)=npD(X)=np(1−p)泊松分布#
泊松分布可以用e的指数来快速判断参数 λ
X∼Po(λ)f(x)=x!λxe−λx=0,1,2,…E(X)=λD(X)=λ几何分布#
几何分布是对于重复的伯努利试验,直到第一次成功所需的试验次数,参数其实就是 B(n,p) 里的 p。
X∼G(p)P(X=k)=(1−p)k−1pk=1,2,3,…E(X)=p1D(X)=p21−pE和D的推导需要级数求导超几何分布#
X∼H(N,M,n)E(X)=nNMD(X)=nNMNN−MN−1N−n
泊松近似二项分布#
在题目里面出现奇奇怪怪的 λ 的时候可以考虑是否用到了近似,当 n很大且 p 很小时,np=λ,则有
P(X=k)≈k!λke−λ查表得
连续分布#
正态分布#
X∼N(μ,σ2)f(x)=2πσ1exp(−2σ2(x−μ)2)E(X)=μD(X)=σ2指数分布#
X∼E(λ)f(x)=λe−λxx≥0F(x)=1−e−λxx≥0E(X)=λ1D(X)=λ21均匀分布#
X∼U(a,b)f(x)=b−a1E(X)=2a+bD(X)=12(b−a)2具有独立可加性的分布#
正态分布,泊松分布,χ2 分布 都具有独立可加性
二维正态分布#
f(x,y)E(X)E(Y)D(X)D(Y)Cov(X,Y)=2πσXσY1−ρ21exp(−2(1−ρ2)1[σX2(x−μX)2−σXσY2ρ(x−μX)(y−μY)+σY2(y−μY)2])=μX=μY=σX2=σY2=ρσXσY
分布函数与概率密度函数#
分布函数需要满足的条件#
-
F(x) 单调不减
-
F(−∞)=0,F(+∞)=1
-
F(x) 右连续,等价于区间左闭右开。(参考综合13选择2)
概率密度函数需要满足的条件#
-
f(x)≥0 恒大于等于0
-
∫−∞+∞f(x)dx=1 积分为1
-
F(x)=∫−∞xf(t)dt
-
f(x)=dxdF(x)
二维分布函数与概率密度函数#
二维分布函数需要满足的条件#
-
F(x,y) 在 x 和 y 上均单调不减
-
F(−∞,y)=0,F(x,−∞)=0,F(+∞,+∞)=1
-
F(x,y) 在 x 和 y 上均右连续
-
对任意 x1<x2,y1<y2,有
P(x1<X≤x2,y1<Y≤y2)=F(x2,y2)−F(x2,y1)−F(x1,y2)+F(x1,y1)≥0
二维概率密度函数需要满足的条件#
-
f(x,y)≥0 恒大于等于0
-
∫−∞+∞∫−∞+∞f(x,y)dxdy=1 积分为1
-
F(x,y)=∫−∞x∫−∞yf(u,v)dudv
-
f(x,y)=∂x∂y∂2F(x,y)
边缘分布和边缘概率密度#
FX(x)=y→+∞limFX,Y(x,y)FY(y)=x→+∞limFX,Y(x,y)fX(x)=∫−∞+∞fX,Y(x,y)dyfY(y)=∫−∞+∞fX,Y(x,y)dxfX(x)=∂x∂FX(x)fY(y)=∂y∂FY(y)
随机变量的函数#
公式法#
y=g(x) 在 (a,b) 单调, x=h(y) 为其反函数, 则
fY(y)=fX(h(y))∣h′(y)∣,y∈(min{g(a),g(b)},max{g(a),g(b)})
二维随机变量的函数#
卷积法#
fX+Y(z)=∫−∞+∞fX(x)fY(z−x)dx前提是XY独立fX+Y(z)=∫−∞+∞fX,Y(x,z−x)dx
数字特征#
E(X)=∫−∞+∞xf(x)dx期望运算#
E[aX+bY+c]=aE(X)+bE(Y)+c当 X 和 Y 独立时,(或者宽松一点不相关时)有
E(XY)=E(X)E(Y)D(X)=E[(X−E(X))2]=E(X2)−[E(X)]2D(X)=∫−∞+∞(x−E(X))2f(x)dx方差运算#
D[aX±bY+c]=a2D(X)+b2D(Y)±2abCov(X,Y)协方差#
Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)类似于方差,加减常数不影响
Cov(aX+b,cY+d)=acCov(X,Y)协方差的分配律
Cov(X1+X2,Y1+Y2)=Cov(X1,Y1)+Cov(X1,Y2)+Cov(X2,Y1)+Cov(X2,Y2)方差是协方差的特例
D(X)=Cov(X,X)相关系数#
ρXY=D(X)D(Y)Cov(X,Y)
-
如果 Cov(X,Y)=0,则 ρXY=0
-
ρ=1⟺Y=aX+b ,遇到 XY 线性关系可以直接写出相关系数为1。但是曲线关系不能直接说相关系数=0。
-
Y=aX+b 且 ρZY 已知时,可以快速得到 ρZX=sgn(a)ρZY
大数定律#
马尔可夫不等式#
P(X≥ε)≤εE(X)切比雪夫不等式#
纯套公式,看见 P(∣X−E(X)∣≥ε) 的形式就想这个,有的时候期望是0会比较隐蔽,如果给的是 < 号,就用1减去
P(∣X−E(X)∣≥ε)≤ε2D(X)伯努利大数定律#
看见 n 重伯努利试验的时候用,Yn 表示成功次数,p 表示成功概率
n→∞limP(nYn−p≥ε)=0切比雪夫大数定律#
如果有大量同分布且独立的随机变量 X1,X2,…,Xn 就用这个
n→∞limP(n1i=1∑nXi−μ≥ε)=0辛钦大数定律#
其实跟切比雪夫大数定律是一样的,只不过放宽了条件,只要有相同的期望就行,不要求方差相等
,实际上是因为上面的切比雪夫大数定律的推论证明的过程中假定了方差相等
中心极限定理#
独立同分布中心极限定理#
独立同分布的随机变量 X1,X2,…,Xn,期望为 μ,方差为 σ2,则当 n 充分大时,随机变量就近似服从正态分布
棣莫弗-拉普拉斯中心极限定理(n重伯努利试验)#
n 重伯努利分布 B(n,p) 近似服从正态分布 N(np,np(1−p))
三大分布#
χ2分布#
有 n 个相互独立的标准正态分布随机变量 X1,X2,…,Xn,则随机变量
Y=i=1∑nXi2∼χ2(n)χ2(n) 表示自由度为 n 的卡方分布
重要结论:均值和方差
E(Y)=nD(Y)=2n概率怎么看#
P(χ2(n)>χα2(n))=αχα2(n)通过查表得到, 是横轴上的值t分布#
由X∼N(0,1)和Y∼χ2(n)构成
T=Y/nX∼t(n)t(n)表示自由度为n的t分布
重要性质:对称 tα(n)=−t1−α(n)
P(t(n)>tα(n))=αtα(n)通过查表得到F分布#
由 X∼χ2(n1) 和 Y∼χ2(n2) 构成
F=(Y/n2)(X/n1)∼F(n1,n2)重要性质:
F1−α(n1,n2)=Fα(n2,n1)1F(n1,n2) 表示自由度为 (n1,n2) 的 F 分布,n1 叫第一(分子)自由度,n2 叫第二(分母)自由度
P(F(n1,n2)>Fα(n1,n2))=αFα(n1,n2)通过查表得到
统计量#
样本极值#
样本极值的分布一般情况下和原始分布不同(参见综合9选择5)除非样本就抽了一个,这一块涉及到统计学极值理论了,算是超纲内容,这里不介绍
k 阶矩#
Ak=n1i=1∑nXikk=1 时为样本均值
样本均值#
无论总体分布如何,样本均值都是总体均值的无偏估计量
并且满足
E(X)=μ;D(X)=nσ2而当总体恰好为正态分布时,这两个作为正态分布的参数。
如果总体不满足正态分布,样本均值X也近似服从正态分布(中心极限定理)
k 阶中心距#
Bk=n1i=1∑n(Xi−X)kk=2 时不是样本方差,称为样本二阶中心距,表示为 S∗2
样本方差#
S2=n−11i=1∑n(Xi−X)2无论总体分布如何,样本方差 S2 都是总体方差 σ2 的无偏估计量,满足:
E(S2)=σ2D(S2) 超纲了,不记。感兴趣搜四阶矩。
注意是除以 n−1,而不是 n
WARNING接下来这两个必须得背,没法现推;同时注意前提是总体服从正态分布
样本方差和样本均值的独立性#
当在总体服从正态分布的前提下,样本方差 S2 和样本均值 X 是独立的。否则这俩不一定独立(参考综合11选择5)证明方法超纲,这里不介绍
正态总体的样本方差的分布#
σ2(n−1)S2∼χ2(n−1)可用这个稍微变形得到样本二阶中心距的分布:
(n−1)S2=nS∗2σ2nS∗2∼χ2(n−1)正态总体的样本标准差的分布#
S/n(X−μ)∼t(n−1)
参数估计#
矩估计法#
算一、二…阶矩 α1,α2,… ,然后解方程组就能得到参数估计值,注意利用题里给的已知信息如均值、方差等,矩中间接包含了这些信息可用于解方程
D(X)=E(X2)−[E(X)]2=α2−α12最大似然估计法#
似然函数是通过样本的联合概率密度函数构造的:
(x1,x2,…,xn)∼i=1∏nf(xi;θ)似然函数 L(θ)
L(θ)=i=1∏nf(xi;θ)如果似然函数不连续,则应根据极大值出现在区间端点的原则,分别求出各个端点处的函数值,再比较大小,取最大值对应的 θ 值
若似然函数中无 x,则根据 x 的取值范围,直接写出 θ 的取值范围,取最大值对应的 θ 值
其余情况,取对数似然函数并对 θ 求导,令导数为0,解方程得到参数估计值
解该方程dθdlnL(θ)=0总之是求让 L(θ) 最大的 θ 值作为估计 θ^
有时候需要估计的可能是 α2 这种参数,就要把 α2 作为整体参数来估计:dα2d (参见综合9倒数第二题)
估计评定#
无偏性#
算估计量的均值,如果正好等于 θ,则该估计量是无偏的
E(θ^)=θ常见的无偏估计量:
有效性#
需要无偏性作为前提,如果不是无偏的谈有效性没意义
设有两个估计 θ1 和 θ2,如果对于所有的 θ 都有
Dθ(θ1)≤Dθ(θ2)且至少有一个参数值 θ 使小于号成立,则称估计量 θ1 比估计量 θ2 更有效
直观上理解就是方差更小的估计量更有效
相合性#
有 n 个估计量 θ^n,如果
∀ε>0,n→∞limP(∣θ^n−θ∣≥ε)=0则称估计量 θ^n 是参数 θ 的相合(一致)估计量
区间估计#
1−α 叫置信水平,α 叫显著性水平
区间估计就三种情况:
已知σ2求μ#
用正态分布
u=σ/nx−μ∼N(0,1)P(−uα/2<u<uα/2)=1−αX±uα/2nσ把已知的全代入解出 μ 的范围就是置信区间,uα/2 通过查表得到
未知σ2求μ#
用t分布
t=s/nx−μ∼t(n−1)P(−tα/2(n−1)<t<tα/2(n−1))=1−αX±tα/2(n−1)ns同样都代进去查表
求σ2#
用卡方分布(只含有样本方差)
χ2=σ2(n−1)S2∼χ2(n−1)P(χ1−α/22(n−1)<χ2<χα/22(n−1))=1−α区间端点
χα/22(n−1)(n−1)S2<σ2<χ1−α/22(n−1)(n−1)S2
双样本均值差的区间估计#
已知σ12 = σ22求μ1−μ2#
用t分布
t=n1σ12+n2σ22(x1−x2)−(μ1−μ2)∼t(n1+n2−2)P(−tα/2(n1+n2−2)<t<tα/2(n1+n2−2))=1−α求σ22σ12#
用F分布
F=s22/σ22s12/σ12∼F(n1−1,n2−1)P(F1−α/2(n1−1,n2−1)<F<Fα/2(n1−1,n2−1))=1−α
重要结论#
标准正态分布的奇数阶矩#
因为标准正态 ϕ(x) 是偶函数,所以奇数阶矩全为0
E(X2k+1)=0标准正态分布的偶数阶矩#
E(X2k)=(2k−1)!!=2kk!(2k)!WARNING!!是双阶乘,5!! = 5 × 3 × 1
标准正态分布的矩母函数#
MX(t) 的含义是 E(etX)。
MX(t)=E(etX)=eμt+2σ2t2顾名思义,矩母函数就是用来求矩的,展开成泰勒级数后系数就是各阶矩:
etX=n=0∑∞n!(tX)nE(etX)=E(1)+t⋅E(X)+2!t2E(X2)+3!t3E(X3)+⋯计算k阶原点矩就是对MX(t)对t求k阶导数再带入t=0:
E(Xk)=dtkdkMX(t)t=0快速求aX的概率密度函数#
faX(ω)=∣a∣1fX(aω)伽马函数(从0到正无穷积分)#
α 只在t的指数上出现
Γ(α+1)=∫0+∞tαe−tdt(α>0)Γ(n)=(n−1)!(n=1,2,3,…)Γ(α+1)=αΓ(α)高斯积分(从负无穷到正无穷积分)#
λ 是指数e上的系数
∫−∞+∞e−λx2dx=λπ(λ>0)∫−∞+∞e−λx2dx=Γ(21)λ−21(λ>0)两边对λ求导可以得到x的偶数次幂乘eΓ(21)=πnΓ(n)=Γ(n+1)