机器学习物语(2)：大数定理军团

机器学习理论帝国崛起，大数定理军团功不可没，称之为军团毫不夸张，在前军先锋强大数定理和副将弱大数定理后面，是铠甲上刻着“Concentration of Measure”的古老印记的战士们，不妨暂且忽略他们之间乱七八糟的“血缘”关系，而罗列一些名字：Chebyshev 不等式、Markov 不等式、?Bernstein 不等式、?Hoeffding 不等式、?McDiarmid 不等式、?Chernoff 不等式……虽然他们之间互相关系微妙，但是在战斗中却是各有千秋，特别是在装备了现代化的“大规模杀伤性武器”——<a href="http://blog.pluskid.org/%3Ca%20href=" http:="" en.wikipedia.org="" wiki="" law_of_large_numbers#uniform_law_of_large_numbers"="" style="color: rgb(42,135); text-decoration: none;">一致收敛性之后，……写不下去了，我这点文学功底，果然连 yy 小说也没法写的。?

总而言之，我们这次的主角是大数定理 (Law of Large Numbers,LLN)，以及它们在学习理论中如何起到关键作用。不妨先来看看大数定理吧：

1. 强大数定理： μn ?几乎处处（逐点）收敛于? μ ?，亦即
   P(limn→∞μn=μ)=1

2. 弱大数定理： μn ?依概率收敛于? μ ?，亦即? ??>0
   limn→∞P(|μn?μ|≥?)=0

直观来说，就是随着? n ?增大，由采用数据估计出来的平均值? μn ?会越来越接近真实平均值? μ ?。强大数定理可以（用?Egorov 定理）推出弱大数定理。这在机器学习里有什么用呢？上一次我们已经稍微做了一点剧透，这一次让我们来仔细研究一下这个问题，一切还得从Empirical Risk Minimization (ERM)?说起。

我们上次提到过，ERM 就是根据训练数据? Sn={(xi,yi)}ni=1 ?在给定的函数空间? F ?中寻找最小化经验误差

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!