From 36bf664c7cbf722e8b72ccee26b53f5dbaf63130 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=98=BF=E6=8B=89=E5=87=A1?= <78416589+Alafun@users.noreply.github.com> Date: Sun, 27 Feb 2022 00:56:48 +0800 Subject: [PATCH] =?UTF-8?q?Update=20=E5=91=A8=E5=BF=97=E5=8D=8E=E3=80=8AMa?= =?UTF-8?q?chine=20Learning=E3=80=8B=E5=AD=A6=E4=B9=A0=E7=AC=94=E8=AE=B0(3?= =?UTF-8?q?)--=E5=81=87=E8=AE=BE=E6=A3=80=E9=AA=8C&=E6=96=B9=E5=B7=AE&?= =?UTF-8?q?=E5=81=8F=E5=B7=AE.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\226\271\345\267\256&\345\201\217\345\267\256.md" | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git "a/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(3)--\345\201\207\350\256\276\346\243\200\351\252\214&\346\226\271\345\267\256&\345\201\217\345\267\256.md" "b/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(3)--\345\201\207\350\256\276\346\243\200\351\252\214&\346\226\271\345\267\256&\345\201\217\345\267\256.md" index 96b6486..74dba02 100644 --- "a/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(3)--\345\201\207\350\256\276\346\243\200\351\252\214&\346\226\271\345\267\256&\345\201\217\345\267\256.md" +++ "b/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(3)--\345\201\207\350\256\276\346\243\200\351\252\214&\346\226\271\345\267\256&\345\201\217\345\267\256.md" @@ -1,10 +1,10 @@ 在上两篇中，我们介绍了多种常见的评估方法和性能度量标准，这样我们就可以根据数据集以及模型任务的特征，选择出最合适的评估和性能度量方法来计算出学习器的“测试误差“。但由于“测试误差”受到很多因素的影响，例如：算法随机性(例如常见的K-Means)或测试集本身的选择，使得同一模型每次得到的结果不尽相同，同时测试误差是作为泛化误差的近似，并不能代表学习器真实的泛化性能，那如何对单个或多个学习器在不同或相同测试集上的性能度量结果做比较呢？这就是比较检验。最后偏差与方差是解释学习器泛化性能的一种重要工具。本篇延续上一篇的内容，主要讨论了比较检验、方差与偏差。 -##**2.6 比较检验** +## **2.6 比较检验** 在比较学习器泛化性能的过程中，统计假设检验（hypothesis test）为学习器性能比较提供了重要依据，即若A在某测试集上的性能优于B，那A学习器比B好的把握有多大。 为方便论述，本篇中都是以“错误率”作为性能度量的标准。 -###**2.6.1 假设检验** +### **2.6.1 假设检验** “假设”指的是对样本总体的分布或已知分布中某个参数值的一种猜想，例如：假设总体服从泊松分布，或假设正态总体的期望u=u0。回到本篇中，我们可以通过测试获得测试错误率，但直观上测试错误率和泛化错误率相差不会太远，因此可以通过测试错误率来推测泛化错误率的分布，这就是一种假设检验。 @@ -14,11 +14,11 @@ ![3.png](https://i.loli.net/2018/10/17/5bc7211a336b5.png) -###**2.6.2 交叉验证t检验** +### **2.6.2 交叉验证t检验** ![4.png](https://i.loli.net/2018/10/17/5bc7211a68ef9.png) -###**2.6.3 McNemar检验** +### **2.6.3 McNemar检验** MaNemar主要用于二分类问题，与成对t检验一样也是用于比较两个学习器的性能大小。主要思想是：若两学习器的性能相同，则A预测正确B预测错误数应等于B预测错误A预测正确数，即e01=e10，且|e01-e10|服从N（1，e01+e10）分布。 @@ -28,7 +28,7 @@ MaNemar主要用于二分类问题，与成对t检验一样也是用于比较两 ![6.png](https://i.loli.net/2018/10/17/5bc7211a34e96.png) -###**2.6.4 Friedman检验与Nemenyi后续检验** +### **2.6.4 Friedman检验与Nemenyi后续检验** 上述的三种检验都只能在一组数据集上，F检验则可以在多组数据集进行多个学习器性能的比较，基本思想是在同一组数据集上，根据测试结果（例：测试错误率）对学习器的性能进行排序，赋予序值1,2,3...，相同则平分序值，如下图所示： @@ -50,7 +50,7 @@ MaNemar主要用于二分类问题，与成对t检验一样也是用于比较两 ![12.png](https://i.loli.net/2018/10/17/5bc7222348519.png) -##**2.7 偏差与方差** +## **2.7 偏差与方差** 偏差-方差分解是解释学习器泛化性能的重要工具。在学习算法中，偏差指的是预测的期望值与真实值的偏差，方差则是每一次预测值与预测值得期望之间的差均方。实际上，偏差体现了学习器预测的准确度，而方差体现了学习器预测的稳定性。通过对泛化误差的进行分解，可以得到：