大白话解释模型产生过拟合的原因！

本篇文章1619字，读完约4分钟

今天，姜国兄弟在实验室解释了所有机器学习会议的第一章的知识，每个人都讨论了过度适应的知识。在这里，我根据自己的理解整理了原因，并试图用最流行的语言来描述它们，这可能不太严谨，但总的想法可以保证正确性！

首先，过度合身的概念？

首先，让我们解释一下过度合身的概念？

过度拟合是一种现象，即训练模型在训练集中表现良好，但在测试集中表现不佳！下图给出了一个示例:

我们将上图中的第三个模型解释为过度拟合，它在不考虑泛化能力的情况下过度拟合训练数据。训练集的准确度和开发集的准确度如下图所示:

从图中，我们可以看到模型在训练集上表现良好，但在交叉验证集上表现良好。这是过度合身的特征！

第二，模型被拟合的原因

安装有三个主要原因:

(1)数据有噪声

(2)培训数据不足，培训数据有限

(3)过度训练导致模型非常复杂

我将在下面分别解释这三种情况(根据我自己的理解在这里解释，欢迎大家交流):

(1)数据有噪声

为什么数据中存在噪声，这可能导致模型拟合现象？

所有的机器学习过程都是一个介于搜索假设和空之间的过程！我们正在模型参数空之间搜索一组参数，以便我们的损失函数最小化，也就是说，我们不断地接近我们的真实假设模型，并且只有当我们知道所有的数据分布时，才能获得真实模型。

通常，我们的模型是在训练数据有限的情况下找到使损失函数最小的最优模型，然后将该模型推广到所有数据的其他部分。这是机器学习的精髓！

好，让我们假设我们的整体数据如下图所示:

(我在这里假设总体数据分布满足线性模型y = kx+b，这在现实中肯定不是那么简单，数据量也不是那么小，至少以十亿为单位，但它不影响解释。总之，总体数据满足模型y)

这时，我们得到一些数据，如果有噪音，如图所示:

(红色数据点是噪声)

那么由上述训练数据点训练的模型肯定不是线性模型(在总体数据分布下满足的标准模型)。例如，经过训练的模型如下:

然后我把这个模型与噪声训练结合起来，通过对训练集的连续训练，我可以得到一个损失函数值0。但是，如果我把这个模型推广到实际的总体数据分布中(满足线性模型)，效果会很差，因为如果你用一个非线性模型来预测线性模型的实际分布，很明显效果很差，这就导致了过度拟合！

(2)培训数据不足，培训数据有限

当我们的训练数据不足时，即使得到的训练数据没有噪声，训练后的模型也可能产生过拟合现象，解释如下:

假设我们的总体数据分布如下:

(为了便于理解，假设我们的总体数据分布所满足的模型是二次函数模型)

我们获得的培训数据是有限的，例如以下数据:

(我只有两个训练数据，甲和乙)

然后，根据这个训练数据，我得到的模型是一个线性模型。经过多次训练，我可以得到一个线性模型，其损失函数在训练数据中为0。有了这个模型，我可以推广真实的总体分布数据(事实上，它满足二次函数模型)。显然，泛化能力很差，导致过度拟合！

(3)过度训练导致模型非常复杂

过度训练模型会使模型变得非常复杂，还会导致过度拟合！事实上，把这和前两个原因结合起来是可以理解的。当我们用训练数据训练时，如果训练数据被过度训练，得到的模型可能不可靠。

例如，在有噪声的训练数据中，如果我们过度训练，我们会让模型学习噪声的特性，这无疑会导致没有噪声的真实测试集的准确性下降！

好了，这篇文章的内容已经在这里完成了。根据我自己的理解，我试着用通俗的方式来解释试衣的原因，希望能让更多的人有一个直观的理解~我真诚的希望能对大家有所帮助，欢迎大家参考错误的交流~

雷锋。(公开号码:雷锋。com)出版社:这篇文章的原作者回忆起了甄，这篇文章最初发表在作者的智湖专栏。

人工智能神经网络专业培训班

20年来，清华大学神经网络讲师将带你系统地学习人工智能的神经网络！

一站式深入了解深度学习的发展现状、基本原则和主要方法。

课程链接:mooc.ai/course/65

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户