在评估机器学习模型时防止数据泄漏

在上面的代码中，‘Xtrain’是训练集(k-fold交叉验证)，‘Xtest’用于对看不见的数据进行模型评估。上面的代码是一个带有数据泄漏的模型评估示例，其中，用于估算缺失值的模式(strategy= ' mostfrequent ')在' Xtrain '上计算。类似地，用于缩放数据的均值和标准偏差也使用' Xtrain '计算。' Xtrain的缺失值将被输入，' X_train '在k-fold交叉验证之前进行缩放。

在k-fold交叉验证中，' Xtrain '被分割成' k '折叠。在每次k-fold交叉验证迭代中，其中一个折用于验证(我们称其为验证部分)，其余的折用于训练(我们称其为训练部分)。每次迭代中的训练和验证部分都有已经使用' Xtrain '计算的模式输入的缺失值。类似地，它们已经使用在' Xtrain '上计算的平均值和标准偏差进行了缩放。这种估算和缩放操作会导致来自' Xtrain '的信息泄露到k-fold交叉验证的训练和验证部分。这种信息泄漏可能导致模型在验证部分上的性能估计有偏差。下面的代码展示了一种通过使用管道来避免它的方法。

上面的代码中，我们已经在管道中包含了输入器、标量和回归器。在本例中，' X_train '被分割为5个折，在每次迭代中，管道使用训练部分计算用于输入训练和验证部分中缺失值的模式。同样，用于衡量训练和验证部分的平均值和标准偏差也在训练部分上计算。这一过程消除了数据泄漏，因为在每次k-fold交叉验证迭代中，都在训练部分计算归责模式和缩放的均值和标准偏差。在每次k-fold交叉验证迭代中，这些值用于计算和扩展训练和验证部分。

我们可以看到在有数据泄漏和没有数据泄漏的情况下计算的训练和验证rmse的差异。由于数据集很小，我们只能看到它们之间的微小差异。在大数据集的情况下，这个差异可能会很大。对于看不见的数据，验证RMSE(带有数据泄漏)接近RMSE只是偶然的。

因此，使用管道进行k-fold交叉验证可以防止数据泄漏，并更好地评估模型在不可见数据上的性能。

（编辑：潍坊站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!