ການສິ່ງວິຊາ Machine Learning - Training/Testing

ປະເມີນຮູບຈຳລອງ

ໃນວິທະຍາສາດການບັນຊາວະຄວາມພະຍາຍາມທາງຄອມພິວເຕີ້ພວກເຮົາສ້າງຮູບຈຳລອງເພື່ອການການຄາດຄະແນນຜົນຂອງສິ່ງທີ່ຈະເກີດຂຶ້ນ ຄືດັ່ງທີ່ໃນຫົວຂໍ້ທີ່ຜ່ານມາພວກເຮົາໄດ້ການຄາດຄະແນນຄວາມອາຍຸຂອງລົດຄັນໃນຂະນະທີ່ພວກເຮົາໄດ້ຮູ້ວ່າຄວາມວຸດາງຂອງການແຂ່ງມູນກາງສັນຍານຂອງລົດຄັນ。

ເພື່ອວັດແທກວ່າຮູບຈຳລອງມີຄວາມບຸງຄົງຫຼືບໍ່ບຸງຄົງພວກເຮົາສາມາດໃຊ້ວິທີທີ່ເອີ້ນວ່າທົດລອງ/ທົດລອງຍໍາມະດາ。

ຫຍັງທີ່ຮູບຂໍ້ມູນຖືກເອີ້ນວ່າທົດລອງ/ທົດລອງຍໍາມະດາ

ທົດລອງ/ທົດລອງຍໍາມະດາແມ່ນວິທີທາງເພື່ອວັດແທກຄວາມຖືກຕ້ອງຂອງຮູບຈຳລອງ。

ຫຍັງທີ່ຮູບຂໍ້ມູນຖືກເອີ້ນວ່າທົດລອງ/ທົດລອງຍໍາມະດາ ເພາະວ່າພວກເຮົາໄດ້ແບ່ງຂໍ້ມູນຂອງພວກເຮົາເປັນສອງກຸ່ມ: ກຸ່ມທົດລອງ ແລະ ກຸ່ມທົດລອງຍໍາມະດາ。

80% ທີ່ຈະທົດລອງ 20% ທີ່ຈະທົດລອງ。

ທ່ານສາມາດໃຊ້ການທົດລອງຂັ້ນຕອນທີ່ຈະທົດລອງຮູບຈຳລອງ。

ທ່ານສາມາດໃຊ້ການທົດລອງຂອງຂັ້ນຕອນທີ່ຈະທົດລອງຮູບຈຳລອງ。

ທົດລອງຮູບຈຳລອງໝາຍຄວາມວ່າສ້າງຮູບຈຳລອງ。

ທົດລອງຮູບຈຳລອງໝາຍຄວາມວ່າທົດລອງຄວາມຖືກຕ້ອງຂອງຮູບຈຳລອງ。

ເລີ່ມຈາກຂໍ້ມູນທີ່ຈະທົດລອງ

ເລີ່ມຈາກຂໍ້ມູນທີ່ຈະທົດລອງ。

ຂໍ້ມູນຂອງພວກເຮົາສະແດງຄືນຄືກັບ 100 ຄົນທີ່ຢູ່ທີ່ຮ້ານຄ້າແລະການປິ່ນປົວຂອງພວກເຂົາໃນການຊື້ຂາຍ。

实例

import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
plt.scatter(x, y)
plt.show()

结果：

x 轴表示购买前的分钟数。

y 轴表示在购买上花费的金额。


运行实例

拆分训练/测试

训练集应该是原始数据的 80％ 的随机选择。

测试集应该是剩余的 20％。

train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]

显示训练集

显示与训练集相同的散点图：

实例

plt.scatter(train_x, train_y)
plt.show()

结果：

它看起来像原始数据集，因此似乎是一个合理的选择：


运行实例

显示测试集

为了确保测试集不是完全不同，我们还要看一下测试集。

实例

plt.scatter(test_x, test_y)
plt.show()

结果：

测试集也看起来像原始数据集：


运行实例

拟合数据集

数据集是什么样的？我认为最合适拟合的是多项式回归，因此让我们画一条多项式回归线。

要通过数据点画一条线，我们使用 matplotlib 模块的 plott() 方法：

实例

绘制穿过数据点的多项式回归线：

import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
myline = numpy.linspace(0, 6, 100)
plt.scatter(train_x, train_y)
plt.plot(myline, mymodel(myline))
plt.show()

结果：


运行实例

此结果可以支持我们对数据集拟合多项式回归的建议，即使如果我们尝试预测数据集之外的值会给我们带来一些奇怪的结果。例如：该行表明某位顾客在商店购物 6 分钟，会完成一笔价值 200 的购物。这可能是过拟合的迹象。

但是 R-squared 分数呢？ R-squared score很好地指示了我的数据集对模型的拟合程度。

R2

还记得 R2，也称为 R平方（R-squared）吗？

它测量 x 轴和 y 轴之间的关系，取值范围从 0 到 1，其中 0 表示没有关系，而 1 表示完全相关。

sklearn 模块有一个名为 rs_score() 的方法，该方法将帮助我们找到这种关系。

在这里，我们要衡量顾客在商店停留的时间与他们花费多少钱之间的关系。

实例

我们的训练数据在多项式回归中的拟合度如何？

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(train_y, mymodel(train_x))
print(r2)

运行实例

注释：ຜົນ 0.799 ສະແດງວ່າການຄວາມຄົງຄວາມສາມາດບໍ່ບໍ່.

ນຳເອົາຄູ່ມູນການທົດລອງ

ຕອນນີ້ຢ່າງໜ້ອຍໃນຂໍ້ມູນການຝຶກອົບຮົມພວກເຮົາໄດ້ສ້າງຮູບຈຳນວນທີ່ດີ.

ຫຼັງຈາກນັ້ນພວກເຮົາຈະໃຊ້ຂໍ້ມູນການທົດລອງເພື່ອທົດລອງຮູບຈຳນວນຂອງພວກເຮົາວ່າຈະເຮັດຕາມຜົນດຽວ.

实例

让我们在使用测试数据时确定 R2 分数：

import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(test_y, mymodel(test_x))
print(r2)

运行实例

注释：结果 0.809 表明该模型也适合测试集，我们确信可以使用该模型预测未来值。

预测值

现在我们已经确定我们的模型是不错的，可以开始预测新值了。

实例

如果购买客户在商店中停留 5 分钟，他/她将花费多少钱？

print(mymodel(5))

运行实例

该例预测客户花费了 22.88 美元，似乎与图表相对应：