基础概念

训练集

用来训练模型内参数的数据集

验证集

用于在训练过程中检验模型的状态，收敛情况。验证集通常用于调整超参数，根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。同时验证集在训练过程中还可以用来监控模型是否发生过拟合，一般来说验证集表现稳定后，若继续训练，训练集表现还会继续上升，但是验证集会出现不升反降的情况，这样一般就发生了过拟合。所以验证集也用来判断何时停止训练.

测试集

测试集用来评价模型泛化能力，即之前模型使用验证集确定了超参数，使用训练集调整了参数，最后使用一个从没有见过的数据集来判断这个模型是否Work。

Batch, 批

Batch 指的是在一次迭代（Iteration）中用于训练模型的一组样本。这意味着而不是一次处理整个数据集，模型一次仅处理一小部分数据。

Batch Size, 批大小

与Batch紧密相关的一个概念是Batch Size，它指的是每个Batch中的样本数量。Batch Size是超参数之一，需要根据具体任务和数据集的特性进行调整。Batch Size 是指在训练过程中一次性传递给模型的样本数量。它决定了每次参数更新前模型看到的样本数量。

• 内存效率：较小的Batch Size可以减少内存消耗。

• 泛化能力：有研究表明，较小的Batch Size通常能提高模型的泛化能力。

• 训练速度：较大的Batch Size可以加快训练速度，但可能会影响模型的最终性能。

Epoch

Epoch 指的是整个训练数据集被完整地传递给模型一次的过程。