泛化误差
训练误差与测试误差之间的差异，衡量模型从训练数据推广到新数据的能力。
可约误差
偏差：指模型预测的期望与真实值之间的偏离，衡量模型预测能力，偏差高表示模型过于简单，不能很好地拟合数据。
方差：指不同数据集下模型预测结果的波动性，衡量模型的稳定性，方差高表示模型对数据扰动敏感，容易过拟合。
不可约误差
由系统固有的不确定性或噪声造成
无法通过任何建模手段降低
过拟合和欠拟合
过拟合：模型在训练集上表现很好，但在测试集上误差很大，原因是模型复杂度太高，高方差
解决策略：
简化模型
增加数据量
正则化：岭回归、Lasso回归、Dropout
欠拟合：模型在训练集和测试集上表现都不好，无法捕捉数据的基本结构，原因是模型太简单，偏差太高
解决策略：
增加模型复杂度
使用更强的模型（加隐藏层，非线性激活）
减少正则化力度