GBDT 算法原理详解：梯度提升决策树从数学推导到代码实现

GBDT 算法原理详解

引言

GBDT（Gradient Boosting Decision Tree）是梯度提升决策树，是集成学习中最强大的算法之一。XGBoost、LightGBM 都是基于 GBDT 的优化。本文将深入解析 GBDT 的数学原理，并提供完整的代码实现。

一、GBDT 原理

1.1 核心思想

GBDT 通过串行训练多个决策树，每个树修正前面所有树的误差。