1. 针对 leaf-wise 树的参数优化：

• num_leaves：控制了叶节点的数目。它是控制树模型复杂度的主要参数。 如果是level-wise， 则该参数为 ，其中 为树的深度。 但是当叶子数量相同时，leaf-wise 的树要远远深过level-wise 树，非常容易导致过拟合。因此应该让 num_leaves 小于 在leaf-wise 树中，并不存在depth 的概念。因为不存在一个从leaves 到 depth 的合理映射
• min_data_in_leaf： 每个叶节点的最少样本数量。它是处理leaf-wise 树的过拟合的重要参数。 将它设为较大的值，可以避免生成一个过深的树。但是也可能导致欠拟合。
• max_depth： 控制了树的最大深度。 该参数可以显式的限制树的深度。

2. 针对更快的训练速度：

• 通过设置 bagging_fraction 和 bagging_freq 参数来使用 bagging 方法
• 通过设置 feature_fraction 参数来使用特征的子抽样
• 使用较小的 max_bin
• 使用 save_binary 在未来的学习过程对数据加载进行加速

3. 获取更好的准确率：

• 使用较大的 max_bin （学习速度可能变慢）
• 使用较小的 learning_rate 和较大的 num_iterations
• 使用较大的 num_leaves （可能导致过拟合）
• 使用更大的训练数据
• 尝试 dart

4. 缓解过拟合：

• 使用较小的 max_bin
• 使用较小的 num_leaves
• 使用 min_data_in_leaf 和 min_sum_hessian_in_leaf
• 通过设置 bagging_fraction 和 bagging_freq 来使用 bagging
• 通过设置 feature_fraction 来使用特征子抽样
• 使用更大的训练数据
• 使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则
• 尝试 max_depth 来避免生成过深的树