LightGBM高级教程：自动调参与超参数优化

Echo_Wish

发布于 2024-02-29 09:22:52

7270

发布于 2024-02-29 09:22:52

文章被收录于专栏：数据结构和算法

导言

LightGBM作为一种高效的梯度提升决策树算法，具有许多可调参数。为了优化模型性能，通常需要进行调参和超参数优化。本教程将介绍如何在Python中使用不同的技术来进行自动调参和超参数优化，以提高LightGBM模型的性能。

使用Grid Search进行参数搜索

Grid Search是一种常用的参数搜索方法，它通过指定一组参数的候选值来搜索最优的参数组合。以下是一个简单的示例：

from sklearn.model_selection import GridSearchCV

# 定义参数候选值
param_grid = {
    'num_leaves': [10, 20, 30],
    'learning_rate': [0.01, 0.1, 1],
    'n_estimators': [50, 100, 200]
}

# 定义LightGBM模型
lgb_model = lgb.LGBMClassifier()

# 使用Grid Search进行参数搜索
grid_search = GridSearchCV(lgb_model, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最优参数组合
print("Best Parameters:", grid_search.best_params_)

# 输出最优模型在测试集上的性能
print("Best Score:", grid_search.best_score_)

使用Random Search进行参数搜索

Random Search是另一种常用的参数搜索方法，它通过在参数空间中随机采样来搜索最优的参数组合。以下是一个简单的示例：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform, randint

# 定义参数分布
param_dist = {
    'num_leaves': randint(10, 50),
    'learning_rate': uniform(0.01, 0.1),
    'n_estimators': randint(50, 200)
}

# 使用Random Search进行参数搜索
random_search = RandomizedSearchCV(lgb_model, param_dist, n_iter=10, cv=5, scoring='accuracy')
random_search.fit(X_train, y_train)

# 输出最优参数组合
print("Best Parameters:", random_search.best_params_)

# 输出最优模型在测试集上的性能
print("Best Score:", random_search.best_score_)

使用Hyperopt进行超参数优化

Hyperopt是一种基于贝叶斯优化的超参数优化工具，它可以在较少的迭代次数下找到较好的参数组合。以下是一个简单的示例：

from hyperopt import hp, fmin, tpe, Trials

# 定义参数空间
space = {
    'num_leaves': hp.quniform('num_leaves', 10, 50, 1),
    'learning_rate': hp.uniform('learning_rate', 0.01, 0.1),
    'n_estimators': hp.quniform('n_estimators', 50, 200, 1)
}

# 定义评价函数
def objective(params):
    lgb_model = lgb.LGBMClassifier(**params)
    score = cross_val_score(lgb_model, X_train, y_train, cv=5, scoring='accuracy').mean()
    return -score

# 使用Hyperopt进行超参数优化
trials = Trials()
best = fmin(objective, space, algo=tpe.suggest, max_evals=10, trials=trials)

# 输出最优参数组合
print("Best Parameters:", best)

# 输出最优模型在测试集上的性能
lgb_model_best = lgb.LGBMClassifier(**best)
lgb_model_best.fit(X_train, y_train)
print("Best Score:", lgb_model_best.score(X_test, y_test))