机器学习的模型都是参数化的，以便于其针对特定的问题进行调整。一个模型有很多参数，寻找这些参数的最佳组合其实是一个搜索问题。本文中，你会学习到如何使用scikit-learn库来调整机器学习算法的参数。使用scikit-learn API版本为0.18。

调整参数是呈现机器学习结果前的最后一步。有时这一过程也叫超参最优化,其中算法的参数叫做超参，而具体机器学习模型的系数叫做参数。最优化的意思暗示这是一个搜索问题。既然作为一个搜索问题，你就可以使用不同的搜索策略，为一个已知问题，找到一个好而且稳定的参数或者参数集合。

两个简单易行的搜索策略是网格搜索和随机搜索。scikit-learn提供了这两种方法做参数调整。

1. 网格搜索调整参数

网格搜索是一种参数调整方法，对网格中的所有算法参数的组合建立和评价模型。以下代码使用内建的diabetes数据集，对Ridge回归算法的alpha参数的不同值进行模型评价。这是一个一维的网格搜索问题。

# Grid Search for Algorithm Tuningimport numpy as npfrom sklearn import datasetsfrom sklearn.linear_model import Ridgefrom sklearn.model_selection import GridSearchCV# load the diabetes datasetsdataset = datasets.load_diabetes()# prepare a range of alpha values to testalphas = np.array([1,0.1,0.01,0.001,0.0001,0])# create and fit a ridge regression model, testing each alphamodel = Ridge()grid = GridSearchCV(estimator=model, param_grid=dict(alpha=alphas))grid.fit(dataset.data, dataset.target)print(grid)# summarize the results of the grid searchprint(grid.best_score_)print(grid.best_estimator_.alpha)

输出结果：

GridSearchCV(cv=None, error_score='raise',
       estimator=Ridge(alpha=1.0, copy_X=True, fit_intercept=True, max_iter=None,
   normalize=False, random_state=None, solver='auto', tol=0.001),
       fit_params={}, iid=True, n_jobs=1,
       param_grid={'alpha': array([  1.00000e+00,   1.00000e-01,   1.00000e-02,   1.00000e-03,
         1.00000e-04,   0.00000e+00])},
       pre_dispatch='2*n_jobs', refit=True, return_train_score=True,
       scoring=None, verbose=0)0.4887902044610.001

更多信息，请参见API中的GridSearchCV和用户手册中的Exhaustive Grid Search

2. 随机搜索调整参数

随机搜索也是一种调参方法，在一定迭代次数下，从一个随机分布中抽样选取算法参数。根据每一个参数组合进行模型构建和评估。以下代码评估0到1间的不同的alpha值，同样使用的是标准diabetes 数据集。

# Randomized Search for Algorithm Tuningimport numpy as npfrom scipy.stats import uniform as sp_randfrom sklearn import datasetsfrom sklearn.linear_model import Ridgefrom sklearn.model_selection import RandomizedSearchCV# load the diabetes datasetsdataset = datasets.load_diabetes()# prepare a uniform distribution to sample for the alpha parameterparam_grid = {'alpha': sp_rand()}# create and fit a ridge regression model, testing random alpha valuesmodel = Ridge()rsearch = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100)rsearch.fit(dataset.data, dataset.target)print(rsearch)# summarize the results of the random parameter searchprint(rsearch.best_score_)print(rsearch.best_estimator_.alpha)

输出结果：

RandomizedSearchCV(cv=None, error_score='raise',
          estimator=Ridge(alpha=1.0, copy_X=True, fit_intercept=True, max_iter=None,
   normalize=False, random_state=None, solver='auto', tol=0.001),
          fit_params={}, iid=True, n_iter=100, n_jobs=1,
          param_distributions={'alpha': },
          pre_dispatch='2*n_jobs', random_state=None, refit=True,
          return_train_score=True, scoring=None, verbose=0)0.4891601573040.0534269728673

更多信息请参见API中RandomizedSearchCV 的和用户手册中的Randomized Parameter Optimization

知识点：

1. sklearn.model_selection.GridSearchCV

2. grid.fit, best_score_, best_estimator_.alpha

3. sklearn.model_selection.RandomizedSearchCV

4. rsearch.fit, best_score_, best_estimator_.alpha

七个参数：

Criterion，

两个随机性相关的参数（random_state，splitter），

四个剪枝参数（max_depth, min_sample_leaf,max_feature,min_impurity_decrease）

一个属性：feature_importances_

四个接口：fit，score，apply，predict

超参数，即不直接在估计器内学习的参数。在 scikit-learn 包中，它们作为估计器类中构造函数的参数进行传递。典型的示例有：用于支持向量分类器的 C 、kernel 和 gamma ，用于Lasso的 alpha 等。

搜索超参数空间以便获得最好 交叉验证 分数的方法是可能的而且是值得提倡的。

通过这种方式，构造估计器时被提供的任何参数或许都能被优化。具体来说，要获取到给定估计器的所有参数的名称和当前值，使用:

搜索包括:

估计器(回归器或分类器，例如 sklearn.svm.SVC())

参数空间

搜寻或采样候选的方法

交叉验证方案

计分函数

有些模型支持专业化的、高效的参数搜索策略, 描述如下 。在 scikit-learn 包中提供了两种采样搜索候选的通用方法:对于给定的值, GridSearchCV 考虑了所有参数组合；而 RandomizedSearchCV 可以从具有指定分布的参数空间中抽取给定数量的候选。介绍完这些工具后，我们将详细介绍适用于这两种方法的 最佳实践 。

注意，通常这些参数的一小部分会对模型的预测或计算性能有很大的影响，而其他参数可以保留为其默认值。