机器学习中四种调参方法总结

来源丨AI公园
编辑丨极市平台

极市导读

ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。本文就“传统的手工调参、网格搜索、随机搜索、贝叶斯搜索”展开说明。>>加入极市CV技术交流群,走在计算机视觉的最前沿

介绍

维基百科上说,“Hyperparameter optimizationtuning是为学习算法选择一组最优的hyperparameters的问题”。

ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好,得到的模型就越好。调优超参数可能是非常乏味和困难的,更像是一门艺术而不是科学。

超参数

超参数是在建立模型时用于控制算法行为的参数。这些参数不能从常规训练过程中获得。在对模型进行训练之前,需要对它们进行赋值。

超参数的简单列表

内容

  1. 传统的手工调参
  2. 网格搜索
  3. 随机搜索
  4. 贝叶斯搜索

传统手工搜索

在传统的调参过程中,我们通过训练算法手动检查随机超参数集,并选择符合我们目标的最佳参数集。

我们看看代码:

#importing required libraries
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold , cross_val_score
from sklearn.datasets import load_wine

wine = load_wine()
X = wine.data
y = wine.target

#splitting the data into train and test set
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3,random_state = 14)

#declaring parameters grid
k_value = list(range(2,11))
algorithm = ['auto','ball_tree','kd_tree','brute']
scores = []
best_comb = []
kfold = KFold(n_splits=5)

#hyperparameter tunning
for algo in algorithm:
  for k in k_value:
    knn = KNeighborsClassifier(n_neighbors=k,algorithm=algo)
    results = cross_val_score(knn,X_train,y_train,cv = kfold)

print(f'Score:{round(results.mean(),4)} with algo = {algo} , K = {k}')
    scores.append(results.mean())
    best_comb.append((k,algo))

best_param = best_comb[scores.index(max(scores))]
print(f'\nThe Best Score : {max(scores)}')
print(f'['algorithm': {best_param[1]} ,'n_neighbors': {best_param[0]}]')

缺点

  1. 没办法确保得到最佳的参数组合。
  2. 这是一个不断试错的过程,所以,非常的耗时。

2. 网格搜索

网格搜索是一种基本的超参数调优技术。它类似于手动调优,为网格中指定的所有给定超参数值的每个排列构建模型,评估并选择最佳模型。考虑上面的例子,其中两个超参数 k_value =[2,3,4,5,6,7,8,9,10] & algorithm =[ auto , ball_tree , kd_tree ,brute ],在这个例子中,它总共构建了9*4 = 36不同的模型。

让我们来了解一下sklearn的GridSearchCV是如何工作的:

from sklearn.model_selection import GridSearchCV

knn = KNeighborsClassifier()grid_param = { 'n_neighbors' : list(range(2,11)) ,               'algorithm' : ['auto','ball_tree','kd_tree','brute'] }

grid = GridSearchCV(knn,grid_param,cv = 5)grid.fit(X_train,y_train)

#best parameter combinationgrid.best_params_

#Score achieved with best parameter combinationgrid.best_score_

#all combinations of hyperparametersgrid.cv_results_['params']

#average scores of cross-validationgrid.cv_results_['mean_test_score']

缺点

由于它尝试了超参数的每一个组合,并根据交叉验证得分选择了最佳组合,这使得GridsearchCV非常慢。

3. 随机搜索

使用随机搜索代替网格搜索的动机是,在许多情况下,所有的超参数可能不是同等重要的。随机搜索从超参数空间中随机选择参数组合,参数由n_iter给定的固定迭代次数的情况下选择。实验证明,随机搜索的结果优于网格搜索。

让我们来了解sklearn的RandomizedSearchCV是如何工作的:

from sklearn.model_selection import RandomizedSearchCV

knn = KNeighborsClassifier()

grid_param = { 'n_neighbors' : list(range(2,11)) , 
              'algorithm' : ['auto','ball_tree','kd_tree','brute'] }

rand_ser = RandomizedSearchCV(knn,grid_param,n_iter=10)
rand_ser.fit(X_train,y_train)

#best parameter combination
rand_ser.best_params_

#score achieved with best parameter combination
rand_ser.best_score_

#all combinations of hyperparameters
rand_ser.cv_results_['params']

#average scores of cross-validation
rand_ser.cv_results_['mean_test_score']

缺点

随机搜索的问题是它不能保证给出最好的参数组合。

4. 贝叶斯搜索

贝叶斯优化属于一类优化算法,称为基于序列模型的优化(SMBO)算法。这些算法使用先前对损失 f 的观察结果,以确定下一个(最优)点来抽样 f。该算法大致可以概括如下。

  1. 使用先前评估的点 X 1:n,计算损失 f 的后验期望。
  2. 在新的点 X 的抽样损失 f,从而最大化f的期望的某些方法。该方法指定 f 域的哪些区域最适于抽样。

重复这些步骤,直到满足某些收敛准则。

让我们用scikit- optimization的BayesSearchCV来理解。

Installation: pip install scikit-optimize

from skopt import BayesSearchCV

import warningswarnings.filterwarnings('ignore')

# parameter ranges are specified by one of belowfrom skopt.space import Real, Categorical, Integer

knn = KNeighborsClassifier()#defining hyper-parameter gridgrid_param = { 'n_neighbors' : list(range(2,11)) ,               'algorithm' : ['auto','ball_tree','kd_tree','brute'] }

#initializing Bayesian SearchBayes = BayesSearchCV(knn , grid_param , n_iter=30 , random_state=14)Bayes.fit(X_train,y_train)

#best parameter combinationBayes.best_params_

#score achieved with best parameter combinationBayes.best_score_

#all combinations of hyperparametersBayes.cv_results_['params']

#average scores of cross-validationBayes.cv_results_['mean_test_score']

另一个实现贝叶斯搜索的类似库是bayesian-optimization

Installation: pip install bayesian-optimization

缺点

要在2维或3维的搜索空间中得到一个好的代理曲面需要十几个样本,增加搜索空间的维数需要更多的样本。

总结

在确定参数的最佳组合的保证和计算时间之间总是存在权衡。如果超参数空间(超参数个数)非常大,则使用随机搜索找到超参数的潜在组合,然后在该局部使用网格搜索(超参数的潜在组合)选择最优特征。

(0)

相关推荐

  • PyTorch 学习笔记(五):Finetune和各层定制学习率

    加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总 ...

  • 9种常用的机器学习算法实现

    陈雷慧(豆苗) 淘系技术 简介 根据机器学习的任务或应用情况的不同,我们通常把机器学习分为三大类: 1.监督学习(Supervised Learning,SL),这类算法的工作原理是使用带标签的训练数 ...

  • 机器学习最强调参方法!高斯过程与贝叶斯优化

    机器学习模型中有大量需要事先进行人为设定的参数,比如说神经网络训练的batch-size,XGBoost等集成学习模型的树相关参数,我们将这类不是经过模型训练得到的参数叫做超参数(Hyperparam ...

  • ML之kNN:k最近邻kNN算法的简介、应用、经典案例之详细攻略

    ML之kNN:k最近邻kNN算法的简介.应用.经典案例之详细攻略kNN算法的简介邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一.所谓 ...

  • pytest文档42-fixture参数化params

    前言 参数化是自动化测试里面必须掌握的一个知识点,用过 unittest 框架的小伙伴都知道使用 ddt 来实现测试用例的参数化. pytest 测试用例里面对应的参数可以用 parametrize ...

  • 算法模型自动超参数优化方法

    什么是超参数? 学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数(Hyper ...

  • 大厨讲解四种调糊方法和作用,学会了做菜得心应手,属实干货分享

    大厨讲解四种调糊方法和作用,学会了做菜得心应手,属实干货分享

  • 浅析风水中四种寻龙的方法的使用准则

    每日一语:生命中,没有一种状态,比不懈的奋斗,更能让我们活的理直气壮! 知音 纯音乐 - 风华国韵 寻龙点穴首先先要寻龙,寻龙就是要找寻龙脉,龙脉是山脉,山脉却不一定是龙脉,因为山脉只有伴着水,才有可 ...

  • 闵非:图中,至少可以用四种以上的方法来分析此后大盘需要下跌:

    昨日收评提示大盘节前或走出三种变化,其中尤其以第一种概率为大,即直接反弹至正常需要到达的目标位3467点.今天大盘上涨,走的就是第一种即直接继续反弹完成到达目标位的任务(但很难有效过3475点).如此 ...

  • 学会这四种艾灸方法,没有调不好的病!

         国医智库      道法无边 我所看见的所有病,都可以用两个字来概括,一个是虚,一个是瘀.所有病到最后都可以用这两个字来总结.当然,单纯的虚和瘀很少,都是虚瘀夹杂,久病必虚,久瘀必虚,久虚必 ...

  • 『黄帝内经解读』黄帝内经中四种养生家养生的方法

    黄帝内经中四种养生家养生的方法 [原文] 黄帝曰:余闻上古有真人(1)者,提挈天地,把握阴阳,呼吸精气,独立守神(2),肌肉若一,故能寿敝天地,无有终时,此其道生.中古之时,有至人(3)者,淳德全道, ...

  • 四种常用节育方法,第一种在男性中很受欢迎,女性更喜欢最后一种

    在日常生活中,也有各种各样的节育方法,特别是对于一些年轻夫妇和年轻夫妇来说,在和平时期的夫妻生活也更多,所以节育也是非常必要的,如果不节育.意外怀孕.不想生孩子,就必须对妇女子宫进行堕胎是非常有害的, ...

  • PPT设计中四种常见的图片的处理方法

    一.图片处理的类型 我们借用印刷的术语,我觉得PPT设计中图片的处理类型可分为三种 :角版,羽化版和挖版.角版一般是经过简单裁剪后的原始图片,羽化也很好理解,稍微有图片处理知识的应该都知道,挖版在PS ...

  • 四种数学思想方法在线段中的运用

    每日积累一点,每日进步一点. 原创话题:学习方法策略技巧 四种数学思想方法在线段中的运用 [方法技巧]  1.运用整体思想计算线段的长或求定值,注意设字母参数x,并用x表示有关线段. 2.运用方程思想 ...

  • 会这四种艾灸方法,没有调不好的病!

    艾灸训练营 8月7日 我所看见的所有病,都可以用两个字来概括,一个是虚,一个是瘀.所有病到最后都可以用这两个字来总结.当然,单纯的虚和瘀很少,都是虚瘀夹杂,久病必虚,久瘀必虚,久虚必瘀就是如此. 人要 ...