跳到主内容
快讯直播
AI智模界
AI 词典

随机搜索:为什么“瞎试”有时比网格搜索更聪明

随机搜索(Random Search)是一种超参数(hyperparameter)调优方法:在事先划定的取值范围内随机采样若干组超参数组合,逐组训练并评估,最后取表现最好的那一组,而不去穷举所有组合。

打个比方。想象你在调一台有二十个旋钮的老式音响,目标是调出最好的音质。但真相是,其中只有音量、低音这两个旋钮真正影响听感,剩下十八个拧到哪儿差别不大。网格搜索(Grid Search)的做法是:每个旋钮都均匀拧到五档,然后把所有组合试一遍。二十个旋钮就是 5²⁰ 种组合,算力在第一个旋钮上就耗尽了,而你在意的那两个旋钮,各自也只被试了五个位置。随机搜索则是闭着眼睛随机拧二十个旋钮,试一百次。听起来很傻,但因为在真正重要的那两个旋钮上,每次采样都是新的随机值,一百次试验大约能得到一百个不同的音量与低音位置——分辨率比网格搜索高得多;至于那十八个不重要的旋钮被重复采样,本来也不损失什么。

这就是关键:超参数的重要性分布极不均匀。真实模型动辄几十个超参数,其中真正显著影响结果的往往只有少数几个。网格搜索的代价随维度指数增长,且把预算平摊到所有维度上;随机搜索的试验次数只由你的算力预算决定,与维度无关,于是它天然地把“有效分辨率”集中到了重要维度上。

网格搜索 Grid Search随机搜索 Random Search
采样方式每维等间距取点后做笛卡尔积每维独立随机采样
试验数量随维度指数膨胀由预算决定,与维度无关
高维表现算力大量花在不重要维度预算自然摊到重要维度
并行性可并行,但组合固定每个试验相互独立,极易并行
适用场景低维、每维都重要、范围小高维、只有少数超参真正重要

和相邻概念的区别也要说清。相比贝叶斯优化(Bayesian Optimization),随机搜索不利用历史结果建模去挑“下一个最值得试的点”,因此样本效率通常更低;但它的优点是几乎没有额外开销、实现简单、天然可并行(parallel),常被当作必须打败的基线(baseline)。相比手工调参,它至少保证了覆盖面和可复现性。

对从业者的实际意义是:拿到一个新模型,先用随机搜索广泛探一遍,顺便观察哪个超参数让结果波动最大,把重要的那几个筛出来,再对它们做更细的搜索或上贝叶斯优化。两个细节别忽略:随机搜索要固定随机种子(random seed)才可复现;搜索空间(search space)要划对,比如学习率这类量级跨度大的参数,应在对数尺度上采样,而不是线性均匀采样。对普通职场人,这套思路同样成立:面对一堆不确定因素时,先低成本随机试一批、看清哪个变量真正起作用,再把资源压在它上面,通常比一上来就把每个因素都整齐地切几档去“全排列”更划算。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。