# DL-Search

**Repository Path**: sg-first/DL-Search

## Basic Information

- **Project Name**: DL-Search
- **Description**: 神经网络参数与架构搜索
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-12-18
- **Last Updated**: 2021-11-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

DL-Search
================
项目可能用到的一些网络搜索方法，一个[综述报告](http://www.sohu.com/a/256251037_610300)

分类
----------------
### 网格搜索
挨个试（同时建议后面的尝试接着用前面的参数，尤其是有收敛希望的前提下）

### 随机搜索
如果搜索空间包含3到4个维度，不要使用网格搜索，使用随机搜索，它会为每个搜索任务提供一个非常好的基准（就是尽量会不在没用的区间瞎试）
#### google Auto-ML系列论文：渐进式神经架构搜索
按照复杂性递增的顺序来测试它们并搜索结构

### 贝叶斯优化
利用过去的猜测，并将其作为改进下一步工作的资源，来有效地推动搜索和实验。

这种搜索策略是建立一个代理模型，试图从超参数配置中预测我们关心的度量指标。在每一次迭代中，代理将会变得越来越有信心，新的猜测会带来新的改进。
#### google Auto-ML系列论文：基于网络态射的高效神经架构搜索
在这里有一个关于该论文演示项目——AutoKeras的[报告](https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247502064&idx=3&sn=526c0eb5f9520ed1584873a5af48b08f&chksm=e8d07f82dfa7f6942c06298653808fa722f3359c0407de492de8a4b0fd0af861f17f1fe35d3f&scene=21#wechat_redirect)

他们为了降低ENAS的计算成本，引入神经网络核和树结构的采集函数优化算法，用贝叶斯优化来引导神经网络的网络态射。这样可以在改变神经架构的同时保持神经网络的功能，在搜索期间提高训练效率。