2023年8月27日-29日，在安徽合肥召开第38届中国自动化学会青年学术年会(YAC2023)。由北京师范大学系统科学学院博士生饶煊、赵博副教授以及南方科技大学刘德荣教授(欧洲科学院院士)共同完成的论文《A Feedback-inspired Super-network Shrinking Framework for Flexible Neural Architecture Search》荣获最佳理论论文奖。

该文提出了一种反馈控制启发的超网络收缩框架，其以逐步减小稀疏度为控制目标、以当前时刻的稀疏熵变化量为系统状态、以神经单元的稀疏系数为控制律、以预期的稀疏熵减小量为期望状态，构建了控制律、系统状态、期望状态三者之间的交互机制，实现了深度神经网络结构的自动化设计，减轻了对人工先验规则的依赖。基于可微架构搜索的框架，释放了神经单元拓扑结构共享的限制；基于信息熵的概念构建了可以衡量可微超网络稀疏度的稀疏熵损失函数，用于优化超网络的计算复杂度；提出了自适应的反馈调节机制，平衡了超网络模型性能和计算复杂度；计算实验表明所提出的方法可有效地控制超网络架稀疏度的减小速度，并在神经单元不受限的搜索空间中得到预期的神经架构。该工作得到了“新一代人工智能”重大项目课题(No. 2018AAA0100203)、国家自然科学基金(No. 61973330)的支持。

图1 搜索到的部分神经架构

图2 超网络稀疏系数和稀疏熵损失函数的变化曲线

图3 最佳理论论文奖证书

供稿：赵博

编辑：郝林青

审核：王大辉