2024年11月13日,北京师范大学系统科学学院邀请复旦大学类脑智能科学与技术研究院祁阳博士作题为《Stochastic neural computing: from spatiotemporal dynamics to machine learning》的学术报告。在悉尼大学龚璞林教授课题组获得博士学位之后,祁阳于2020年开始在复旦大学冯建峰教授课题组从事博士后研究工作,主要研究领域为计算神经科学和脑启发智能,方向包括神经元回路的时空动力学、神经编码理论、概率性神经计算和机器学习。目前,祁阳研究的内容主要涉及开发一种随机神经计算理论和任务驱动方法,用于研究脉冲神经网络模型中的相关神经变异性。在报告中,祁阳对这两部分的工作进行了介绍,并分享了一种理解脑内神经计算过程的新范式。
祁阳所在团队近期提出了一种创新方法,利用矩闭合(moment-closure)技术在噪声干扰的环境中,实现脉冲神经网络中基于梯度的学习。这一发现基于随机神经计算理论,该理论认为大脑可能以一种基本的概率方式进行运作。模仿大脑处理和学习概率计算的方式,可能是开发类脑智能的关键所在。然而,脉冲神经网络如何利用概率计算来执行任务,一直是一个未解之谜。祁阳及其团队通过引入一种新颖的深度学习框架——矩神经网络,为这一问题提供了解决方案。这种算法框架能够将基于放电率的人工神经网络扩展到二阶统计矩,使得经过训练的矩神经网络参数无需进一步微调,即可直接应用于恢复相应的脉冲神经网络。基于矩神经网络的理论基础,祁阳等人进一步构建了一个神经环路模型,该模型旨在学习在推断任务中相关神经变异性的功能作用,为理解脉冲神经网络的工作原理和优化类脑智能系统提供了新的视角。
在一个例子中,祁阳展示了相关神经变异性如何帮助预测不确定性最小化进而提高推理速度。在另一个例子中,祁阳展示了单层脉冲神经元可以提取隐藏在输入相关关系中的感知信息,并将其传递给下游神经群的平均放电率。
祁阳博士的报告从矩神经网络的角度,提出了一种研究神经动力系统和概率神经计算的新视角,十分具有启发性。在会场师生的踊跃提问下,祁阳博士对工作内容的具体细节进行了介绍,并在会后访问期间与我院师生深入交流讨论,为进一步的合作研究奠定了基础。
供稿:李语清、王健
编辑:郝林青
审核:李 辉