报告11:基于SLeM学习框架的学习率自设定方法
2024/10/21 来源: 编辑:


报告人:孟德宇 (西安交通大学)


报告题目:基于SLeM学习框架的学习率自设定方法


摘要:现有深度学习方法的有效性依赖于优化算法步长序列的有效设定,但当面对不同模态、不同数据规模、不同网络类型等变化时,手工设定该超参往往是极为困难的。本报告将特别针对这一典型任务的机器学习自动化方法论展开讨论,介绍基于“模拟学习方法论”(SLeM)的基本框架,以及如何基于该框架将传统手工超参设定方法如何演进到更为前沿的大模型背景下复杂问题类型的自动化赋参方法。特别地,将深入讨论在该方法论背后蕴含的元学习思想本质,挖掘其有效性理论内涵,从而揭示其可能对现实场景中复杂鲁棒深度学习问题的潜在泛化可用性。