日前,统计学院林华珍教授指导的在读博士生王宣程的论文“Deep regression learning with optimal loss function”被统计学国际顶级学术期刊《Journal of the American Statistical Association》正式接收。
该论文提出了一种自适应于任意数据分布的深度神经网络的最优估计方法,在保证最优预测精度的同时,最大程度降低对样本量的需求,缓解深度神经网络对大样本量的依赖。基于自适应最优损失函数,该方法充分挖掘潜在数据分布的信息,适用于高斯、偏态、厚尾、多峰、异方差等各种数据,具有稳健性,克服了常规的最小二乘损失只适用于轻尾数据的局限;另一方面,回避了稳健损失函数因考虑鲁棒性而带来效率的损失。因而该方法兼具高预测精度、有效性和鲁棒性。该工作可直接基于现有的神经网络计算工具进行计算,操作简单可行。针对四个实际数据集的分析结果表明,其在样本外预测误差上显著优于其他现有方法。
该工作从数据出发得到有效且鲁棒的估计方法,通过简便的计算,能够处理任意类型的数据分布,这使得其具备广泛的通用性,适用于各种实际场景。得益于其有效性,该方法降低了对数据量的依赖,为有限样本的神经网络深度学习提供了全新视角,在理论研究和实际应用上都具有重大潜力。