【创新在大工】软件学院、国际信息与软件学院科研团队在大模型量化、图神经网络领域取得突破成果OD体育app免费下载
发布时间:2024-12-04
 近日,软件学院、国际信息与软件学院科研团队在大模型量化、图神经网络等领域取得重要进展。两项成果被数据挖掘国际顶级会议——知识发现与数据挖掘会议(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,简称KDD)录用。同时,关于图神经网络领域的成果荣获2024年度“中国计算机学会自然科学二等奖”OD体育app免费下载。  该成果

  近日,软件学院、国际信息与软件学院科研团队在大模型量化、图神经网络等领域取得重要进展。两项成果被数据挖掘国际顶级会议——知识发现与数据挖掘会议(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,简称KDD)录用。同时,关于图神经网络领域的成果荣获2024年度“中国计算机学会自然科学二等奖”OD体育app免费下载。

  该成果由大连理工大学刘晗副教授、2024级硕士研究生高浩天、张晓彤副教授、2024级博士研究生李长雅,北京大学张枫博士,深圳北理莫斯科大学王伟教授,宾夕法尼亚州立大学马凤龙助理教授,OD体育首页入口大工于红副教授共同完成。OD体育首页入口大型语言模型量化技术迅速发展,但在低比特量化设置下保持性能和计算效率方面仍存在挑战。文章提出了一种新颖的后训练量化范式(SEPTQ),通过静态全局策略确定量化位置,并利用掩码矩阵指导量化和更新相关权重,以精确补偿量化权重的舍入误差。实验结果表明,SEPTQ在不同量化位级的大型语言模型上显著优于其他强基线方法,特别是在低比特量化场景下,展现出卓越的性能和鲁棒性。

  该成果由之江实验室亓庆国博士、陈红阳研究员,宾夕法尼亚州立大学程黾昊助理教授,刘晗副教授共同完成。动态图表示学习快速发展,但离散时间动态图在时间边研究和大规模计算上仍面临挑战。文章提出了基于快照融合的动态图神经网络(SFDyG),通过结合霍克斯过程与图神经网络,降低计算复杂度并提升未来交互预测准确性。实验结果表明,SFDyG在多数据集上的性能优于现有方法,展现出高效性和准确性。

  图神经网络的内在机理及其应用研究(2024年度CCF科技成果奖—自然科学二等奖)

  该成果由香港理工大学吴晓明副教授,大连理工大学张晓彤副教授、刘晗副教授,香港理工大学李其迈博士共同完成。项目揭示了图神经网络中图卷积的本质是拉普拉斯平滑,具有低通滤波作用,证明了过多的卷积层数会导致特征过度平滑,为后续研究发挥图神经网络的潜力和规避风险提供了理论指导,并利于设计符合具体应用场景的新型图神经网络算法。

  知识发现与数据挖掘会议(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,简称KDD)是数据挖掘领域最权威的顶级国际学术会议,是中国计算机学会推荐的A类学术会议(CCF A类会议)。中国计算机学会(CCF)科技成果奖旨在表彰在计算机科学、技术或工程领域具有重要发现、发明、原始创新,并在相关领域产生一定国际影响的优秀成果。在2024年度的自然科学奖评选中,全国共计产生一等奖3项、二等奖5项、OD体育首页入口三等奖2项。