新闻中心

新闻聚焦 当前位置:网站首页 > 新闻中心 > 新闻聚焦

学院徐增林教授团队连续在国际顶级会议上发表论文

作者:康昭 来源:人工智能团队 阅读次数:2595日期:2018/05/08

  • 图1
  • 图2
  • 图2

    近日,由国家青年特聘专家徐增林教授领衔的人工智能与智慧健康团队(CAISH, Center for Artificial Intelligence and Smart Health)在中国计算机学会A类(CCF-A)会议上发表论文6篇。其中,包括2篇AAAI,2篇IJCAI,1篇CVPR,1篇PPoPP。 

    以电子科技大学为第一作者单位,康昭老师为第一作者,与徐增林教授一起共同完成的研究论文“Unified Spectral Clustering with Optimal Graph”被AAAI 2018接收。谱聚类算法是机器学习领域的一个经典方法,获得了广泛的应用。但是该方法的性能严重依赖于所输入的衡量样本间相似度关系的矩阵(图),相似度度规种类、度规参数、数据噪声等都会对聚类精度产生重要影响。该文提出了一种最优图的学习模型,图构建和聚类是无缝对接同时进行的,因此在性能上超越了以往同类方法。得到了审稿人高度的评价和赞许。 

    以康昭老师为第一作者,以电子科技大学为第一作者单位,徐增林教授一起共同完成的研究论文“Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification”被IJCAI2018接收。该论文聚焦于多核学习方法研究。多核学习方法是为了解决核方法对核矩阵的依赖问题,但实验发现主流方法时常会降低算法表现。该论文基于两个直观的假设,提出了一种全新的多核学习算法,在聚类和半监督学习问题上得到了有效的验证。

    以研二学生叶锦棉为第一作者,以电子科技大学为第一作者单位,徐增林教授一起共同完成的研究论文“Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition”被计算机视觉和模式识别领域的顶级会议CVPR接收。在许多现实场景中,神经网络的输入数据拥有较高的维度,且通常具有良好的局部特征。为了解决在循环神经网络(RNN)面临高维输入数据时模型庞大,训练困难的问题,本文提出了一种基于块张量分解的循环神经网络稀疏连接方法,即针对输入数据的高维低秩特性,利用块张量分解算法对输入层-隐藏层的矩阵乘法进行分解。通过对视频分类场景的测试,与传统长短时记忆网络(LSTM)相比,本方法降低参数量达到了17000倍,提高分类精度15%,大大加快了训练收敛速度。

    以英才本科生刘豪为第一作者,电子科大为第一单位,与徐增林教授共同完成的“Structured Inference for Recurrent Hidden Semi-Markov Model”被IJCAI接收。高维时间序列的无监督学习在诸如机器翻译,语音识别,计算生物学等应用中有着重要意义。最近的研究将递归神经网络引入到隐马尔可夫模型中,尽管取得了成功,但导致推理过程变得更加复杂,往往难以推理,特别是对于分割和标签的离散变量。针对这一问题,该论文提出了一种具有端对端训练的神经序列模型,由生成网络和推理网络组成。在模型拟合和学习分割,标签方面的实验结果证明了所提出模型的有较好的性能。

    前实验室学生王林楠为第一作者,叶锦棉为第二作者,与徐增林教师共同完成的“SuperNeurons:     Dynamic GPU Memory Management for Training Deep Neural Networks”被并行与分布式计算领域的国际顶级会议PPoPP接收,2018年全球仅接收了28篇论文。在大数据时代,研究人员设计了越来越大的模型,以满足海量数据的需求。然而硬件的发展,尤其是GPU的发展难以实现用单卡训练大型神经网络,只能退而求其次用多卡并行或分布式训练的方法,这却引了难以接受的数据传输延迟。该论文分析了主流的神经网络结构和训练平台如TensorFlow、MxNet等,创新地提出了三大内存管理技术:1. 变量生存期分析,快速跟踪并回收不必要的内存消耗,该方法能在不损耗训练速度的情况下减少一半的训练内存消耗;2. 高效的再计算策略,在GPU内存不足时回收部分计算消耗小的变量,在需要时重新计算,在损失不超过10%训练速度的同时减少30%以上的内存消耗,目前PyTorch 0.4版本提出的“Trade-off memory compute”可以看做本方法的一个简化版本;3. 通过以上技术得到更多空余的内存,可以利用buffer需求更高但计算速度更快的卷积算法,从而大幅度加快模型训练速度。在极限情况下我们的方法可以仅维持极少量的变量即可训练大型网络。最后与主流的深度学习平台对比发现,该方法可以以同样甚至更快的速度,训练两倍深的网络,或1.5倍以上的batch size。                   

    前实验室博士后李英明为第一作者,与徐增林教授共同完成的“Learning with Incomplete Labels”被AAAI接收。数据标签缺失是机器学习算法面临的一个重要挑战。该文通过同时考虑标签的全局和局部关系来预测标签。为了消除该过程中可能引入的反常标签,继而提出了一种具有反常探测能力的标签学习算法。

     除CCF-A类会议论文外,截止2018年5月份,团队成员今年在IEEE Transactions on Cybernetics、Pattern Recognition、Knowledge-Based Systems、Neurocomputing、Neural Networks等JCR-1区或2区期刊上发表(含已接收)论文7篇, 均以电子科技大学为第一单位。这些重要成果标志着团队在科学研究、人才培养机制等多方面取得了初步成效。

   人工智能与智慧健康团队将再接再厉,为学校“双一流”建设积极贡献力量。

 

相关链接:

    计算机学院人工智能与智慧健康团队(暨统计机器智能与学习实验室(SMILE Lab, http://smilelab.uestc.edu.cn/)),以机器学习和人工智能,计算机自动推理及其应用领域为主要研究方向。团队成员目前有在国际顶级期刊和会议上发表了数百篇论文,具有雄厚的研究力量、扎实的研究基础和充足的科研经费。团队努力营造浓厚的学术研究氛围、和谐宽松的学习环境、丰富的国际国内学术交流机会、富有建设性的激励机制,打造在人工智能领域具有较大影响力的国际科研团队。

 CCF-A类会议:根据中国计算学会(CCF)分类标准定义:“A类指国际上极少数的顶级刊物和会议,鼓励我国学者去突破”。

文章信息:

【1】Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification, Zhao Kang; Xiao Lu; Jinfeng Yi; Zenglin Xu, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence(IJCAI-ECAI-18), July. 2018, Stockholm, Sweden.

【2】Unified Spectral Clustering with Optimal Graph, Zhao Kang; Chong Peng; Qiang Cheng; Zenglin Xu, the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18) , Feb. 2018, New Orleans, Lousiana.

【3】Structured Inference for Recurrent Hidden Semi-Markov Model, Hao Liu; Haoli Bai; Lirong He; Zenglin Xu, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence(IJCAI-ECAI-18), July. 2018, Stockholm, Sweden.

【4】Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition, Jinmian Ye; Linnan Wang; Guangxi Li; Di Chen; Shandian Zhe; Xinqi Chu; Zenglin Xu, the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018), June. 2018, Salt Lake City.

【5】Learning with Incomplete Labels, Yingming Li; Zenglin Xu; Zhongfei Zhang, the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18) , Feb. 2018, New Orleans, Lousiana.

【6】SuperNeurons: Dynamic GPU Memory Management for Training Deep Neural Networks, Linnan Wang; Jinmian Ye; Yiyang Zhao; Wei Wu; Ang Li; Shuaiwen Leon Song; Zenglin Xu; Tim Kraska, the 23rd ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming (PPoPP-18) , Feb. 2018, Vienna, Austria.