【EMNLP2024】阿里云人工智能平台PAI多篇论文入选EMNLP2024
- 厂商稿件
- 2024-11-07 09:40
近期,阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
论文简述
面向长文本的文视频表征学习与检索模型 VideoCLIP-XL
CLIP 模型在视觉-语言预训练领域已经取得了重要进展。然而,原始 CLIP 模型的一个显著局限性是处理长文本描述的能力受限。原始 CLIP 模型的训练过程中对简短的摘要性文本的强调迫使文本/视觉编码器主要关注文本/视觉输入中的主要特征,常常忽视一些较小但潜在关键的细节。为了解决这些限制,该工作提出了一个名为 VideoCLIP-XL 的视频 CLIP 模型,旨在提升对视频的长文本描述的理解能力。其首先构建了一个大规模的视频-长描述配对数据集 VILD,并在预训练阶段提出了一种文本相似度引导的主成分匹配方法(TPCM)来优化高维特征空间的学习。
此外,该工作提出能够理解长描述的视频 CLIP 模型应当体现两个特征:给定一个视频及其相关描述,CLIP 类模型应该对(1)具有更丰富和更精确细节的描述以及(2)在相同细节水平下更准确即幻觉更少的描述赋予更高的分数。为此,其提出两个新的预训练任务:细节描述排序(DDR)和幻觉描述排序(HDR)。此外,该工作也建立了一个新的视频长描述排序基准测评集(LVDR),来更全面地评估视频 CLIP 模型的性能。
基于多任务课程规划的大语言模型蒸馏算法
大语言模型在回答开放领域通用任务的指令上取得了很大地进步。指令微调是微调预训练模型,使其从文本补全模型成为强大的对话模型的关键。尽管已有研究探索了使用强大的黑盒教师模型(如GPT-4, Qwen-max)来自动蒸馏和标注指令的方法,但这些研究往往忽视了微调训练集中任务的多样性分布,以及训练集中指令难度的差异,这可能导致学生 LLMs 知识能力的不平衡和解决复杂任务的能力的不足。为了解决这些挑战,这篇文章介绍了一个名为 TAPIR 的知识蒸馏框架,它通过多任务课程规划来蒸馏黑盒大语言模型的指令回答能力,在蒸馏和多轮迭代过程中,使用教师 LLM 做为裁判找出对于学生 LLM 来说难以回答的指令,进行难度重采样。并调整多任务配比进行训练集中的任务多样性分布的重采样,并根据相应多任务特点自动优化教师模型的回答风格。
该工作创新性地用显式的任务标签配比代替隐式的句向量多样性。在任务重采样的过程中,大大增加数学推理代码类任务的数据比例。首次提出了模型拟合难度 (MFD) 指标,来表示数据难度大小,并在多轮迭代优化的过程中提升困难数据占比。提升模型从弱到强的泛化速度。在 AlpacaEval 排行榜上,我们微调后的 LLaMA2-7B 底座获得了7.8的相对分数,超过了参数量、数据量都远大于我们的知名开源模型模型(LLaMA2-Chat-13B,Vicuna 13B)。我们持续优化了 Qwen 系列模型的指令回答能力,优化 Qwen1.5系列模型在 AlpacaEval 榜单上提升3-8个百分点。
产品化服务
上述科研成果也在人工智能平台PAI的各个模块进行了深度的集成和整合,持续为PAI客户提供AI模型训练和推理相关服务。其中,VideoCLIP-XL作为文视频质量评估模块,与EasyAnimate视频生成解决方案无缝融合,支持用户轻松实现文视频语义一致性计算和数据过滤,从而训练AIGC视频生成大模型。在智码实验室,我们也上架了“VideoCLIP-XL:面向超长文本的文视频跨模态特征抽取”的notebook。
用于数据增强和改写的蒸馏模型也已经上架PAI平台,为用户提供简单易用的大模型蒸馏解决方案。基于Qwen2的开源模型,PAI也在开源了DistilQwen2蒸馏小模型系列,进一步提升了模型的指令跟随能力,在HuggingFace和ModelScope开源社区开放下载。
此外,PAI-QuickStart集成了超过50个热门大语言模型,及其多种训练和推理方式,使客户更加简单地微调和部署大语言模型。在未来,我们也将在PAI平台上持续提供业界领先的算法和模型能力给广大客户。
资源链接
文-视频多模态
● EasyAnimate开源项目:https://github.com/aigc-apps/EasyAnimate
● VideoCLIP-XL:https://huggingface.co/alibaba-pai/VideoCLIP-XL
● VideoCLIP-XL-v2:https://huggingface.co/alibaba-pai/VideoCLIP-XL-v2
● LVDR数据集:https://huggingface.co/alibaba-pai/LVDR
● VILD数据集:https://huggingface.co/alibaba-pai/VILD
● VideoCLIP-XL:面向超长文本的文视频跨模态特征抽取:https://gallery.pai-ml.com/#/preview/deepLearning/cv/videoclipxl
大模型蒸馏
● 大语言模型数据增强与模型蒸馏解决方案:https://help.aliyun.com/zh/pai/use-cases/llm-data-enhancement-and-model-distillation-solution
● DistilQwen2蒸馏小模型系列
alibaba-pai/DistilQwen2-7B-Instruct:
○ https://huggingface.co/alibaba-pai/DistilQwen2-7B-Instruct
○ https://modelscope.cn/models/PAI/DistilQwen2-7B-Instruct
alibaba-pai/DistilQwen2-1.5B-Instruct:
○ https://huggingface.co/alibaba-pai/DistilQwen2-1.5B-Instruct
○ https://modelscope.cn/models/PAI/DistilQwen2-1.5B-Instruct
论文汇总
论文名字:VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models
论文作者:汪嘉鹏、汪诚愚、黄坤哲、黄俊、金连
论文pdf链接:https://arxiv.org/abs/2410.00741
论文名字:Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning
论文作者:岳元浩、汪诚愚、黄俊、王鹏
论文pdf链接:https://arxiv.org/abs/2405.13448
阿里云人工智能平台 PAI 长期招聘研究实习生。团队专注于深度学习算法研究与应用,重点聚焦大语言模型和多模态 AIGC 大模型的应用算法研究和应用。
简历投递和咨询:chengyu.wcy@alibaba-inc.com。
- 人工智能
- NLP
相关文章
资讯
- 2天前
2024AI+研发数字(AiDD)峰会深圳站圆满收官!
- 5天前
200余支队伍蓉城“百模论剑”,“人工智能+”全国性赛事报名倒计时3天
- 3周前
三个老发明家献给盛世的礼物---“录味机”
- 3周前
颠覆传统 新味十足 ——2024首届海南智能餐饮烹饪大赛成功举办
- 3周前
首届中国智能锁科技创新大会:德施曼核心科技引领行业,发起科创基金
- 3周前
ODC24 AI服务生态分论坛:全新智慧服务引擎 带动服务分发增长
- 3周前
2024 OPPO开发者大会召开,以技术为基石共建AI智能体新生态
- 1个月前
中国移动发布“四驱两翼” 低空经济高质量发展能力体系
- 1个月前
品胜闪耀 GITEX Global 2024:国民 3C 品牌在中东迪拜的卓越之旅
- 1个月前
2024中国移动全球合作伙伴大会盛大启幕 政企领域前沿创新成果成为焦点
- 1个月前
2024世界智慧城市大奖·区域* &中国获奖名单公布
- 1个月前
优刻得与宾果智能携手,开拓“AI+教育”智慧新场景
- 2个月前
2024年服贸会开幕正式开幕 京东工业展现数智采购领域AI的创新实践
- 2个月前
阿里云超值优品季持续让利,助力中小企业上云快人一步
- 3个月前
速度与智能的完美融合:佳能EOS R1体育摄影新选择
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...