学术报告:基于时空关系对齐增强视频文本表示
时间: 2024-11-27
发布者:
文章来源: 安博在线开户,安博(中国)
审核人:
浏览次数: 11
时间:2024年11月28日(周四晚)18:30-20:30
地点:理工楼401
安博在线开户,安博(中国):基于时空关系对齐增强视频文本表示
报告内容:视频文本对齐大模型目前收到了广泛关注。目前的大模型训练主要是基于粗粒度的视频文本对,然后采用对比学习进行训练学习,很少利用到细粒度对齐信息。本次报告将介绍一种基于视频文本细粒度对齐依存图的方法,不仅仅只是考虑整体对齐信号,也考虑局部对齐信息,基于局部对齐,进行视频语言大模型优化,在多个任务上取得了较好的效果。后面将进一步深入探讨依存结构信息在大模型时代的必要性以及融入方法。
个人介绍:张梅山,哈尔滨工业大学(深圳)安博在线开户,安博(中国)副教授,长期从事自然语言处理包括语法语义分析、信息抽取以及智能人机交互等方向的相关研究工作,重点关注中文信息处理、数据资源建设、跨语言和跨模态知识迁移学习等研究主题。先后主持国家级项目三项,总计发表CCF A/B类论文80余篇,Google被引约5500次。多次担任自然语言处理领域顶级和重要会议领域主席。个人主页:https://zhangmeishan.github.io/chn.html