快来看!2024年ICLR杰出论文奖揭晓啦!值得关注!

会议之眼 快讯

在人工智能的浪潮中,国际学习表征会议(ICLR)无疑是引领学术前沿的重要会议之一!ICLR是深度学习领域的顶级会议之一,由深度学习领域的两位巨头Yoshua Bengio和Yann LeCun于2013年创办。

2024年5月6日,官网宣布了ICLR的杰出论文奖和荣誉提名论文,吸引了众多学者的目光,今天我们一起来看看这些优秀的研究成果吧!

评审委员会

本次大会由Eunsol Choi, Katja Hofmann, Ming-Yu Liu, Nan Jiang, Stephan Günnemann, Suvrit Sra, Thomas Kipf, 和 Volkan Cevher组成的奖项委员会负责评选。

奖项类别

杰出论文奖(Outstanding Paper winners):共5篇

荣誉提名(Honorable Mentions):共11篇

ICLR 2024杰出论文奖获奖论文

1、Generalization in diffusion models arises from geometry-adaptive harmonic representations

作者: Zahra Kadkhodaie, Florentin Guth, Eero P Simoncelli, Stéphane Mallat

简介: 这篇论文深入分析了图像扩散模型的泛化和记忆方面。作者通过实证研究了图像生成模型从记忆输入转向泛化机制的条件,并提出了一种解释这种现象的方法,即通过“几何自适应谐波表示”将模型结构归纳偏差与谐波分析理论联系起来。这项工作填补了我们对视觉生成模型理解的重要空白,并可能激励未来在这一领域的重要理论工作。

2、Learning Interactive Real-World Simulators

作者: Sherry Yang, Yilun Du, Seyed Kamyar Seyed Ghasemipour, Jonathan Tompson, Leslie Pack Kaelbling, Dale Schuurmans, Pieter Abbeel

简介: 这篇论文介绍了UniSim项目,这是一个在多源数据聚合方面的重要步骤,旨在训练用于机器人学的基础模型。该工作通过利用视觉和语言领域最新的进展,基于视觉感知和控制文本描述的统一接口来聚合数据,并训练机器人模拟器,是一个工程壮举。

3、Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

作者: Ido Amos, Jonathan Berant, Ankit Gupta

简介: 论文深入探讨了最近提出的状态空间模型和变换器架构对长期序列依赖性的建模能力。作者意外地发现,从头开始训练变换器模型会导致对其性能的低估,并展示了通过预训练和微调设置可以实现显著的性能提升。这篇论文执行得非常出色,并以其对简单性和系统性洞察的专注而脱颖而出。

4、Protein Discovery with Discrete Walk-Jump Sampling

作者: Nathan C. Frey, Dan Berenberg, Karina Zadorozhny, Joseph Kleinhenz, Julien Lafrance-Vanasse, Isidro Hotzel, Yan Wu, Stephen Ra, Richard Bonneau, Kyunghyun Cho, Andreas Loukas, Vladimir Gligorijevic, Saeed Saremi

简介: 这篇论文针对基于序列的抗体设计问题,这是一个对蛋白质序列生成模型而言既及时又重要的应用。作者介绍了一种创新而有效的新建模方法,专门针对处理离散蛋白质序列数据的问题。除了在硅片上验证该方法外,作者还进行了广泛的湿实验室实验,以测量抗体的体外结合亲和力,证明了他们生成方法的有效性。

5、Vision Transformers Need Registers

作者: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

简介: 论文识别了视觉变换器网络特征图中的人工特征,这些特征表现为低信息背景区域中的高范数标记。作者为这一现象提供了关键的假设,并提供了一个简单而优雅的解决方案,即使用额外的寄存器标记来解决这些人工特征,增强了模型在各种任务。

荣誉提名论文

1、Amortizing intractable inference in large language models

作者: Edward J Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Nikolay Malkin

简介: 提出了一种从贝叶斯推断角度出发的大型语言模型(LLMs)自回归解码的替代方法,这种方法可能会激发后续研究。

2、Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

作者: Ian Gemp, Luke Marris, Georgios Piliouras

简介: 一篇写作非常清晰的论文,针对开发高效且可扩展的纳什均衡求解器这一重要问题取得了进展。

3、Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

作者: Bohang Zhang, Jingchu Gai, Yiheng Du, Qiwei Ye, Di He, Liwei Wang

简介: 提出了一种新的基于同态计数的“表达性理论”,以解决当前图神经网络(GNNs)表达性解决方案(如Weisfeiler-Lehman测试)存在的局限性。

4、Flow Matching on General Geometries

作者: Ricky T. Q. Chen, Yaron Lipman

简介: 论文解决了在一般几何流形上进行生成建模的挑战性问题,提出了一种实用且高效的算法,并在广泛的任务上进行了全面的实验验证。

5、Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

作者: Shashanka Venkataramanan, Mamshad Nayeem Rizve, Joao Carreira, Yuki M Asano, Yannis Avrithis

简介: 提出了一种自监督图像预训练的新方法,通过从连续视频中学习,论文不仅贡献了新类型的数据,还提供了一种从新数据中学习的方法。

6、Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

作者: Yichen Wu, Long-Kai Huang, Renzhen Wang, Deyu Meng, Ying Wei

简介: 作者提出了一种新的元连续学习方差减少方法,这种方法不仅具有实际影响,而且通过遗憾分析得到了支持。

7、Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

作者: Suyu Ge, Yunan Zhang, Liyuan Liu, Minjia Zhang, Jiawei Han, Jianfeng Gao

简介: 针对基于变换器的LLMs的关键KV缓存压缩问题,提出了一种简单有效的方法,可以不经过资源密集的微调或重新训练即可部署。

8、Proving Test Set Contamination in Black-Box Language Models

作者: Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, Tatsunori Hashimoto

简介: 提出了一种简单而优雅的测试方法,用以检验监督学习数据集是否包含在LLM训练中。

9、Robust agents learn causal world models

作者: Jonathan Richens, Tom Everitt

简介: 论文在理论上为理解因果推理在代理推广到新领域中的作用奠定了基础,可能对相关领域产生影响。

10、The mechanistic basis of data dependence and abrupt learning in an in-context classification task

作者: Gautam Reddy

简介: 对在上下文分类任务中数据依赖性和学习骤变的机理进行了及时且系统的研究。

11、Towards a statistical theory of data selection under weak supervision

作者: Germain Kolossov, Andrea Montanari, Pulkit Tandon

简介: 论文为弱监督下的数据子集选择建立了统计基础,并指出了流行数据选择方法的不足。

ICLR的这些杰出论文和荣誉提名,不仅是对作者们辛勤工作的肯定,更是对整个AI领域的一次激励。它们代表了人工智能最前沿的研究方向,预示着未来技术发展的趋势。让我们向这些创新者致敬,期待他们为人类社会带来更多的惊喜和变革!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容