ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力,开源框架SymbCoT来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com徐俊东,本文第一作者。本科毕业于伦敦大学学院(UCL),硕士...

发布于 知乎

阿里Qwen2正式开源,性能全方位包围Llama-3

机器之心报道,编辑:大盘鸡。斯坦福团队套壳清华大模型的事件不断发酵后,中国模型在世界上开始得到了更多关注。不少人发现,原来中国已经有不少成熟的大模型正在赶超国外。HuggingFace 平台和社区负责人 Omar Sanseviero 曾表示,AI 社区一直在「忽视」中国机器学习生态系统的工作,他们正在用有趣的大语言模型、视觉大模型、音频和扩散模型做一些令人惊奇的事情,如 Qwen、Yi、...

发布于 知乎

Ilya参与,OpenAI给GPT-4搞可解释,提取了1600万个特征,还能看它怎么想

机器之心报道,编辑:小舟、泽南、大盘鸡。大模型都在想什么?OpenAI 找到了一种办法,能给 GPT-4 做「扫描」,告诉你 AI 的思路,而且还把这种方法开源了。大语言模型(LLM)是当前 AI 领域最热门的探索方向,吸引了大量的关注和研究投入。它们强大的语言理解能力和生成能力在各种应用场景中都表现出巨大潜力。虽然我们见证了大模型迭代后性能上的显著提升,但我们目前对模型中的神经活动仍然只...

发布于 知乎

ICML 2024 Oral|外部引导的深度聚类新范式

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文作者李云帆,四川大学计算机学院 2020级直博研究生。在...

发布于 知乎

这个团队做了OpenAI没Open的技术,开源OpenRLHF让对齐大模型超简单

机器之心报道,编辑:Panda。随着大型语言模型(LLM)规模不断增大,其性能也在不断提升。尽管如此,LLM 依然面临着一个关键难题:与人类的价值和意图对齐。在解决这一难题方面,一种强大的技术是根据人类反馈的强化学习(RLHF)。但是,随着模型越来越大,RLHF 通常需要维持多个模型以及越来越复杂的学习流程,这又会导致内存和计算资源需求增长。举个例子,近端策略优化(PPO,这是 RLHF ...

发布于 知乎

黎曼猜想突破作者首次公开讲解,陶哲轩送上总结

机器之心报道。昨天,有关试证黎曼猜想的新研究又一次引爆了数学圈。MIT 数学教授 Larry Guth 和牛津大学数学研究所教授、2022 菲尔兹奖得主 James Maynard 撰写论文《New large value estimates for Dirichlet polynomials》,首次对数学家 Albert Ingham 在 1940 年左右关于黎曼 ζ 函数零点(以及更广...

发布于 知乎

腾讯混元、北大发现Scaling Law「浪涌现象」,解决学习率调参难题

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com过去十年间,基于随机梯度下降(SGD)的深度学习模型在许多领...

发布于 知乎

黎曼猜想显著突破!陶哲轩强推MIT、牛津新论文,37岁菲尔兹奖得主参与

机器之心报道。黎曼猜想是数学中一个非常重要的未解决问题,与素数分布的精确性质有关(素数是那些只能被 1 和自身整除的数字,它们在数论中扮演着基础性的角色)。在当今的数学文献中,已有超过一千条数学命题以黎曼猜想(或其推广形式)的成立为前提。也就是说,黎曼猜想及其推广形式一旦被证明,这一千多个命题将被确立为定理,对数学领域产生深远的影响;而如果黎曼猜想被证明是错误的,那么这些命题中的一部分也将...

发布于 知乎

1.8B参数,阿里云首个联合DNA、RNA、蛋白质的生物大模型,涵盖16.9W物种

编辑 | 萝卜皮不久之前,Google DeepMind 发布了 AlphaFold3,再次引发了人们对「AI + 生命科学」的讨论。在学界,科学家的目标往往是先认识世界,然后在认识的基础上改造世界。但是在生命科学领域,人类对整个生命的理解与认识还如九牛一毛、冰山一角;建立对生命系统的多维度深刻认识是当前人类研究的重要一步,AI 是达成这一步的重要工具。近期,阿里云飞天实验室发布并开源了业...

发布于 知乎

AI训练数据的版权保护:公地的悲剧还是合作的繁荣?

机器之心报道。GPT-4o内置声音模仿「寡姐」一案闹的沸沸扬扬,虽然以OpenAI发布声明暂停使用疑似寡姐声音的「SKY」的语音、否认曾侵权声音为阶段性结束。但是,一时间「即便是AI,也得保护人类版权」这一话题甚嚣尘上,更刺激起了人们本来就对AI是否可控这一现代迷思的焦虑。近日,普林斯顿大学、哥伦比亚大学、哈佛大学和宾夕法尼亚大学共同推出了一项关于生成式AI版权保护的新方案,题为《An E...

发布于 知乎