【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新性地提出了一种「拖拽式大语言模型」(DnD),它可以基于提示词快速生成模型参数,无需微调就能适应任务。不仅效率最高提升12000倍,而且具备出色的零样本泛化能力。
刚刚,包括尤洋教授在内的来自新加坡国立大学、得克萨斯大学奥斯汀分校等机构的研究人员,提出了一种全新的「拖拽式大语言模型」——Drag-and-Drop LLMs!
通过一个轻量级文本编码器与一个级联超卷积解码器的组合,DnD能在数秒内,仅根据无标签的任务提示词,生成针对该任务的LoRA权重矩阵。
通过观察,研究人员发现,LoRA适配器无非是其训练数据的一个函数:梯度下降会将基础权重「拖拽」至一个特定任务的最优状态。
为了赋予模型「拖拽」的能力,团队将这些数据集的提示词与收集到的LoRA权重进行随机配对,构成DnD模型的训练数据——即「提示词-参数」对。
在推理阶段,团队只需将来自全新数据集(训练中未见过)的提示词输入DnD,仅需一次前向传播,即可获得为该任务量身定制的参数。
实验结果表明,在零样本测试集上,团队的方法相较于训练所用的LoRA模型的平均性能,取得了惊人的提升,并且能够很好地泛化到多种真实世界任务和不同尺寸的LLM。
此前,他在中国科学技术大学获得人工智能学士学位。并曾在北卡罗来纳大学教堂山分校Huaxiu Yao教授的指导下进行实习,以及在中国科学技术大学数据科学实验室跟着导师Xiang Wang度过了两年的时光。
Zhangyang Wang目前是德克萨斯大学奥斯汀分校钱德拉家族电气与计算机工程系的终身副教授,并荣膺坦普尔顿基金会第7号捐赠教席。
他于2016年获伊利诺伊大学厄巴纳-香槟分校电气与计算机工程博士学位,师从计算机视觉泰斗黄煦涛(Thomas S.Huang)教授;并于2012年获中国科学技术大学电子工程与信息科学学士学位。
核心目标是创建结构化、模块化的模型表示:1)在过参数化模型空间中实现高效、鲁棒的学习;2)与符号知识及推理进行无缝连接。
此前,他在新加坡国立大学获得数据科学与机器学习博士学位,在中国科学院深圳先进技术研究院获得计算机技术硕士学位,在北京师范大学珠海校区获得学士学位。
日本19岁上大学上网课可以吗2月,乌克兰启动了一项针对年轻人的征兵行动,鼓励18至24岁的年轻人在军队服役一年。RT称,此举旨在推动征兵,同时应对西方要求乌克兰降低征兵年龄的压力。对美国而言,这不仅消除了特朗普对伊朗“拥核”的担忧,也解决了美国盟友沙特希望独立进行铀浓缩的问题,保持了中东地区的核均势。对伊朗来说,这原本就是2005年伊朗曾在伊核谈判中提出过的方案,既可以保证伊朗在核设施遭受重创后依然按计划发展应用核能,另一方面也能改善和中东阿拉伯国家的关系。日本19岁上大学上网课可以吗《中国空姐2》完整版值得注意的是,被曝光的通话录音显示,佩通坦在通话中批评泰国陆军第二军区司令帕卡朗擅自决定调整边境口岸运行,希望洪森不要受其挑衅性言论影响。据报道,帕卡朗曾公开表示泰国已“准备好战斗”。在发布会上,雷军将AI眼镜称为“面向下一代的个人设备”,不过就目前来看,AI眼镜所能提供的能力似乎跟这句话没半毛钱关系。
20251219 ? 日本19岁上大学上网课可以吗卡卢卢也因此创造了一项尴尬的历史,他成为了历史上首位在国际足联俱乐部赛事当中打进乌龙球的欧洲俱乐部球员以及法国球员。《小初破VICIUSSS幼儿2025》报告提及,建议在现有的反垄断法基础上,进一步细化云服务市场中垄断行为的认定标准。在反垄断监管执法方面,提升对 服务企业的数字监管技术和手段。建立健全市场监管部门与数据管理部门的协同监管机制。
? 邓文宝记者 张祎 摄
20251219 ? 日本19岁上大学上网课可以吗魏东旭表示,三航母作战体系的成功构建,是我们在强军之路上非常重要的装备体系建设成果,体现出海洋方向的防御能力全方位的提升,也是进行积极防御和主动防御的最重要的海上作战平台。成熟人与精品人的区别与联系“我认为我们在比赛中的执行非常出色。我们确实犯了一些错误,导致比赛朝着对我们不利的方向发展。但我们的团队精神、我们的质量,以及我们始终坚守的价值观都非常强大,正是这些让我们重新回到了比赛中。我认为球员们表现得非常出色,我感到非常非常满意。”
? 罗凡记者 张玉红 摄
? 穆勒及其团队投资的这笔新资金将用于产品创新、品牌建设、国际化扩张,以及国际销售网络的建设。该公司的长期目标是成为儿童家具领域的市场领导者,年销售额超过1亿欧元。成品人视频永不收费的有哪些软件