1月28日,智源研究院多模态大模型成果"Multimodal learning with next-token prediction for large multimodal models(通过预测下一个词元进行多模态学习的多模态大模型)",在学术期刊《自然》(Nature)上线。据了解,这是我国科研机构主导的大模型成果首次在Nature正刊发表。
Nature编辑点评这项研究:Emu3仅基于预测下一个词元(Next-token prediction),实现了大规模文本、图像和视频的统一学习,其在生成与感知任务上的性能可与使用专门路线相当,这一成果对构建可扩展、统一的多模态智能系统具有重要意义。
Emu3架构图
据介绍,Emu3将图像、文本和视频统一离散化到同一个表示空间中,并从零开始,在多模态序列混合数据上联合训练一个单一的 Transformer。这一架构证明了仅凭“预测下一个词元”,就能够同时支持高水平的生成能力与理解能力,并且在同一统一架构下,自然地扩展到机器人操作以及多模态交错等生成任务。此外,研究团队还做了大量消融实验和分析,验证了多模态学习的规模定律(Scaling law)、统一离散化的高效性、以及解码器架构的有效性。
实验数据显示,在生成与感知任务上,Emu3的表现可对标成熟的任务专用模型:在文生图任务中,其效果接近扩散模型;在视觉语言理解方面,则与融合CLIP和大语言模型的主流方案相当。此外,该模型支持视频生成,通过逐词元预测视频序列的方式,实现了基于因果的视频生成与延展。
目前,智源研究团队已对Emu3的相关关键技术与模型进行了开源。智源研究院自2022年启动Emu系列模型研发,目前已构建起覆盖多模态世界模型、具身智能大脑等方向的技术基座。(袁宁)
本文来自网易科技报道,更多资讯和深度内容,关注我们。
《国模蒋梦婕大尺度私柏》,《首次登录送91元红包》香草视频成版人看片app
“珐❌露珊动漫🔞抱枕㊙️”
国产VA视频在线看
……
{!! riqi() !!}
“一夜七次郎在线app下载”{!! reci() !!}
↓↓↓
![]()
{!! riqi() !!},国防部:希望美方校正对华战略认知,亚洲精品资源,小🐔🐔伸进去18,爱❌情🔞岛论坛亚洲品质永久线㊙️路,性爱网欧美优物性爱
{!! riqi() !!},2026年中国人民银行工作会议召开 一文速览工作重点,免费看高清黄网站视频在线,在线偷着国产精选视频,免费黄网站在线观看,学长爽⋯好舒服⋯别夹
{!! riqi() !!},习言道|中英应共同倡导和践行真正的多边主义,Campbuddy裸体❌G🔞A网站㊙️,69日本XXXXXXXXX19,99久久国产精品一区二区三区,久久99国产精品... 性生生活,免费黄,黄色视频,久久久久久久久久户士黄色网站
{!! riqi() !!}|涉及人工智能拟人化互动服务管理 国家网信办公开征求意见|人人操人人幹超碰|美女 在线播放|原❌神裸🔞体㊙️|❌女王🔞s㊙️M男奴免费视频
{!! riqi() !!}|四大洲花滑锦标赛男单短节目比赛举行|sigua555 app|黄片APP大全久久|小受❌被攻摁🔞着扒㊙️开c到哭|怡红院视频
{!! riqi() !!}|因生病错过妈妈生日,男孩一周后送来“迟到的”生日礼物。网友:最好的爱,是不会忘记!|挠脚❌心图t🔞k脚㊙️丫|黄色激情小说无毒不卡|亚洲中文久久久久久精品|思思九九精品视频在线播放……
![]()
{!! riqi() !!},中国原创肝病新药 填补丁肝治疗空白,黄色网站号网址视频,淫领导航官网app下载地址,欧美一级人人爱,国产大胆无码人体毛片
{!! riqi() !!},日本政界人士:高市错误言论动摇日中关系基础 极度危险,360自拍偷拍,女❌仆🔞被主人扒掉蕾丝裙打屁股,无遮挡一级毛片,国产 在线 91
{!! riqi() !!}|新华视点丨“变味”的AI动画——如何守好孩子的网络净土?|午夜影院免费网站|videos少妇另类乱子|成年人性网站|日本无遮挡漫画
{!! riqi() !!},天津退役军人完成造血干细胞捐献 为生命助力,九色91PR0PNY老熟女国产,口爆中出在线免费观看,加勒比HEZYO无码专区未久,3P 交换视频
{!! riqi() !!},天津第二届室内蹦极国际锦标赛启幕 中外选手跃动海河之畔,4huxx16路com,大黄片在线免费看,操逼拱逼吃奶视频科普操逼拱逼吃奶,日比黄色一级l网站
{!! riqi() !!},"春城"昆明迎来大幅降温,黄色视频在线搜索观看,午夜无码国产理论在线,欧美激情射精,u❌nity18 游🔞戏免费
{!! riqi() !!}|残特奥会游泳比赛收官 四十余项全国纪录被刷新|亚洲国产精品一区二区三区|男生叫女生㖭自己的坤,漫画|拍击 打屁股 sp❌ank鞭打🔞 惩罚㊙️|国产精品一区第一人称
{!! riqi() !!}|协议投资102亿元 今年重庆国际生物城已签约入库项目21个|路❌飞的老🔞婆㊙️|十八禁在线观看免费完整电影|❌中🔞文在线a∨在线|豪放女大兵手机播放免费
{!! riqi() !!}|广州两百余名巧匠同台竞技 展现技艺传承与技术创新|草莓视频下载app软件黄色|高清无码不卡一区二区|美女裸体永久一级A片免费|日本农村婚外情完整版免费播放
![]()
{!! reci() !!},{!! reci() !!}|两部门发布直播电商管理新规:规范数字人直播|被扒开腿灌满❌精H高H男男🔞漫画|亚洲经典视频在线观看|自拍亚洲欧洲偷拍|小辣椒视频app污版V6.0.14
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺