有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
秋葵 茄子 丝瓜 香草 榴莲污在线观看
老婆说她想尝试多人怎么回复她呢
女朋友的妈妈4完整有翻译
用注射器打水放屁眼里的视频网站
痞幼视频3分25是什么内容
迈开腿我要C你
11K妈妈的朋友
三十种交口图片表
搐搐国产丨区2区精品AV
群飞杨幂刘亦菲杨颖佟丽娅
日本乱码一二三四区别
WRITEAS分腿
新婚警花被别人开了苞
你越来越耐C了
M惹主人生气后该做什么
深度开发1v3n
男按摩师用嘴亲我下面口述
小兔兔被男生吃会发出什么声音
花蝴蝶日本大全免费观看6
男的女的在一起怼怼怼很疼的视频
JEALOUSVUE成熟MON
宝宝好大我都握不住了视频
离婚了让父亲体验了一次
女人50岁半夜莲花还开吗
穿越到随处做X的游戏世界
WRITEAS诸葛亮多人
妖精的尾巴oad6
荔枝app在线汅api在免费下载
龙口护士门事件
运动员们的玩物
亚洲一卡一卡二新区迎热烈讨论
随时随地都能C的小镇
分手那天我们做了八次视频
高压狱警2美版免费
双子ノ母性本能
巨年少根与艳妇全文阅读
国产午夜精品AV一区二区麻豆
当兵的晚上弄不停
他缓慢而有力的撞着内容
男生讲讲自己第一次细节真实
车速快多肉的百合
男人和女人晚上干的那事视频
放心我只在外面蹭一下文字
多毛bgmbgmbgm胖觉觉
花蝴蝶免费直播
在上面做的时候像疯了一样
99国精产品灬源码1688小说
北北北砂王者荣耀
人和畜禽Croproation
百合做运动DOI网站
妈妈的朋友2中字巴巴鱼汤饭
95W乳液78WYW永久YW1129CM
公翁的粗大放进我的秘密电影
VODAFONEWIFI粗暴
英语老师让我吃他的小兔兔
哪种BB最好看
斗罗大陆黄化人物网站免费
没带罩子让他捏了一节课怎么办
国产蜜芽果冻传媒电影
正能量火影网站WWW正能量
小东西几天不见喷到处都是水
93W乳液78W78W永久
秘密教学第41话子豪进入svip
Q1制片厂七夕潘甜甜剧情
纳西妲坐旅行者的胡萝卜
老扒和他三个星妇全集
日本一线二线三线四线五线
迈开腿尝尝你的草莓什么感觉
公交车上开了两个小女孩的包
去部队探亲晚上叫太大声
2022男男钙GGY钙站
韩国绝伦推理片高分剧
史莱姆のエロ胡桃
开车视频有声音疼痛软件免费下载
小东西我们三个一起上你
多地考研成绩公布
他顶撞的速度越来越快是什么
英语课代表让我c翻了视频
聊斋艳谭之孽欲孤鬼
腿再打开一点就能吃到扇贝了
疯狂厨房2双人3-5
班长的手灵活的按着遥控器
漂亮妈妈1中文字幕完整高清
51吃瓜爆料黑料官网
爱情岛路线1线路2线路3京东唯品会苏宁易购
张津瑜视频链接1080P
无限免费观看在线直播
维多利亚一号未删减
最近HD免费韩国电影
动漫美女的禁处
欧洲N00N兽交剧
穿越到兽世不停做元
幸福宝8008隐藏入口2021年
厨房边做饭边做运动的叫什么
麻豆画精品传媒2021免费
老卫把船开到河中心的故事
8X8X华人拔插华人免费
GOGOGO高清免费看韩国
日韩一卡2卡3卡4卡仙踪林
善良的小峓子2在钱 中文版
太凶猛了撞烂了
仙女棒坐姿图片大全大图
全部都在那个地方在线观看
杂交BUCSM人类SSBA
宝贝我的尺寸你会痛
榴莲新片免费观看
老师哭着说不能再深了软件作文
原神八重神子被空吸出乳液
一边面膜一边燥的视频
在健身的时候突然支起小帐篷
玩R头的100种方式
一边亲着一面膜下奶53分钟
暴躁老阿姨csgo
唐三插曲比比东不亦乐乎
YW193COC永久入口特点
八重神子的神罚
妖艳女忍者锷女篇
色吧有你 春暖花开
傻大壮长的驴一样的东西
精品日产一卡2卡三卡4卡三
18款禁用软件app葫芦入口
一女侍七夫巨H双修
善良妈妈的朋友9完整有限中字木
没带罩子让校霸C了一节课小视频
他的舌头含起了我的小豆豆
第一次DOI的感受详细写一下
mitao123
男朋友咬我的小兔子图片
公交车里抓着摇曳的手环诗情
菠萝蜜国际一区麻豆
给我播放片高清MV观看
九分十秒张津瑜
五个人一起会坏掉的小说
日产乱码一二三四五
2D甄姬与隔壁家的两个小孩
最近更新中文字幕第1免费版
低头看我们结合的地方阅读
用注射器打水放屁眼里视频
怎么玩自己隐私位置
海角社区haijiao06
欧洲无人区码SUV
我和黑帮老大的365天第3季
入禽太深高清视频韩国
亚洲熟伦熟女新五十路熟妇
国精产品W灬源码1688伊在
把头抬起来看镜子里的你
中文在线12月18日快速反弹
做aj过程图片
低头看看我是怎么爱你的
杨思敏1一5集国语版下载地址
荷尔蒙爆棚肉超级多的糙汉文
斗罗大陆唐三爆桶阿银
聂小雨黑皮衣5分多钟视频原版
黄金网站APP视频
下面一直湿漉漉的是怎么回事
女生戴一天仙女棒的感受
和老师一天弄了好几次小作文
野花视频观看免费最新
无翼乌全彩集漫画
雷速登之翼飞冲天2
我年轻的继坶2019
HENTAINATRUAL
1996年新版金银瓶
打扑克去掉马赛克还原图片软件
老奶奶i will follow him
在车里被撞了八次高C文
WRITEAS花式PLAY
2人轮换c一个感觉
男子吃冻土豆后拔牙
品色 免费论坛
漂亮的小峓子4中字巴巴鱼汤饭
三叶草日本码和中国码
英语老师哭着说不能再继续了
老谢小区保安赵敏老师
没带套让班长捏了一节课怎么办
美国ZOOMDOG2019
你的东西比老公大得多
边做饭一边躁狂视频素材
宝贝我的尺寸你会痛
他缓慢而有力的撞着视频
斗罗大陆阿银被训成狗
学长突然将遥控器开到最大
太阳帝国的原罪秘籍
抱着公主走一步撞一下的电影
国产精华液一二三区别在哪
帅同社区文学转载
我妈妈的朋友8在完整有限中字木
新版金银瓶1一51956
体育老师拉着我做了一节课视频
人与禽性7777777
俺去啦最新地址
学生的妈妈8中字巴巴鱼汤饭惹人
啦啦啦免费视频观看在线BD
最近2018免费中文字幕1页
这木马椅就是专门为你设计的
美丽姑娘韩国在线观看免费
乱马二分之一热斗篇
云缨拿枪奖励自己核心图
女生和女生一起打扑克差差
YSL水蜜桃86
污污的文章 看了会出水
夜里18款禁用B站入APP软件
国产在AJ精品
迈开腿让我看看你的照片图片
Helen McCrory三级
年轻的小峓子4中字巴巴鱼汤饭
这几天没C你了是不是
后厨剧情分集介绍
雷电将军被旅行者淦到哭
多想再做一次你的姐姐作文范文
不用付费的打扑克的直播软件下载
校霸写错一题学霸就放一支笔
2015年2月里番
清纯校花被脔日常H
男生为什么越到最后越快
年轻的保姆5线观高清
怎么自W到高C详细图片
0ADC大驾光临未满十八岁5G
穿越到随处做X的游戏世界
车子一晃一晃就C进肉了的游戏
父亲在车里缓慢而有力的撞着
女生迈开腿让男生吃草莓
肥胖BBMBBMBBMBBMC
97精产国品一二三产区区别
幸福宝软件导航
女朋友把筷子放屁眼里不能掉
爸爸说没人在家可以做
睡过年纪最小的多少岁
男生车车好快的车车黄
陌陌万人睡小华佗视频
丰年经的继拇9M的寓意
伦理电线在2018
小东西才几天没做喷的到处都是
女女开车车好快的车车
越看水流的越多的故事
把她送上快乐巅峰
漫漫漫画官网免费阅读
木乃伊1盗墓迷城
acfun俱乐部
奇怪的美容院沙发
什么叫倒插莲花
女头粉色部位上半身大胸头像
炎の孕ませも身体测2
他的炙热在我那不肯退出
他的炙热在我那不肯退出
镜子里看我怎么进入你阅读视频
秘密教学103私下你可以随意7
蜜芽tv.2722永不失联下载
JY灌溉系统游戏唐小米笔趣阁
国产色母和进口色母区别在哪
色吧有你春暖花开
GY2023小蓝视频
两女一杯是什么
运动员们的玩物
粉色视频高清免费版观看
镜子里看我怎么进入你
年轻的空姐中文版
善良的小峓子2在钱中文版女主角
宝贝真紧做死你好不好
善良的老师5有限中字
奇怪的美发沙龙3韩语中语字
控制全校女生听从自己
扬思敏全集1一5集正版
国产传媒果冻传媒天美
文笔好有肉的糙汉文
男朋友说该插秧了
BEB-079
王者公孙离爽到流泪
大尺寸的小黄说说作文
GTV小蓝视频网站链接知乎
桃花社区视频在线观看完整版
亚瑟2021入口
校花喂奶门卫老头
比基尼性感女装
含羞草传媒隐藏网站入口下载
日文中字乱码一二三区别在哪
野蛮秘笈演员表
润色红叶吻蛇枝by黛妃
最近的2019中文字幕MV
小洞饿了想吃大香肠什么意思
美国男人的大鸟
晚上开车又疼又叫的声音欢迎您
好男人看在线视频
黑道少爷爱上我
能让人下面湿的漫画有哪些
一层一层的剥开我的衣服
孤注一掷在线观看高清免费策驰张艺兴
宝贝对着镜子CAO好不好
星空无限传媒国产剧情游戏
重生之超级肉禽系统的小说
被公司领导C了很多次
小女儿含着巨大写作业
TROUBLEMAKER两个男生
我女朋友的母亲1完整视频有翻译
重生之超级肉禽系统的小说
第四色 成人 官网
训练白皮体育生GARY网站
97semeimei
渣男渣女做不干净视频
一线二线无人区乱码
雷电将军乳液voiux
交换漂亮妈妈在线播放
女士不遮阴内搭图片高清图
成品网源码7w8w
被多个强壮的黑人灌满精
亚洲日本一线产区二线产区在哪里
家里没人我哥把我做了
初中女生喊疼男生越往里寨游戏
百人围观企业高管全裸跳海
放学被几个人拉到没人的
人与各种动ZZZ0O0OXXX
母与子2免费观看完整版
精品AV国产一区二区久久小说
茄子视频APP下载安装无限看-丝瓜安卓
大菠萝福建导航APP福引导网站
金鳞岂是池中物候龙涛
动漫人物打扑克剧烈运动的视频
年轻的老师4中文正版
500篇短篇合
老何大战雨婷三部
爱情鸟在线论坛1在线观看
日产精品二线三线
躺在我跨下的英语老师
忘忧草在线影院www日本
一上一下做运动的动态表情包
僧侣有肾不走心在线观看免费
被村长狂躁俩小时玉婷视频
国精一二二产品无人区价格
蜜芽忘忧草二区大豆行情网烧仙草
一口一口把奶油从胸口
女头部位大胸头像
日韩成人大屁股内射喷水
儿子晚上家里没人就让你弄
HonKai Impact 3rd Kiana R2
溢出OVERFLOW2未增删带翻译
8008幸福宝官网隐藏统计
不叫我就做到你叫
女生喊疼男生越往里寨免费
美艳护士把我夹得好爽
月光视频在线观看免费视频
我和黑帮大佬的第365天女主
国产午睡沙发系列
美国ZOOMCLOUDMEETINGS
把极品白丝班长啪到腿软
联谊中的游戏动漫
能看到女生所有部位的头像
在公交车上要了无数次
学长的双指探洞好厉害
腿张大点就能吃扇贝什么意思
傻大壮你真厉害我都
把老师摁在黑板上做了一节课网站
超碰人人操在线视频
全高清录播系统直播在线
老婆的扇贝张开口了还能吃吗
宿舍1v4教学
午夜DJ观看在线HD高清
IPHONE XS MAX在日本
两阳夹一阴后期走势
人类是怎样交匹配的
青年Gary东北打桩
桃花视频在线观看免费播放在线观看
心动时刻 简简单单
家里没人妈妈陪你做一次
某处紧密的结合在一起的意思
第16话想进来就努力吧欢迎你
男人会亲你的小花园时代表什么
妇女被深耕过后有哪些表现呢
打女孩子PG的方法有哪些
小诗的公交车日记1一7h
免费剧烈运动扑克网站
好男人观看免费TV
阿拉善8人大战视频
疯狂伦交2完整版
韩国最大但人文艺术
宝宝我就在外面蹭一下爱情花季
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1