有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女生说疼男生越来越往里寨的游戏
三根一起会坏掉的...哈
WRITEAS朝俞夹东西
MIGNON动漫
两个师傅一前一后完整版
西施的乳液怎么样
棉签怎么玩哭自己
台湾佬中文网站
姐弟拔萝卜又疼又叫高新
男生主动吃我腿中间那个东西
老司机带带我免费看最新
xiaav 论坛因你而精彩
果冻传媒母亲和女儿李琼
大腿中间一张嘴顺口溜
男女一边摸一边做爽爽的动态图
你就可尽的弄我们娘俩
空姐前规则免费观看
总裁在餐厅进入
语文老师说哭着说不能再睡了
中文字幕电影乱码在线观看
父母儿女一家换着玩的说说
jy灌溉系统公交车
老师你的兔子好软水好多动
客厅H伦亲女小芳小雪视频
放心我只在外面蹭一下文字
你是我的女人HD
永远免费的品色论坛
18may19-XXXXXL民族
用你的指尖扰乱我吧2
媒豆传媒免费视频入口网站
天天插日日胔夜夜干
一滴都不准尿出来
安琪拉翻白眼流眼泪流口水
老王头的幸福晚年张倩倩
尝尝老师的大扇贝
我和闺蜜拿黄瓜互慰
公交车最后一排
侵犯小少爷(H)np
弱点21话一次够吗
善良的秘书5中字巴巴鱼饭汤
高岭家の二轮花动画
做错了题就让学长C一次视频
原神女角色去掉全部衣物
sis第一会所
相对湿度po阿司匹林催熟
宝贝感受到它在爱你吗
雷电将军被旅行者淦出水
翁公与小莹在客厅激情
爱情岛论坛线路一官方网站
欲望之翼完整版在线观看
森林里的熊先生正在冬眠无打码
老师你感受到它变大了么
女生往下边塞冰棒是一种什么体验
海角HJ9DB5免费进入
交椅BY金银原文笔趣阁
冷潮1v3骨科
炎のおっぱい身体检测仪器
sdde 318
仙踪林18岁RAPPER潮水偷轨
在图书馆往下边塞东西
国产色母和进口色母区别
双男主车图无遮挡长图微博
男生把坤坤放女生定眼里云开
别急晚上英语老师就是你的人了
FLUFFINGADUCKKEVINMACLEOD
巨年少根与艳妇
仙女棒使用图片黄
JAPONENSISJAVAHDTV360
野花视频直播免费观看6
在车里撞了我八次高黄肉
这木马椅就是专门为你设计的
班长哭着说再玩会坏掉视频
AI换脸赵露思又疼又叫
蘑菇影视 我妈妈的职业
18无人区码卡二卡3卡4卡
动漫打扑克牌的剧烈运动
都是同学C一下怎么了?
乌龙派出所221
三邦车视第一视频分享门户视
有效投资持续扩大
OG日产精品一卡2卡三
晴雅集 在线观看免费完整版
LOVESTORY动漫无删减
初高中生无套内精
花蝴蝶日本HD免费完整版高清版
宝宝下面湿透了还嘴硬怎么办
镇远螺丝桥凶宅
美女脱个精光露出奶头和尿口
南京交通职业技术学院4p刘梦亿
学生的妈妈双字10字
班长不戴罩子让我练了一节课视频
菊内留香TXl金银花车
G718.SX.张津瑜蘑菇
张铁泉死亡现场
宝宝下面湿透了还嘴硬疼的原因
麻豆精东星空天美MV
蜜芽永不失联2023
你们男朋友是怎么C你的
你们男朋友怎么C你的
荡公乱妇第1章方情95
国精产品一二二线网站
堵好了一滴也别流出来作文
极品瑜伽女教练白浆直流
你进来了吗我要开始叫了表情包
精品一线二线三线精华液
国产精东剧天美传媒
中文字日产幕码三区的做法步骤
妈妈的朋友4在完整视频带翻译4
13岁PG可以塞下多少根马克笔
美国十次啦超级大导航
美国1984忌讳第4集愈演愈烈
黑料网独家爆料免费吃瓜
今日蚂蚁庄园正确答案
我们没试过在阳台做呢
刘嘉玲被强奸视频
女生最怕的情侣玩具
林念修是谁的秘书
张柏芝艳原图全集
漂亮的记者韩剧在线播放免费
数学班长哭着说太深了门派站
桃花社区在线观看
九一制作片场视频
鞠婧祎打扑克又哭又叫视频大全
公交车车里疯狂的索要
东莞技校门下载
乱辈通奷XXXXXHD电话系
善良的老师2中字巴巴鱼汤饭惹人
谁输了去谁家受罚抽阴
一个吸上一个添下小说
高嫁肉柳1一5集免费
战争与和平JM
外网张津瑜视频在哪里看过
野花视频免费高清观看
班长是我们班的存精器GH
坐在鸡上写作业好疼
ピースエロじ天堂官网
落地窗PLAYWRITEAS
日产无人区一线二线三线观
TOBU8美国24
可以随意触摸小熊内部位游戏
s货是不是想挨c
中国XXXXXL19
花蝴蝶日本HD免费完整版高清版
亚洲AV精品无码国产一区
好儿子今晚妈妈就是你一个人的
宏翔小蓝视频GY2022
二指探洞很舒服吗
才一颗珠子就疼成这样
色母3030A
榴社区新址2018一
车子颠簸一下猛地进去
对象吮自己小兔兔的感受
亚洲日本一线产区二线产区
purhub入口
野花视频在线观看免费观看最新6
走一步撞一下连在一起
亚洲无人区码一码二码三码区别
茶杯狐CUPFOX官网浏览器
比比琼斯qvod
极品教师动漫在线观看免费完整版
C够了没有三根一起会坏掉骨科
在县城开零食店春节能卖200万
最近中文字幕中文7
蜜芽忘忧草老狼二区大豆行情
开车污的 女生越疼男生越来越快
再用点力今晚随你弄
UNDERTALEエロ
晚上喝了酒回来和狗狗做了
エロワンピースエロじ
哪个网站可以看泰囧
上楼梯时做会不会更深
对你上瘾1V3不清水PO
18C MIC新地址
迈开腿让我尝尝你的草莓什么味
不要了好涨停下来
老板不让穿乳罩随时揉H
和邻居换娶妻1
八重神子被捅到流口水的图片
小东西才一根就坚持不住视频
YSL千人千色AE86V9
被C到走不了路
巨大荫蒂又大又长勃起
ZOOKEEPER另类
麻豆传播媒体网站入口官方
人间小喷泉1V3HL笔趣免费
凌乱的公交车小镇
do的时候夹一下是什么感觉
相对湿度po阿司匹林催熟
嘿嘿漫免费漫画入口页面弹窗秋蝉
几个老爷弄一个丫头的说说心情
关上最后的门未增删樱花翻译
娇妻玩4P被3个男子伺候电影
国精产品一二三四线免费
仆人犯错把筷子放屁眼里不能掉
给了儿子第一次
无限观看视频在线观看免费
雷电将军乳液VX网站免费
妈妈的朋友7在观完整有限中字一
一二三四高清日本视频电视
健身教练漫画免费版在线阅免费版
我把我的肥岳日出水来
班长趴下让我C了一节课作文视频
一朵莲花三个莲蓬
比赛输了任对方看和玩部位一个月
大尺寸的小黄车说说公交
徐莹 非诚勿扰
九一传媒制片厂的制作水平
边走边撞水流了一地的水
原神八重神子掀开副乳网站
一支笔怎么C哭自己
内射在线观看者也
18款禁用B站APP免费版
女生让男生随便诵自己的坤坤
14岁女RAPPER
一面亲着一面膜胸口一面膜下部位
my pico
哇又长又大又硬太爽了
高铁上要了她很多次
开车越往下越疼的那种图片
糖心VLOG产精国品免费老
147人休艺术 大胆
男神插曲女生完整视频播放
吕瑶门事件完整照片
人文艺术视频是什么意思
优菈的乳液狂飙天堂W98
私人家庭影院3355
岳今晚让我玩个够肥水一体探岳体
胡桃流眼泪翻白眼流口水的表情
八重神子去内奖励旅行者
拔萝卜打牌不盖被子
杂交BUCSM人类SSBA
jmcomicron mic18c mic 入口
欧洲RAPPER潮水喷
反差婊吃瓜黑料网站19
妈妈的朋友4在完整有限中字第5
淑芬两腿间又痒痒的预防方法
男神插曲女生完整免费
爸叫我替他让妈快乐
51CG.吃瓜特色
你里面太温暖了我不出来
最舒服的一次是在哪儿
羞羞漫画破解版免费阅读网页版
啊哈哈哈好长啊
14MAY18_XXXXXL56ENDIAN60
有种你倒是公开
被学长抱到没人的地方免费
试看免费120秒
姐姐说家里没人我们就那个
过来自己趴好选工具小视频
baiduyingyin
两个人一前一后融为一体
宁荣荣把腿抬高让我进去
夜里听到婆婆哼哼的声音
19岁macbookpro日本
没带罩子让他吃了一天的药怎么办
黑料传送门最新地址ZZTT10
doi先进去再戴套
宝贝腿开大点我添添公交车
校园纯开小黄车小短文300字
世子很凶插花弄玉前进后出
俄罗斯1317大但人文艺术
在无限游戏里花式挨CH
将界2第3集大尺视频
厨房里的激战2
漂亮的保姆3日本
男在上女在下git动态图
长插曲视频完整版30分钟免费
一支笔把自己做哭
甜蜜惩罚带翻译
小女生RAPPER入口
妈妈看清楚我是怎么C你的
你把腰抬起来点不然我没法动
日韩天码砖区2022
水都流出来了还说不要
换个方式做吧未增删樱
污的你下面一直滴水的句子
为什么男生喜欢摸和咬小兔兔
原神角色被淦网站
最近高清日本免费
胸大的姑娘免费高清观看视频
坐在有木棒的椅子上是什么感觉
小东西你的水都拉丝了
小学生桶机30分钟全教程
老司机带带我免费看最新
暴躁老阿姨CSGO攻略
1都是怎么进入0的图片
晚上睡不着看点害羞事
偷偷藏不住40集完整版
中国小鲜肉巨大2022GARY
晚上让你吃棒棒糖是啥意思
用...用点力一点快到了
腿再开大一点就不痛了正常吗
GARYWAYNE男男视频
我被当玩具发泄的一天作文
OVERFLOW樱花风车动
张津瑜吕知樾三部曲哪里看
国外大但人文艺术欣赏
20岁女RAPPERDISSSUBS汉语
嫦娥狂飙乳液奖励自己一发
姐姐说想做可以找她
漂亮的丰年轻的继拇5字
97国产精华最好
工口无翼乌彩色无摭不知火舞
数学课代表的胸摸起来软软的作文
坐在学长的棒棒上学作业
没带罩子被校长摸了一节课
美国人物动物交互
宝宝我们到卫生间里做动漫
抬起一条腿对正往里怼
男人一开荤就收不住是什么意思
国产又黄又硬又粗
两阳夹一阴后期走势
雷电将军被史莱姆注入小视频
随着车的震动一晃一晃
国内AI造梦鞠婧祎MV青岛
作的女朋友叫的快哭了
BGMBGM浓毛老太太
疯狂厨房2双人游戏3
欧亚尺码专线欧洲B1B1
5g天天奭多人运动绿色视频在线观看
帝王夹玉器上早朝
我的奶头被客人吸得又肿又红
王者荣耀女英雄正能量2000张图片
家里没人叫大点声干湿你电影
杨思敏1一5集手机版
无限动漫网 在线播放
男朋友C你的时候怎么说你
好满射太多了装不下了软件
姐姐说家里没人可以C
人与畜禽CHANCE
干柴烈火儿媳苏姐结局是什么
3Q大战详细经过
雷电将军与丘丘人繁衍后代
坚定挺拔的进入
在公交车上被一个接一个的C
甘雨被盗宝团挤牛奶点击这里进入
女角色翻白眼流口水流眼泪的游戏
pinsetangmianfei
上体育课课用跳D的感觉
淑蓉又痒了办公室献身
《菊内留香》TXL金银花
国产一卡2卡3卡4卡影视果冻
儿子一晚上要我三回怎么办
WRITEAS花式PLAY
亚洲卡一卡2乱码新区仙踪
吕杨张津瑜酒店落地窗mba
男生把坤坤放女生定眼里
为什么抽的越快叫的越声音大
欧美无人区码一码二码三码的区别
迈开腿让我看看你里面的
丰年轻的继拇9M
xiaodiaowang
日产无人区一线二线三线小
父亲与女儿传宗接代的句子
ZHANGJINYU视频完整
欧亚精品卡一卡二卡三737
果冻传媒视频一二三区艾秋
渣男渣女做不干净视频
女生奖励自己隐私越狠越安全好
体育老师拉着我做了一节课
特工妈咪惹不得
小东西几天没做喷了这么多
詹妮弗的肉体完整版
BBOX入门BASS变态重
肉多到炸的古言描写
我和闺蜜拿黄瓜互慰
草草药视频在线观看
爱情岛论坛永久入口口
公交车上的小黄说说阅读
国产午睡沙发系列
开车越往下越疼视频
接电话被顶的说不出话
亚洲卡一卡2乱码新区仙踪
边做饭一边躁狂怎么办呢
哔哩哔哩大尺寸床车视频
脱美眉内衣小游戏
把两只小兔子吸红肿视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1