有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
爷爷夜里压着妈妈在叫疼
WYC.IA忘忧草TV
妈妈的朋友3线在完整有限公司中字
猫咪最新地域网名3336PT3
门卫老头吮她的花蒂
施主就让贫僧进去吧什么意思
恶女教师百度影音
看了会滴水的段子
星空天美mv视频大全免费观看
吃赵露思的乳液
xiaav因你而精彩
xiaav因你
高清男女之间射精
ドラえもんのエロ火影忍者
云缨巡街网站入口 漫画
按住腰往上顶弄 滚烫
两个人看的BD高清视频在线观看
一浅二深三大叫什么
大将军1V2LH
韩剧二人扑克剧烈运动
女生越喊男生越要塞的视频
桃花视频在线观看播放直播
班长的兔子好软水好多免费的网站
西方447大但人文艺术
日韩砖码砖专码2023
无人区码一码二码三码图片
身体秘密感官世界
エロワンピースエロい在线
宝宝才三根手指就湿成这样了啊
公主殿下的LOVE动漫全集播放
用电动牙刷放在MM位置是什么感觉
不知节制地索要了三天三夜视频
老板的办公桌BD
在卫生间里打扑克
三夫妻进行多人运动
BGMBGMBGM老太太交小伙子
边做饭时猛然进入高h
桃汁糜烂NPC
好满射太多了装不下了免费看
有种你倒是公开小说
和女婿发生了不应该发生的事
任你爽任你鲁任在线视频
在教室捡到一个遥控器
中日韩一卡二卡三卡四卡
嗯宝贝叫的再浪一点
GARYWAYNE男男视频
吃瓜网 - 免费吃瓜 黑料泄密
yinseyinxiang
每走一步就会深深的撞一下
老奶奶vpswindows在线播放
老狼信息网仙踪林-八零婚纱摄影工作室
白天躁晚上躁天天躁21
图书馆的秘密程怡婧txt
侍卫把贵女怼树干
宝贝好紧好爽再搔一点试视频
999精产国品一二三产区
蜜桃成熟时快播
联谊对象是肉食系警官
是不是当过兵的人下边都大
为什么你越叫顶的越猛
传媒天美果冻AAAAA
刘氏家族内乱换全文
黑料热点事件吃瓜网曝在线
韩婧格槟榔视频
啊灬啊别停灬用力啊动态图
152大但人文艺术欣赏
老师迈开腿让尝尝你的森林应用
14岁学腿迈开腿打扑克正常吗
妹妹中考前让我C了1次作文啊
一个人被2个人玩会坏掉吗
亲爱的老师3韩国完整
雷电将军入夜狂飙高清壁纸
linode日本iphone奶
14MAY1XXXXXL麻豆
火车上看着娇妻被别人玩
去医院面试被院长弄了
宝贝需要滋润了
七个人玩我一个
我的妻子的姐姐6观整有限中字
日本精品无人区卡1.卡
亚洲无砖码砖专区2023公司
催熟po1v3道具
日日啪无需播放器
777米奇影院影音先锋
伊人大杳蕉中文在线看
污到你那里滴水不止的文章1000字
污到你那里滴水不止的说说细节长文
adc影院欢迎您大驾光临18岁
日本无人区码一码二码三码四码
西施的欢迎会管鲍之交
儿媳太美味苏暖的
老狼二区忘忧草大豆行情
宁波蜜桃文化传媒有限公司招聘
我年轻漂亮的继坶bd
怎么自W到高C详细教程
污到你那里滴水不止的说说细节
和他在车里好多次
国产亚洲一卡2卡3卡4卡老狼
你们第一次是怎么弄的
公交车最后一排被群C的细节
狼狼鲁色在线视频播放
一边做饭一边躁狂怎么办呢视频
国产老狼一卡2卡3卡4卡隐藏版
chinese直男飞机18
高C了还可以继续吗
云缨救公孙离把自己搭进去
领导每天都要喝我的奶
后车座的疯狂运动过程
斗罗大陆2大乱斗交大配目录1
成为人免费高清完整视频
撩到女生下面流句子
张书记不戴套杨雨婷
男朋友为什么老是爱吸小兔子
女生把自己隐私给异性朋友
雷神ちゃんが部下を麻烦
老旺的大肉蟒进进出出次视频
年轻的空姐中文版
缠着腰不让退出
东北老女人大叫爽死啦
不良网站免费进入窗口软件有哪些
张津瑜6分35秒视频
电车之狼r 去马赛克
无人区码卡二卡乱码
女人能接受开三门吗
女生喊疼男生越往里寨的游戏
yehualu
跳D放在里面上体育课是什么感觉
WRITEAS边做边走
IGAO网站在线观看
疯狂伦交2完整版
我们三个人搞一个人啥感觉
糖果君小宇36分钟无偿
一浅二深三大叫什么
亲爱的老师4 韩国高清
BT天堂网在线WWW最新版官网
14MAY18XXXXXL日
自w到高c的16种方法
扒开大腿就可以吃到扇贝吗
大巴车轮轩诗歌摘抄
把娇妻借给朋友泄欲4
车里一下比一下撞的狠
公么大龟弄得我好舒服秀婷视频
狗的速度很快又大又烫
麻豆精产国品一二三产区区农民
三个人C同一个
在落地玻璃窗前插
小舞新形象PS掉所有衣服图片软件
公交车伦流澡到高潮HNP电影
开车视频小黄车视频免费下载
医生听诊器PLAY羞耻PLAY
b站推广入口2023
bgmbgmbgm老妇60
25cm坐上去感觉是怎么样的
免费日产区2021
家里没人儿子就弄我
blackpinkmv4k高清黑白配
被吃兔兔的感觉
班长哭着说我会坏的
娇妻玩4P被3个男子伺候辣文
忘忧草.WYC.IA
铃芽户缔免费完整版
当兵的晚上弄不停
暗夜1v3疯狂
校霸被学霸拿遥控器控制
用手指轻轻按着并来回移动
人与畜禽croproatain
WRITE AS管教
晚上弄哭自己隐私的100种方法
相府嫡女1V3
无限资源第1页2018在线观看
TMW07国产天美传媒
儿子耕种母亲的田地叫什么名字
扒了语文课代表的衣服
迈开腿让学长尝尝你的草莓的游戏
武汉浩哥出品消防员第一次双龙
182TV在线播放地址
你真紧你这是要我的命吗什么意思
少妇WWWB搡BBB搡BBB
蘑菇视频妈妈的职业
无区码一码二码三码
女人网站你懂我意思吧
男男车车好快的车车有点污
xiaav最新
他趴在两腿中间舔我私密有事
男男车车好快的车车有点污网站
羞羞动漫在线入口免费阅读
秘密教学82这次换我教你了土豪
一边做饭一边躁狂怎么办呢
餐桌下手指噗呲噗呲
美国人与动ZOOM
一边做饭一边躁狂的原因分析
wuyuetiansese
成品W灬源码1688伊园
小东西几天没做喷得到处都是
linode日本iphone强汉app
中日产幕无线码一区
污开车作文500字有过程
在车里打扑克的又叫又疼
女友的妈妈9中语字追剧电视剧
做的时候按肚子真的有形状吗
你的下面是我的饮水机
玉渊谭天究竟是什么人
岳腿缝之间水汪汪高清
天美传媒TMY0013在线观看
亚洲不乱码卡一卡二卡4卡5
把英语课代表按在地上C了一节课
一亲二膜三叉四强五注射
有谁上过自己妈妈
老师你的兔子好软水好多的图片
宝宝你好会夹啊都拉丝了什么意思
穿戴式跳D放在里面坐公交车
插曲视频30分钟完整不用下载
师奶杀手迅雷下载
雨果 百度影音
SLG像素风黄油纸巾盒大全
32厘米的粗长硬受不了了
ultimatespecialfx
臭小子我是你岳...你不能视频
原炀WRITE AS震动器
欧洲一卡二卡三卡短视频
野花视频在线观看播放在线观看6
这个杀手不眨眼2
抬起一条腿对正往里怼
学生的妈妈4中韩双字多鱼1
12岁如何自己安慰自己动手
男生和女生污污事视频
中国人も日本人も漢字を
男生插曲女生身全过程
进入了母亲的生命之门
蜜芽忘忧草768.mon.二区老狼大豆行情网
家里没人叫大声点干湿你
菠萝视频无限看
横冲直撞 肉车
147人休艺术 大胆
精产国品一二三区别www
亚洲不乱码卡一卡二卡4卡5
皇帝往下边塞玉器见客
男生压着女生的身体的原因
清纯校花沦为胯下玩物
在裙子里面运动
黑色的很粗很大的蘑菇头
vpswindows野外直播
10_10_汤唯七分二十秒视频
脱mm内衣小游戏
以性作为考试的学校
绿色视频在线观看免费
宝宝腿开大点就不疼了免费视频
牧场videos skool
果冻传媒剧国产免费入口今日更新
无限挑战130406中字
5g在线视讯年龄确认18岁
雨后小故事动画视频
你好我的对面男友
欧美无mate30pro巨
小孩和妈妈拔萝卜生孩子视频
13277大但人文艺术照
岳喜欢张开下面让我看
你的水怎么那么多还说不要
怎么让女朋友变成小喷泉
古言骨科高能lH
doi先进去再戴套
催熟po1v3by
天天想你免费看西瓜视频
一处桃源千人品两片红唇万客来
怎样把自己C到哭
全彩3d无覆盖漫画
中国老太太WBBHD
篮球队的公共玩具文章
家里没人叫大点声干湿你小说7
往下边塞冰棒感觉
他趴在两腿中间舔我私密有事
卡1卡2卡3乱码欧美
上自己妈妈是什么感受
宝贝对着摄像头自己做
第一次挺进麻麻的黑森林
花火のエロドラえもん
最近最新MV中文字幕国语免费
宿主的任务是收集JY 小说
日本精产国品一二三产品区别
又大又长又租视频
双人床上打扑克又痛又叫软件
英语老师你的奶好软
我和黑帮老大的365天第3季
充气娃娃实战演练
爱如潮水图片高清日本
比我老公的大了一圈
全身按摩被按摩师添下面
今日吃瓜51CG热门大瓜
宝宝桌子上都是你的水
杨幂13分钟20秒
学长在学校无人的地方做
刻晴ちゃんがを腿法娴熟
sis0001第一会所
我变成野兽的夜晚4忘不掉的前任
中国国模03[150p]
家里有什么能代替棒棒
国精产品三区四区有限公司
WRITE.AS罚坐
四个学长一起上我会坏掉的
孤独又灿烂的神
最近免费中文字幕中文高清6
24小时韩国日本高清免费观看
附近人100元一次去她家
我十二岁就做了不干净的事怎么办
秘密教学子豪51暗巷破解版
换个方式做吧未增删樱花网
亲爱的老师4中字在线完整版迅雷
学长的手指在里面转动的写作业
老太太bgmbgmbgm大
2021今天沈阳爆炸事件刚刚
内衣柜办公室1-3怎么看
老公带我去跟别人玩两次正常吗
做错一道题学长就顶我一下
姐姐说家里没有我们就可以做
善良的秘书滋味2
扒了语文课代表的衣服
30秒不间断踹息声在线听MP3
主人把棉签放屁眼里不能掉视频
13岁能放几个笔
红玫瑰直播免费版视频
没带罩子让他吃了一天的药没事吧
美国人又大又长又租
caoporen在线超碰免费
当兵的晚上弄不停
两个人免费视频播放的
写作业写着写着就插起来了
WRITE AS 爸爸
小汽车被两大货车挤压致1死
几个老爷弄一个丫头的说说心情
极乐园女子高寮物语
冷淡总裁受下属攻H
等不及了在车里就CH
被拉到学校没人地方C知乎
果冻传媒官方网站入口
男车车好快的车车视频真人
老师夹的太紧拔不出来的解决方法
亚1州区2区3区4区产品乱码
精产国品一二三卡
俄罗斯13一16泑女
家里没人我哥做了我
脱色摇床的视频大全
破了语文课代表的那层膜
都这么多水了还嘴硬这是在车上
你好我的对面男友
女人的阴性图片
荡公乱妇第1章方情
刻晴ちゃんがを腿法娴熟
西方艺术本体137
欧美尺码专线欧洲B1B1
公交车撞到最里面去了细节
欧洲无人区卡一卡二
182TV在线播放地址
赵露思乳液凸出来了
小洞饿了想吃大香肠什么意思
消防糙汉VS水深火热
年轻的女职工在线观看
成品网站W灬源码火龙果
鸣人九尾暴走需要女人三天手鞠
大菠萝福建导航导入网站
939W78W78W乳液永久
巜迈开腿让我看看你的森林
老狼卡二卡三卡四卡视频
王者荣耀云缨害羞流口水
国色天香A区与B区
如何引导儿子上自己
妈妈的朋友2在完整有限中字
我被公司领导C了很多次
10tpu色母与pa6色母
无人区一码二码三码四码区
韩国妈妈的朋友10整有限中字中国
桃花洞口开香蕊落莓苔的意思
孟十朵玉女春光图
OldMacDonald老人
秋霞网在线伦理影片
奶头被客人打得又红又肿怎么办
麻豆精产国品一二三区别
打扑克视频又叫又疼原声
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1