有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
回娘家每次他都搞我怎么办啊
斗罗大陆人物黄化完整版资源
黑帮大佬和我的365日2第二部
放轻松别太紧张我会很温柔
女人荫蒂勃起后的视频大全
乱码中字芒果视频一二三多人
野花视频在线观看最新高清
果冻传媒精东影业天美
至尊宝用金箍棒桶紫霞
欧美日产幕乱码2021芒果
X姓女RAPPER的首次亮相
离婚回娘家满足爸爸
夹好了去上学不能掉出来的作文
晚上睡不着偷偷看B站2022
如何一支笔C哭自己
一个男孩子顶哭另一个男孩子
男神插曲女生完整视频播放
做错一题学长就往里插一支笔
公交车两人双指探洞LH说
男生会舍得让喜欢的人口吗
大炕上的肉体交换农村乱睡
野花香在线视频免费观看第一集
小东西才几天没做就这样的
乐可车图片( 长图)
漂亮老师 2韩国完整版
男JI大巴进入女人的视频
拉开拉链它想你了给他好不
亚当的六个女人
男男车车好快的车车真人网站视频
女人私密唇突出
斗罗大陆2大乱斗交大配目录
欧美无人区码卡二卡3卡
瑶脸红流口水流眼泪翻白眼
宁荣荣把腿抬高我要进去
王者荣耀女英雄去掉小内无爱心图片软件
色吧有你春暖花开
学长往下边塞冰棒的小说
武汉浩哥出品消防员第一次双龙
宝宝好会夹啊拉丝
mignon动画什么时候
重生之门在线观看完整版高清
军舰上的女兵免费高清原声满天星
农村情侣电动车野战
120秒动态图试看
俄罗斯RAPPER潮水
浪货你那里又湿又紧 H
孩子没睡着老公侧身做
c了一节课体育课渺渺
一个男孩子顶哭另一个男孩子文案
被抱起来C是一种什么体验
将夜2第3集大尺视频
分手炮是不是都特别卖力
写着作业写着就插起来了
野花社区日本免费
军舰上女兵免费高清原声满天星
向涟苍生士献上纯洁
刚开始一深一浅后来逐渐变大
女朋友在上方会摇是什么体验
5G天天奭多人运动 在线观看免费网站
404黄台软件进入网站
迈开腿让我尝尝你视频
4399HD在线观看免费播放
B痒了多久没C了
8008幸福宝官网隐藏入口教育
国产自制剧天美传媒老狼
最近2018中文最全一页
野花视频观看免费最新
班长是我们班的存精器
边做边爱完整版3在线动漫
三个男人换着躁我一个
娇妻系列交换27部多P小
优质RB灌溉JY系统海棠初一
津渝视频完整版1
对象摸自己小兔兔什么感受知乎
中文精品一卡2卡3卡4卡国色
色欲国产麻豆精品AV免费
麻花传媒mv在线播放高清MBA
抖音奶片故意走漏视频7028
动物胶配方大全高清
班级每人C了我半小时班长
WRITEAS塞东西不能掉
野花高清在线观看免费5
老头老太太GMBGMBGM
147人托人艺术
迈开腿让我看看你的动漫视频
咋能把女友弄成小喷泉呢
天美传媒公司宣传片视频大全
zjy卫生间6分35秒夸克百度
好妈妈快点想死我了
69无人区码一码二码三码区别
XFB88XYF幸福宝引导
精品成品国色天香卡一卡二卡三
同桌把我拉到他家做了作文1000字
24小时视频在线观看免费
被几个人日的走不了路
9612黄桃网址进入页面手机端
4个学长一起我会坏掉的作文
国内ai明星造梦鞠婧祎mv
亚洲欧洲卡1卡2新区
WRITE AS 自己掰
500篇短篇合
杨敏思版1-5完整无删减版
夫外出被公侵犯日本电影
CEKC妇女毛多啊BN
TESTFLIGHT男人必备什么意思
王者荣耀海月被捅到流口水表情
他一次又一次的索要
沈阳45岁老阿姨叫的没谁了
总裁求你饶了我
动漫mm受辱图
在公交车上到高C
扑克剧烈运动打扑克视频
情侣之间插秧的图片
凌华ちゃんがを腿法娴熟部下
农妇肉体AABBWHBBW
在破房子里和狗做
回娘家给了父亲
八重神子的乳液狂飙视频
把腿开到最大就不疼了真的吗
2024钙GY钙站
和同学一天C了好几次小作文
母亲把我误认为是父亲下载
三年片在线观看免费观看大全下载
GOGOGO大但人文艺术包
晚上没人妈妈就是你的人
漂亮的桃子2意大利语翻译
女头部位上半身胸头透明
迈开腿尝尝你的草莓陶软
日本最大的但的人文艺术
18款禁用软件APP花季传媒
浮力限制路线1路线2路线3
16MAY19_XXXXXL
吉泽明部 种子下载
TOBU7TOBU8
妈妈说只要爸爸不在家就可以睡觉
写的超细的开车文知乎
坐在学长硬硬的地方写作业
5G天天奭5G天天运动
女孩子奖励自己的视频素材高清
好刺激的打扑克软件
成品网站W灬源APP免费百度
抽的越快声音越响视频
第二代国产自在自线
疫情期间和儿子做了怎么办
2012日本高清免费中文
我的漂亮女房东完整版电影
离婚多年和儿子睡觉
男生和女生一起差差差很痛的声音
一面亲上边一面膜下边文字表达
打扑克视频发出声音
把我拉到公交最后一排c
腿再打开一点就能吃到扇贝了图片
XAX MANTA 中国
我和公么中字日本电影
蜜芽miya1173永不失联
俄罗斯1317大但人文艺术
linodeiphone国产线
暖暖视频 免费 日本
疯狂厨房2双人3-5视频
亲亲抱抱举柔柔的视频叫的声音
BGMBGMBGM老头XX
晚上开车又疼又叫的小作文
国内精品一卡2卡3卡四卡
2021中文日产幕无线
浓毛BWBWBWBWBW日本
亚洲码与欧洲码区别一二三
ワンピースのエロ资源
女生喜不喜欢双指探洞
男人把女人桶到高潮嗷嗷叫
宝宝把腿抬起来靠墙上怎么回事
汤芳最出位下部
我被带到公交车最后一排
国精产品一区二区三区糖心269
宝宝放松一下进去就不疼了
最近中文字幕免费完整版2019
动漫美女被辱图
十种b型的外形
我被三门齐开了事后走不了路
疼大点声今晚没人
黑暗荣耀朴妍珍打扑克
醒来发现大的东西还在身体里
LINODE日本IPHONE熟睡下载
带仙女棒去上学的感受
善良的小峓子中文版在钱
冰块和棉签是用来干嘛的(黄)
吃自己的丁丁的方法
妈妈的朋友在完整有限公司中字2
走一步撞一下 湿透许安愉
原神甘雨安慰部下CG插画
搜同 2023地址 ipv6
我和公GONG在厨房日本电影
清平乐免费观看全集高清
几天不见这么多水想不想要
14MAY18_XXXXXL56ENDIAN美V
ZOOKEEPER另类
三十六种阴阳技图片
世子很凶插花弄玉前进后出
漂亮的丰年轻的继坶3在线观看
甜性涩爱bt种子
我想吃你的小白兔
老湿机一分钟免费观看
双人床上剧烈运动作文
成品人直播大全
曜给镜做剧烈运动的视频
真实的CHEAPWINDOWSVPS
做的时候按肚子真的有形状吗
顶的她说不出话来
pppd-297
我的一次三门齐开
亚洲一线产区二线产区区
门卫老头吮她的花蒂
玉米地诱子偷伦初尝云雨孽欲
公交车多人运动黄
教练在车里撞了我三次怎么办
精品日产高清卡1卡2区别在哪里
在把腿张大点我就可以吃到扇贝了
爸的大还是你老公的大
老师拜托授课到天亮吧
女生喊疼男生越往里寨游戏
迈开腿让尝尝你的小鸡的视频
免费VX雷电将军乳液网站
做你的爱人4未删减版
水蜜桃文化传媒有限公司
麻花豆剧国产MV在视频
欧洲VODAFONEWI喷浆
双人床上互动图片
韩国女性沦为牺牲品
两个男的一前一后叫什么
动漫人物将机机插曲漫画免费视频大全
八重神子享受翻白眼流口水视频
一小孩儿半夜给女孩吃坤巴
香含玉女峰头露润滞珠帘洞口云
美女露出奶头扒开尿口让男人桶
任你爽任你鲁任在线视频
心动时刻简简单单爱
欧亚精品卡一卡二卡三
5G年龄确认我已满18免费
S把M骂湿的句子
51cg1.fun怎么打开
丁香大型成人社区
漂亮的丰年轻的继坶3在线
欧美无人区码卡二卡3卡4
国产尺码和欧洲尺码表CCTV
春纪我们约会吧
亚洲宅男天堂在线观看无病毒
输了可看隐私的作文800字
春暖花开 性8yn
你看镜子里我们的结合
把她送上快乐的巅峰
学霸写作业让受自己动
公交车里抓着摇曳的手环诗情
雷电将军乳液VX网站破解版
孙尚香站在凳子上辅导刘禅写作业
l多肉的糙汉b1H
人马胶配方整个过程视频
跑步机上边跑边c
国精产品W灬源码1H855.
迪丽热巴AI人脸替换造梦
在线bt天堂网.www最新版
坐着吃饭还连在一起
洛克人zero5
4438x成最人最大
14MAY18_XXXXXL56EN打开
瑶脸红流口水流眼泪翻白眼
涩涩屋草莓丝瓜秋葵
女朋友的母亲9中语字追剧易
姐弟拔萝卜又疼又叫高新
TOBU7TOBU8大学生
404黄台软件免费下载安装
午夜福利院电影
白丝脚上的浓浓的精华液
30秒不间断踹息声音频下载
玛雅wang 发信到
试看体验区60秒
上课佩戴小玩具的注意事项
B不就是用来C的
宝贝感受到它变大了吗免费视频
老师成为班级的公共玩具视频
体育生GARY网站MV
51cg1.fun怎么打开
无颜之月我花未增删带翻译樱花视频
小东西我们在水里做运动图片
翁止熄痒苏钥第9章
胡桃N开襟乳液狂飙视频网站
打扑克剧烈运动的视频不盖被子
干柴烈火儿媳苏姐结局如何了
双龙进洞夹心饼干
boss俄罗斯撕裂bass
迈开腿我可以尝尝你的味道
野花免费观看高清视频6
强行挺进朋友漂亮的娇妻作者
世界上最大阳器有多粗
好满射太多了装不下了软件
缠着腰不让退出
爱琴海论坛视频播放二西瓜
回娘家每次他都搞我怎么办啊
7723日本电影免费观看完整版
在县城开零食店春节能卖200万
一本大道色卡1卡2卡3
快穿之女配紧致h
日产一二三四五六区
黎朔WRITEAS水管
上体育课课用跳D的感觉
暗夜1v3疯狂
一个男生弄哭另外一个男生
无翼之漫画漫画焰灵姬
男生讲讲自己第一次细节真实
绝品儿媳苏暖免费阅读
斗罗大陆女生去掉所有服装网站
太大了吧唧吧唧吧唧吧唧
被C了一晚上是什么体验
仙女棒坐着使用的图片
小东西几天没做水又变多了作文
蜜芽miya188.mon牢记无限观看
evelyn lin 迅雷
剧烈运动摇床运动视频
三秒后野兽在联谊的角落里的他是肉食系
acome玫瑰
果冻传媒妈妈和女儿李琼
对象吃我的奶奶说明什么
四根一起会坏掉的厉害的视频
ADC自拍视频
老公弄我的时候婆婆看到了就生气
小东西几天不见又变紧了
学长两个人一起会撑坏的视频
免费做运动扑克视频网站大全
美红与王站长列车篇
有种你倒是公开
上海富家女杨丽玲
人与畜禽杂交MOUSE农场K9
国内色母与进口色母区别
麻花豆传媒剧国产MV入口
破了新数学老师的处
ati radeon
腿再张大一点就可以吃扇贝了
福利500免费导航
最好看的日本字幕2019
GOGOGO免费视频观看 高清韩国
pppd-297
fulao2官方网站进入
啊哈别别揉那处了
一边C一边说粗话小说
潮湿的心无删减版
男生淦哭男生图片动漫有字
TOBU18-25
大尺寸的小黄说说作文
打扑克牌又疼又叫视频下载
杨思敏1一5集手机版
台湾MD豆传媒一区二区
无翼乌全彩无遮挡漫画大全
孙尚香站在凳子上辅导刘禅写作业
每次见面他都要好几次细节
大胸年轻的保姆6
部队里被咬住花蒂吹潮军人
张柏芝生三胎是刘德华
在没人的教学楼走廊里做
欧美无人区码卡二卡卡三卡四
ZOOM人牛OKZOOM俄罗斯k9农场
每集都在打扑克的韩剧
荡公乱妇第1章方情95
男女XX00上下抽搐动态图
可以触碰你的深处吗 樱花
韩漫漫画登录页面入口
无颜之月1-5下载
日本乱码一二三四区别
污网站wallpaper共享人可以看到订阅吗
939W乳液78W78W韩国
明星ai智能人脸替换网站
10款禁用软件永久无限大全
翁公的大龟挺进秀婷
我和好友之间的换Q游戏
你看的这么多水了还说不要
国精产品一区一区三区有
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1