有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
班长奖励我吃她的13的作文
蘑菇视频APP下载安装无限看-丝瓜安卓苏州
日本一姐RAPPER潮水太多一
往下边塞水果后吸出来
娇吟公车系500章
我坐在学长的鸡上写作业长篇文字
说说都是怎么的干对象的
国色天香一卡一卡二卓越拓展
你看你的水喷得到处都是若若
高冷男受用钢笔玩自己GH
禁止的爱善良的小子姨1
日文中字乱码一二三区别在
随时随地都能干的学校教师
丰裕纵满2588
精产国品一二三9977
刘耀文在宋亚轩里塞TD
御手洗さん家の破洞
宝宝你好会夹啊都拉丝了作文视频
妈妈说戴了才可以
成都4片P完整版视频动漫
秋葵 茄子 丝瓜 香草 榴莲污在线观看
污到你那里滴水不止的文章1000字过程
cf孙尚香正能量视频
日产2021免费一区
被当成发泄玩具的一天
公交车里抓着摇曳的手环诗情
马是怎样交匹配的
三叶草亚洲尺码和欧洲尺码区别
中国日产乱码无线码
暖暖 视频 免费 高清 在线观看日本
工囗番漫画全彩无遮拦无限拉
穿越到随处做X的游戏世界
外公总是压妈妈身上怎么回事啊
浪漫满屋泰国版12
漂亮人妻被维修工侵犯的后果
老王头的幸福晚年张倩倩
坐在学长的棒棒上学作业
日本农村大姐rapper
18款禁用黄台入口APP应用
放学后的优等生1未增删有翻译
国内色母与进口色母区别
男生和女生一起差差差得很痛的轮滑
被当成玩具发泄的一天作文
两个男孩子做不可描述的事
亚精区在二线三线区别第一基
老湿影院里面的视频免费观看
伽罗ちゃんが腿法角色解析
亚洲无人区码一二三四区别
中国XXXXXL19学生
电车之狼r结局
啦啦啦 中国 日本 高清 在线
情侣的30种插秧法
暖暖视频日本版免费完整版
最近更新中文字幕第1免费版
蜜芽忘忧草768.mon.二区老狼大豆
7X7X7X任意槽2023进口
农场ZOOM与人性ZOOM
师奶杀手是什么意思
美国ZOOM人狗APP一欢迎你
初次见面4秒就合体
两个人一前一后融为一体
化学实验室学霸做哭学渣
老旺的大肉蟒进进出出次视频
能让人下面湿的漫画有哪些
雷电将军乳液狂飙VX网址
奶一被揉和吸就想挺起来怎么回事
缓慢而有规律的往里挺松动
男生把坤坤放女生坤坤的蘑菇视频
无人区码卡二卡乱码
男男车车好快的车车有点污网站
邻居一晚让我高潮3次正常吗
娇妻系列交换27部多P在线观看
只要使点劲不行就再用点力
按摩师坐在两腿中间按摩
泷泽萝拉第三部ed2k
中国高清VPSWINDOWS野外
抬起阿离的腿就是C
张津瑜7段原版
我们去楼梯间做好不好
嗯嗯宝宝怎么啦难受吗 疼 好大
爱情岛论坛首页推荐进入网址
斗罗大陆2大乱斗交大配目录
OVERFLOW樱花风车动
bgmbgmbgm老妇60岁XX
迈开腿尝尝你的蜜林
剧烈运动摇床运动视频
校园春色武侠古典系列
一面亲上边一面摸下边打扑克
精产国品一二三产区区别在哪
rh男男车车的车车视频真人
作业写着写着就插了起来
亏亏插曲叫疼的免费网址
乖我们试试在这里
美国人XXXXXL19
谁输了去谁家受罚抽阴
手从小腹一路开到丛林处
乖张大点一下就不痛了软件
谁可以给我新版猫咪的地址
俄罗斯13一14处出血视频
亚洲精品一卡2卡三卡4卡5卡
波多野结衣下载地址
国精产品一二三线999
大象国精产品一品二品在线
女生喊疼男生越往里寨游戏
国产精华液一线二线三线区别在哪
大陆一姐RAPPER潮水太多
宝贝你的奶头好紧好大
趴在办公室被老板们C
体育老师在单杠C了我一节课网
暴躁老外玩MINECRAFT
啊英语老师的胸好软
我离婚后经常和父亲做
男生对女生迈开腿尝尝你的草莓
日本最大但人文艺术第一组
摸小豆豆到腿抖的五式
第一次处破女14分钟
什么样的B型最好进好玩
将军每走一步就撞一下
左拥右抱1v2
奶头被客人打得又红又肿怎么办
玛雅论坛亚洲电影
和同学一天C了好几次小作文
雷电将军乳液VX
狗狗又烫又大又长
妈妈的朋友10在观完整有限中
被他从身后撞得浑身散
WINDOWSCHANNEL少女
我成了生物课的教具
没带罩子让他C了一节课怎么办
WRITEAS朝俞夹东西
三个人玩我一个人是什么感觉
12星座离奇事件柳岩
宝宝的水喷得到处都是视频
惠氏奶粉好不好
baiduyingyin
性能之巅第2版和第1版差异
女朋友的母亲9中语字追剧易
爸爸太大了撑不住了
品色永远免费堂
大巴车最后一排被C细节
什么样的B型最好进好玩
JEALOUSVUE成熟50MAOFF狗狗
强塞玩具七小时
处钕膜被捅出血图片
51CG.吃瓜特色
最年轻的小峓子4中字巴巴鱼汤饭
PO18脸红心跳官网地址是哪一
父亲与女儿传宗接代的句子
妈妈说带套可以让我做
学渣坐学霸的鸡叭上写题
王医生的私人诊所苏沫沫
秘书的兔子好软水好多车作文
老湿电影院体检区
开车视频疼痛有声音水水音频
日本卡一卡二新区乱码
妈妈的朋友1线在完整视频中字版
蜜桃传媒天美传媒京东传媒
撕掉她的外衣和内衣
濡湿的车站未增删带翻译免费
国产无人区二卡三卡四卡不见星空
大武当之天地密码迅雷下载
父母全家儿女大联欢第14集
双杠分腿坐挺身前进H
B站大但人文艺术
漂亮妈妈中文4
第一次处破女18分钟好痛
高清VPSWINDOWS69
青梅竹马是消防二季未增删
二人扑克剧烈运动打扑克视频
WRITE AS 尿液
37大胆欧体人文艺术的价值
在教室捡到一个遥控器
被自己家的狗上瘾了怎么办
我朋友的妈妈9完整有限中字木
儿子缓慢而有力的往里挺送
无人区一码二码三码四码区别在哪
ai人脸替换李知恩造梦网站免费
相亲对象是未增删樱花有翻译
把毛笔放到洞里写字不准掉HL
班长哭着说不能再深了
最年轻的小峓子5中字巴巴鱼汤饭
国色天香一二三期区别2023
向涟仓式献上纯洁
人类是如何交匹配的过程
意大利性禁忌完整版在线播放
吕知樾张津瑜视频外网
数学课代表的B真紧
用笔怎么自己弄自己的小花园
中国人も日本人も汉字を
走一步撞一下连在一起
迈开腿快让我看看你的草莓图片
中文日产幕无线码6区收藏
蜜桃成熟时3dqvod
MACBOOK少女
中国免费XXXXXL
单亲妈妈4中文在线
学校的公共公用便器
孩子没有睡老公就侧面做
被学长抱到没人的地方怎么办
一亲二膜三叉四强五注射大象图片
暖暖 中文 免费 日本社区
里面也请好好疼爱漫画更新时间
老公生日3Q的开始
韩国乱码卡一卡二新区网站
大地资源中文第二页日本
中国VODAFONE喷浆
啦啦啦视频在线观看免费高清5
啊轻点灬公大JI巴又大又
野花社区日本最新免费
啊别插了视频高清在线观看
女生和男生一起相差差差
麻花传媒MV一二三区别
公么天天吃我奶躁我的
张津瑜落地窗9分多钟付费
玛雅论坛亚洲电影
青梅竹马是消防员1未增删
国精产品一区一区三区糖心
老卫在船上弄雨婷
无限免费观看动漫
年轻的母亲5整有限中字
把英语课代表按在地上C了一节课
车后车座的疯狂的做细节视频
野花免费观看高清在线观看6
男生把坤坤放女生坤坤的蘑菇视频
快速抽的时候发出声音
中文在线4月4日快速反弹
荷兰少归BVBV
一边讲题一边doi
江疏影口大佬照片
新版猫咪地域网名入口下载
国产又黄又硬又粗
新婚警花被别人开了苞
缠着腰不让他退出
女子日系裸妆视频
把腿张大一点我要吃你的小扇贝
羞羞的漫画免费入口页面登录下载
随时随地都能干的学校教师有哪些
YSL水蜜桃86棕榈
国内精品一卡二卡三卡公司
体育课被c了一节课怎么办
亲爱的老师3韩国完整在线观看
迈开腿尝尝你的草莓是什么感觉
我的XL司第三季免费观看翻译
WRITEAS机器自动
通房11H云舒
孤独又灿烂的神 鬼怪
浮力限制路线1路线2路线3
男朋友给我买了振荡器好不好
我坐在学长的鸡上写作业长篇文字
麻花传md0155苏蜜清歌在线
GOGOGO大但人文艺术包
白雪公主被树干哭的故事是
《桌球上的艳遇》韩国在线观看
花色98堂新网名内容与理念
考试没考好当全班的便器
女生越说疼男生越往里
无人区码一码二码三码区别新月
波多野结衣42部视频在线
辅导作业play
儿子以后妈妈的比就是你的了
老卫淑华在上船上
芒果乱码一线二线三线新区
妈妈的味道HD免费
china野外18:19
奶酪陷阱在线观看
一小孩半夜给姐姐吃坤巴
蛇尾巴进去了笔趣阁
妇女被深耕过后有哪些表现呢图片
情感的禁区电影
新龙门客栈2龙门飞甲
おっさんとわたし天堂
孤男寡女干柴烈火类似的词语
WRITE AS 教授
浏览器正能量网站
顶开妈妈的生命之门阅读
不知火舞三个男儿动画
给父亲一次可以吗
把跳d放在里面坐公交车
日产乱码一二三四五
小雪的13又嫩又紧又多水书架
把跳d放在里面坐公交车白月
亚洲码与欧洲码一二三四区别
林念修是谁的秘书
老师的玉足伸进我的喉咙里
片多多3999HCC
BGMBGMBGM老太太交视频
欧美无人区码卡1卡2卡免费
最近更新2019中文字幕国语
塞跳d开最大挡不能掉出来作文
床戏哔哩哔哩大尺
茶杯狐 CUPFOX官方
斗转星移刘亦菲
最近2019免费手机
日文中文字幕乱码一二三区别
男朋友把我腿打开了
最好看的最新的中文字幕3
欧洲无人区卡一卡二
差差差很疼30分动漫免费
忘忧草日本社服务台的电话号码
晚上睡不着偷偷看日本B站
8000元一晚上破三个
顾氏双生子的玩具
正能量网站www正能量网站
另类老太婆BBWBBW
和老爸睡觉没控制住
女生玩男生小JJ
s货是不是想挨c
都生了宝宝了还那么紧
被黑人伦流澡到高潮HNP动漫
兄妹方程式多R车多1V3
女家教 林佩佩
儿子暗示我想上我
ssni 409
火影忍者禁图大全
小莹客厅激情46章至50视频
公交车缓慢而有力的C
整篇都是车的文章
s货是不是想挨c
卫老与淑蓉7一12集
趴着一前一后三个人
小泽玛莉亚种子
公I公在厨房要了我在线观看
你的棒棒真的好大用了什么料
王者荣耀KURO西施流液体
御手洗さん家の破洞
朋友的母亲3有限中字木瓜
老太太VPSWINDOWS45
一个色农夫导航
秘密教学103私下你可以随意7
成绩好妈妈就给我一次作文
GOGOGO大但人文艺术包
亚洲无人区码二码三码区别
家里没人半夜就把姐给睡了
王者荣耀女生去掉小内游戏
dazeyouxiang
菊内留香 TXL金银花露
WRITE AS撅好
家里没人儿子就弄我了怎么办
他的手指在里面转动的写作业呢
破了英语课代表的处视频动漫
雷电将军の罚ゲーム视频
今天接待了30厘米的客人
你越来越耐C了
白天躁晚上躁天天躁2022
没带罩子被校霸C了一节课文视频
一下子接5个客人疼死了
精品日产高清卡1卡2区别在哪里
日式小黄油推荐
不让我断奶他每天下班要吃
我坐在学长的鸡上写作业作文
chinese帅哥军人solo
午夜dj视频在线直播
深度开发1V3梁医生不可以限
苏家小媳妇1V3
天天想你视频免费观看西瓜
3DNAGOONIMATION_HONKAI动漫
欧亚专线S码和W码入口一样吗
国内精品一线二线三线区别在哪
无翼乌漫画教师全彩
用...用点力一点快到了
善良的妈妈的朋友3有限中字
四虎最新地域网名2021免费
车上一下子就弄进去了岳
欧精国精产品一区
无人区一码二码三码四码多人收藏
主人我错了请把它关掉角色介绍
镜子中我们的结合处发出
女闺蜜扒开腿让我CAO她
XAX MANTA 中国
警察网记者张津瑜9分10秒哪里有
人与禽性7777777
蜜芽忘忧草YW成长人研究室
护士给病人做性功能康复治疗
给你下水好多下水道
舌绕指探洞深深下一句是什么?
XL司樱花未增删翻译
女人下边紧了好还是松点好
甘雨哭着让刻晴停下来
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1