有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
儿子的还比老公长
JEALOUSVUE成熟50MA欢迎光临
老公总是吃我的奶奶但我很反感
你的好大我装不下了
久久精品AV麻豆
最近最新中文字幕大全手机
为什么狗狗放我里面就变大图片
黄版直播APP
漂亮的丰年轻的继坶3在线观看
夫妻成长日记二
粉色高清在线视频免费观看HD
孩子想c我同意了处
新利18假冒ued吗
韩国妈妈的朋友10整有限中字中国
数学老师叫我吃她的小兔兔
吃棒棒糖是什么意思
看镜子里我们结合的样子
夫外出被公侵犯日本电影
西施的欢迎会管鲍之交
俄罗斯大转盘多人运动
国产精产国品一二三产区区别
麻豆画精品传媒2021免费观看
日本精品一线二线三线区别
2012手机在线看免费观看
绳子打结勒在缝里走路
燕氏被四个和尚播种
中国人看视频免费
俄罗斯FREE性16
中文字幕无线观看高清
年轻的母亲6兔费线6
GoGoGo大但人文艺术张
妈妈酒后误为我是爸爸怎么办
夫妻成长日记动画
88369游戏
51爆料网每日爆料黑料
是不是欠C了那么多水
两个人看的www免费高清直播
放课后的职员室无删减
张津瑜落地窗9分20
压在阳台玻璃上做给别人看
兰州老肥熟全程露脸
公交车舒婷1一20全文TXT
一件一件的剥开我的衣服
2022Ggy钙站不能用了
艳情短篇160无弹窗
年轻的母亲2在线播放中文版
夸我比她老公大
走绳子打结PLAY
爱情岛论坛在线路线一免费观看
群飞刘亦菲刘诗诗杨幂杨颖
浓毛BGMBGMBGM胖
欧洲人物动物交互咬合视频
两阳夹一阴涨停双响小说
每天都是被C着醒的
女人好大好涨水好多
雨后小故事2动态图片
缓慢而有力的往里挺送的文案
他的手放在了我的珠穆朗玛峰上
4399国语高清完整版在线播放
下面小扇贝肿了
四叶草M码与欧洲码的区别
输了让对方随便玩一个月的作文
国精产品一区一区三区有
校霸做错一题学霸就插一支笔
小雪把双腿打开给老杨看5
JEALOUSVUE护士
S货叫大声点C懒烂你的SBXS
姬小满流眼泪翻白眼流口水的表情
前面一根后面一根运动
麻花传媒MV一二三区别
棉签play是什么东西
内谢XXXXX8老
坐在学霸的鸡上背单词
做过一次爱的两个人会忘记彼此吗
迈开腿让我尝尝你的草莓什么味
999精产国品一二三产区区
办公室的秘密赵雪晴第11章
高铁上要了很多次
小兔兔被男生吃会发出什么声音
福利姬液液酱高潮喷水白浆
刺客伍六七第二季免费观看
宝宝的扇贝真会夹
人间小喷泉1V3HL笔趣免费
不可以两个太长了会坏视频
欧洲一卡二卡三卡视频
阿根廷舞林大会
夜间刺激打扑克哔哩哔哩
韩漫漫画登录页面免费漫画入口弹窗
往下边塞冰棒是一种什么体验
俄罗斯18give100
教室里英语课上插英语课代表
打扑克视频用点力有声音
哥布林的窑洞全集百度云资源
八重神子入夜狂飙图片高清
哥布林洞窟未增删开车原声视频
迷人的保姆5线观高清
女生把自己的隐私发给异性朋友
把棒棒糖放屁眼视频
老公说想上我妈妈
仙踪林老狼传媒网址
日本一卡二卡3卡4卡乱码理论
躺在我跨下的英语课代表
一姐rapper潮水太多
男人女人40分钟视频
迈开腿让我看看你的草莓汁
美女100%露出奶子无遮挡免费观看
黄鳝21分钟40秒完整版
体育老师c了我一节课蘑菇视频
软玉娇香1V3
欧洲最大但人文艺术114
黑兽樱花未增删带翻译
办公室的秘密赵雪晴第11章
亚洲欧洲一码二码区别在哪
星空传媒XK8077妻子的报复
宝宝把腿开大点就不疼了
女性自卫慰方法
一女战三老外一女战三黑人
卡一卡二新区无人区
mm131杨晨晨紧身
TPU色母和PA6色母的区别
斗罗大陆2大乱斗交大配目录
傅先生宠妻无度小说免费阅读
亚洲一卡2卡三卡4卡2022
桃汁糜烂NPC
两个人一前一后攻击舒服吗
镜子中我们的结合处发出
大连护士门照片
GAY大陆年轻帅小伙2022上
当私生饭是要挨C的
你的舌头搅拌着我的那里
日本一线二线三线四线五线
在车上一次又一次挺入
跳DAN放在里面坐公交知乎
嘼皇妓院BESTIALITYSEX
精产国品一二三产品区别视频手机
晚上偷偷看B站视频软件投屏
大孔雀和美丽姐
黄可46分钟完整版种子
狗狗又烫又大又长
最近韩国日本免费观看MV
把跳D放在里面跑步不能掉
是不是想让我弄你了
家庭大杂乱经典说说
翁公半夜吃我下面
两个人一前一后攻击叙述
女生和男生差差差带痛声
宝宝才三根手指就湿成这样了啊
我和小娻孑在车上全集
歪歪漫画登录入口免费
chinese直男飞机18
野花社区日本最新免费
电车之狼r怎么玩
沈阳老阿姨最后的巅峰
老外和中国女人毛片免费视频
葫芦里面不卖药千片万片你需要
成熟交bgmbgmbgm欧
用......用点力快到了
大鱼直播app
迈开腿让我尝尝你的扇贝故事
不让尿还喝水棉花塞住不能尿作文
双人床上打扑克又痛又叫软件
妈妈的朋友5在完整视频带翻译
和六十老女人高潮多次
WRITEAS强制标记
女生和男生一起差差的事
sis0001 board评论区
12may18_XXXXXL56endian49
进来吧晚上英语老师就是你的了
李白受WRITEAS
老赵抱着媛媛在厨房作爱视频
男生和女生一起差差差30分的游戏
snis-774
无套内射GIF舔B吃奶
国精产品一二二线
韩国女主播小青
AI人脸替换明星喷水造梦
宝贝是不是到最里面去了
猫咪最新地域网名3336PT3
大BBW大BBW大BBW
六年级下面可以塞几支笔
女人迈开腿让男人吃草莓
农夫导航最新网址
爸爸比老公大两倍妈妈该怎么教育
白雪公主STOYA
穿越到随处做X的世界结局
宝贝儿 我想听你叫的声音
blued片在线观看高清
sis001第一会所
在床上拔萝卜又疼又叫痛
开车视频疼痛有声音水水水
把自己扣的全是水的视频
疯狂主妇无删减版
在公交车上被撞出了水
雷神ちゃんが部下を麻烦
女生小坤坤图片大全高清壁纸
儿子比老公大晚上故意到儿子
火车上看着娇妻被别人玩
资源你懂我意思吧
爱你24小时不打烊
贪欢经典片在线播放
旅游途中夫妻换着玩的说说搞笑
UC搜索WWW你会感谢我的
爱情真善美40
韩国女性沦为牺牲品
塞跳d开最大挡上课不能掉
从阳台X到卧室边走一步GH
大陆年轻帅小伙飞机GAY
爱情岛论坛首页永久入口
太华伽罗被X哭还流东西
张津瑜和吕知樾照片
VODAFONEWIFI巨大
叶渺渺和体育老师c一节课的作文
混乱小镇公交车售票员用
给我免费播放片日本版
叫吧宝贝我想听你叫什么
男孩子淦哭男孩子视频免费
监控偷盗摄影二区
男团共享物by不必南下全文
老湿机免费一分钟体检60秒区
打扑克猛烈摇床
太平间里的恶魔
津渝视频完整版1哔哩哔哩
蜜桃文化传媒有限公司招聘
往下边塞玉器出门write
儿子妈又不是不给你玩
坚定挺拔的进入
姬小满的乳液狂飙天堂W98
你看镜子里我们的结合
一前一后三个人轮换的
巜老师的小兔子好软水好多动漫
不系纽扣的女孩
麻豆精产国品一二三产区区别大吗
四虎永久地域网名2023知乎
无人区码二码三码四码区别
同桌上课打开我的腿放震动蛋
怎么玩自己的r头
淑芬两腿中间痒的厉害
男朋友C你的时候怎么说你
国外精产品W灬源码
网曝吃瓜黑料一区
有谁上过自己妈妈
英语课上插了英语课代表视频
IJGN禁止18岁以下下载软件
充气娃娃实战演练
女头粉色部位上半身大胸头像
黎朔WRITEAS木马
家里没人跟妈妈做了怎么办
津渝视频完整版1
19岁MACBOOKPRO高清
散兵ちゃんが部下を腿法娴熟
亚洲一线产区二线产区分布
妖精的尾巴oad7
overflow2未增删带翻译樱花
丰满圆润大胸在线
国产9麻豆剧果冻传媒科普
濡湿的车站未增删带翻译
火车后车座的疯狂的做
王者荣耀黄化网站入口安卓
可以看张津瑜视频的浏览器夸克
jy被堵肚子胀得厉害
女生戴自动蝴蝶去上班的注意事项
椅子上有木棒坐下去吃饭短
不知火舞3个小孩
体育老师拉着我做了一节课作文
51漫画免费页面看漫画弹窗
被公司领导C了很多次
五月丁香五月伦理
开车越往下越疼的那种文字
俺去啦怎么打不开
YSL千人千色YESE88
老卫抱着淑蓉进房间导演是谁
试看免费120秒
双人床上做的运动打扑克的软件
野花视频韩国免费观看
美女扒开尿口让男人桶进
睡过年纪最大的多少岁六十多
九一亚洲精品饰品有限公司
亚洲乱码无人区卡1卡2卡3
一面亲着一面膜胸口
你看你流了这么多水还说不要
GAY2022
干的你走不了路SB
魅力研习社 避孕套
简隋英李玉肉车writeas
宝宝这才几天没C水就这么多
欧亚尺码专线欧洲
秘密教学子豪83田里开机svip
被吃扇贝的感觉
30分钟你看个够
蓝湛的肉车尺寸多大
内衣柜办公室1-3怎么看
污到你那里滴水不止的说说99篇
绿巨人推广APP网站
陌陌小华佗劲爆视频
腿再开大一点就不痛了
最近最新手机中文大全4
帅哥GARY视频
妈妈愿意让你c
公交车双指探洞醉汉
双男主有车车的视频w
大尺寸小黄说说1000字多肉
麻花传MD0174沈娜娜
uyingyizu
詹妮弗 安妮斯顿
樱井莉亚电影下载
punimai
丝瓜榴莲秋葵榴莲污污污
皇上不可以(限)沈音
压在窗户上C给别人看
3Q大战详细经过
井川里予被C了
迈开腿尝尝你的森林什么感觉
斗罗大陆2大乱斗交大
女人很久没啪会变紧吗
97超碰在线视频人人av
课代表趴下开让我桶30分钟全集
疫情期间只能干老妈了
娇妻玩4P被3个男子伺候
叔父的大还是爸爸的大轶事
学长迈开腿尝尝你的草莓mv
最近新韩国日本免费观看
日本无人区码卡二卡三卡
老奶奶bgmbgm人
同学故意把我的校服当抹布用
最近免费中文字幕MV视频7
国无人区码卡二卡
小受被老攻C到哭着求饶视频
B痒了多久没C了
把头抬起来看镜子里的你
13一14处出血视频
四房播播 快播
4399看片免费观看大全
把她送上快乐巅峰
日韩欧美中文字幕送别
国产乱码卡1卡二卡3卡四卡
张津瑜 VS吕总视频
38岁离婚和儿子一起睡
中中文日产幕无线码
花蝴蝶日本视频
给父亲一次可以吗
欧美日产幕乱码2021芒果
两个男生开车哭声声音视频
朋友把我玩成喷泉了怎么办
天美传媒小甜豆完整视频在线观看
动态图27男舔女
狗狗射速好烫的故事
想吃你身上两颗的葡萄
重一点啊再重一点
大尺寸的小黄说说作文
芳芳的性幸福生活18 章
不伦纯爱在线观看
成品禁用短视频APP抖抖
杨思敏1一5集国语版下载地址
狗狗配人怎么配
叔父的大还是爸爸的大轶事
无翼乌无彩无漫画
中文字日产幕码三区的做法大全
双人床上做的运动打扑克视频软件
把筷子放屁眼里不能掉的作文
老公晚上吃我的小兔子
腿再张开一点就能吃扇贝了
换个地方做吧未增删樱花150
农夫导航最新网站
从厨房一路干到卧室好吗
污污免费看锕锕锕锕锕锕
水蜜桃1997
精产国品一二三产品区别大吗知乎
51吃瓜爆料黑料官网I60UJBN
爱唱歌的大姐姐
三个人弄了我一晚上走不了路
酒后和朋友换娶妻中字3
一天接了八个客人肿了
妈妈的朋友的4在观完整有限中字
美国十次啦地址
爸的比老公大两倍
公交车6人轮换c白月是
伦理片在线线看手机版韩国
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1