有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
无人区码一码二码高高
顶级RAPPER潮水日本
朋友的妈妈2观有限中字
欧亚专线欧洲S码WMY全部资讯
你是不是没被C够
桶三十分钟全教程
美国Zoom人与Zoom
二指挖洞的手势技巧
迈开腿让学长看看
坐在木马的木棒上公主
女头粉色部位上半身大胸头像
囯产精品一品二区三区
免费的剧烈运动扑克网站
甜蜜惩罚2樱花未增删带翻译
小区老王的春天
上边一面亲下边一面做连续剧
我的漂亮女房东完整版BD
女教师的荡欲小说全集
棒棒糖放屁眼里ss
男人和女人香蕉网线看
成品网站源码1288隐藏通道
善良的邻居4中字巴巴鱼汤饭
老旺的大肉蟒进进出出视频
宏翔小蓝视频GY2022
玩伴猫耳娘ova
厨房里两只乳头被吸肿了
免费夜间做还运动视频扑克软件
好男人看在线视频
绿巨人二维码推广
被两个男人绑着玩好爽
欧洲最大但人文艺术
王者荣耀公孙离被捅的流眼泪
我妈妈的朋友8在完整有限中字木
班长哭着说再c就坏掉了
腿再开一点就可以吃扇贝了
把毛笔放到洞里写字不准掉HL
扑克牌又痛又叫软件免费下载
宝宝上面全都是你的水
男生说帮他弄出来是什么意思
ed2k 超市
没带罩子让他C了一节课作文动漫
舌头伸进去添能让高潮来的更早吗
打扑克牌的剧烈运动视频全过程
为什么越叫他越快视频
翁与小莹凌晨欢爱回乡下
打扑克牌男女剧烈运动原声音频
7000万嫁女
儿媳妇夸我比她老公大古言
一浅二深三大叫法是什么
孤男寡女干柴烈火的比喻意思
女朋友技术太好舍不得分手
家里什么东西可以代替小玩具
异地见面插上两天不下来
没有擦黑板被老师C了一顿
qvod 蜜桃成熟时
燕氏被四个和尚播种
18款禁用软件APP花季传媒
打扑克剧烈运动高清视频
说说都是怎么的干对象的
你对象晚上怎么玩你
女人半夜莲花开很难受怎么办
宋慧乔爆肛门是怎么回事
黑牛影视传媒有限公司官网
原神雷电将军把乳液喂给旅行者
求你把跳d遥控器关了
把毛笔放到洞里写字不准掉
一边喘气一边叫疼的视频
清恋 seiren
强奷漂亮的女邻居完整版
甘雨被盗宝团挤椰奶图片
希儿乳液狂飙天堂W98
整篇都是车的百合
孕妇震BBOX
14MAY18_XXXXXL56ENDIAN美V
おじさんとわたし中文在线
世子很凶插花弄玉前进后
亚洲和欧洲一码二码区别在哪儿啊
18夜里禁用B站
内谢XXXXX8老
亚1州区2区3区产品乱码
父母儿女媳妇一起来玩
夫妻成长日记二
饭桌上故意张开腿让公在线看
丁香花成人电影
瑜伽老师让我C了一节课
同桌的手探到我的衣服里怎么办呢
迈开腿让学长尝尝你的草莓是
吻胸摸腿办公视频大全
哎呦我的宝贝真好喊爹什么曲
权臣hlH十一月
日文中字乱码一二三区别在哪儿
二人扑克剧烈运动打扑克视频
朋友的母亲4在完整有限中字第5
成为人免费高清完整视频
输了让同学玩身体全部位置的游戏
按在桌子上欺负
雍正睡了自己的女儿是哪一集
春雨直播免费直播视频
皇家共享小公主暖玉Q
亚洲麻婆传媒MV
爱福利视频广场
鸣人九尾暴走需要女人三天手鞠
开车越往下越疼的那种文章
如色坊防屏蔽一二三线
被多个强壮黑人灌满精H
9.1短视频软件安装免费
咬住下唇动漫在线播放
初爱ねんね视频
甜蜜惩罚2樱花未增删带翻译
我朋友的老婆 电影
中国XXXXXL17仙踪林
云缨用自己的枪X自己
二人扑克剧烈运动视频
日本RAPPER潮水RAPPER万家乐
DH-NVR4116HS-HD
我的好妈妈免费观看冰河局电视剧
没带罩子让他吃了一天的药有事吗
babycat98女rapper免费
中国RAPPERDISSSUBS老大妈
夹看学长的巨大的几把写作业片段
吃到自己的小鸡最简单办法
每次见面他都要好几次细节
果冻传媒免费观看一二
挪威的森林打扑克又叫疼
明星ai智能人脸替换网站
MAY18_XXXXXL56ENDI
女生把自己隐私给异性朋友
老师洗澡让我吃她胸的视频
台湾MD豆传媒一区二区
色降ii万里驱魔
张书记不戴套杨雨婷
野花社区日本免费
人畜禽Croproation
插拔动态真人图
亚洲码一码二码三码区别
新红楼梦 艳情版
大地资源高清日本
女生说痛了男生越里寨
老扒和他三个星妇全集
漂亮妈妈1韩国
吃女朋友的扇贝的正确方法
前任四免费播放
ONE.YG99.AQQ一个致敬韩寒
雍正睡了自己的女儿是哪一集
扒开粉嫩小泬直接进去
拔擦拔擦8X永久华人网址
东北speaking
暴躁老阿姨csgo攻略大全
啦啦啦 中国 日本 免费观看
不被原谅的搜查官
大菠萝18福建导航
傻大壮长的驴一样的东西
中国小鲜肉gary西北军军2022
全彩无翼乌之邪恶老师
大手从衣服下摆探进去
与畜禽狗CROPROATION
大学旅馆叫的厉害
爸爸突然抱着说想要
md0065艾秋快递员服务品质
一抽一出BGM毛
入禽太深高清视频韩国
五月天激情小说
欧式春画图照片高清
段嘉许把手指探了进去是什么意思
这几天没C你了是不是皮痒了
考试没考好当全班的便器
趴着一前一后三个人
被子里怎么无声自W超疼
边缘控制玩到哭的感受视频
波多野结衣哪部好看
夫妻之间免费的视频
偷看各类wc女厕嘘嘘
乳色吐息樱花未增删翻译中文翻译
厨房运动剧烈老师的大兔子鹿
喜爱夜蒲1国语版
Collectivum XXVIII
小芳乱目录伦7
被机器人C的停不下来
star-362
老司机带带我免费看最新
白雪公主被树干哭的故事简介
全是肉的糙汉文现言推荐
男友咬我小兔子的感觉
年轻的母亲5中字巴巴鱼汤饭
上体育课课被捅了一天
八角笼中被下架
三个人我是怎么C你的
男生拿冰块和棉签是什么意思
一面亲上边一面膜下边的应用
老师下面太紧拔不出来怎么矫正
领导不让我断奶他要接着吃
搐搐国产丨区2区精品AV
日本漫画口番工全彩之时间停止
JL ZZZ 老师
打扑克又叫疼又叫痛
厨房里的激战2
在车里被撞了八次高c视频
最好看的日本字幕2019
涨精装满肚子上学体育课
丫头牦户一张一合
动漫人物将机机插曲漫画下载
处钕膜被捅图片
皮肤上有白块关键词
塞住不要掉出来等我回来检查
51黑料吃瓜每日精品
高冷男总裁憋尿被揉下面
欧美A级SUV大全
女看了会流污水的段子网站
忘了戴胸罩被同学摸了一节课
Zoom与人性Zoom怎么同步
把自己扣的全是水的视频
16岁女生迈开腿打扑克正常吗
精东传媒一二三区进站口
mdyd-751
亚洲MV砖码砖专一2020
nnpj-143
日本三线和韩国三线的市场定位
ZZOOOOOOOOOSHOISHOU
再用点力草丛里做
MD豆传媒一二三区进站口在线
开小黄车详细描写
妇女被深耕过后有哪些表现呢
男人大鸟硬起来图
男子被前妻追讨女儿读研费用
国内精品卡1卡2卡区别
我想吃你的r头叫出来
公交车车里疯狂的索要
晚上玩哭自己的100种方法
丰年经的继拇3的特色和机能
体育老师在单杠C了我一节课网
老奶奶能叫woman吗
桃花视频最新免费高清完整在线观看
能播放的人与Zoom
怎么把自己揉的全是水喷泉
班长不戴罩子让我练了一节课视频
亚洲MV砖码砖区2021在线
撕破我的奶罩 猛吸奶头电影
蜜桃传媒天美传媒京东传媒DO
疫情期间日老妈
啦啦啦在线观看免费观看7
my pico 女装正太
欧美精产国品一二三类产品区别
小SB是不是欠C
欧美无人区码卡二卡3卡
古典武侠 校园春色
公交车里抓着摇曳的手环诗情
小黄花必看的网站
爱情岛论坛永久网址首页
岳喜欢张开下面让我看
全美超模大赛第十二季
伊人查蕉在线观看
日本卡一卡二卡3卡三卡乱码
妈妈的朋友2 女主角
2023国精产品一二二线眀星
黄动漫车车好快的车车
学长们一个一个来C
戴了一天跳DAN感受
公交车一摇一晃双指探洞视频
二十四种阴性外貌特征是什么
干柴烈火儿媳苏姐结局如何
原神雷电将军不遮副乳
sdde318
宝贝我不想带小雨伞啦
star 424
麻花豆传媒剧国产MV网站入口
老八吃奥利给原视频不遮挡
吉泽明部 种子下载
聊斋艳谭之灯草和尚
帅气体育生GARY网站小蓝下载
野花韩国高清完整版在线观看5
美国omakmanta
男人忍不住挺进去了怎么回事
张筱雨《魅惑》-5
按在镜子前窗c
重生之填房桐娘
混乱小镇公交车售票员用
遇到一个会夹会摇的女生什么体验
宝宝s在里面好不好
小家伙你喷的到处都是文字
大武当之天地密码迅雷下载
我的好妈妈5中文
老公老说想睡我妈
妈妈的朋友1线在完整视频中字版
年轻漂亮的邻居完整版
不可以两个太长了会坏视频
三公主baby girl
胸大的姑娘视频播放动漫
我和公GONG在厨房日本电影
宝宝家里没人叫大点声
快让我吃一下你的小扇贝什么意思
亲胸揉摸下面刺激视频
忘忧草在线影院www日本
含着老师的棒写作业
宝宝趴开一点腿就不痛了
xiaav论坛因你精彩
把跳d遥控器开到最大作文
ed2k 超市
秘密教学10话我需要灭火
BGMBGMBGM老太太毛多多
错一道题就往阴里装一支笔
父亲在车里缓慢而有力的撞着
不知火舞和三个坏小孩
教练把车开到没人的地方淦我
maya已确认满18我们严重反对
人类是如何交匹配的
我的兔子好软水好多的免费视频
しぼっちうぞ我的电影网
我想用我的乌龟蹭你的扇贝小说
污草莓丝瓜榴莲深夜释放自己
折腾了一个多小时才弄出来的头发
晚上睡不着想看点片
八重神子雷电将军开襟
俄罗斯牧场VIDEOSK9
xingshenghuozhinan
数学课代表趴下让我桶视频
日本是人类吗最佳答案
成都4片p高清完整版视频
小东西几天没做水又变多
当着全班人的面做到高
凤凰天使韩剧社视频疑被部分下架
男朋友说他有更大的棒棒糖
好儿子妈妈今晚就是你的生日礼
日本一姐RAPPER潮水自由
一一本之道高清手机在线观看
在公交车上弄到高c了最后一排
一天接了八个客人肿了
晚上睡不着偷偷看B站短视
上边一面亲下边一面膜的程序
黑帮老大和我的365日绝了
日本乱码卡1卡2卡三卡仙林宗
家里没人我哥把我做了作文
女生奖励自己隐私越狠越安全好
哥布林洞窟未增删开车原声视频
工囗番漫画全彩无遮拦无限拉
女生看了会湿的污段子
各种APP引导网站
日本一品和二品区别
在公交车上被JB草坏了被轮J了
言教授要撞坏了中催奶
自W到高C的26种方法图
日本一卡二卡三卡四卡无卡高清视频下载
浓毛BGMBGMBGM胖老太太
黑龙江不雅视频
与女神同行评价
小东西几天没做水这么多
快穿之攻略公嗲之粗汉H
王者荣耀海月被捅到流口水表情
开车视频有声音疼痛软件免费下载
欧洲vodafonewifi高
亚洲无人区码一码二码三码的含义
一龙二凤双飞老师
瑜伽老师上门教课
最近日本字幕MV高清在线电影
TOBU7TOBU8大学生
日产高清卡一卡二卡VA
新手如何自W到高C照片
公翁的粗大放进我的秘密动漫
TOTAKKAHAYAKIRIX77777
国精产品W灬源码1688伊在
欧派浴室2樱花未增删带翻译
日本20岁RAPPER
女生和男生一起相差差差差差
情感的禁区电影日本
打扑克剧烈运动全程不盖被子
写的超细的开车文推荐
舒服吗说我厉不厉害表情包
日本1卡2卡3卡4卡
WRITE AS 自己掰
我才上六年级就C过了作文
没带罩子让他c了一节课作文韩剧
两个奶被揉得又硬又翘怎么
我的小兔兔被男生越捏越大
天美影视传媒有限公司
2D甄姬与隔壁家的两个小孩
WRITEAS黎朔涨奶
新任女教师剧场版
才三个指头就撑不住了
Helen McCrory三级
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1