有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
2021王者荣耀天堂图集
xiaav因你
好妈妈8中汉字
大尺寸的小黄车说说公交
渺渺当着全班人在体育课上
女士睡衣开襟免费网站高清
GGY钙同2023钙片
开过张的女生是不是一直想
极乐园女子高寮物语
金银瓶1-5普通话
原神旅行者插雷电将军的游戏
中国speakingenglish
乳液狂飙图片奖励自己一发
按住腰往上顶弄 滚烫
日本大但人文艺术 MBA
亚洲国产精华液2021年销量
新堕落东京之奴隶
孩子没睡着老公侧身做
LASTDAYONEARTH儿子
一读下面就滴水的说说
zhangjinyu完整视频
98精产国品一二三产区区
好男人观看免费TV
老婆出轨时接听老公电话
中文日产幕无线码一区2021
解放的潘多拉完整版
我十二岁就做了不干净的事
啊哈哈哈哈主人我错了哈哈哈哈柯
老师哭着说不能再深了软件作文
色达天藏砍尸过程
赵露思的乳液头被吃
黑人双人RAPPER怪物
他像疯了一样占有了她退出
女方输了任男方处置清清1000字
迈开腿我可以尝尝你的小森林视频
车子一晃一晃的就进去d
宝贝儿 是不是欠C
没带罩子让捏了一节课视频
低头看看我是怎么爱你的
圣诞老人忙着在商店门口爬墙
剧烈运动摇床打扑克视频原声
日产2021免费一二三四
优质rb灌溉jy系统
《言教授、要撞坏了》
鬼灭之刃蝴蝶忍被按在地上草
XZL仙踪林精品幼儿
xXXXXL2022
学渣含着学霸的写作业
yy6080高清影院理论
晚上睡不着看点害羞日本
XVDEVIOSXVDEVIOS都是正版吗
亲胸揉摸下面刺激视频
双龙进洞夹心饼干的制作工艺
离婚前再做一次爱可以挽回吗
为什么抽的越快叫的声音越大
啦啦啦中国日本免费高清观看
在落地玻璃窗前插
老阿姨哔哩哔哩B站肉片茄子芒果
5g天天奭多人运动绿色视频在线观看
亚洲日本一线产区二线产区在哪里
欧美精产国品一二三类产品
小东西几天没做喷的全是水
TOTAKKAHAYAKIRIX777777777
监控偷盗摄影二区
高清vpswindows日本
开车疼痛有声音视频下载软件
做到让你怀孕的樱花动漫
2021麻豆剧果冻传媒入视频
无码AV啪啪一区二区三区
溢出OVERFLOW未增删带
旅行者空把雷电将军C出液体
斗罗大陆人物黄化3d漫画
1377大但人文艺术
舌绕指探洞深深浅
公交车上要了无数次
云缨救公孙离把自己搭进去
坐在紫到发黑的木棒上写作业
吃英语老师的小白兔
运动员们的玩物
去部队探亲晚上叫太大声
暴躁老阿姨csgo
老公总是吃我的奶奶但我很反感
父母儿女一家狂
如何把女朋友弄成小喷泉
姐弟拔萝卜又疼又叫高新
一对多校园pop
你看你流了这么多水还说不要
日本一姐RAPPER潮水是什么
棒棒糖放屁眼里旋转的游戏
老公弄我的时候婆婆看到了就生气
RAPPER一姐潮水
2014年5月里番合集
你们老公晚上怎么玩你
19岁的纯情国语版
黄光裕进去的根本原因
长城小队(上)(中)(下)
强被迫伦姧惨叫VIDEO
原神甘雨X刻晴打扑克
国语对白露脸XXXXXX
二指探洞感觉要飞了
张津瑜和吕知樾事件
GARYWAYNE男男视频
电车之狼r完美存档
老卫和淑嫆第一次在船上
性极强的岳让我满足
班长笑着手灵活的调着遥控器
整集都做的韩剧
欧美日产幕乱码2021芒果
女孩遭性侵嫌犯被取保候审
你们对象都是怎么扣你的
夸我比她老公大
jijzzizz中国版
女19岁RAPPER潮水欢迎你
麻豆我精产国品一二三产区区别
从阳台X到卧室边走一步视频
人妻洗澡被强公日日澡
精东影业JD011民国传奇演员
埃及艳后 电影国语
钙GGY钙站男男
4399看片手机在线高清动画
暴躁老阿姨csgo攻略大全
无人区乱码与二码通的区别
和同学一天弄了好几次小作文细节
小诗的玩具日记乡村
99精产国品一二三产
gaogao8
爱恋2015是怎么拍出来的
开过荤的女孩能憋几天
女生和男生一起差差差差很疼APP
又大又长又租高湖免费
迈开腿我可以尝尝你的小森林视频
楼梯c到哭不止
做你的爱人4未删减版
中文字日产幕码三区的做法大全
日本RAPPER潮水RAPPER万家乐
小喜含不下了先出来吗
一码二码三码区别日本
麻花豆传媒剧国产MV天美
爸爸比老公大两倍妈妈该怎么教育
津渝视频完整版
玫瑰 acome
妇与子乱小说目录伦
善良的的老师3
仆人犯错把筷子放屁了怎么办
FARMSKINS进不去
被深顶得说不出话
小仙女把JIOJIO放在坤巴上
精产国品一二三产区区別
沉香的一二线产区
爷爷总是趴在妈妈身上睡觉好不好
扑克直播软件免费
天美传媒我的妹妹董小宛
用玉器养大的公主
教练把车开到没人的地方小卉
杨幂哭着喊着不能再继续了
老公老说想睡我妈
henhense
FLUFFINGADUCKKEVINMACLEOD
C死了啊哈宝宝腰好会扭C视频
家里没人你用点力 快快
小雪尝禁果又粗又大的中国地图
purhub入口
真实的妇乱子伦
燕子717新浪微博
东北CHINESE体育生露脸
为什么男生抽的越快声音越响
国精产品一区一区三区有限
弄了一个女孩子几次是什么意思
小蓝彩虹男GARY1096
三个人一起C你的
宝宝腿再张大一点就能吃到扇贝了
妈妈说带套给你做
欧洲一本到卡二卡三卡乱码
りなとあな里菜的痛
人与畜禽共性的视频
野花视频高清在线观看
亚瑟YASEE2021在线观看
可以对女生做什么都可以的手游
宝贝叫的再浪点射给你
善良的老师2中字巴巴鱼汤饭惹人
他的手放在了我的珠穆朗玛峰上
两个人一前一后的动了起来
美丽的小蜜蜂3娃娃脸
俄罗斯19girl video9
我想要看胸片曝光照片
宝宝都湿透了还嘴硬疼
斗罗大陆人物黄化3d漫画
宁波蜜桃文化传媒有限公司招聘
三圾片目录大全下载
公交车里抓着摇曳的手环
5g在线视讯年龄确认18岁
136大但人文艺术
边吃着一面膜下奶爽了
桶三十分钟全教程
法国艳妇LARALATEXD
戴了一天跳DAN感受
AAA传媒有限公司
公交车售票员用B售票
无限在线观看免费直播
心急吃不了热豆腐
伊人大杳蕉在线看免费
51精产国品一二三产区
父母儿女媳妇一起来
健身私教弄了我好几次怎么办视频
乱码A区D区C区
成品网站W灬源码伊园百度百科
一前一后会坏掉的
奶头被客人打得又红又肿怎么办
办公室欧美大尺寸SUV
公交车后车座的疯狂CGH
大巴车上最后一排被草
学生自W到高C的25种方法
老板等不及了在车里做文章
男朋友老是吸我的小兔子
女人和公豬交交30
一女战三老外一女战三黑人
中文字幕无线码
老丈人的东西又弯又长
男生和女生一起错错错30分钟电视剧
做运动打扑克视频声音
顶级肉质耐看小说言情2023
野花 高清 中文 免费 日本
51成品网站W灬源码16
小婷又嫩又紧又滑又多水
当着全班人的面做到高
张柏芝滟照门禁图片图
黄鳝21分钟40秒完整版
公交车撞到最里面去了视频
王者荣耀女生去掉小内无爱心图片
鲁大师WWW好看
9420高清视频在线观看国语
939W乳液78W78W永久73H2GA
ぱらだいす天堂中文网Www
总裁的六岁娇妻
好湿好紧快点再深一点动图
曰本美女嫩鮑艺术图
二人扑克剧烈运动视频
绿帽子精选系列70
欧美一线高本道高清免费
后营露营第二季无增减
甘雨产奶模拟器
十大B站不收费
男人把女人桶到高潮嗷嗷叫
女生让和男生诵自己的游戏
女人私密唇突出
诱人的女邻居9中文观看
一线二线无人区乱码
重一点啊再重一点
大但人文艺术欣赏ppt图片
十大黄台不收费直播
S货叫大声点C烂你的SBXS
丁香花chengren
带着跳D上课的感受
俄罗斯牛or猪or狗
19岁RAPPER潮水偷轨
《药效》1V2H
男女在一起愁愁愁视频素材
路虎车内激战2小时
一小孩儿半夜给女孩吃坤巴
24小时日本韩国视频
三公主babygirl
性系MACBOOKPRO高清
小格式自压原创区
八重神子被焯出白水怎么办
麻豆传煤网站APP入口直接进入在线JIAN
男生越到最后越来越快
麻花豆传媒剧国产MV天美
宝贝好紧好爽再搔一点试视频
亚美只只百度云
HBFAXIA
野花高清在线观看免费5
酒醉的玫瑰在线观看
在裙子里面运动
妈妈的桃花源生命之门
比赛谁输谁去谁家受罚随便玩
男男车车的车车网站推荐真人
惠氏奶粉好不好
农村情侣电动车野战
走一步撞一下连在一起
王者荣耀瑶喷白水
中文在线っと好きだった官网
蜜芽忘忧草768.mon.二区老狼大豆行情网
囯产精品一区二区三区线
状元的小公主1V1
无人区码一码二码三码图片
腿再张开一点就能吃扇贝了
你们对象都是怎么扣你的
宝宝这才几天没做水就这么多故事
能让人下面湿的漫画有哪些
黄到你那里滴水不止
妈妈的朋友6整视频有翻译木瓜
最经典的两人轮流取珠题目
男男车车的车车啊哈哈真的
胸大的姑娘免费高清观看视频
8x8x海外华为永久免费视频
再见美丽小姐剧情分集介绍
男按摩师用嘴亲我下面口述
茶杯狐CUPFOX官方网站
小莹客厅激情46章至50视频
十七岁中国高清免费观看
做错一道题学长就顶我一下
美国14岁女rapper
精产国品一产区
无人区码精华液
两个人一前一后攻击我内容
公交车大尺寸的小黄说说1000字
大神同学想吃掉我 樱花
五根一起会坏掉的好痛的视频
善良的妻子1中字巴巴鱼汤饭惹人
雷神ちゃんが部下を麻烦
张津瑜视频链接1080P
用牙齿轻吸咬小豆
抽的越快声音叫的越大
张津瑜落地窗酒店
三叶草M码和欧洲码的区别
学生的妈妈双字9字
女儿的男朋友5中汉字晋通话
韩国美女主播系列之蜜罐
国产一二三四2021精字窝
被学长C了一节课作文
男生说想在你身上滑滑梯
便利店的少女z未增删带翻译樱花
被扣的时候腿抖是怎么回事
女人被躁到高潮嗷嗷叫的歌词
动漫人物去掉小内打扑克游戏
儿子突然要上自己怎么办
对着可乐瓶坐下去
女生把筷子放屁眼里不能掉视频
linode日本iphone强汉入口
JIIZJIIZ亚洲女人水多
没带罩子被校霸C了一节课作文
JEPENSE日本
黑暗时代读书写字
女生玩男生小JJ
男生和女生一起差差差很痛的声音
魏无羡哭着喊着让蓝湛退出去
小家伙你喷的到处都是文字
国内18岁女RAPPER老狼
黑人vodafonewifi巨大
不再是朋友的夜晚樱花网
吉泽眀步torrent
黑兽樱花未增删带翻译
宏翔小蓝视频GY2022
坤不小心碰到女同学了怎么办
国模欢欢销魂全过程
朋友的女朋友5中汉字晋通话
装不下了要溢出来了
《和搜子居同的日子》
在车内疯狂打扑克
宝贝打开腿一点也不疼
人与善XUANWEN在线播放
第一会所sis001论坛
同学叫了好几个人来玩我
十九岁日本韩国免费完整版中文
疯了一样要了她三天
男人给女人添P添到高潮吗
一个人视频在线观看日本
日出水了好深好涨
怎样揉自己的痘痘揉到腿软
对女婿提出那个
把筷子放屁眼里不能掉的惩罚
两个人一前一后攻击舒服吗
王者荣耀嫦娥翻白眼流口水的表情
芒果乱码一线二线三线新区
女人荫蒂勃起后的视频大全
伽罗ちゃんが腿法是什么意思
差差差很疼30分动漫免费
宝宝下面湿透了还嘴硬怎么回事
让村子里的精灵怀孕4樱花
接电话故意做加快速度故事
爆黑料不打烊传送门
带着跳D走路舒服吗
睡过年纪最小的多少岁
我朋友把我玩成了喷泉怎么办
ati mobility radeon
小雪的13又嫩又紧又多视频
无人区一码卡2卡3
9877地铁笨蛋1
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1