有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
新金艳花瓶1-5集
欧洲无人区卡一卡二卡三
品色 免费论坛
吃瓜爆料就看黑料社区
凌乱的公交车小镇
解放的潘多拉 bt
吉泽明部 种子
uyingyizu
中国农村真卖BBWBBW
原神八重神子草出乳液
中国ZLJZLJZLJZLJ喷
斗罗大陆人物黄化
打扑克剧烈运动的视频不盖被子
小东西看我敢不敢c你
无颜之月第五集你会回来感谢我的
啦啦啦 中文 中国 免费 高清在线
亚洲卡2卡三卡4卡2021老狼
0adc影库年龄确定
渺渺没擦黑板被老师C了一节课
翁日张敏陈法蓉陈红
爸爸在下面撞着我写着作文
接电话插的说不出话怎么办
隔壁机长大叔是饿狼
今天让领导弄了两次
美国日本一区二区三区
晚安 おやすみせっくす在线观看
松岛枫 恶女教师
吉泽明步种子下载
东莞技校门下载
搞机TIME恶心直接打开的网站不用下载嘉兴圈
天天躁夜夜踩很很踩2022
中国人在线观看免费的视频
几天不C水这么多
家里什么东西可以代替小玩具
两个人的免费HD完整版直播
不行快拨出来现在是上课
男的女的在一起怼怼怼很疼的视频
桃花在线观看视频动漫
JMCICON网页版
徐若瑄 魔鬼天使
小东西我找到你的敏感点了
张柏芝艳门禁照
荧被丘丘人繁衍后代
妈妈说带好套可以给我
老太太80CHEAPWINDOWSVPS
WRITEAS道具
乱码欧美一卡2卡3卡4
老阿姨一直叫BILIBILI
我在学长的根茎上写作业
怎样把自己弄到喷泉
妈妈说以后不用戴了
情系晚霞聊天室
生物课当着全班人的面做到高
中国新疆XXXXXL17学生
国精产品9AA
班长哭着说不能再C了
2019理论片电线
夜里听到婆婆哼哼的叫声
没带罩子让他c了一节语文课
天降女子第一季未增删带翻译樱花
被C了一晚上是什么体验
小东西你的水都拉丝了
激战2奶玉偃师带啥法印
长发公主国语版
班长哭着说再c就坏掉了
蜜桃成熟时33d等
冰块一粒一粒往下边塞
成熟交BGMBGMBGM图片
如何引导狗狗上自己春雨医生
4hu最新地域网名2021
缠着腰不让退出
黑帮大佬和我的365天未删除
TOBU16_18
娇妻在我面前被多p
中国speakingathome宾馆
xl上司带翻译中动漫
两阳夹一阴后续走势
在她身上运动了一晚上详细
个子矮的女生那里也很很浅吗
体育生GARY2022打桩
日本精品一线二线三线区别在哪里
蜜中蜜3动漫无修在线观看
得到超级肉禽系统的小说
98777邪恶小游戏
为啥很多男的喜欢睡孕妇
老公叫人一起换着玩的说说
美丽的小峓子4中字巴巴鱼汤饭W
雍正睡了自己的女儿
情感的禁区日本
精品AV国产一区二区久久小说
Zoom cloud meetings
剧烈摇床运动视频
巜班长哭着喊着不能再C了
芭乐鸭脖向日葵芭乐鸭脖
3及黄大片大全
香草乱码一二三四区别
麻花豆传媒剧国产MV
水蜜桃视频下载方法
撑起伽罗的腿疯狂输出的视频
黑帮老大和我的365天
野花香社区TV
中文日产幕无线码6区收藏
14女生扇贝图片大全
《重考生》漫画免费看
女朋友的母亲9中语字追剧易
小学生被小学生插曲
不遮阴小内搭走秀
亚洲一码二码区别在哪儿啊
玫瑰 acome
女生和男生一起差差的事
语文课代表穿着JK让我C
夜玩亲女小妍小说
家庭教师hitman reborn
女人和女人在一起怼怼怼的
每签一单都要被客户日
AI人脸替换忘忧草1区3区网页
新娘无悔的爱第二部
闫凤娇厕所门事件
777奇米影视盒
国模超大尺度私拍
一层一层的剥开我的衣服视频
WALLPAPER刻晴大战史莱姆
李宗视频全集下载
啦啦啦中国日本免费高清观看
今天接了一个30厘米的单子
雨后小故事视频
家里什么东西能当阳具
段嘉许把手探了进去
加多宝公益战略发布
无翼乌全彩漫画和
99精产国品一二三产区区别
两个人免费视频播放的
深度1v3多肉
厨房里两只奶头被吸肿了怎么办
日本乱码卡1卡2卡三卡仙林宗
压在窗户上C给别人看窗前
帅哥GARY网站
女孩子用矿泉水瓶子行吗
B是不是越小越好隐
BGMBGMBGM老妇
坐着震动器写作业的感受
女篮中锋坎贝奇三部曲
久久大香伊蕉在人线免费
男朋友退伍回来要了我好几次
喜爱夜蒲1高清
深度开发1V3全是1
TOBU7TOBU8
啦啦啦日本电影在线观看高清
狂C英语课代表
有实无名豪门孽恋
拔擦拔擦永久华人免费
如何弄到自己喷泉
老师跳D突然被开到最大
叫大点声今晚家里没人冷教视频
大菠萝导航福建app
被套上自动挤奶器性能怎么样
我想用扇贝夹你的乌龟什么意思啊
歪歪漫画登录页面免费漫画入口首页漫
我想用乌龟蹭你的扇贝视频
原神ちゃんが腿法娴熟を
说说老公夜里顶你的
公交车6人轮换c白月是
每集都打扑克的美剧
顶的越来越快越来越重
网站你懂我意思吧
2019天天射干
94卫校女大喊受不了了在线
51吃瓜 张津瑜 网
GOGOGO人文艺术
韩国VS日本中国VS美国学生
麻豆画精品传媒2021网站
月光视频在线观看免费视频
厨房里两只乳头被吸肿了
抖音奶片已删除的视频
脱色摇床实验室振荡器游戏
在厂里跟很多人睡过
女性想被XR是什么意思
网站大家懂我的意思吧
原来这才是春秋5
晚上睡不着偷偷看日本B站
中欧乱码卡一卡2卡三
2016年2月里番
空去掉小内趴在地上打扑克视频
女性大荫蒂荫道多毛茸茸
videosdesexeen英国
一个男孩子顶哭另一个男孩子文案
把毛笔放到洞里写字不准掉HL
男生说想在你身上滑滑梯
没带罩子让他c了一节语文课
僧侣之夜动漫未删减在线观看免费
三个男人换着躁我一个
暖暖 中文 免费 日本社区
韩国和邻居交换娶妻2
婷婷四月开心色房播播
西施的欢迎会管鲍之交
班级的公共玩具小O
教女生自己捏自己的小兔兔
女士睡衣开襟免费网站高清
九一制片厂果冻传媒APP
怎么玩自己隐私位置
XZL仙踪林一区
女生两种高C的表现
上课的时候突然把跳d开到最大
给他们轮着尝尝你的味道老周
王者荣耀英雄打扑克软件
人曾交互mouse农场
女儿的男朋友5中汉字晋通话
差差差很疼的视频无掩盖
把语文课代表干到走不动路视频
stevehopper办公室
乳色吐息樱花未增删翻译中文翻译
被窝里的公息第十三章mip
日剧先生我可以上你吗
刘耀文在宋亚轩里塞TD
老阿姨BILIBILI视频
狼人乱码无限2021芒果
心急吃不了热豆腐
一小孩儿半夜给女孩吃坤巴
高清VODAFONE
日本插槽X8插槽怎么用的
年轻的妈妈9的中字巴巴鱼汤饭
最近日本免费观看MV免费版
日本大但人文艺术
美女视频脱空一净二净
VICTORYDAY老大妈
激荡的瑜伽室2
花蝴蝶日本HD免费完整版高清版
社长千金的叹息
吃男人大鸟硬起来图
XRK1_3_0ARK无限观看IOS网站
张津瑜吕知樾视频外网
WRITEAS狠抽
幸福宝8008app隐藏入口
爱如潮水社区在线观看
厦门大学图书馆女厕
老狼卡二卡三卡四卡二
男朋友问我要不要玩3个人的
肥大BBBWBBW小便
3q大战的经过
啊轻点啊再深点视频免费
高中班级玩具小诗嗯啊
暴躁少女CSGO图片
被学长抱到没人的地方免费
从阳台X到卧室边走一步
夸我比她老公大
往下边塞玉器出门write
WRITEAS军校
迈开腿让我尝尝你的扇贝漫画
前男朋友特别大我忘不了他
国产精华液1区2区区别大吗
妇女是指什么年龄段
输了让同学玩全部位置的作文800字
班长趴下让我C了一节课作文
电影潘金莲5集在线观看完整
品性堂免费论坛
中文字幕看成电影乱码
什么叫倒插莲花
仆人犯错把筷子放屁了怎么办
双子ノ母性本能
老阿姨喜欢小鲜肉朋友圈说说
小东西这才一根你能吃
强伦姧人妻三上悠亚中文字幕
东北大坑原始欲爱
初中生一起床差差差的场景
小区电工老周赵美娜
棒棒糖放屁眼里旋转的游戏
搞机TIME恶心直接打开的不用下载嘉兴圈
韩国电影办公室3免费完整版百度
家里没人姐姐就是我的了
浓毛BGMBGMBGM胖
我可以上你吗日剧
我的极品岳坶全文阅读
中日乱码卡一卡二仙踪林
比比琼斯qvod
把棒棒糖放屁眼视频
2023Gy钙站
深入交流1V3
一本到道免费线观看
自W高C抽搐了还可以继续吗
嫦娥去掉衣服裤子
亚洲无人区一码二码三码区别
班上男生带到没人的地方作文
办公室狂肉校花H陈舒
女头粉色部位上半身大胸头像
147人休艺术 大胆
男朋友买玩具玩我
不良网站正能量免费进入窗口
女生让男生随便诵自己的名字
三个人C同一个
181SKINS
冰块温水跳跳糖果冻是什么意思
开车晚上污痛痛的
坤是放在女生的前面还是后面
我成了班级的发泄玩具的作文
单亲妈妈4中文在线
迈开腿让我看看你的里面
深度开发1v3梁医生
只因爱你by欲语还休
俄罗斯VIDEOSDES18
减去小舞所有的衣服
Z0OZO0人善之交另类
日本ZLJZLJZLJZLJ日本
妈妈的朋友2中字巴巴鱼汤饭惹人
是不是想夹死师傅
苏家有女苏杳免费阅读小说
仙女棒坐姿图片
把你拉没人地方玩你
xl上司带翻译没有马赛克带中文
君の髪や瞳だけで胸が痛いよ
打扑克激烈运动竟然不盖被子
叛逆儿子暴躁老妈怎么办
奖励自己的隐私位置是什么
女生喊疼男生越往里寨AQQ娱乐
国精产品999永久中国有限
密桃成熟时33d完整港版
韩漫漫画登录页面免费漫画入口弹窗
小叔子说我的奶奶好大
大国手之胜者为王
MACBOOKPRO免费观看视频
国精产品一二二级
朋友的妈妈2观有限中字
班长笑着手灵活的调着遥控器作文
宝贝我撞的你舒不舒服
美美哒中文日本免费
中国人免费高清的视频大全
宝宝的骚水喷的到处都是
这20项证明不再由社区开具
蕾丝视频旧版APP2021下载汅API最新版苹果版
色心色心board
国产日产欧产精品精品软件
男生女生一起查查30分电视剧动慢
最好玩的B是哪一种
椅子上有木棒坐下去吃饭短
soshow影城
只有放在你的身体里才能解毒
下面都湿透了还嘴硬疼咋回事呢
漂亮的保姆中文版完整版免费
泷泽萝拉第三部ed2k
差差差不多视频30分钟轮滑
原神甘雨X刻晴打扑克
野花视频手机免费观看完整直播
696969大但人文艺术主题
张柏芝艳门照图片
大孔雀和美丽姐的故事
2014年4月里番
狗狗又烫又大又长
漂亮的记者韩剧在线播放免费
野花香HD免费高清版6高清版
黑帮大佬和我的365日2第二部
车各种姿势长图微博
明星ai智能人脸替换网站
丰满的女房东在线观看6
自W到高C的26种方法图
香蕉菠萝黄瓜草莓樱桃榴莲茄子
想吃你身上两颗的葡萄
说着他的手已经探了下去
调教越发敏感注射药物
si001第一会所邀请注册
宝宝把腿抬起来靠墙上就不疼了
前男朋友特别大我忘不了他
刮伦合集500
三叶草亚洲尺码和欧洲尺码区别
写的比较细的开车片段贴吧
摇床和喘气声音音频一样吗
桃子视频高清免费观看
小甜豆三部曲是哪三部
在破房子里和狗做
GARY18一19
龙口中心医院护士门
爸爸缓慢而有力的撞着
星空无限传媒国产剧MV在线
儿子突然要上自己怎么办
做我的爱人3在线观看
大明荫蒂女人毛茸茸
最近最新MV中文字幕国语免费
双胞胎一前一后夹心饼干年下
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1