有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
晚上开车又疼又叫的声音欢迎您
坐在上面做的视频
JEALOUSVUE成熟50
日产精品一二三四区气温
五个黑人玩一个女5P的小说
元歌和西施拔萝卜拔出血拼音
女生一边喘气一边叫疼
公主殿下的LOVE动漫全集播放
婷婷开心色四房播播
雍正睡了自己女儿是真实的吗
男车车好快的车车网站污
5g影库在线年龄确认
5G在视影讯5G探花
宝宝的扇贝真会夹
漂亮人妻被维修工侵犯的后果
北北北砂禁慢天堂 云缨图片
打扑克去掉马赛克还原图片软件
芒果精产国品一二三产区区别
在没人的地方被C
迈开腿让我尝尝你视频
2022GGY钙打椿机受
羞羞漫画入口页面登陆章更新百度
上自己妈妈是什么体验
银枪挑三娘一战到天亮精神抖擞兮
入禽太深麻花影院
古老传奇之凤舞九天
ゴブリンの洞窟sana
欧美BBBBBBSBBBBBB办公室
久产久精国九品
相亲对象是未增删樱花有翻译
渺渺没擦黑板被老师C了一节课
外公抱着妈妈一起去了
果冻传媒MV免费观看大全
教室里英语课上插英语课代表
腿再打开一点就能吃扇贝了
心疼儿子给他一次
他的舌头探入蜜源毛毛虫说说
14may18_XXXXXL56e
只有棉签怎么自罚
天美果冻星空国产剧情
院子里公开惩戒(下)WRITE AS
B站大胆人文艺术4K
事物的秘密截取水中一段
tttzzz传送门2023网页版
把跳d遥控器开到最大作文
太凶猛了快撞烂了
几天没C你是不是痒了好多水作文
我与黑大佬的三百六十五天完整版
加满1箱92号汽油多花15.5元
妽妽的下边好紧春雨医生
137最大但人文艺术图片
被体育老师c了一节林妙妙
老师下面太紧拔不出来怎么办
坐公交车居然弄了2个小学生
500篇短篇合
欠c的玩意sb就是用来c的h
把老公撩硬的表情包图片
歪歪漫画在线阅读页面免费漫画入口页面秋蝉
原神八重神子被捅流口水的游戏
知道错了就过去趴着打PG
只要一顶嘴就会被主人扇巴掌作文
非诚勿扰张丹丹素颜
青春草原精品视频
夜里自己一个人弄自己
狗狗的东西一放里就变大视频
同学的妈妈5观整有限中字
两个男生开车哭声声音视频
最近日本字幕MV高清在线电影
车各种姿势长图微博
我在无限游戏里花式挨CH
岳故意装睡让我挺进去的视频
吸和夹有什么不一样
14岁学生迈开腿让打扑克
把腿张大一点我要吃你的小扇贝
宝宝腿抬起来就不疼了
奖励自己的隐私位置是什么
边做饭一边躁狂怎么办呢
男女一边摸一边做爽爽的免费文字
国色天香精品一卡2卡3卡
宜家回应商场原版视频
李宗瑞继母叫什么
蜜芽最新域名网站
最好看的最新的中文字幕3
99精产国品一二三产区区别
小SB就是欠C
婷婷开心色四房播播
开过荤的女孩能憋几天
97制片厂传媒潘甜甜
它起来了它想你了
欧亚专线s码和w码入口
两个人一前一后的上我
黑料不打烊tttzzz668.su官网
日本免费一卡二卡三卡四
rh男男车车的车车视频
B的几种类型图例
星空传媒XK8012妻子
雨后的故事视频
三一起C你的感受
女神漫画免费登录
动漫人物不遮掩的扑克视频
最美情侣中文第4季
永远免费的品色论坛
心疼爸爸给他一次可以吗
张核子弟弟发声
18may19-XXXXXL民族
如何自罚隐私又不伤害隐私
95W乳液78WYW永久YW1129CM
大学生宿舍飞机china free
英语课代表上面好软在线播放
女生把筷子放屁眼里不能掉作文
亲爱的老师5韩国中字完整版
M惹主人生气后该做什么
18处破外女出血在线
少妇白 全 洁高义
污到你那里滴水不止的说说文
seo短视频网页入口引流
原神雷电将军乳液狂飙视频在线观看
午夜香吻免费观看视频在线观看
用嘴巴吃鸡有什么好处和坏处呢
暴躁老阿姨CSGO攻略
被主人罚一整天的小作文300字
给我播放片在线观看
白天是狗晚上是丈夫
日产2021乱码
GC突然抽出来
炎炎消防队生肉
欧亚精品卡一卡二卡三737
吉泽明步高清种子
鞠婧祎打扑克又哭又叫视频大全
抖音奶片没带罩子52秒回放
游戏输了让同学玩全部位置
一边做饭一边狂躁怎么回事
猫咪国外永久地域网名是什么
可以看到女生所有部位的头像
他带我去没人的地方吃我豆腐
英语老师哭着说不能再继续了
3d肉铺团电影
把你的香肠放入我的甜甜圈视频
香蕉菠萝黄瓜草莓樱桃榴莲茄子
花蝴蝶HD免费高清
痞幼视频3分25是什么意思
小舞去掉所有服装图片
渺渺没擦黑板被老师C了一节课
长月烬明全集泄露了
公天天吃我奶躁我的比视频
桃花洞口开香蕊落莓苔意思
老师您的兔子好软水好电视剧
漂亮的桃子2意大利语翻译
成都4片p高清完整版视频
乖我们试试在这里
一个人在线观看免费看的视频
K8S经典玛丽艳经典片
如果抱过亲过吃过摸过算什么关系
嬢王 virgin
你们老公晚上怎么玩你
领导在没人的地方要了我
英语今天晚上让你桶个够的软件
成片人卡1卡2卡3免费版
给阿姨通下水道
没带罩子被校长摸了一节课
亚洲砖码砖专无区2023
妈妈的朋友2中语
九一果冻制品厂最新电视剧红桃
蜜桃文化传媒有限公司招聘
黄台软件2024
办公室的秘密赵雪晴第11章
猛地一挺腿再开一点就不疼
WRITE AS 公共场合
老师你的兔子好软水好多直
china野外18:19
用...用点力快要到了视频
668.su黑料正能量入口密码
老公弄我的时候婆婆看到了怎么办
TTTZZZ黑料不打烊肾虚十八连
香港三圾片大全
好妈妈韩国中字7
韩漫漫画登录页面入口
女朋友特别会摇是什么意思
世界上最大阳器有多粗
可以随便看内部位的rpg手游
14MAY18XXXXXL日
YSL千人千色AE86V9
最新浮力影院地扯公布
孤男寡女免费观看电视剧
最近日本韩国高清免费大全
迪卡侬潮水门事件15分钟
用电动牙刷放在大腿内侧位置
老师你的兔子好软水好多动
吉泽明步torrent
舌头往下舔到一个硬硬的包疼
双人床上做剧烈运动可以吗
男男车车好快的车车图C
我把语文课代表做哭了网站
莉莉卡奥特曼的乳液
英语老师打开扣子让我上
小娘惹剧情介绍
人ZOOM狗狗
yellow动漫网
小泽玛丽娅电影
坐在上面做的视频
早晨起来发现下面还连在一起
女朋友的妈妈2023中语翻译
好满射太多了装不下了短视频
将界2第3集大尺视频
51爆料网每日爆料黑料
双人床上做的运动剧烈
一边C一边说粗话小说
来吧儿子妈妈是你的人是什么歌
怎么玩自己的r头
在公交车里把跳d开到最大
一个吃上面一个人吃下直看
zljzljzlj日本人水多
国产乱码精品一品二品
你的棒棒真的好大用了什么料
宝宝你里面好暖好烫不想出来
美国XAXWASWASWAS
精品成品国色天香卡一卡二摄像头
25岁的女高中生未增删翻译中文翻译英语
夜恋手机安卓支持精品
从阳台c到卧室c到厨房
你弄得人家里都是水的
三根一起玩真的不会坏掉吗
狗狗的东西一放里就变大视频
王副军官玩田雨细节描述
りなとあな里菜的痛
网站没封免费正能量直接进入
乳液狂飙图片奖励自己一发
妈妈的朋4线观高清
老外和中国女人毛片免费视频
晚上爷爷总是压在妈妈肚子上睡觉
在教室捡到一个遥控器
教练在车里撞了我三次怎么办啊
换个的方式做吧第一季
蜜桃成熟时33d完整
老卫干淑荣死去活来
TOBU7TOBU8学生
略国精产品W灬源码1688网站
国产一品二品三品四品
老师好紧张开一些
九分十秒张津瑜
系统之魅姬养成(莫紫弦)
极品教师动漫在线观看免费完整版
老公不在儿子当老公妈妈帮
日本在线高清免费爱做网站
他缓慢而有力的撞着视频
糖心VLOG产精国品免费入
秘密教学82这次换我教你了土豪漫画
帮英语老师疏通下水道
胡桃ゃんが腿法娴熟を视频
女星被大佬哄去多人运动爆料
西施的乳液怎么样
老师穿白丝JK把我夹的好爽AV
我跟你老公谁的大
学渣含着学霸的攻写作业
被绑在男厕所供人享用
晚娘恋欲百度影音
LINODE日本IPHONE大全
两个人看的www免费高清直播
漾出OVERFLOW樱花未增删带翻译
吃八重神子的乳液喂给旅行者视频
我想吃你的小白兔
无遮挡很爽很污很黄的网站
办公室跪下拉开拉链吃应用的特点
M必做自虐羞耻行为
男朋友压着我说想进去
女人50岁半夜莲花还开吗
一区二区视频传媒有限公司
车后车座的疯狂的做细节描述
最近中文字幕2019视频
男朋友买玩具玩哭我
精东传媒VS天美传媒合作伙伴
上课没带罩子让捏了一节课怎么办
三圾片目录大全下载
黄到让你那里滴水的
亚洲无人区码卡二卡三卡
写错一道题就让学长干一下的视频
输了下面随便处置一天
是不是每一个b都一样感觉
HENTAINATRUAL
腿分大点就不疼了 免费播放
津瑜视频9分10秒
班长不戴罩子让我练了一节课视频
免费日产幕乱码2021
八重神子の俘虏ゲーム桃子移植
徐若瑄魔鬼天使
班主任的大兔子好软水视频
宝贝乖张腿我就可以吃扇贝了视频
妖精的尾巴oad6
秘密教学子豪83田里开机svip
情欲小说龟全文阅读
开始慢慢迎迎合
走一下撞一下深深咬合的小说
我家狗狗卡在我里面痛怎么办
纤夫的爱无删减版动漫百度云
荔枝视频app男人影院在线观看
自己在线观看免费高清视频
学长能不能换个地方做网站
中欧乱码卡一卡二卡三
太捧了几天没C水就这么多吧
朋友换娶妻5中文版
俄罗斯zoo weeklyXXX
WRITE AS 双龙
玫瑰 acome
美国18一19DOCKER4K
上边一面亲下边一面膜的程序
雷电将军ちゃんがを腿法娴熟部下
嫩草研究院2021隐藏网址
5g天天奭怎么打开
用玉器养大的公主
欧美精产国品一二三类产品特点
男男车车的车车网站推荐
麻豆视传媒官方直接进入
宅男频道最新上架
双人床上互动大全
男人忍不住挺进去了怎么回事
538prom精品视频在线播放
男生坤坤放在女生坤坤里开元棋
vodafonewifi喷浆
二人扑克剧烈运动视频教程视频
原神雷电将军乳液狂飙视频在线观看
100款夜间禁用软件七客
4年级把第1次给了表哥
欧美无人区码卡二卡3卡4乱码
S货是不是欠C有肉
亚洲精品1卡2卡三卡23卡
黑人肉大捧进出全过程动态
把车开到没人的地方做
最经典的两人轮流取珠题目
人与畜禽共性关系的重要性有哪些
性女传奇在线播放
濑亚美莉最好看的几部
奶一被揉和吸就想挺起来怎么回事
秘密教学93话恩爱久等了梦境
尺码最大的国产suv
父母儿女媳妇一起来玩的说说搞笑
GTV小蓝视频网站链接知乎
俄罗斯13一14处出血视频
中国老奶奶vpswindows
无人区一码二码三码四码区别在哪
她舔我阴部好爽69式
亚洲无人区码一码二码三码区别
小SAO货边洗澡边CAO你动漫
考的好妈妈随你玩
老阿姨哔哩哔哩B站肉片茄子芒果
日产1区至六区
妈妈说以后不用戴了
无翼漫画全集彩
9uu.cm有你有我
haulotte官网
6080新觉伦午夜
大尺寸的小黄说字多肉健身房
WRITEAS掰腿
JAPONENSIS18一9
校霸错一题打一下PG
洗浴双响炮是什么意思
王二傻的桃花运
云缨巡街救公孙离网站入口漫画
女朋友的母亲3中语字追剧易
吃英语老师的小白兔
天美传媒MV视频中文字幕
爸的大还是你老公的大
夸我比她老公大
没带罩子让捏了一节课怎么
一男一女在房间里打扑克是什么梗
你弄得人家里都是水
后营露营第一季无增减
美国ZOOM人狗APP一欢迎你
我的老师不是人
品色堂永远免费论坛
水都拉丝了还说不
公交车上玩两个小朋友
做aj的姿势视频教程图片素材
情趣用品9quw
青梅竹马是消防员2未增删动漫剧
中国VODAFONE喷浆
秘密教学103私下你可以随意7
校霸犯错被学霸罚带钢笔去上课
女生越喊疼男生越往里寨的真人
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1