有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
群飞刘亦菲刘诗诗杨幂杨颖
善良的老师3有限中字
掌中之物坐上来自己动
双杠分腿坐挺身前进H
《晚娘上部:恋欲》
日本欧美韩国推理片在线观看
放课后の优等生 3熟肉
精品成品国色天香卡一卡二
高校1V3 PO
国外B站推广网站
哈妮克孜18秒烧毛
他真的比我老公的大得多
王者荣耀女英雄脸上全是白色液体
在公交车上弄到高C了公交车最后
公交车上一个接一个c
新不夜城 迅雷
晚安おやすみせっ3在线观看3
日产中文幕无线码8区
车上后座多肉短文300字左右
云缨去掉衣服图片
刻晴被盗宝团捅的叫个不
深夜动态福利GIF动态图900期
5G天天奭多人运动网站入口
对象一直咬我的奶奶
14MAY18_XXXXXL56ENDI免费
仙踪林19岁RAPPER潮水偷轨
坐在爸爸的JI巴做作业
公交车被蹭的流水了怎么办
鬼灭之刃は鬼の妊娠を甘露寺
抽搐一进一出gif无遮挡
chinese军人boy鸡毛
我的很大你要忍一下的视频
运动员们的玩物
无人区一码二码三码区别图片
后营露营无增减3季
BGMBGMBGM老太太80岁毛多多
免费B站推广网站在线
成人网小儿不宜
国产一产二产三精华液区别在哪
前夫6天要了我25次
水蜜桃V1和V2
你日的我走不了路了
ZHANGJINYU视频哪里有
灯草花尚 陈玉莲
跳D放在里面逛超市的感受
失乐园渡边淳一
kuaibolunlipian
一前一后三个人轮换的
处破女处破全过
曜给西施焯的脸红
客户的东西比老公的大
歪歪漫画登录页面免费随着已经
哥家里没人使点劲C我文
女孩子奖励自己的视频素材高清
钢铁侠3下载 迅雷下载
翁公用舌头吃我下面
肚子里全是jy鼓起来了好难受
欧美无人区码卡二卡卡三卡四
两个人免费视频观看高清频道
原神甘雨被史莱姆注入
国产MV在线天堂MV免费观看
公交车的最后一排入了我
中文字幕无限乱码不卡2021
免费30款禁用黄台网站
麻豆一区产品精品蜜桃的广告语
安迷修被雷狮掰腿塞棉签
优质JING液收集器
漂亮妈妈的Logo
G718.SX.张津瑜蘑菇
写的超细的开车文知乎
年轻的母亲5整有限中字
你的棒棒可以通通我的下水道吗
另类老太婆BBWBBW
吕杨张津瑜酒店落地窗mba
含羞草四叶草三叶草
老赵抱着月月在厨房做欧美视频
造孩子的全过程不盖被子
日产高清卡一卡二卡VA
ed2k 超市
文轩车文爽到头皮发麻河马的秘密河
JAVAPARSERHD夫妻
班长是我们班的存精器
农夫导航最新网址
爸叫我替他让妈快乐
2023最大间谍案
杨幂哭着说不能再深入了
够了够了已经满到高c了楼道
不知火舞蹈三个小孩海边x
国色天香精品一卡二卡三卡四卡
小时候看到外公压在妈妈身上
随时随地都能干的小镇叫什么
安全套试用员的辛酸
男生的GGY钙2023入口
妙洁一次性合家欢
鲤鱼乡 流出来了 合不上
rh男男车车好快的车车作文
迈开腿给我尝尝你的森林味道
男男车车好快的车车真人免费网站
输了让同学玩全部位置的作文800字
女生喊疼男生什么心态
1v1肉从从肉到
18款禁用黄台入口APP应用
十九岁日本韩国免费完整版中文
污秽的教室未增删翻译
成品禁用视频APP短视频
最好韩国日本免费
国精产品一品二品国精破解
杨幂13分钟20秒
榴莲app下载网站进入色板
放轻松别太紧张我会很温柔
帅气体育生GARY网站视频
满肚子浓精涨走路调教
双龙进洞夹心饼干
老师上课把跳D突然开到最大
善良的小峓子在前线观看
迈开腿让我吃一下你的小草莓
激战2奶玉偃师带啥法印
张婉悠白蛇传完整版
你的比我老公大太多了
吃赵露思的乳液好喝吗
忘记擦黑板被老师C了一节课
宿主的任务是收集jyH
国精产品一区一区三区糖心
把筷子放屁眼里不能掉的作文
9i传媒有限公司
只要有爱就算是哥哥
95W乳液78WYW永久YW1129CM
一个吃上一个吃下
打扑克视频又叫又疼原声
最近韩国日本免费MV高清观看
学长迈开腿尝尝你的草莓mv
申鹤流眼泪翻白眼流口水应用
菠萝蜜国际通道一区麻豆
欲体焚情百度影音
日本韩无专砖码高清
双指探洞要喷了I
13适合用多大的仙女棒
我都湿透了你还在等什么
国产SUV精品一区二区33
精品国内片67194
几天不见又变紧了
人曾交互MOUSE农场K9
4年级把第1次给了表哥
海角精产国品一二三区别在哪
4虎永免费最新
2023年免费进入B站
中中文日产幕无线码一
开车疼痛有声音免费下载网站
美女洗澡把胸和屁股扒开给别人看
顶开妈妈的生命之门 无弹窗
日本19岁RAPPER老狼
看镜子里我们的结合的地方
漂亮的桃子2意大利语翻译
搞机TIME恶心直接打开网页不要钱
日本漂亮妈妈7观整有限中
国产线路3国产线路2
LOVESTORY动漫无删减
东北老太太BBWBBWBBW
厚颜无耻韩国动漫在线阅读
韩国女主播蜜罐
美国XXXXXL19D
公共厕所POOPING
魅魔乳液狂飙图片大全
用大宝贝疏通女儿的下水道好吗
交流1v3多肉软孕
便利店的少女z未增删带翻译樱花
暴躁老阿姨CSGO技巧
如何在被子里玩自己无声
校花陈若雪被校长抱到办公室
坐公交车弄了2个小时视频
十天的爱人韩语
2021年19岁RAPPER潮水
免费网站在线观看人数在哪儿
吧有你春暖花开
把腿把开学长都给你高
无人区码一码二码三码区
肚子里面满满的都是JY日记
冰块棉签夹子PP过程
为夫们等娘子好久啦
男朋友C你的时候你会说什么
kenderla sanderland多人
厚颜无耻韩国动漫
亚洲日本一线产区二线区
张津瑜视百度云
宝宝把腿开大一点就不疼了
为什么黑人睡过的人没人要
宝宝我想吃你胸前的大白兔奶糖
小东西才一根手指就喊疼了
欧洲卡一卡二卡三爱区
精灵の森へようこそ2
2022男男钙GGY钙站
爷爷总是趴在妈妈身上睡觉
《男团共享物》by:不必南下
糖心出品VLOG一区二区
双胞胎姐妹齐上阵许多人物
班长没带罩子让他玩儿了一天
韩国妈妈的朋友6整有限中字中国
我想用扇贝夹你的乌龟
没带罩子让他c了一节课
开车视频疼痛有声音下载软件大全
双男主全车车的腐肉
和父母换着玩大家庭三
胡桃吃旅行者的坤吧
好儿子妈妈是你一个人的文章
坐在硬邦邦的东西上写作业
宝宝打开腿让我尝尝你的扇贝
大菠萝导航福建app
国产顶级绝伦推理电视剧有哪些
宝宝看着我是怎么进去的视频
没带罩子让他吃了一天会怎么样
污到你那里滴水不止的说说细节长文
highschool dxd
两个人的深夜运动
结合处粘腻水声拍打声的预防方法
猛撞H花液H深
跨坐着腰腹吞没
伊人查蕉在线观看
漂亮老师 2韩国完整版
妈妈的职业3在完整视频有翻译
用卫生纸制作一个假B
相亲对象是问题学生未增删免费观看
成都教育局回应初中取消晚自习
疫情期间草老妈
为什么越叫他越快视频
云缨拿枪奖励自己核心
电车之狼r 去马赛克
两根一起进去疼拔出来
没带罩子让校霸C了一节课小作文
我的漂亮女教师2在线
男生把大坤巴塞到男生的嘴巴里
1000字让人下面有反应的文章
国精产品999国精产品官网
向涟苍士献上纯洁未增删带翻译樱花9
爷爷厕所照顾妈妈一直叫
蜜桃成熟时33D国语高清在线播放西瓜
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
大香伊在人线国产中国
无限动漫视频在线观看
打扑克又疼又痛
奇米四色7777中文字幕
公么的大龟强大满足了我
要怎样才可以女孩子喷泉是
tokyo hot n0727
国产一卡2卡3卡4卡影视果冻
拔萝卜软件APP软件开发大全
迈开腿给我尝尝你的森林味道
早晨起来发现下面还连在一起
哎呦我的宝贝真好喊爹什么曲
好朋友的母亲2完整有限中字木
中国老太RAPPER
俄罗斯XBXBXB兽交
为什么狗狗进入后变大视频
夜趣福利必上官方导航
老师你下面好紧夹死了
芭乐鸭脖向日葵芭乐鸭脖
双面公主vs双面王子
两阳夹一阴涨停双响炮形态
会夹会摇怎么练
两个人一前一后攻击我
王者荣耀瑶白色液体黄画
sdde 318
我的兔子好软水好多H15阅读
上课时突然把跳D开到最大
刚开始是拒绝的后来太舒服了
JAPONENSIS18一9
同校生2中文版
我在无限游戏里花式挨CH
男人和女人一起怼怼怼不要钱视频
传说中进击的大绅士传说
穿越到随处做X的游戏世界
涨精装满肚子公交车
玉蒲团ii玉女心经
晚上剧烈运动打扑克的软件
4438x20全国大
MIGNON动漫
顶开妈妈的生命之门列表
小黄说说1000字污
语文课代表趴下让我桶免费放
中中文日产幕无线码一区
黑白配HD高清
每次见面他都要好几次细节
桥矿欧美片第1集
二人世界拔萝卜
跳D放在里面逛超市的感受
在课上用鸡插英语课代表视频
王者荣耀把公孙离玩喷了
啦啦啦在线观看免费完整版BD
2021王者荣耀天堂图集
高校1v3po
麻花传媒1800在线观看免费
漂亮的小峓子中字HD电影
精品成品国色天香卡一卡三
无线乱码A区B区C区
天海里红和橘和希
正确的进入的图片
老公老说想睡我妈
久久久文化传媒有限
原神甘雨安慰部下CG插画
别人玩自己隐私位置玩到哭
性女传奇在线播放
斗罗大陆女生去掉所有服装软件
迈开腿让我看下你的小
学渣坐在学霸的棒棒上写作业
荡公乱妇第1章方情
男朋友总是说要吃我的扇贝
老马的春天顾晓婷
被男友咬小兔兔的感觉知乎
缠着腰不让退出
公交车两人双指探洞LH说
人狗胶配方大全免费
你们对象都是怎么扣的
电影潘金莲1 一5集
迈开腿男人往里怼女人做法
女生让和男生诵自己的游戏
数学课代表的胸摸起来软软的
麻豆精产国品一二三产区区别在哪
两个人一前一后的动了起来
低头看我们结合的地方
甘雨去掉小内趴在地上打扑克
无收费看污网站完整
群体交乱之放荡娇妻
和教练在车里C了我三次怎么办啊
十世宫缩剧烈做着生
14may18_XXXXXL56endian公司
日本漫画工番口番全彩
女欢女爱第二季
宝贝儿你看看它有多想爱你
看完立马湿的小黄说说
WRITE AS 内衣
妇乱子伦交野战小说
顶的速度越来越快越叫的作文
中日本乱码卡一卡二新区
黄到让你那里滴水
日本不卡三卡四卡
我们两个一起轮你好不好
保守娇妻被别人开发成功
男娃JY灌溉系统
插曲的痛的视频免费
善良的小峓子2在钱 中文版
隔壁老王的春天
蜜桃传媒天美传媒京东传媒DO
荧被焯出白水图片
父母儿女YI家狂I目录
牙医姐妹赤子板栗
污到你那里滴水的说说细节
输了让同学玩身体全部位置的游戏
丁香花大型成人社区
我都湿透了你还在等什么
半夜妺妺叫我吃她胸
免费看不盖被子打扑克的软件
坐着轮流提双腿能起到什么效果?
国产AV被C呻吟双腿视频
迈开腿让学长尝尝你的森林作文
黑料网独家爆料免费吃瓜
老师你的好软水好多的时候图片
腿张大点我就可以吃到扇贝了图
在车里要了好几次
王多鱼被C视频网站
女神漫画免费登录
撩她上瘾(黑暗森林)
老人船上弄雨荷
僧侣有肾不走心在线观看免费
老公总是吃我的奶奶但我很反感
百合劲爆做运动视频教程免费网站
18处破外女出血在线
撞得她说不出话来
处女的诱惑在线观看
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
我就是要在这里要你
无耻家庭凯伦和老爹的导演是谁
女生迈开腿让男人打扑克
宝宝的水喷得到处都是视频
放进去岳就不挣扎了
JAPONENSISJAVAHDTV360
跳D放在里面坐公交
沈阳老阿姨最后的巅峰
父母儿女一家换着玩的说说
班主任是班级的公共玩具作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1