有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
宝宝把脚叉大一点就不疼了
瑜伽狂野式体式进入
可以教育女犯人的游戏
春暖花开发布器
丁香花大型社区
三个人弄得我走不了路晚上
不知火舞蹈三个小孩海边x
类似安娜情史的电影
英语课代表下课让我诵30分钟
男生的坤坤放在女生的坤坤里蘑菇
男女在一起愁愁愁视频素材
老公才睡完我妈又睡我什么意思呀
GARYWAYNE男男视频
欧美大片荡气回肠的背景音乐
成都4片p免费完整版
宋慧乔爆肛门是怎么回事
我家狗狗一天上我一次
群飞杨幂刘亦菲杨颖佟丽娅
朋友把我玩成小喷泉了视频
原神甘雨从尿道口挤出白色脓液
办公室的秘密赵雪晴第11章
荧被丘丘人繁衍后代剧情解析
坐公交车上日了2小时
世子很凶插花弄玉前进后出小说
免费B站推广网站在线
成品视频网站W灬源码是
blued片在线观看高清免费
好诱人的搜子未删减在线观看
羞羞的漫画免费入口页面登录下载
善良的邻居4字
疯了一样要了她三天
比我老公大很多
TPU色母和PA6色母的区别
WRITE AS 四人
车文越详细越好文字
4hu44四虎www在线影院麻豆
小娇乳H边走边欢1V1爱豆传媒
女孩迈开腿喂男孩吃草莓膀胱
护士给病人做性功能康复治疗
md0070沈娜娜苏清歌团圆火锅
爸妈儿女换着来玩的说说心情
情感的禁区1080
凌晨三点看的片www动漫
小B就是要用来C的
伽罗躺床流白色分泌物大图
IPHONE XS MAX在日本
打女孩子PG的方法有哪些
ed2k柚木提娜
化学实验室学霸做哭学渣
比比东吃唐三的棒
99精产国品一二三产区区别
早上起床抱紧我未增删樱花
岳女共夫张淑芬
老赵抱着月月在厨房做欧美视频
丰裕纵满的保姆
9420高清视频在线观看国语
男男车车好快的车车网站推荐
美女扒开腿让男生桶白浆动态图片
我在英语课上强干英语课代表
我邻居的老婆2 电影
倒插莲花是个什么动作
肚子里全是JY鼓起来了怎么办
男生往下边塞冰棒是一种什么体验
0adc影库年龄确定
被窝里的公息第十三章mip
女人半夜睡不着看点害羞的
GOGOGO在线播放中国
甘雨去内布料开襟XMAN
张雨欣人文艺术欣赏ppt
中国XXXXXLMEDJYF
4年级把第1次给了表哥
一面亲着一面膜胸口
酒后和朋友换娶妻中字3
糖心VLOG精品一区二区三区
最近更新2019中文字幕国语
为什么要手先进去扣
腿打开点就可以吃到扇贝了视频
エロドラえもん
一边做饭一边狂做怎么办
文轩塞跳D不能掉出来上学
椅子上有木棒坐下去吃饭短
没带罩子让校霸C了一节课小作文
两个男孩子做不可描述的事
宝宝把腿分大点就可以吃到扇贝了
小SB是不是欠c了h
CHINA篮球体育飞机2023
哎呦我的宝贝真好喊爹什么曲
LINODE日本IPHONEDVD学校
爆乳JUFD492汗だく肉感
piaolonghe
女婿你不能谢在里
迈开腿让我吃你小草莓
男生女晚上剧烈运动扑克
一卡二卡日本一卡二卡
我和黑大佬的365天完整版中文翻译小说
公孙离去所有衣服床上
XL上司未增删带免费翻译樱花
二次元人物桶二次元人物网站
下雨天留客天天留我不留
往下面一颗一颗塞珠子的故事
生活大爆炸12
汤姆视频最新地域网名2021
两女一杯 两女一指
把英语课代表做哭了视频
我被两个男人玩到早上
情不自禁 百度影音
才三根手指就嗨了
老师把腿抬高我要添你下面
人与各种动ZZZ0O0OXXX
tokyo hot n0727
别急 妈妈教你做
新娘无悔的爱第二部
XVDEVIOSXVDEVIOS都是正版吗
撕裂BBOX入门头交
夜间坐教练身上练车
聂小雨黑皮衣5分多钟视频内容
善良的小峓子5中字巴巴鱼汤饭
张柏芝艳原图全集
糖心VLOG产精国品免费老
家长会上爸爸们C老师
换个的方式做吧第一季
你们给老公含吗
小蓝彩虹男男GARY2022
顶的速度越来越快越
如何让把自己弄到喷泉
去阳台试一试好不好
美红与王站长交换十七章
战恋雪txt下载
无人区码一码二码W358CC
肚子里全是jy鼓起来了好
黑人尺寸太大怎么进去
老狼信息网仙踪林 - 八零婚纱摄影工作室
从后面抱着妈妈突然脸一红
玩滑梯吗越往下越疼那种污梗
嫁给外国人会撑坏
自W到高C的26种方法图
精产国品一二三产区区别在哪儿呢
美国少归BVBV
最后一夜BD韩国
美女脱精光让男生桶莫扎下面
2023国精产品一二二线免费
玩朋友漂亮娇妻
护士给病人做性功能康复治疗
舌头伸进去添能让高潮来的更早吗
成为了全学校坐便器
哈妮克孜被烧毛是真的吗
真人作爱视频免费视频大全
桶三十分钟全教程
24小时视频在线观看免费
宝贝都湿透了还嘴硬疼怎么回事
迈开腿让学长尝尝你的草莓是什么
小箩莉末发育娇小性色XXXX
ysl水蜜桃86满十八岁
69无人区码一二三四区别
中文日产幕无线码6区收藏
写的超细的开车文知乎
国色天香精品一卡2卡3卡老狼
亚洲MV砖码砖专一2020
早就想在学校要你
坐在上面怎么晃教程图片
学渣坐在学霸的鸡叭上作文
雷电将军和丘丘人繁衍后代
疯狂试爱的视频
暴躁老姐的csgo心得分享视频
无人区一线二线
我的漂亮女房东完整版BD
王者荣耀女英雄流眼泪翻白眼流口水
朋友的妈妈2在完整有限中字木瓜翻译
异地男朋友回来都跟饿狼似的
女生说疼男生越来越往里寨的游戏
顶的速度越来越快越叫
好儿子妈今天就是你的人
豆奶app下载汅api免费下载ios
怎么奖励自己的隐私位置
他的白月光HVH
日韩一卡2卡三卡4卡分区乱码
爸爸缓慢有力送女儿的句子
贪婪洞窟H5流派攻略
ZLJZLJZLJ水水多多
好先生在线观看免费完整版TV
原神八重神子掀开副乳网站
国产免费毛不卡片
女孩迈开腿让男孩看膀胱
私人情侣网站中文
中国人を嫌う日本人
原神甘雨安慰部下C插画
宝宝腿再张大一点就能吃到扇贝了
我等不及了给我好不好
9612黄桃亚洲品质
S货是不是又欠C了公交车
老师把筷子放进我P眼的作文
打扑克直播软件app开发
sqte-046
宝宝腿再抬高点就不疼了
废旧厂房里和流浪狗做
最近最新手机中文大全4
双龙进洞夹心饼干的制作工艺
注射器放屁眼里灌注牛奶
为什么一加速女生就会哭
海角社区最新在线视频
妈妈愿意让你c
ZHANGJINYU9分网盘
斗罗大陆2大乱斗交大第1
久别的草原在线影院视频观看免费
接电话顶的她说不出话
他的手抓住了我的小兔子视频
美丽姑娘韩国在线观看免费
蜜芽忘忧草YW成长人研究室
男孩买来金戒指妈妈慌了
女生戴自动蝴蝶去上班的注意事项
糖心vlog柚子猫内射频网站
一前一后三个人轮换躁B
久亚洲一线产区二线产区三线区
同桌的手探到我的衣服里知乎
CHINA中国东北GARY2022
你怎么这么耐c啊宝宝视频
张津瑜 最新视频
描写地很细致的DOI过程
亚洲无人区码二码三码区别图
甜蜜惩罚 我是看守专用宠物未删减版百度云
舌绕指探洞深深浅
嫩草研究院2021隐藏网址
无人区乱码一二三四区别在哪
热浪球爱战演员表
舌头伸进去添能让高潮来的更早吗
把我拉到公交最后一排c
圣ヤリマン学园援交日记
学霸写作业让受自己动
异世之无良邪尊
武易传奇登陆器
千金肉奴隷1985未删减版在线观看
2021年19岁RAPPER潮水
暴躁少女CSGO图片
无人在线观看免费高清直播
做饭的时候老公也要
两个男孩子开车细写
女人喊疼男人却越往里寨打扑克
一个人偷偷看B站
男生女生一起差差差带痛声的完整
yehualu
公交车最后一排被群C的细节
三个人玩我一个人
伦理片在线线看手机版韩国
羞羞动漫在线入口免费阅读
超碰国产视频免费播放
花色98堂新网名内容与理念
大巴车最后一排被C细节
跳D放在里面坐公交
雷电ゃんが腿法娴熟を免费网站
老师上课突然把跳D开到最大
胸前的小兔子都立起来了
stevehopper办公室
男人的大鸟有多长图
怎么用一根棉签弄自己
女的说疼男的越往里寒
用他的大句号撞击我的小括号
吃瓜网-免费吃瓜黑料泄密爆料
大将军1v2lh怀孕的原因
在裙子里做运动
被子里怎么无声自W
公孙离去所有衣服跳惊鸿
9612黄桃亚洲品质在线观看
越往下越疼那种
天美传媒果冻传媒国产电影
中文字幕无限乱码不卡2021
茶杯狐 CUPFOX官方
十字架与吸血姬
美国人与畜禽CROPROATION
高能多r纯车多人
傲天体是什么梗
两对夫妇在野外帐篷交换
在火车和后妈妈谁在一起是什么书
斗罗大陆女生去掉所有服装网站
啊几天没c这么水叫
福利院在线合集1000集
GTV小蓝视频网站链接知乎
十八款禁用黄台入口APP
正义联盟四小时加长版
无人区码一码二码三码区
朋友的母亲7在观有限中字
儿子你比你爸爸的大多了
赵露思乳液凸出来了
把那个放在里面走路
男人到天堂去a线2019
把英语课代表按在地上C
第4色最新地址
女婿的东西太好了
25岁女高中生
刺激妇乱子伦短篇
好妈妈韩国中字7
我们两个C得你舒服吗
国产天美传媒一起又看流星雨
马是怎么和人交流配的
精东影业传媒出品
整集都做的韩剧
男朋友说要吃我的妹妹啥意思
最近的2019中文字幕MV
99国精产品灬源码1688
一面亲上边一面膜下边说说
路星辞段嘉衍肉车长图
中文在线っと好きだっ
四叔一次又一次索要
RUN AWAY 全集未删减在线观看
伽罗といちゃつきたい腿法
乱码A区D区C区
和搜子同屋的日子3
在床上拔萝卜又疼又叫痛
没带罩子让他C了一节
花火のエロドラえもん
狗狗的速度又快又烫
女性自卫慰方法
老太婆下身浓浓毛多
一边做饭一边狂做怎么办
晚上玩哭自己的100种方法
GoGoGo大但人文艺术评价
威久国际精彩视频2022年8月9日
朝俞R车WRITEAS震动器
歪歪漫画韩漫入口
天下第一社区中文字幕
木马上凸起电动木棒
天堂MV免费资源在线观看
第1章厨房春潮-我的妺妺H
MD豆传媒一二三区进站口电影
JEALOUSVUE孕妇熟50MAOF
新版猫咪地域网名入口下载
舌尖伸进去吸允小豆豆
女朋友技术太好舍不得分手
丰裕纵满2588
Zoom另一类ZZO0
镜流口水流白色液体正常吗
寄宿日记82话用喉咙帮充电
国精产品一二二级
唐三手撕千仞雪衣服
激烈摇床打扑克不盖被子
CEKC少16女BNNEC
欧洲人物动物交互咬合视频
男人喜欢耐C还是不耐C的
高N车多肉多办公室
宝宝好涨水快流出来了微信
C死了啊哈宝宝腰好会扭C视频
最新轮乱合集小说
夫外出被公侵犯中字电影
无翼乌漫画全彩集日本漫画大全
致青春百度影音高清
ai少女进入后怎么导入建筑
甘雨被盗宝团挤椰奶图片
爱情岛路线1线路2线路3京东唯品会苏宁易购
黑料网-独家猛料-曝光揭秘zztt
少汪几句番外2(6)肉
东北CHINESE体育生露脸
人物动物交互狗3D
JEPENSE日本
刺激妇乱子伦短篇
和朋友换娶妻是3
同吃一家三女齐上阵
夹看学长的巨大的几把写作业片段
无人区3DMAX
被两个男人绑着玩好爽
中日乱码卡一卡二仙踪林
斗转星移女明星合成
学生的妈妈8中字巴巴鱼汤饭惹人
嘴巴含胸的图片
每走一步楼梯就撞到最深处
两个奶头被吃得又翘又肿
两个人一前一后攻击我
输了可看隐私的作文800字
数学课代表趴下让桶我rh网站
精品成品国色天香卡一卡二摄像头
日产韩版精品一线二线三线区
一卡二卡3卡4卡视频免费播放
你的棒棒可以通通我的下水道吗
嫩草研究所入口一二三四
腿再分大点就可以吃到扇贝了视频
暖暖 免费 日本 韩国BD
外公总是压妈妈身上怎么回事啊
国产AV精品一区二区三区夏竹
无人区一线二线
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1