有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
美国vodafonewifi巨大app
在公交车上被撞了八次
我的中尉先生动漫西瓜
小鲜肉gary2023男的音乐表现
精品乱码一二三四区别
tpu色母与pa6色母对比
年轻的母亲4兔费线
中国小鲜肉GARY2023飞机
朋友的母亲8在观完整有限中字木
美国队长3票房
丁香花成人电影
个子矮的女生那里也很很浅吗
摇摇晃晃公交车XX5
野花视频在线观看最新免费
WRITE AS 女生
大肥波BBWWHBBWW
亲胸揉摸下面刺激视频
漂亮的丰年经的继拇5字
千金肉奴隷1985未删减版在线观看
帅气GARY体育生网站MV视频
好满射太多了装不下了动漫软件
韩国年轻的母亲5观整有限中字
51成品网站W灬源码
my88816蜜芽入
诱人小峓子5中字巴巴鱼汤饭
YW.8827.龙物视频永不失联是多少
夜间坐教练身上练车
男生和女生污污事视频
爱的人韩国高清完整版
女人喊疼男人却越往里寨打扑克
第一会所s001
老师抱着我在教室做
geyaocao
妈妈装睡让我进
张津瑜资源在哪
魏晨破赵奕欢ps密照
你把腰抬起来点不然我没法动
他的手游走在两座山峰
快穿之c死你h
亚1州区2区3区4区产品国色
写的超细的开车文知乎
桃花社区在线观看
老师的手指在里面转动的写作业呢
C死了啊哈宝宝腰好会扭CBL
欧美无代码HD免费
男人大鸟硬起来图片
肥大BBBWBBW小便
肉丝库水柚子猫link管理平台
陌陌万人睡小华佗视频
宝宝我就在外面蹭一下爱情
WRITEAS遥控器朝俞
wy79cm浮力院
姐姐说家里没人的时候可以做
国内精品一卡二卡三卡公司
八重神子流白色乳液
MD豆传媒一二三区进站口
妈妈的朋友在完整有限中字第4
晚上想看点小片片
被主人用数据线打的作文
中国小鲜肉巨大2022GARY
两个男孩子开车细写
圣城风云第二季
厨房挺进旗袍班主任
正能量火影网站WWW正能量
每天肚子里都是他的尿
儿子一晚上要我三回怎么办
X7X7X7任意噪入口
五个人一起会坏掉的小说
装A刺头怀了禽兽校草崽后
原神八重神子被捅到流口水的游戏
丰满肥女巨肥BWWBBWW
两个人免费视频观看高清直播下载
善良的小峓子2在钱 中文版
夜里18款禁用二次元游戏大全
喷泉1V3HPO
好男人视频社区2019
他戴上小玩具调到10档
小莹与翁回乡下欢爱姿势
野花香社区论坛
强行挺进朋友漂亮的娇妻作者
老八吃奥利给原视频不遮挡
韩国妈妈的朋友观整有限中字
吉泽明步torrent
双乳被陌生人把玩挤出奶水黄
拍摄指南BY飞机纸飞机
白天是狗晚上是丈夫
PYTHON人狗大CSDN
女销售的成功秘籍中字
2023男男钙GGY钙站
你们三个一起上我
A乱码1乱码2乱码3
适合夫妻熬夜看麦片
为什么抽的越快叫的越声音大
扑克牌又痛又叫软件免费下载
秘密教学第9话不能跟别人说
每天早上被C醒是一种怎样的体验
打扑克不盖被子床上运动
果冻传媒2022一二三
无人区码一码二码三码区别
剧烈运动扑克牌
今晚家里没人叫大声点声
海角精产国品一二三区别
QVOD在线播放
打扑克视频又疼又叫
放在里面顶着学长写作业作文
女儿们的男朋友免费播放
跟女婿发生关的有吗
可以随意触摸内部位的手游
原神八重神子被捅出乳液
井川里予黑料33秒视频
男生和女生一起差差很痛APP大全熊猫
最新的ZOOM动物马
50款禁用软件APP免费版下载
成都4片p完整版视频
顶级RAPPER潮水
欧美一线高本道高清免费
十九岁日本韩国免费完整版
儿子那东西比丈夫的都大
新英雄云缨泳装P图
隔离期间和妈妈玩
可以看张津瑜视频的浏览器夸克
宝宝才三根手指就受不了
打扑克牌又疼又叫原声视频
优质JING液收集器
女生输了给对方玩一个月的游戏
老师拜托授课到天亮吧
在她身上运动了一晚上
一滴都不准尿出来
男女车车好快的车车有点污网站
公交车里抓着摇曳的手环诗情
日本漫画工番口番全彩
为什么做完以后还要顶
BGMBGMBGM老太太70
YN荡校园运动会笔
亚洲尺码跟欧洲尺码的区别
4399影院在线观看免费视频BD
俄罗斯大18但人文艺术
XVDEVIOSXVDEVIOS
暗夜1v3疯狂
狗的东西又大又长干了一晚上
被一条蛇c到崩溃的文章
詹妮弗的肉体下载
啦啦啦在线观看免费完整版BD
一前一后三个人轮换躁B
变成黑皮肤和朋友做了无删
随处可以做的爱的世界
撑起伽罗的腿疯狂输出是什么意思
最近日本字幕免费高清
se?ye?ye
家里没人我哥做了我
雷电将军ちゃんが部下を图片
打扑克牌又疼又叫视频下载
双胞胎一前一后夹心饼干双子
八重神子入夜狂飙图片高清
开车40分钟有痛感有声音免费
四房播播 五月
接电话插的说不出话怎么办
缓慢而坚定的前进慢慢来吧
王者荣耀黄化网站入口
美女扒开腿让男生桶白浆动态图片
张津瑜 6分35秒
69视频APP在线无限看免费丝瓜晶体公司美食
AI人脸替换脸杨幂在线播放
爱萝莉真是太好了
儿子缓慢而有力的往里挺送
writeas迷醉
my19777换哪了
久久丫精品忘忧草产品
妹妹中考让我C了一节课
男生插曲女生动漫版
blackpinkmv4k高清黑白配
宝宝几天没做都湿成这样做
中国小鲜肉GARY2022
blued01片免费看视频
1区2区3区4区产品乱码区
爆乳JUFD汗だく肉感
四房播播 五月
老王头的幸福晚年张倩倩
麻豆产精品一二三产区区
2021日产乱码网站直播
差差差30分钟无掩盖照片
刮伦人妇A极一片
一卡二卡3卡4卡视频免费播放
爸爸家里没人用点力
白丝高中生被C到爽哭视频
老卫和淑蓉的船上生活
姬小满无限奖励别人的英雄
你看你流了这么多水还说不要
暗夜1v3疯狂
bgmbgmbgm老太太毛多多1
妈妈的朋友完整8
刘氏家族内乱换全文
搞机TIME恶心直接打开的不用下载嘉兴圈
4p被三个男的舔全过程
丰满年经的继拇9M
厨房往下边塞冰棒
把腿再掰大点就能吃到贝壳
输了让同学玩全部位置游戏
看着我是怎么吃你的水
晚上睡不着瞅瞅看点B站
精产国品一二三产品在哪买
51漫画免费页面看漫画弹窗
男生和女生差差差30分电视剧
法海终于把白素贞日服JH
把女朋友弄成小喷泉是什么意思呀
放里面睡觉是种什么样的感受
亚洲无人区码卡二卡3卡2020
学渣做错一道题学霸就插一下
9传媒制片厂制作在线观看
欧美致敬很多经典的黑白mv
污到你那里滴水的说说细节
糖心VLOG产精国品免费入
大香伊在人线9视频
最近日本免费观看MV免费版
一个女记者的开放人生
贪欢经典片在线播放
by1259改哪里了
小科科黄版无限刷免费
两扇红唇夹玉柱下联一道清泉
家里没人叫大点声干湿你电影
迈开腿我可以尝尝你的草莓感觉
冰块一粒一粒往下边塞什么感觉
无忧传媒在短视频领域的成就
师娘求放过完整电影
粉色视频高清影视在线观看
麻花传媒ceo免费观看
宝宝我不进去就蹭一会视频
小东西好几天没弄你了若若
羞羞漫画登录页面免费漫画在线入口页面
一亲二膜三叉四强五注射网
雨后的小故事 动态
x69老师x日本
久久一区二区三区精华液使用方法
刘耀文在水里做哭宋亚轩
好兄弟把我给C了
undertaleのエロ
丰年经继拇中文2的功能介绍
天堂MV免费资源在线观看
国产mv果冻传媒
张津瑜视频夸克下载
夫外出被公侵犯中字电影
福利姬萌白酱甜味弥漫第一美女图
疯狂厨房2双人模式
女人喊疼男人却往里寨打扑克
抱起来加速会哭是什么意思
W永久9392W乳液
云缨救公孙离网址
张津瑜 落地窗 视频
舞蹈区卖肉精选
人马配速45分钟
亚洲精华液一二三产区
杨幂哭着喊着不能再继续了
嫩叶草m码和欧洲码的区别
几个老爷弄一个丫头的说说心情
疯狂厨房2双人模式
人成乱码一卡二卡三四卡五卡六卡
云缨去掉衣服图片
雷电将军の罚ゲーム破解版
污网站wallpaper共享人可以看到订阅吗
错一道题就往下面插怎么办
祝英台遇到马文才在哪可以看
天堂资源とまりせっくす
xiaav因你
儿子的还比老公长
两个大兔子抖来抖去的图片
他舌头一路向下探索找到花朵
扯掉两只小兔子跳出来了动图
吃饭时某处紧密连接在一起视频
一个色农夫导航
五十款夜间禁用APP粉色视频
视频网站无码专区遭曝光
三妻四妾完整版播放电影
PYTHON人马大战CSDN
男朋友C我的时候我说什么
一线产区和二线产区的知名品牌是
精产国蘑菇品一二三产品区
韩漫登录页面免费漫画首页登
儿子想要我就给他
自W到高C的25种方法视频教程
我的兔子好软水好多樱花视频
日本适合十八岁以上的护肤品
年轻的母亲6兔费线6
JAVAPARSERHD夫妻
日日啪无需播放器
生活大爆炸12
张津瑜资源在哪
张津瑜的9分58秒7段哪里可以看
糖果君三人行视频
能让人下面湿的漫画有哪些
大尺寸的小黄说说作文
儿媳妇夸我比她老公大古言
狗狗太快了我有点接受不了
中国VODAFONEWIFI粗暴12
差差差30分钟视频轮滑
吃奶吸咪咪动态图
免费中国帅气体育生GARY
和活好的男生做是什么体验
中文在线っと好きだっ
女生越说疼男生越往里
都是同学C一下怎么了
宜春院美国免费十次啦
麻豆果冻传媒新剧国产杜鹃
家里没人可以跟妈妈做
申鹤被淦出不明液体XMAN
star-362
胡桃史莱姆ドラえもんエロ
把腿长开学给你吃草莓
亚洲日本一线产区二线区
班长是我们班的存精器
小子之偷采双圣
Zoom cloud meetings
69日本人XXXXX
什么是主题公园
S货叫大声点C烂你的SBXS
WRITEAS检查身体
波多野结衣哪部好看
你好大你慢一点我疼国产片
秘密教学110话我需要灭火
40岁阿姨荒野大镖客一电影内容
鞠婧祎被吻照片
性一交一无一伦一精一品
我和他在公交最后一排
WRITE AS 自己分开
FREE?性护士VIDOS呻吟
放学后的优等生1未增删有翻译
伦理中文字幕 - V3.2.8
猎艳十大名器艳妇
快猫记录世界记录你
把毛笔放到洞里写字不准掉HL
TPU色母与PA6色母
白雪公主被树干哭的故事简介
XL上司在樱花未增删翻译
十九岁日本韩国免费完整版
动漫打扑克剧烈运动
心海ちゃんがを腿法娴熟部下
日韩一卡2卡三卡4卡分区乱码
可儿的秘密花园
男人的大鸟真实图片
狗狗的东西又硬又烫
免费剧烈运动扑克视频链接网站
王者荣耀瑶嘴巴里含着铁球视频
日本高清哔哩哔哩视频
爸爸车祸后让我代他让妈开心
打扑克激烈运动竟然不盖被子
从厨房一路顶撞到卧室门好吗
激荡的瑜伽教练
家里没人我哥把我做了作文
国色天香直播在线播放
蜜桃成熟时5D
带着跳D走路舒服吗
和朋友换娶妻a2020
百合车车描写文字
小婷又嫩又紧又滑又多水
结婚晚上怎么吃女生的小兔兔
和对象在学校想要了怎么办
人类是如何交匹配的过程
王多鱼打扑克视频免费
女教师的特殊按摩2
ipx-247
体育老师在单杠c了渺渺一节课
俄罗斯人与物动XXX
日本免费一卡二卡三卡四
被教官带到宿舍做了
你们男朋友是怎么C你的
班主任说快来插我啊的视频软件
趴在玻璃窗做给别人看是什么感觉
日产2021免费一区
欧洲VODAFONEWIFI巨大特
太大了小峓子受不了春雨
野花视频在线观看播放在线观看6
色母u6与pA6色母区别
18无人区码卡二卡3卡4卡
王爷扣腰撞入体内
国产亚洲一卡2卡3卡4卡老狼
性能之巅第2版和第1版差异
斗罗大陆3大乱斗交大配
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1