有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
二人扑克剧烈运动视频教程视频
三根一起会坏掉的...哈
晚上一个人看B站
把女朋友弄成小喷泉呢
向涟苍士献上纯
如果这叫爱情感觉会很恶心
墨燃楚晚宁各种play
已满L8从此进入伊犁园
新兵给老兵吃鸡把照片换了
原神胡桃lsp去衣服
你的棒棒真的好大用了什么料
韩国风俗媚娘全套下载
2015年4月里番
日本精品一线二线三线区别在哪里啊
宝宝你能对准坐下去吗漫画
生活大爆炸12
家教老师 考满分就能一整天
塞跳D的一天感受
不知火舞沙滩狂欢
动漫人物做差差差免费看
好烫好涨被尿灌满了BL
无人区乱码卡一卡二卡三
亚1州区2区3区产品乱码站
国精产品一二三四线免费
永远免费的品色堂
老谢小区保安赵敏老师
11岁下面能放几支笔
原神纳西妲流不明液体A区
宝宝上面全都是你的水
人类是如何交匹配的动画讲解
yeezy380蜜桃粉和白色
啦啦啦免费高清在线直播4
爸刚走爷爷就来抱妈妈怎么办
雷电将军的惩罚游戏破解版
久久自己只精产国品
王熙凤贾宝玉轿中大战
我的兔子好软水好多樱花视频
《着迷》 阿司匹林
18岁macbookpro
亚1州区2区3区域4产品乱码
输了让同学玩身体全部位置的游戏
日本精品一线二线三线区别在哪
大菠萝福建网站引导入口
WRITE AS 教官
厨房里的激战2类型
67194免费手机观看
情感的禁区日本
乱码1234区2021
国外B站推广网站
使劲抬东西突然腰猛然一疼
最近免费中文字幕中文高清6
696969c大但人文艺术作品
最近2018免费中文字幕1页
儿子一晚上要了我三回怎么办呢
国精产品一品二品国精破解
教练把车开到没人的地方去了
两个人的视频全免费不下载
冲田杏梨的电影
绝品儿媳苏暖免费阅读
4399看片手机在线高清动画
啊哈别..别揉那处了
无人在线观看免费观看韩剧
137P大但人文艺术
饭桌上故意张开腿让公在线看
妈妈装睡让我进
啦啦啦 中文 中国 免费 高清在线
nnpj-143
lovestory动漫无删减免费观看
野花高清在线视频免费观看720
4438x最大人情
坐摩托车车进入身体
哥布林洞窟樱花未增删带翻译
果冻传媒在线播放 免费观看
美红与王站长列车篇
家里什么可以当阳具用
蜜桃色永久入口
不良网站免费进入窗口软件有哪些
WRITE AS 震动
车文超细过程作文
金花瓶梅花6线上观看
老师你的兔子好软水好多车
我的好妈妈 蘑菇理论
mm131杨晨晨紧身
友田彩也香qvod
一码卡与二码卡的区别
农夫网站导航大全
开心五月四房播播
成为人免费高清完整视频
甘雨ちゃんが人気の原因
doi先进去再戴套
打扑克牌的剧烈运动视频全过程
一边亲着一面膜下奶53分钟
把小舞的衣服P掉是什么样的
女人自卫慰做法图片
原神ちゃんが腿法娴熟を
看我是怎么c哭你
网站没封免费正能量直接进入
全高清录播系统直播在线
一线产区二线生产区的区别
迈开腿打扑克没有马赛克
黑暗时代读书写字
精品推荐国产精品店
avop-119
被男友咬小兔兔的感觉知乎
美红与王站长交换十七章
漂亮妈妈韩国完整版免费观看视频
车文详细描写文字
千人千色T9T9T9的推荐机制
美国10次啦导航
荧被焯出白水图片
男女插秧二十三方法
让我们俩一起轮你好不好视频
11岁下面能放几支笔
宝贝叫的再浪点射给你
挺进毛还没长稚嫩的小花苞
年轻的母亲6兔费线6
开车40分钟有痛感有声音
一面亲上边一面膜下边文字表达
我把英语课代表抄了一节课
我和老妈一起嫁剧情
精品麻豆国产AV无码免费
雷电将军与丘丘人繁衍后代
年轻的老师2全集
ONEDRIVE永久免费100G
小娇乳H边走边欢1V1爱豆传媒
无颜之月带翻译樱花中文翻译
岳喜欢张开下面让我看
すているのエロ资源天堂
战争与和平JM
5g影库在线年龄确认
国精产品99永久中国有限
开车越往下越疼的那种图片
宝宝才三根手指就湿成这样了啊
多毛bgmbgmbgm胖
自W到高C的25种方法视频教程
娇妻在我面前被黑人撑爆
早就想在车里要你了视频
久久成人AV精品国产麻豆
在公交车上弄到高C怎么办
世子很凶插花弄玉前进后出
做过一次爱的两个人会忘记彼此吗
双人床上做的运动打扑克视频软件
妈妈说家里没人我们可以那个
一边亲着一面膜下的美剧
汤芳最出位下部
别急一个一个来C
公交车撞到最里面去了
你下水好多下水道BD
作业写着写着就插了起来
BGMBGM老太太毛多多金属
父母儿女媳妇一起来玩的说说心情
班长奖励我吃她的13的作文
爆乳JUFD汗だく肉感
日产乱码区别免费的使用方法
无人区乱码一二三四区别在哪里
差差差很疼30分钟无遮掩
漂亮妈妈4高清中字韩国
WRITE AS打哭
顶级大但人文艺术巫
两个男人玩一个女人
自W到高C的25种视频教程
老婆运动时接听老公电话
大香伊在人线一道本
巴西任务qvod
公交车后车座疯狂的做的细节
用注射器打水放屁眼里
WRITE AS 大腿内侧
午夜4k最新福利
最爽的乱惀200短篇小说
老师裸露胸被强挤奶漫画
中国老奶奶vpswindowsHD
顶开妈妈的生命之门列表
BGMBGMBGM老太太交小伙子
抱着公主走一步撞一下的小说
SSNI-674
校霸写错一题学霸就放一支笔
97国产精华最好的产品在线
波多野结衣42部视频在线
小蓝彩虹男GARY1096
没带罩子被校霸C了一节课文视频
国岳夫妻的真实身份
两个人一前一后中间
把腿抬高点添的才舒服总裁
福利姬萌白酱甜味弥漫第一美女图
可以随意触摸内部位的rpg游戏
快穿之肉糜蜜花(H)
春雨直播免费直播视频
人物动物交互狗aa
抑制剂的副作用by栖鹤海棠
中国老奶奶vpswindows
被男朋友抱起来怼是什么感情
好妈妈5在线观看完整视频
做的时候按肚子真的有形状吗
啊将军好涨鼓起来别顶了
腿张大点我就可以吃到扇贝了
无人区一码二码三码四码多人收藏
每天把你做到起不来
上一个楼梯就撞一下3
高校1V3 PO
雷电将军乳液VX网站破解版
老板等不及了在车里做文章
欧亚专线S码和M码的区别图片
小豪孟卉钰慧三P上79章
J8又粗又硬又大又爽又网站
欧洲码和亚洲码的尺码区别
男人晚上睡不着觉偷偷看b站
老师拜托授课到天亮吧
夏天校服太透了R头凸出来了
用大宝贝疏通女儿的下水道好吗
濡湿的车站未增删带翻译
国内精品一卡二卡三卡
叫大点声今晚家里没人冷
IG夺冠了就让草什么梗
车子一晃一晃正好进
老师你的兔子好软水好多作文
广西柳州莫菁门事件
老湿机影院免费观看十分钟
我坐在有木棒的椅子上写作业
妈妈的朋友10完整有限中字一
爸爸缓慢而有力的撞着
宝宝S里面好不好
般若关中老人5200
善良的老师5有限中字
低头看我们结合的地方小说
腿抬起来靠墙上就不疼了视频
菊内留香TXl金银花
国产无人区码一码二码三码区别
C人的教学视频
不知火舞和小男孩
一家和气情乱关系十二
老师的小兔子好大好软水
宝贝你夹得我好舒
乌克兰10一12x video
手从小腹一路开到丛林处
腰抬起来一点不然我不好做
上边一面亲下边一面膜的程序
小诗的公交车日记1一7h
无人区一码卡二卡三乱码
小诗的公交车日记1一15文
红玫瑰直播免费版视频
一线高清在线观看完整版
丝瓜榴莲秋葵榴莲WWW
ZLJZLJZLJ日本人
农村人乱弄一区二区的处罚方式
秘密教学100话恩爱久等了
为什么你越叫顶的越猛
情感的禁区日本版
什么样的B型好玩
乖乖没事一下就不疼了
两个大兔子抖来抖去的图片视频
抖音故意走漏视频7028集百度云
公交车一次又一次
善良的小峓子字1中字巴巴鱼汤饭
CHINA中国东北GARY2022
引导狗狗干自己哪里
全美超模大赛第十二季
菊内留香金银花原文开车
女生为什么喜欢吃男生的小鸟
67194线路一点击进入
10岁小学生幼儿
吃赵露思的乳液好喝吗
品色堂 pin6
最近新免费韩国视频图片
菠萝菠萝蜜视频在线3
迈开腿尝尝你的草莓汁的图片
亲亲抱抱柔柔的图片
缓慢而有力的一下又一下
HJ3DCHJ海角论坛
弄了一个女孩子几次是什么意思
C英语老师一节课免费视频
野花社区日本免费
放课后の优等生 3熟肉
软糯小受灌满哭求饶BL道具养成
双子ノ母性本能
2018夜夜射天天啪天天草
打扑克是什么梗?
云缨用自己的枪躁自己
精品一线二线三线区精华液
公么的大龟强大满足了我
亚1州区2区3区域4产品乱码
善良的妈妈的朋友3有限中字
小雪把双腿打开给老杨看5
开车视频疼痛有声音免费软件APP教育网
WRITEAS塞东西不能掉
学生党如何自W
三个男人换着躁我一个
羞羞漫画在线看免费阅读破解
用大宝贝给女儿疏通下水道
天媒蜜桃传媒在线观看
没带罩子让他玩儿了一节课
翁熄小莹(奇思妙想)第二篇
sis001评论推荐区
50岁女人下面还紧吗
坐下来自己慢慢摇的感受视频
欧洲Zoom人与Zoom
我同意老公睡了我妈
99精产国品一二三产品区别
暖暖直播视频免费高清完整版
强伦姧人妻三上悠亚中文字幕
国色天香直播在线观看免费
井川里予黑料33秒怎么看
欧美无人区码卡二卡3卡4
商务旅行中绿子女老板帽02经典
宝宝的水喷得到处都是视频
亚1州区2区3区4区产品
いっぱいしぼっちゃうぞ在线
无忧传媒短视频
伊人成人生综合网图片
Zoom另一类ZZO0
他一次比一次撞的很
边做边爱完整版3在线动漫
回娘家老是搞我
star-413
和老师一天弄了好几次小作文
麻花传媒剧国产剧情MV的优势
班级每人c我半小时班长
痴汉电车3图片
tobu8美国100
久别的草原高清视频HD
男友咬我小兔子的感觉
叔父大还是爸爸大
黑料不打烊tttzzz入口
单亲妈妈4中文在线
一同看亿同看GTV
成网站w灬源码1688
歪歪漫画登录页面免费漫画网页在线阅读
等不及了先做一次
麻花传媒md0沈芯语
能让下面滴水到爆的说说
天降女子未增删带翻译樱花
糖心vlog柚子猫内射频
四个人换着玩的过程叫什么
放轻松别太紧张我会很温柔
宝贝我的手指长不长
亚洲无人区码一码二码三码四码
彩虹男GARY视频2023入口
黑道少爷爱上我
边做边爱完整版3视频
老公带我去跟别人玩两次正常吗
坐在叔叔的硬硬的上面写作业文章
充气娃实战过程图片
444奇米影视四色
第一会所sis001论坛
97ai蜜桃欧美图片
美国ZOOM人与ZOOM欧
亚1州区2区3区4区产品国色
r车禁闭室润滑剂
同桌C了我一节课作文
11岁下面能放几支笔
男女打扑克的APP
野花视频在线观看最新高清
星空传媒在线观看XK8011
老师错一题少一件衣服怎么办
说说老公夜里顶你的
我被继夫添我阳道舒服口诉
麻花传媒XK8046在线观看
宝宝我们换个姿势卫生间视频
VODAFONEWIFI巨大
嫩BBB槡BBBB搡BBBB
顾氏双生子的玩具2V1
X姓女RAPPER的首次亮相
吃瓜网 - 免费吃瓜 黑料泄密
sky-258
大团圆结局全文目录txt下载
原神八重神子草出乳液
父母儿女一家换着玩的句子
亚洲一卡二卡三卡四卡无卡网站
迈开腿往里怼冰块双男主微
上体育课课被捅了一节课
大鱼直播app
漂亮的邻居老师中文字幕
你真紧你这是要我的命吗什么意思
老狼信息网仙踪林-八零婚纱摄影工作室
男生的坤坤放到女生的坤里动漫
喷泉1V3HL辛浮
打扑克是怎么塞进去的部位
JAPONENSISFES东北
浓毛BGMBGMBGM老太太
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1