有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
人鲁交YAZHONGHU
张津瑜吕总1080P网盘
中欧乱码卡一卡2卡三
错一题学长就在下面插一支笔作文
男生最无法抵抗的姿势
男朋友老是玩我的小兔子
双人床上做的运动打扑克的软件
老王头的幸福晚年张倩倩
国内精品卡1卡2卡区别
不知火舞和三个男儿3
接电话故意做加快速度
八重神子享受翻白眼流口水视频
孩子玩着玩着就进去了
ゴブリンの洞窟游戏特色
大型大巴车最后一排被轮
蜜芽永不失联网址miya737.mon
小兔兔被男生咬着的图片
数学课代表趴着让我c
中文在线3月23日快速反弹
香含玉女峰头露润滞珠帘洞口云
怎么用棉签玩哭自己
女神漫画登录页面入口环球
野外插曲的痛的视频30秒3K2
宝宝你好会夹啊都拉丝了作文
这几天没C你了是不是皮痒
一整夜没有从你身体里退出来
国产MV在线天堂MV免费观看
小蓝视频GARY2023入口
坐在爸爸上面吃饭
CHINESE东北女人舒服
把手脚绑上拿刷子刷尿道孔
仙踪林大豆行情网老狼
不知火舞被三人围攻
星空传媒剧国产剧情744
孕妇震BBOX
伦理在手机观线
动漫打扑克牌的剧烈运动
MD传媒作品大全
FLUFFINGADUCKKEVINMACLEOD
中国小鲜肉GARY2023飞机
善良的妻子3中字巴巴鱼汤饭
女生高c的会自己知道吗
站着被口是一种什么样的体验
一边亲着面膜胸口
污草莓丝瓜榴莲深夜释放自己
吃鸡rap小姐姐
WRITEAS洛温塞东西
深度1V3多肉梁医生
宝宝腿再张大一点就能吃到扇贝了
没带罩子让他C了一天作文
翁熄系列欲仙欲死
依依社区最新网站
俄罗斯人与物动XXX
在公交车上要了无数次
公交车上玩两个小朋友
日本LINODEIPHONE6
八重神子把乳液喂给吃旅行者
灯草和尚txt下载
坐在学长的棒棒上写作业文章视频
老师下面太紧拔不出来怎么矫正
差差差视频30分钟时无掩盖
菠萝蜜免费观看视频
啊灬啊别停灬用力啊动态图
果冻传媒董小宛一区二区
晚上喝酒回来和狗狗做了
国产2021在线传媒麻豆
被深顶得说不出话
ワンピースのエロ资源中文
老板把车开到没人的地方
暖暖视频日本版免费完整
凌晨三点看的片www动漫
全家一起来黄霞徐家大团圆
五月丁香合缴情网
日韩欧洲亚洲SUV
心疼爸爸给他一次可以吗
老师拉我去办公室做了一节课文
2021亚洲1卡二卡3卡四卡
虫虫漫画在线浏览页面弹窗
2022男男钙GGY钙站
LASTDAYONEARTH儿子
千金肉奴隷1985未删减版在线观看
成片人卡1卡2卡3
亚洲无人区码一二三码区别
亚美只只百度云
最近免费韩国动漫HD无
坏老师百度影音
少妇各种鲍鱼p
可以触碰你的深处吗 樱花
岳故意装睡让我进去
含羞草传媒隐藏路线2023
TPU色母与PA6色母
美满天伦家庭交响曲1
人善交XUANWEN200喷水
日产精品二线三线区
侯马市性侵事件
一口一口吃掉胸口的奶油HD
俄罗斯6一12泑女精品
品色永远免费堂
国精产品自偷自偷综合下载
写着作业写着就插起来了
新禁室培欲之爱的俘虏
蓝涣求你了慢一点曦澄
写错一道题就让学长干一下的视频
开襟旗袍做运动狂飙乳液
处破女轻点疼丨8分钟
被学长C了一节课作文
如何引导让狗狗上自己
51吃瓜APP
c人入门视频教程
怎么把自己隐私位置玩哭?
重生之祝英台遇到马文才全文免费
双人床上互动图片
魅力研习社41
被做到晕是一种怎样的体验
亚洲不乱码卡一卡二卡4卡5
吸小兔兔是什么感觉
有多少弄过自己的儿子的吗
YIN荡体育课羞耻PLAY
一吻二脱三床四吻胸
惠子老师优雅生活
国模嫣然生殖欣赏私拍图
免费网站在线观看人数在哪里
天天躁躁水汪汪人碰人
触手tentaculata无尽
当兵男友一见我就不停的要我
s货c货大声点
前夫见我一次上我一次
孙悟空用金箍棒桶紫霞下方
伽罗といちゃつきたい腿法
梁医生再往下一点吃肉视频
亚洲一卡二卡三卡四卡无卡网站
ピースエロじ天堂
往下边塞玉器见客人啥意思
没带罩子让他c了一节课作文韩剧
无限免费观看动漫
可以随意触摸内部位的软件叫什
男生插曲女生视频完整
我坐在有木棒的椅子上写作业视频
白妇少洁高义全文阅读
日产乱码一二三区别免费一看
妈妈的朋友1在完整有限中字
宝贝坐起来自己摇
妈妈的朋友2中字巴巴鱼汤饭
乖好好含着待会就给你
用力一沉突破了那层障碍
搞机TIME的恶心软件直接打开不用不收钱
英语老师让我捏她的小兔兔作文
成品禁用短视频app推荐下载
my pico 女装少年
学长不行这是地铁
堵好了一点都不能尿出来作文
我的漂亮女房东中字
彩虹男GARY网站
热热色原网址20岁以下
被好兄弟上是一种怎样的体验
金花瓶梅花4金花瓶
又大又长又租视频
中国帅气体育生GARY网站MV
国精产品999国精产品官网
WRITE AS 爸爸
拔萝卜软件APP软件开发大全
1区2区3区4区产品芒乱码
走路还在体内恶意顶
做错一到题就插一下的写小作文
Zoom与人性Zoom1区别
桃花视频在线观看完整版
blued片在线观看高清
温文尔雅1V2H
麻豆果冻精东九一传媒MV
品色堂 永久免费论坛
宝宝我们换个姿势卫生间视频
夜晚睡不着看B站
跪下拉开拉链含着吸出来
善良的小峓子中文版在钱
龙泽罗拉第三部
没带罩子让他C了一节具体写文
儿子一晚上要我三回怎么办
我是狱长的专属的宠物13集
花蝴蝶免费版高清版
局长从后面握住我的奶
外公总是压妈妈身上怎么回事啊
公交车两人双指探洞湘潭天气网
UC搜索WWW你会感谢我的
王者荣耀女生去掉小内皮肤无烟雾
妈妈说家里没人我们可以做
老阿姨一直叫BILIB
认命吧!金牵牛
英语课上插了英语课代表视频
跑步机上边跑边顶
仙女棒夹在里面的照片
老公睡了我妈我同意了
黄到能让你那里滴水的作文
当兵老公要了我很多次
妈妈的朋友5季
亚1州区2区3区4区产品乱码
4p被三个男的舔全过程
没带罩子让他c了一节课作文韩剧
夜晚睡不着看B站
娇妻被交换粗又大又硬视频
麻花豆传媒剧国产MV出差
仙女棒坐姿图片
国色天香精品卡2卡3卡4
谁输了去谁家受罚抽阴
易感期爱哭到脱水
欧洲VODAWIFI喷浆3D
孙尚香教刘禅写作业
小东西几天没做水这么多视频
自己塞跳D不能掉出来上学
流了这么多还嘴硬
弄了一个女孩子几次是什么意思
99精产国品一二三产区区
果冻传媒母亲和女儿李琼
亚洲精华液一二三产区
情侣做运动的动态表情包
jijzzizz中国版
无颜之月哪一集开车了
性VODAFONEWIFI另类老少性
沈阳45岁老阿姨叫的没谁了
じゅぎょうさんかん安卓版下载
家狗狗卡在我里面痛怎么办
打扑克不盖被子图片大全
恩爱时发出的叫起床的视频
中国高清WINDOWS在线
仙踪林19岁大陆RAPPER潮水偷轨
奶头被夹得又翘又硬怎么办
新利18假冒ued吗
WWW无人区一码二码三码区别
老人森林交易视频
中国MACBOOKPRO高清
美国K8S经典
交换娇妻在线观看中字
韩国演艺圈悲惨事件快播
韩国娱乐圈事件
满了太满了溢出来玩具
JEALOUSVUE少归
考的好妈妈给你做一次
国精产品一二二区视早餐有限公司
我和大佬的365天
女BBWBBWBBWBBW
中文日产幕无线码一区2021
儿媳妇 水这么多还说不要
啦啦啦BD在线观看视频
男生淦男生时是淦的哪个部位
你的下面是我的饮水机
夫妻成长日记动画
原神人物黄化网站
中文字日产幕码三区做法
两个男的是怎么开车的
双龙NP黑粗撑开宫颈口BL下人
试看体验区60秒
久亚洲一线产区二线产区三线区
国产一卡2卡3卡4卡国色
艳情短篇合集1一160
一面亲上边一面膜下边打扑克图片
松岛枫 恶女教师
心疼儿子可以给他一次吗
外网张津瑜视频在哪里看过
黄到让你那里滴水的作文英语老师
适合俩人运动前看的电影
精产国品一产区
芒果一码二码三码四码区
新婚警花被别人开了苞
日本理论片和搜子同居的日子
走一下撞一下深深咬合的小说
国产色母和进口色母区别
国产精华液一二三区别在哪
好儿子妈妈今晚就是你的生日礼
男生把坤坤放入女生的坎
差差差的30分钟无掩盖电视剧
96无人区码一码二码三码
PANSY中老年妈妈
四叔一次又一次索要
乐可车车的图片
三个人一起C你的
翁公与小莹在客厅激情
父母儿女一家狂
每天早上被C醒是一种怎样的体验
为什么舞蹈生下面都是突出的
精品日产卡一卡二卡国色天香
宝贝腿开大点我添添公视频网站
999精产国品一二三产区
黑料社吃瓜爆料砍黑料社
蜜桃成熟时钟真
日本一卡二卡三卡四卡免费观
star-413
B的三十种形态
把腿把开学长都给你高
天美传媒MV免费观看软件特色
孩子玩着玩着就C进去了怎么回事
和爸爸吃饭的时候连在一起
日系裸妆全视频
好吊视频一区二区三区
深度1V3多肉梁医生
消失的她免费观影
网站你知道我的意思的免费的
妈妈刚开始拒绝后来配合
psp碧之轨迹存档
去掉小内打扑克
最近最新高清中文字幕免费大全
47大但人文艺术欣赏
羞羞首页登录无限阅币免费
日产无人区一线二线三线
ZOOM与人性ZOOM2023
往下面放冻葡萄的感觉
S货叫大点声C烂你的SB
试看30秒做受小视频
男人喜欢耐C还是不耐C的
边做边爱3完整版
青春草原精品视频
边做饭一边躁狂怎么办呢
大国手之胜者为王
写作业时被爹地玩
第1章 厨房春潮
10款禁止下的软件
厨房里两只奶头被吸肿了
父母儿女互换干对家庭成员的影响
为什么到最里面越想叫
一个妈妈的女儿BD在线播放
晒晒16岁孩子立起来的照片
接电话顶的她说不出话
妈妈的朋友5季
妺妺第一次啪啪好紧WWW
日本人属于人类范畴吗
瑶白色液体喷到脸上是什么
水都这么多了还装什么
朋友的娇妻好爽好烫嗯
粉色视频APP在线无限看免费丝瓜晶体公司藏
双子ノ母性本能
王建李珊张伟陈婷互换
两人打扑克剧烈运动又疼又叫
俄罗斯美女艺术照
课代表趴下让我桶30分钟软件
大型丁香成人社区
美女露胸无遮挡无马赛克羞羞
迈开腿尝尝你的草莓是什么意思
亚1州区2区3区4区产品国色天香
疯狂的肥岳原始
旅游途中夫妻换着玩的说说心情
老板1个月玩我3次
一个妈妈的女儿4中文字幕
东南亚少女rapperdiss
趴下皮带write as
AI赵露思又疼又叫
MIGNON动漫
公天天吃我奶躁我的比视频
变态生理研究会
亚1州区2区3区4区产品
教授好会c1v1笔趣阁
玛雅maya发信到
4399高清完整版在线观看日本
迈开腿尝尝你的草莓汁的作文
小小水蜜桃视频高清在线观看3
原神当甘雨被空C出液体
妇女老太太GMBGMBGM
公交车6人轮换c
英语今天晚上让你桶个够的软件
我可以上你吗日剧
小货SAO边洗澡边CAO你动漫
爱情岛线路推荐线路二唯品会
bgmbgmbgm老太太俄罗斯
我把英语课代表按在桌子上抄
家用摄像头都被盗拍视频集锦
低头看我们结合的地方阅读
我都湿透了你还在等什么
张津瑜的9分58秒7段免费
警花张津瑜头撞玻璃
yy4680私人影院
好吊视频一区二区三区
上一个楼梯就撞一下3
免费无人区码卡二卡3卡4
简隋英writeas震动器
1和0是怎样进入做的图片
啪啪啪动态图带声音
水蜜桃文化传媒
chinese东北老年人tbc
我的XL司第三季免费观看翻译
去掉小内打扑克
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1