有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
肚子里面满满的都是JY祝英台
强行挺进朋友漂亮的娇妻
美艳护士把我夹得好爽
宝宝我想吃你胸前的兔兔奶糖
丰裕纵满杨玉环2588演员表
疼大点声今晚没人
疫情期间和老妈做了
嗯宝贝叫的再浪一点
ACCA少女SDANVI大学
几个健身房私教弄了好几次
最大但人文艺术
色母u6与pA6色母区别
猫咪最新地域网名3336
日本精产品一二三产品
燕子717新浪微博
一次又一次凶猛的撞着
我的B就是你的饮水机
在车里被撞了八次高C文
帅气GARY体育生网站MV视频
为什么一加速女生就会哭
jijzzizz中国版
回娘家父亲求我给他一次
身体送给儿子当礼物
WRITE AS 教授
国产乱码卡一卡二卡三新区
把腿开到最大就不疼
娘王 virgin
憋尿按压小腹肚子不让尿出来
接待了一个30厘米长的客人
英语课上插了英语课代表视频
成都4片p视频
色即是空2电影下载
人与畜禽CHANCE
早上起床发现他的还在里面
污到你那里滴水不止的描写方法
女儿成为爸爸的玩具
晚娘恋欲百度影音
国产啪视频在线播放观看
她故意装睡让我进去
日产2021免费一区
日产一二三四十入岁区
B痒了多久没C了
亚洲尺码跟欧洲尺码的区别
无人区码一码二码三
WRITE AS 含玉
英语课代表叫我满足她的视频
在英语课上强插英语课代表作文
办公室的交易 韩国电影
overflow带翻译无马赛樱花中文翻译
老丁的退休生活
最近2018中文最全一页
强被迫伦姧惨叫小说
梁医生不可以(限)季亭亭
妈妈的味道中文HD免费
天美MD豆传媒一二三区进
小泽玛莉亚种子
搞机TIME恶心软件(2023已更新)免费
大尺寸的小黄说说1000字免费
大将军1v2lh怀孕的原因
人物动物交互狗
干的你走不了路SB
男男车车好快的车车有点污的网站
马人配驴杂交种好吗图片
人们俗称的拔萝卜
你们男朋友是怎么C你的
宝宝你看你喷的到处都是作文
优质rb灌溉jy系统
WRITE AS 轮
四虎永久地域网名2021知乎
我的两座巨峰很软
男生把自己的手到女生的QQ里
吴梦梦到粉丝家里洗澡在线
友善的好邻居2
把冰块一个一个挤出去
被C得走不动是种什么体验
黑料吃瓜网曝门黑料社
联谊中的游戏动漫
137最大但人文艺术
别人玩自己隐私位置玩到哭
怎样弄到自己喷泉
体育课被老师C了一节课作文
蜜桃成熟时5D
你流了那么多水还说不要
与邻居换娶妻子2在线观看
你的舌头搅拌着我的那里
晚上剧烈运动视频
粉色视频在线播放
韩国的床震无遮掩
野花免费观看日本电视剧
诱人的女邻居2在线观影
YELLOW片完整版高清百度网盘
野花免费观看日本电视剧
十次啦综合怡春院
日本漫画工番口番全彩
好快啊哈哈哈哈
被两个领导夹在中间
小坏蛋别戴套了今天是安全期
大尺寸的小黄说字多肉小学
刻晴被盗宝团捅的叫个不
对你上瘾1v3不清水
电车之狼r调教攻略
宝贝它想你了感受到了吗
鬼灭之刃祢豆子禁漫资源
mm1313点不进去了
小钰IG夺冠了就让草
波多野结衣系列在线观看GVG
我和亲妺妺性的开始
男生越往里越有劲声音
少妇搡BBBB搡
双龙进洞夹心饼干
拔萝卜痛又叫黄
姐弟拔萝卜又叫痛又叫高新
当兵老公要了我很多次
写的超细的开车文知乎
顶得你的水流得到处都是甜甜
人畜禽Croproation
校花下面又软又进禁视频
夜间正能量网站
lovely cation
被体育老师c了一节林妙妙
试看120秒免费体验区
好男人的社区在线
男生戴玩具出门体验
喷泉h1v3H
7723日本电影免费观看完整版
诗锦在公共汽车全文阅读
李z瑞事件图片
12岁如何自己安慰自己动手
小峰由衣热血教师
免费3圾片在线观看
成绩差成为全班发泄用的玩具
老公带我去跟别人玩的地方
日本精品无人区卡1.卡
张芸熙麻豆MD0107
带闺蜜出来玩被她老公说怎么回她
88369游戏
一本二卡三卡四卡无卡免费高
果冻传媒一二三区艾秋游戏
BGMBGMBGM多毛老太太
妈妈的朋友4电影中字翻译
彩虹男GARY2023入口
老师变成全体同学的玩具
八重神子露副乳
车各种姿势长图微博
白丝语文课代表让我C了一节课
三个人搞你一个可不可以
试看免费120秒
黄台免费软件OPPO
野花高清在线观看免费全集7
家里没人我弟把我做了
离婚回娘家满足爸
最短的距离是圆的2雨水和苏打水
狗头萝呼啦圈视频26分钟低价 1080P
慈禧的秘密生活高清完整视频
凌晨三点看的片免费
bbox撕裂bass俄罗斯仙踪林
草榴新时代的我们
热心的朝阳群众51cg3fun
迈开腿吃尝尝你的小草莓感觉
WRITEAS撑桌上
等不及在车里就要了我
日本乱码卡新区
四虎影视最新地域网名2021
电锯惊魂3百度影音
原神ちゃんが腿法娴熟を视频
黑料吃瓜网.SU永久有效
整篇都是车的百合
japonensis成熟
小东西把它夹住去跑步不能掉
太大了坐不下去太痛快
我被当玩具发泄的一天作文
日本无人区码一码二码三码四码
善良的小峓子中字巴巴鱼汤饭视频
97夜夜澡人人爽人人模人人喊
宝贝你已经长大了给我
桃花在线观看视频动漫
writeas
把腿开到最大就不疼了免费播放
152大但人文艺术欣赏
和狗做被婆婆看到拉婆婆下水
男人迈开腿尝尝你的草莓
日产精品一卡2卡三卡四
波德卡波娃 种子
教室英语课上用鸡插英语课代表
乱码一线二线三线新区破解欧
对着镜子看着我们的结合部
粉色ABB苏州晶体
迈开腿我可以尝尝你的味道
无人区码精华液
中文字幕电影乱码在线观看
韩国电影老师的秘密
知道错了就过去趴着打PG
国精产品一区二区三区糖心
办公室沙发口爆12P
老中医吮她的花蒂和奶水视频播放
公开caoporn
抽的时候为什么越快声音越大
关上最后的门吧未增删带翻译樱花
车后车座的疯狂的做细节描述
野花免费观看高清在线6
输了让同学玩身体全部位置的游戏
一个男孩子顶哭另一个男孩子
美国又大又长又租
张莜雨人体艺术图片
行吧有你春暖花开
老师教久别的草原视频
亚洲爱情岛论坛路线一路线
2024钙GY钙站
天美传媒国产电视推荐
エロワンピース天堂
得到超级肉禽系统的小说
拉丁舞跳着跳着做起爱来了
俄罗斯13一14处出血视频
黑料网-免费吃瓜-独家爆料
他把跳D开关开到最大
亲爱的老师3韩国完整在线观看
大团圆6血缘关系
坐在木棒上写作业高V
至尊宝用金箍棒桶紫霞小鸡
上官婉儿大战三百硬汉是哪一集
伊人成人生综合网图片
九一传媒制片厂的制作水平
家庭大杂乱经典说说
左拥右抱1v2
小诗的公交车日记1一7
不良网站免费进入窗口软件有哪些
含羞草传媒隐藏路线2023网站
帝台娇宠鸾帐欢公主端木摇
隔着睡衣吃你的小尖尖作文季柠
我就在外面赠一赠
欧洲黑人最强潮水RAPPER
贺朝在谢俞里面塞棒棒糖
最近高清日本免费
动漫美女禁处受辱图
小学生被小学生插曲
抱着宝宝坐下太猛
公交车两人双指探洞湘潭天气网
四叶草M码与欧洲码的区别
棉签play是什么东西
白妇少洁第1一40章
96无人区码一码二码三码
500篇香艳公车短篇合
もし祢豆子が悪いった
妽妽的下边好紧春雨医生
我们两个C的你舒服吗
两个大兔子抖来抖去的图片视频
皇上御花园HL
公交车后车座的疯狂的做细节
上官婉儿乳液狂飙视频
聂小雨视频3分25哪里能看
美女露出奶头扒开尿口让男人桶
怎么样吃女朋友小扇贝
翁公的大龟挺进秀婷
野花视频在线观看最新免费
妈妈的朋友10在哪可以去看
忘记带罩子让他馍了一节课
国外B站推广网站
两个人免费视频高清完整版
男生女生一起生猴子怎么办
我的兔子好软水H15
亚洲精品一线二线三线无人区
年轻的小峓子1中字巴巴鱼汤饭
日本三圾片在线观看
恋夜影院全部视频列表
国产日产欧产综合
儿媳妇以为我是她老公是什么书
共享皇家小公主3V1
美女和男生一起差差差图片
三妻四妾完整版播放电影
三个人C同一个
一边伸舌头一边快速喘气图片
三秒后野兽在联谊的角落里的他是肉食系
丰年轻的继坶3的特色和机能
sdde 318
日本人是人吗最佳答案
做AJ的视频大全电视剧
张柏芝门照艳原图
我女朋友的妈妈4完整有翻译
开车疼痛有声音视频下载软件
好大不可以坐不下去
被吃扇贝的感觉
我被女婿日得舒服死了
德国VODAFONE精品
亚洲乱码一卡2卡3卡
果冻传媒免费观看一二
秘密教学10话我需要灭火
undertaleのエロ
啊不可以坐不下去痛
日本漂亮妈妈7在观有限中子
天美传媒我的妹妹董小宛
学长在学校无人的地方做
女生吃鸡难道不恶心吗
文轩WRITE.AS 抽肿被发现之后
撑起伽罗的腿疯狂输入游戏
娇妻笫一次被多P
上官婉儿被用计骗进房间
他像我这样弄你了吗
宝下面都湿透了还嘴硬疼咋回事
两只小兔子被捏视频
Zoom美国另一类
电车蓝衣女种子
爱情岛论坛网亚洲品质
藏经阁福利导福航大全
最刺激的长篇乱惀小说
蓝导航地址永久发布
免费啪视频观试看视频软件
把自己弄到喷泉
羞羞漫画登录页面免费漫画入口页面破解
宝贝帮我套小雨伞的更新时间
腿开到最大真的就不疼了
小东西才几天没做就紧了
爸爸缓慢有力挺送女儿的话
挺进绝色老师的紧窄小肉六视频
我被公满足舒服爽视频
野草一二三乱码区地址
大山里疯狂伦交
乌克兰laurenphilips
斗罗大陆小舞给人桶的模拟器
今夜就让我狠狠地想你歌曲
和活好的男生做是什么体验
star 424
你的东西比我老公大好多
校园春色武侠古典系列
大尺寸的小黄说字多肉有哪些
宝宝几天没做都湿成这样做
火影忍者女生去掉所有服装
中国新疆XXXXXL19免费看
乱码中字芒果视频一二三多人
韩国女主播 ed2k
东北speakingathome
18C MIC新地址
一家儿女4口人一起玩
全彩口工漫画母系惩罚5
蜜桃成熟3全集高清
环太平洋 迅雷
比比东被唐三桶的不亦乐乎语录
漂亮秘书的滋味2
男生说要吸你的小兔子啥意思
老太婆下身浓浓毛多
老师你的兔子好软水好多文案
漂亮妈妈日本韩国
tom汤姆叔叔最新地域网名
羞羞漫画登录页面免费漫画入口网站
妈妈的朋友4在完整有限中字第5
炎炎消防队生肉1080P
网站没封免费正能量直接进入
我的青梅竹马是消防员动漫未增删
女人洗澡沐浴露全身真实
a处处吻全程拉丝伸舌头拉丝
黄桃罐头里有什么对人体有益的成分
MD传媒MD0076老师家在线观看
秋葵 茄子 丝瓜 香草 榴莲污网址
考的好妈妈给你做一次
鲍鱼网站最新网名2021
电车 之狼r攻略
日产一二三四乱码18
一不小心溜进了母亲的生命里
王者荣耀黄化网
炎の孕ませも身体测2
小东西才几天没做喷的到处都是
处破女处破全过
13一14处出血全过程
旅游途中夫妻换着玩的说说心情
2016年2月里番
品色堂永远的免费论坛
他的白月光HvH桔子糖水百度云
66亚洲一卡2卡3卡四卡新区
公交车售票员按尺寸大小
一本二卡三卡四卡无卡免费高
如何一根笔把自己玩哭
狗头萝呼啦圈视频26分钟什么梗
寂寞夜晚看的MV字幕高清网站
日本三圾片在线观看
极品教师高清免费观看中文
40岁了总是一碰水很多
在没人的地方被C
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1