有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
肚子里全是JY鼓起来了怎么办
公交车轮换CH
棒棒糖放屁眼里一天吃了视频
在没人的教学楼里做
被子里怎么无声自罚隐私方法
迈开腿让我要吃尝尝你的草莓
绝望教室动漫免费全集
宝宝家里没人今晚弄刺激点
人鲁交YAZHONGHUCXX
上面一边亲下一边面膜是什么意思
岳女二人名器共侍一夫的出处
把腿开到最大就不疼
痞幼视频3分25是什么
心疼儿子给他一次
顶级大但人文艺术欣赏
哥家里没人使点劲C我小作文
把冰葡萄一颗一颗往里堆
办公室内衣樱花未增删翻译
国产乱码精品一品二品
果冻传媒天美传媒麻豆传
宝宝都湿透了还嘴硬疼怎么回事
冯仰妍完整版在线看
最美情侣高清免费
宿主任务是收集男主JY
爱情岛论坛2019年免费
麻豆果冻传媒新剧国产杜鹃
秘密教学子豪26再做一次
第一次DOI的感受详细写一下
换个地方做吧未增删动画动漫
老师的兔子好软水好多樱花一
孩子还没睡老公侧面做
把它堵住不能流出来下周检查作文
整篇都是车的百合
红猫大本营点击进
男生说要吸你的小兔子啥意思
跳d放在里面逛超市的
监控偷盗摄影二区
白晶晶MV果冻传媒妻子的谎言
大腿中间一张嘴顺口溜
最强gy平台小蓝视频ios下载
吃到自己丁丁最简单的方法
在无限游戏里花式挨C
埃及艳后 电影国语
纯纯欲动HD在线
3D姐弟关系第三集动漫
啦啦啦韩国视频免费观看
老赵抱着媛媛在厨房做视频播放
仙踪林直接入口欢迎你
WRITE AS 女生
HULUWA官网在线入口IOS
情侣做运动的动态表情包
狗的东西又大又长干了一晚上
1819处china
两个蛇根吃不下呀
晚上剧烈运动打扑克的软件
大妈山坡做皮肉生意
健身教练漫画免费版在线阅免费版
中国老奶奶vpswindowsHD
数学课代表的B真紧
国产卡一卡二卡3卡四卡精品
三十分钟让你桶
a处处吻全程拉丝伸舌头拉丝
随处可做X世界学校游戏
亚洲无人区码一码二码三码的特点
大肥波BBWWHBBWW
性极强的岳让我满足
腿再开一点我就可以吃到扇贝了
男男车车的车车啊哈哈真的
小蓝彩虹男GARY1096
已满18周岁请点击进入网站
附近人100元一次服务
漾出OVER FLOWER第二季
BBOX糟蹋BASS
曝光无码有码视频专区
14147最大但人文艺术
他的舌头含有起了我的小豆豆
伦理中文字幕 - V3.2.8
动漫人物去掉小内打扑克A
日韩砖码砖专码2023
我是全公司的发泄玩具ih
车后车座的疯狂的做细节描述
家长会上爸爸们灌满幼儿园老师
王者荣耀曜把西施顶哭
拉开拉链它想你了给他好不好
迈开腿让我吃一吃
他低吼一声进入
CHINA体育生GARY飞机
亚洲日本一线产区和二线产区区别
国产天美传媒一起又看流星雨
大龟慢慢挺进张娟的体
一边C一边说粗话小说
电动牙刷自w高c特别快
原神旅行者和甘雨拔萝卜
和教练在车里干了我三次
牧场videos skool
腿张大点我就可以吃扇贝了
JAPONENSISFES东北
my pico
怎样玩蛋蛋最疼
亚洲一卡2卡三卡4卡 127
免费夜里18款禁用
极品教师未删减完整版
大尺寸的小黄说说1000字阅读
国产精品卡1卡2卡三卡四
公交车6人轮换c
女BBWBBWBBWBBW
美国人XXXXXL19
撩到女生下面流句子
往下边塞水果后吸出来
小男孩把坤坤放在小女孩脚
年轻漂亮老师高清线
YW1639永不失联
把女朋友玩成小喷泉是什么意思啊
芭乐鸭脖向日葵芭乐鸭脖旧版
女人迈开腿打扑克又痛又叫
迈开腿让尝尝你的小鸡的视频
帝王怀孕肚腹圆隆憋尿
戴着电动玩具逛超市
国产瑜伽白皙一区二区
细讲男朋友是怎么c你的
学长迈开腿尝尝你的草莓mv
狗狗的东西一放里就变大视频
晚上剧烈运动视频
丰年轻的继拇2中文字幕
入禽太深高清视频韩国
男朋友咬小兔兔时怎么回应他
乌龙派出所221
一支笔C哭自己
一顶就叫是为什么
欧美妈妈的朋友5整有限中字
一个好妈妈2水母中字老虎
全家一起来黄霞徐家大团圆
在落地玻璃窗前插
性 爱 免费 视频
体CHINESE大学生宿舍飞机
四种人不能吃辅酶Q10多少钱
JMCICON网页版
潘甜甜 手机的秘密
mimk-009
真人打扑克软件
妈妈跟外公在做什么
亚洲一线产区二线产区精华液
把语文课代表干到走不动路视频
女生说痛了男生越里寨
不知火舞被三个小孩
阿根廷舞林大会
十8禁用B站在线看漫画软件
边走边撞水流了一地的水
亚洲欧洲一码二码区别在哪
MDL0008-1沈娜娜
被罚把筷子放屁眼里不能掉
开车视频疼痛有声音
性姿势48个动图
国产午睡沙发系列
朋友把我玩成小喷泉了
解放的潘多拉 qvod
一面膜上边一面膜下边视频
8X8X华人拔插华人免费
国产日产欧产美韩系列国
5G影讯5G探花多人运动最新网站
乱VODAFONEWIFI熟妇
日产高清卡1卡2卡无卡
乱辈通奷XXXXXHD猛交
用......用点力快到了视频
奶头被夹得又翘又硬怎么办
王者荣耀女生去掉小内 软件
sis001第一会所
老妇高潮潮喷到猛进猛出
宝贝我的尺寸你会痛
成为爸爸的玩具
输了可看隐私的作文800字
朝俞答错一道题的一支笔PLAY
津渝视频完整版1
两阳夹一阴涨停双响炮的意思
CHRISTMAS农村夫妻HO
国产乱码二卡3卡四卡
麻花视频3.2.2
手指怎样自W到高C
吉泽眀步torrent
自W高C抽搐了还可以继续吗
一面亲上边一面膜下边美国
胸大的姑娘免费高清观看视频
精品人在二线三线区别
性妇VODAFONEWIFI精
得到超级肉禽系统的紫岭红山
免费BGMBGMBGM胖老太太东北
韩国电影办公室的剧情
皇帝在御花园进入贵妃的小说
伊春园2023入口直达
一二三四在线观看免费中文吗
男生和女生一起差差30分钟很痛一百条信息
家规犯错就打隐私超严的家规
异世之无良邪尊
躺在我跨下的英语课代表
顶级大但人文体艺术
顾氏双生子的玩具
把班长拉去没人的地方
樱花YY私人在线影院
欧美巨大巨粗黑人性AAAAAA
年轻的妈妈的中字巴巴鱼汤饭
玩弄朋友娇妻呻吟交换电影
被套上自动挤奶器性能怎么样
秘密教学103私下你可以随意7
撑 趴 润滑 痛苦 求饶 BL
相府千金1v3
一个人看的免费WWW高清
无人视频免费观看免费直播视频
不知深浅PO1V2车
春暖花开炎狼门派
脱色摇床93S
我撕开岳的丁字裤
卫生间6分34秒
打扑克的剧烈运动摇床视频
不要了好涨停下来
国产DB624色谱柱36521
人间小喷泉1V3HL慕深
刚开始拒绝后来慢慢接受视频
刚开始一深一浅后来逐渐变大
40岁了总是一碰水很多
男生女生一起差差差带痛声30分钟
37大胆欧体人文艺术的价值
ZOOMDOG13
在她身上运动了一晚上
海角社区最新在线视频
你能坚持到几张不死射
mitao123
BT天堂网在线WWW最新版官网
日本对澳大利亚
深度了解1V3
我的小兔兔被男生咬着的感觉
俄罗斯大荫蒂女人毛茸茸
china外卖小哥gary
艳阳门无删照片1400还有视频
同桌没带罩子让捏了一节课怎么办
39W3C张津瑜吃瓜
桃花社区在线观看视频播放
运动员们的玩物
在公交车上到高C
后入式曰女人pp
木乃伊盗墓迷城
日本三圾片在线观看
欧式春画图照片高清
12岁如何自己安慰自己动手
男朋友在图书馆没人的角落做
叔父的大还是爸爸的大
夫妻成长日记二
亚洲中文久久精品AV无码
双人床上打扑克又痛又叫软件
小东西你要负责灭火
宁荣荣把腿抬高我要进去
韩国女主播 ed2k
韩漫漫画登录页面免费漫画入口免下载
老师太粗不行坐不下去
凌晨三点看的片WWW小说
边做边爱完整版3在线动漫
高效天堂在线最新版
欧美最强RAPPER潮水
我今天接了一个三十CM长的
绝望教室动漫免费全集
国色天香直播在线观看免费
小受被按在墙上做腿交男男
ゴブリンのどうくつ洞窟sana
鲍鱼tv最新网名2021
上面一边亲下一边面膜是什么材质
小学生被小学生插曲
4年级把第1次给了表哥
学长的手指在里面转动的写作业
爱如潮水社区在线观看
野花视频在线观看免费观看最新
别怕放松我这是在爱你
差差很痛app大全免费软件安全
把它堵住不能流出来下周检查作文
2017最新h无码动漫
甜蜜的惩罚未增删带翻译有翻译樱花
才两根手指头就喊疼怎么回事
老婆不傻不天真
腿再张大一点就可以吃扇贝了
性情中人 bt
最近最好的2019中文
欧亚专线欧洲S码WMY全部资讯
女生小坤坤图片大全高清壁纸
我坐在有木棒的椅子上写作业
女生戴上小玩具调到10档的玩具
雷电将军狂飙图片高清壁纸大全
日本一姐RAPPER潮水
男生坤巴扎进女生的坤巴里
ati mobility radeon hd
扒开粉嫩小泬舌头伸进去视频
你的棒棒能通通我的下水道吗
男朋友做到我下不了床
免费BGMBGMBGM胖老太太东北
得到超级肉禽系统的小说作者
亚洲无人区码一码二码三码的区
王者荣耀伽罗捅到流液晶
一本大道高清视频在线观看
《菊内留香》TXL金银花
bgmbgmbgm老头野外
原神雷电将军被X出液体xman
消失的她免费观影
MAY18_XXXXXL
幸福宝8008APP隐藏入口免费
欧洲vodafonewifi侏儒
爱恋2015是真的进入吗
优质JY灌溉系统游戏
水蜜桃着色入口
在语文课上强插语文课代表
花木兰被全队队友日
晚上激烈打扑克
什么叫倒插莲花
对象给我看他的鸡
群臣在朝堂上却玩皇子微博
把英语课代表按在地上C了一节课
夹枪带棒1V2舒明明
坏老人与媳妇天的春天
迈开腿让我尝尝你的草莓什么味道
一边亲着一面膜下奶日本
为什么黑人睡过的人没人要
电车之狼r 攻略
国产黑料吃瓜51吃瓜免费观看
老师把筷子放进我P眼的作文
女生说疼男生越往里寨APP游戏
班级每人C了我半小时班长
AI替换JENNIE喷水
欧美精产国品一二三产品
小燕子乾隆在马车上的欢乐
妈妈说只要爸爸不在家就可以
五月丁香五月伦理
ed2k 超市
压在女朋友身上是件很幸福的事
啊我们换个地方做...又加了
一区二区无码精品AV
中国老人mandaddyertv
日本乱码一二三四区别
与女神同行评价
欧洲VODAFONEWIFI高俄罗斯
几天不见这么多水想不想要
我的好妈妈5中文
404黄台软件免费下载大禁用APP游戏
桃花视频在线观看免费
高效天堂在线最新版
中文字日产幕码三区的做法大全
输了让对方随便处置隐私一个月
女儿用身体做生日礼物
把腿开到最大就不疼
老师抱着我在教室做
新金梅瓶玉蒲团性奴3
亚洲尺码跟欧洲尺码的区别
海角.COMHJ3DCE
隔壁的女孩中字在线观看 1080P
美国白人未成年rapper豆瓣
一边被学长撞一边写作业作文
结合处粘腻水声拍打声的预防方法
梁医生不可以(限)季亭亭
草榴新时代的我们
怎么把自己隐私位置玩哭?
CHINESE体育生东北露脸TUBE
激荡瑜伽1V2
双指探洞感觉要喷了hi
八重神子被捅到流口水的游戏
太大了吧唧吧唧吧唧吧唧
小东西几天没做喷的都是视频
老师拉我去办公室做了一节课作文
精产国品一二三级产品区别
GOGOGO大但人文艺术
把女人干到不能走路
BRANDILOVEMISSIONARYACTION
女篮中锋坎贝奇三部曲
岳两腿之间白嫩的小缝
51DADOU大豆行情网
黄金网站APP视频
扒开大腿就可以吃到扇贝吗
男生女生一起差差很痛的APP下载安装2023
黑龙江教室视频完整版
MD传媒MD0076老师家访在线观看
日本最大但人文艺术第一组
乱码一卡二卡新区永久入口
迈开腿让我尝尝你的草莓什么味
日本一姐RAPPER潮水仙踪林
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1