有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
好姑娘7免费高清观看
两男一女两根同进去舒服吗
王建李珊张伟陈婷互换
压在阳台玻璃上做给别人看0
被教官带到宿舍做了
我和姪女小婷上下耸动
十九岁RAPPER潮水欢迎你
久久精品一卡二卡三卡四卡
精品高潮呻吟99AV无码
因不擦黑板被老师c了一节课
穿戴式跳D放在里面逛超市作文
优质rb灌溉jy系统
4年级把第1次给了表哥
老电工老王和李小燕
漂亮妈妈韩国完整版免费观看视频
心海ちゃんがを腿法娴熟部下
缓慢而有规律的往里挺松动
把你拉没人地方玩你
我们两个一起轮你好不好
金银瓶1-5美国
我38岁离婚后跟儿子睡
等不及在车里就要了我
一边伸舌头一边快速喘气音
JEALOUSVUE极品少妇
五月丁香合缴情网
坐着震动器写作业的感受
姐姐说家里没人我们就那个
双人床上做的运动剧烈
我的好妈妈8韩国电影
为什么把腿开到最大就不疼了
父亲比老公大很多
1区1区3区4区产品乱码芒果在线
太捧了几天没C水就这么多吧
跳d放在里面上体育课500字
女生主动让男生看自己的坤坤
老BwBwBwBwBw
上边一面亲下边一面膜的程序
爱情鸟视频论坛在线观看
水都拉丝了啊甩的到处都是
小东西我们在水里做运动
伽罗脸红流口水流眼泪翻白眼
第一次玩跳D感觉怎么样
wy79cm浮力院
男朋友说要修修我的下水道
今晚好好吃吃你的扇贝
二人扑克剧烈运动视频软件
麻花传媒XK8046在线观看
4个人互换着做苏霞
前男友又大又长我忘不了了
nnpj-143
让你试试我的大不大
史莱姆のエロ刻晴二维码
小东西把它夹住去跑步不能掉
一抽一出BGM试看60分
很详细的肉肉床文片段
几个健身私教弄好几次了
男朋友都是怎么做你的
女士不遮阴小内搭BB
四虎4hu永久免费
BMGBMGBMG好多水
肉多到炸的古代
在车上就要了你
MD豆传媒一二三区入口
WRITE AS 吸蒂
用手指轻轻按着小扇贝并来回移动
最近中文字幕完整视频2019
家长会上爸爸们灌满幼儿园老师
车后车座的疯狂的做细节描述
野花高清在线观看免费5
啦啦啦韩国动漫在线观看
芳芳的性幸福生活18 章
斗转星移女明星
小鲜肉吃小鲜肉的大LOGO
如何把女朋友弄成小喷泉呢视频
乱码卡1卡2卡3含羞草
OVERLORD第四季在线播放
在哪可以看张津瑜9分
津渝视频完整版1
两人在车里疯狂打扑克
猎艳十大名器艳妇
美丽的小桃子意大利语翻译
LOVESTORY动漫无删减
200hh情艺中心
填得很满是什么感觉
打扑克是怎么塞进去的部位
linode日本iphone强汉入口
椅子上有木棒坐下去吃饭短
免费VX雷电将军乳液网站
甘雨安慰下部CG漫画在哪看
欧式双人三人组合
国产未成女YOUNV仙踪林
美国XAXWAS9977777
小东西底下都是你的水
我和他在公交最后一排
野草高清视频免费
啦啦啦韩国视频免费观看
高清VPSWINDOWS的特点
没带罩子让他c了一节课
麻花传媒md0沈芯语
136精密导航AGV
清明小长假来了蚂蚁庄园
往下边塞玉器见客人作文
韩漫免费漫画入口官方
小扫货水能么多叫出来
可播放的STEVEHOPPER
b站推广入口2023
马思纯力挺周冬雨
疯狂厨房2双人35视频
在车里被撞了八次高A
小东西才几天没做水这么多
他趴在两腿中间舔我私密有事吗
公交车售票员用下面验票
扒开未发育的小泬视频
国精产品zzlg77777
动漫人物将机机插曲漫画网站
张书记不戴套杨雨婷
养敌为患漫画免费全集下拉式
始料未及的软1v2
小东西好几天没弄你了若若视频
儿子一晚上要了我三回怎么办视频
bgmbgmbgm老太太水太多
暴躁CSGO妹子
优质JY灌溉系统游戏
ZOOMSERVO兽狗
对镜子看我们的结合处
年轻的母亲6兔费线6
3d肉铺团电影
2828dy日本伦理电影
男人和女人一起差差差带痛声作文
中国老太太WBBHD
离婚后和单身父亲做
教室英语课上用鸡插英语课代表
老师你的好软水好多的时候图片
女性大荫蒂荫道多毛茸茸
岳故意装睡让我挺进去观看
精产一二三产区别在哪里
初中女生喊疼男生越往里寨游戏
含羞草麻婆豆腐传媒
冰块一粒一粒往下边塞图片
妈妈的朋友5在完整视频带翻译
B越小越过稳图片
laurenphilips老妇人
老师没带罩子让我吃了一节课
迈开腿我要C你
女儿成为爸爸的玩具
疯狂主妇无删减版
原神纳西妲流不明液体A区
美女裸身无档图片视频
妈妈的朋友4线在完整有限公司中字
如何一根笔把自己玩哭
刚开始拒绝后来慢慢接受视频
我和好友之间的换Q游戏
5g天天奭5g天天运动破解版
聊斋之玉壶春瓶
开车视频小黄车视频免费下载
黑料吃瓜反差婊爆料网
原神纳西妲流不明液体A区
腿开到最大真的就不疼了
年轻的小峓子1完整版在线播放
太子被暗卫C到合不扰腿
腿再分大点就可以吃到了
梅花三弄多肉的糙汉B1H古文
白BBBBBB嫩BBBBBB
不伦纯爱在线观看
腿再分大点就可以吃到扇贝了视频
情侣的30种插秧法
999精产国品一二三产区
老公总是吃我的奶奶该怎么办
女儿的朋友8中汉字晋通话
亚1州区2区3区4区产品国色天香
我是你岳...你不能
无限在线观看免费看视频
使劲抬东西突然腰猛然一疼
妹妹流了怎么多还说不要
朝鲜女子内射杂交BBW
干了幼儿园的小朋友
原神申鹤被空C出白色液体游戏
无人在线观看免费高清动漫
折腾了一个多小时才弄出来的头发
感受到它在里面动了吗
国精产品一品二品国精品69XX
写的超细的开车过程
家里没人你用点力 快快
跳d放在里面逛超市的
一下又一下有力的撞公主视频
浓毛BWBWBWBWBW日本
あざらしそふと官网
我一边做饭一边被躁了男男
天美传媒国产电视推荐
中国高清VPSWINDOWS野外
两个奶头被吃得又翘又硬怎么办
我们两个C得你舒服吗
TOBU在线观看免费直播
灰熊最后6分钟在哪可以听
照着镜子看我怎么C你
和亲戚发生过关系以后怎样相处
亚洲无人区天空码头IV在哪
我可以触碰你深处的樱花吗
双龙NP黑粗撑开宫颈口BL下人
最近2019中文字幕一页二页
梦莹情乱第十一篇1章
两个男的一前一后叫什么
怎么玩自己的r头
男人忍不住挺进去了怎么回事
粉色视频观看高清在线HD
好男人视频社区2019
澳门无人区码一码二码三码区别
家狗狗卡在我里面痛怎么办
老婆和别人刚干完我又干可以吗
在体内横冲直撞就是不出来
一卡三卡四卡无卡免费
井川里予33秒正能量的视频播放
公交车女子上演疯狂2
被体育老师要求带跳D跑步
脱美眉内衣小游戏
热浪球爱战演员表
夫妻之间的108种插秧法
美国白人未成年RAPPER
妖精动漫官方登录页面入口弹窗
英语班主任让我吃他的小兔兔
1000部未年禁止勿入免费
国产麻花豆剧传媒入口
八重神子拿黄瓜奖励
父亲的东西又长又黑的说说
青梅竹马是消防员未增删第一季
椅子上有木棒坐下去吃饭短
浪漫满屋泰国版12
可播放的STEVEHOPPER
双龙NP黑粗撑开宫颈口BL下人
厚颜无耻韩国动漫
写的超细肉汁水文
开车视频疼痛有声音免费观看软件
无人区一码二码三码区别
WRITEAS军校
我们结婚了20131026中字
一边吃奶一边做动态图
国色天香A区与B区
野外插曲的痛的视频30秒3K2
蜜芽永不失联2023
宝贝 我不想带小雨伞
YSL千人千色AE86
女人高潮时一夹一夹的正常吗
ZOOM与人性ZOOMSK
八尺大人动漫在线播放无码
班长奖励我吃她的13的作文
激荡的瑜伽教练
日美韩大片高清免费观看
19岁MACBOOKPRO高清
抖音没带罩子52秒
日产韩版精品一线二线三线区
讲讲第一次吞J的感受知乎
开会被塞跳d开最大挡不能掉
rbd-573
深夜动态福利GIF动态图900期
岳两腿之间白嫩的小缝
无翼乌邪恶全彩无挡遮
24小时日本韩国视频
如何一支笔C哭自己
如何让把自己弄到喷泉
毛笔夹在里不能掉出来写字
日本rapper潮水RaPPe
粉嫩小又紧水又多
红玫瑰直播免费版视频
金银瓶4葡萄熟了
大菠萝福建app导航入口
动物胶配方视频高清大全动
TOTAKKAHAYAKIRIX77777
打扑克直播软件APP免费下载安装
疫情期间只能干老妈了
抱胁西班牙篇PV资源
爱情论坛观看路线二
乌龙派出所221
父亲的东西又长又黑
仙踪林果冻传媒一区
在街上他突然按了遥控器作文
在无限游戏里花式挨CH视频
国产一产二产三精华液区别在哪里
女生越说疼男生越往里
润色红叶吻蛇枝by黛妃
6080电影理论在线软件优势
女子学校储物柜3.0
BGMBGMBGM太太毛多多视频
写作业时被爹地玩
婆婆晚上叫声特别大
亚洲VS欧洲VS美洲人口对比
详细描写C的过程
早上起床抱紧我樱花
xiaav 这里因你而精彩
剧烈摇床运动视频打扑克
一个人看的片中文HD
快猫记录世界记录你
适合夫妻熬夜看麦片
粗糙的要了一次又一次
和搜子居同的日子2中文2
精品成品国色天香卡一卡MBA
公交车后车座的疯狂的C
ysl水蜜桃86满十八岁
办公室的交易 韩国电影
好爽好多水C死你视频
桃花在线观看免费播放动漫
今天接了一个30厘米的单子
原神刻晴去掉小内打扑克
边走边c1vn骨科古言
触摸隐私位置的游戏叫什么
校霸被学霸拿遥控器控制
和平精英中女性的乳液
24小时视频在线观看免费
男朋友是怎样进你的
缘之空哪集开的车
香蕉菠萝黄瓜草莓樱桃榴莲茄子
迈开腿尝尝你的森林什么感觉
亚洲无人区码一二三四区别
台湾无人区卡一卡二卡三乱码
无颜之月第五集你会回来感谢我的
md传媒免费观看在线 小说
捅伽罗是什么东西
男朋友老是吸我的小兔子视频
适合女生深夜看的污一点的说说
水都拉丝了啊甩的到处都是
日本最大但人文艺术欣赏的背景
男人把j放进女人的下面的视频
输了被罚让别人玩一个月隐私
精品成品国色天香卡一卡MBA
国精产品蘑菇一区一区有限
潘甜甜果冻传媒 在线观看
可以教育女犯人的游戏
男生淦男生的部位
5g天天奭怎么打开
香含玉女峰头露
摇床和喘气声音
宝贝把腿抬高就不痛了
国外幼儿精品区
一整夜都连在一起没有退出来
老友鬼上身国语
翁公与小莹在客厅激情
公交车上一个接一个c
老师没有带罩子让我练了一节课
zljzljzlj日本人水多
双人床上做的运动打扑克的软件
家教老师考100分能一整
台湾已逐步恢复供电
快乐的大脚2歌曲
DVD碟片潘金莲
细讲男朋友是怎么c你的
狗狗进到里面变大了
老八吃屎奥利给原视频不遮挡
CAMPBUDDY大基基
虫虫漫画在线浏览页面弹窗
台湾仙踪林XZL
才两根手指就抖成这样了视频
英语老师不戴罩子让我捏一节课的
tobu8-HD68
精品成品国色天香卡一卡二
老师的兔子好软水好多樱花一
电影巜狂欲之夜
俄罗斯大转盘多人运动
chinesefree普通话对白
缓慢而有力的C
JEALOUSVUE成熟50MA
小喜不要了好大第二部
开车视频疼痛有声音水水音频
父亲的东西又长又黑的说说
把棉签放屁眼里一进一出
939W乳液78W78WYW55523
W938乳液78AW
99国精产品灬源码1688
羞羞首页登录无限阅币免费
大叔轻一点可以吗
龙口护士门事件
冲田杏梨的电影
一二三四高清日本播放
中国speakingathome宾馆学生
爱情岛论坛首页推荐进入网址
污网站wallpaper共享人可以看到订阅吗
超大尺寸的小黄说说100篇
43417大但人文艺术主演列表
女人很久没啪会变紧吗
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1