有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
坐着学长硬硬的上面写作业
学长缓慢而有力的撞着图片
120分钟免费用机机视频
RAPPER老妇人
エロワンピースエロい
美国ZOOM视频狗
当蜜桃成熟时33d
宝宝坐上来自己动好不好网站
腿张大点我就可以吃到扇贝了图
张开腿我尝尝你的草莓
妈妈的朋友2在线中文字幕看免费完整版
夜里自己一个人弄自己
男孩子淦男孩子的网站
黑料网-独家猛料-曝光揭秘
一边亲着一面膜胸口韩国
老师上课把跳D突然开到最大
2021乱码精品公司
18款夜间禁用粉色短视频
棉签和冰块怎么玩哭自己
外国XXXXXL19WASWAS
男生插曲女生身全过程
知道错了就转过去趴好
我被三门齐开了事后走不了路
乳色吐息樱花未增删翻译中文翻译
星空传媒XK8012妻子
腿打开一点就能吃扇贝
两对夫妇在野外帐篷交换
亚洲精品沙发午睡系列
成品禁用短视频app下载
坐在老师的鸡叭上写作业作文
吃棒棒糖是什么意思
被弄得走不动路走不动怎么办
姬小满乳液狂飙奖励自己一发视频
WRITEAS丁程鑫性器丰年
双人床上互动大全
和儿媳发生不该发生
青梅被从小摸到大H补课1视频
善良妈妈的朋友10完整有限中字木
star-413
暴躁少女CSGO最强角色推荐
《帐中香》txl金银花
含羞草实验室隐藏入口
把筷子放屁眼里图片
电动牙刷怎么惩罚自己
国精产品一品二品国在线
亲爱的老师4日本高清百度云
最近更新2019中文字幕
和孩子一起睡觉没控制住
桃花在线观看视频动漫
疯狂母亲在线播放
扑克牌又疼又叫全程视频
俺去啦网站图片
卫老汉与淑蓉第一次
1313苦瓜网
香蕉丝瓜草莓樱桃草莓榴莲污
overflow2未增删带翻译樱花
太大了吧唧吧唧吧唧吧唧吧唧
亚洲一码和欧洲二码的尺码
老师答错一题少一件衣服
国产AV精品一区二区三区夏竹
2023麻豆剧果冻传媒
CHINA体育生GARY飞机
极品教师第二季免费观看
催熟po1v3道具
迈开腿看看你的森林动漫
女生和男生一起相差差差差差
CHINAGARY武警体育飞机
女角色翻白眼流口水流眼泪图片
解锁情侣在床上的N种姿势
宝贝你的奶头好紧好大
无翼乌无彩无漫画
没做过的能放进几个指节
回娘家每次他都搞我怎么办啊
妈妈说带好套可以给我正常吗
八重神子入夜狂飙图片高清
小婷又软又嫩又紧水又多的视频
搡BBBB槡BBBB
皇上撞着太子妃沈音
爱情岛免费网站路线一
被几个人日的走不了路
好大不可以坐不下去
软糯小受灌满哭求饶BL道具养成
两个人一前一后攻击我
三叶草欧洲码和亚洲码
小东西长大了可以做了视频
三公主baby girl
晚上家里没人就让你弄
女刑警被两个黑人前后夹攻
夜夜春2008旧址
樱桃视频首页在线观看
人多一起换着玩
成品禁用短视频APP抖抖
2013年2月里番
嗯啊宝宝腰好会扭
甜性涩爱bt下载
晚上必看的正能量视频入口
张柏芝生三胎是刘德华
C了一天是什么体验
妲己におしおき
美国伦理小樱桃
怎么把自己扣的全是水喷泉
日本乱码卡新区
韩国三圾片在线观看
每集都在打扑克的韩剧
渺渺在沙滩上让男人涂防晒霜
含羞草传媒隐藏入口免下载
一抽一出BGM免费3分钟
atlanticocean巨大
妈的身子今天就是你的
塞跳D的一天感受详细作文
倒插莲花是个什么动作
别人拿着跳D遥控器控制自己
TTTZZZ668.SU.6.6.2
MAY18_XXXXXL56
麻花传媒MV一二三区别在哪里
野花视频官网手机免费观看
成都工行艳照门
被拉到学校没人地方C
浏览器网站免费进入
GGY钙2023入口廖男男
麻麻侧睡让我滑进去
世子很凶插花弄玉前进后出
成都4片p免费完整版
我睡过的横店女演员笔记
冰块一颗一颗往下体塞肚子
宝宝把腿扒大点儿就不会疼了
最好看的最新的中文字幕3
我想用乌龟蹭你的扇贝是什么意思
ed2k 超市
爱情爱情岛论坛线路播放1
CHINA中国对白刺激大豆
被困住的我们韩剧
最近HD免费韩国电影
精品无人区一线二线三线区别
美国xaxwaswasfilm
馋你了今晚想吃馒头
小东西看我敢不敢c你
我离婚后经常和父亲做
翁熄小莹(奇思妙想)第二篇
星空传媒妈妈和女儿闹元宵
爸爸说家里没人可以C
人与畜禽交互MOUSE
如何玩自己的R头到腿软
linode日本iphone奶
精品AV国产一区二区久久小说
坐在老师的棒棒上写作业
亚洲卡3卡4卡5卡乱码
电影潘金莲5集在线观看完整
30秒不间断踹息声音频下载
我们结婚了20131026中字
我生日妈妈用身体做生日礼物
帐篷里的秘密未裁剪哪里有
做错一题进去一次C
没带罩子让他吃了一天的药
后营露营第一季无增减
忘了戴胸罩被同学摸了一节课
声声奶酥1V办公室
灯草和尚txt下载
朋友把我玩成小喷泉了
你的太大了我装不下
疯狂主妇无删减版
美女护士献身取精
被主人用数据线打的作文
国产未成女YOUNV仙踪林
绳子打结陷缝里让对方走过去
在恩爱时发出嘤嘤的声音视频
69国产精华最好的产品
舌头一路向下探
夜里十八款禁用
吃饭时某处紧密连接在一起视频
老丈人的东西又弯又长怎么形容
反差婊吃瓜黑料合集万里长征
迈开腿让尝尝你的CH宝宝
刻晴被盗宝团捅的叫个不停
甘雨乳液狂飙图片黄XMAN
学长跳D放在我里面上课作文
妈妈的朋友6在观完整有限中字木瓜
家里没人儿子就弄我了什么意思
十8禁用B站在线看漫画软件
网站你懂我意思吧
雷电将军乳液vx网站
夜倾情 保姆的诱惑
打扑克一边痛一边叫一声正常吗
最强RAPPER女潮水仙踪林
白雪公主被树干哭的故事是
晚上弄哭自己隐私的100种方法
女生让男生随便诵自己的名字
女生奖励自己隐私越狠越安全好
小东西几天没做水这么多还说不要
春暖花开行吧有你cc
首长含着她的胸挺进柔软里
原神凝光肉身待客抬腿
一边亲着一面膜下的毛毛虫
男朋友问我要不要玩3个人的
136大但人文艺术
女班长给我看她小积积作文
银枪挑三娘一战到天亮精神抖擞兮
WRITE AS医生
桃花社区视频在线观看免费完整版
男人的大鸟有多长图
把她日出了水好紧太爽了
亚洲中文久久精品AV无码
有人有片视频吗免费的
大连护士门照片
和狗做被婆婆看到拉婆婆下水
爱如潮水社区在线观看免费
18款夜间禁用软件入口2023
动漫人物将机机插曲漫画免费视频大全
最好韩国日本免费
国精产品一二三四区产品
坐在根茎写作业
夜深了应该看的视频
波多野结衣作品封面
男女在一起愁愁愁视频素材
野花视频免费观看在线
大炕上各弄各的
蛇王不能两个一起会坏掉
年轻的朋友2线在完整视频
坤吧放到欧派上
插太深肚子凸起来了
母亲ちゃんとしようよっ翻译
麻豆精产国品一二三产区区农民
WRITE AS 自己掰
韩国乱码卡一卡二新区网站
男女上下摸高潮动态图
坐姿双马尾duangduangduang
500篇香艳短篇合
北北北砂王者天堂
4399看片在线看动漫
坤坤寒进桃子里
小黄说说1000字污车
XL樱花动漫未增删带翻译
歪歪漫画免费弹窗被爆出
c的你走不了路sb
啦啦啦视频在线观看免费高清5
日本卡一卡二卡乱码三
王者女英雄去掉所有服装不遮挡没有烟雾
整篇都是车的多肉
女生戴一天仙女棒是什么体验
状元的小公主1V1
精东影业JD011民国传奇演员
蜜芽忘忧草二区大豆行情网烧仙草
给个网站你懂得
把红酒倒入b里温酒
韩漫漫画登录页面免费漫画入口免下载
我朋友的老婆 电影
泰国淫乐园实录
你把腰抬起来一下不然我没法发动
我与儿子发生了不该发生的事
《桌球上的艳遇》韩国在线观看
亚洲欧洲一码二码区别在哪
再一次心跳第三集
抓着班主任的两只大兔子视频
茶杯狐CUPFOX官网浏览器
国内精品一卡二卡三卡公司
办公室欧美大尺寸SUV
永远的免费论坛
手从小腹一路开到丛林处
一家儿女4口人一起玩
善良的嫂子4中字巴巴鱼汤饭蘑菇
桶三十分钟全教程
欧洲VODAFONEWI
坤坤寒进桃子里
青梅竹马是消防员 无马
一见面就不停的要我
一二三四免费观看视频1
18款禁用软件APP花季传媒
孩子玩着玩着就进去了怎么回事
老婆出轨时接听老公电话
双清专线日本线日本道
整部剧都在真做的剧韩剧
数学课代表的那真紧视频
抱着娇妻让朋友一起弄
宝贝 我不想带小雨伞
14MAY18_XXXXXL56ENDIAN_MBA
日本XXXXXLmeDjyf
放轻松别太紧张我会很温柔
国产精华液一线二线三线区别在哪
my88816蜜芽入
soshow影城
课堂上时间暂停为所欲为
人文艺术视频是什么意思
终极强奸ii原始兽性
整篇都是车的百合
老阿姨哔哩哔哩b站肉片入口
哪里可以看奥运会比赛视频
黑人双人RAPPER怪物
美国14岁女rapper
舌头探洞感觉要喷了
世界X交大比赛女冠军
疯了一样要了她三天
把语文课代表干到走不动路
宝宝好久没C你了视频免费的
花季传媒免费网站入口
C死了啊哈宝宝腰好会扭C视频
女RAPPER节目
丰满肥女巨肥BWWBBWW
水蜜桃文化传媒
雷电将军八重神子被淦出水
147人托人艺术
暖暖直播免费观看韩国大全
漂亮妈妈3高清中字在线播放
夜里十大禁用软件APP
跳D放在里面走路什么感觉
迪丽热巴AI人脸替换造梦
宝贝我不想带小雨伞啦小说
无人区乱码卡一卡二卡三
俄罗斯ZOOM与人性ZOOM
接电话故意做加快速度故事
年轻的小峓子3韩国在钱
stevehopper办公室
单身男子俱乐部
乱码1234区2021
云缨用自己的枪X自己
你是我的女人4免费观看
china外卖小哥gary
班长是全班的玩具
八重神子开襟大欧派乳液SS
年轻的妈妈完整视频有翻译吗
恶女教师百度影音
跟女婿发生关的有吗
波多野结衣42部视频在线
捅了班主任一节课视频
一个晚上用了好几个小雨伞
九一传媒制片厂的制作水平
晴雅集 在线观看免费完整版
讲讲第一次吞J的感受知乎
顾氏双生子的玩具2V1
宝宝才两根手指就流了
学生的妈妈5中韩双字多
亚洲日本一线产区二线产区
看完让人下面有水的说说
亚洲一码二码区别在哪儿啊
真实多人运动故事叙述
三妻四妾完整版播放电影
rh男男车车好快的车车作文
太大了吧唧吧唧吧唧吧唧
WRITE AS 刑架
男女上下摸高潮动态图
福林儿初试云雨情
my pico 女装正太
涩涩屋绿巨人草莓榴莲秋葵
男车车好快的车车视频真人
果冻传媒免费观看4399
成绩差成为全班发泄用的玩具
小雪的13又嫩又紧又多水带图
中国vpswindows野外高清资源
才三根手指就嗨了
无颜之月我是看守专用宠物无修剪皮皮虾
父亲的东西又长又黑怎么形容他
国产欧美GARY
究惑肉车禁闭室
迈开腿让我吃你小草莓
JAPONENSIS18一9
聂小雨黑色皮衣5分37秒知乎
爸爸比老公大两倍妈妈该怎么教育
和亲戚发生过关系以后怎样相处
无人区码一码二码三码是
蜜桃成熟时3 qvod
任你爽任你鲁任在线视频
fulao2官方网站进入
迈开腿我可以尝尝你的小扇贝视频
课代表趴下开让我桶30分钟全集
男男GARY2023
鞠婧祎被吻照片
桃花韩国动漫免费官网
爆乳JUFD汗だく肉感
中字乱码一二三区别视频
公交车上的小黄说说阅读
在我们寝室当寄吧套子怎么样
yinseyinxiang
JING液收集系统开车的水獭
麻豆精产一二三产区
妈咪湿透的三角裤
甜蜜惩罚2樱花未增删版
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1