有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女生暑假自辱下面30天计划
国精品产品推荐
顶得你的水流得到处都是甜甜
精美日产MV二线三线是什么
布洛妮娅翻白眼乳液狂飙
一个家庭的一天(加强版)
女大学生怪奇俱乐部
毛1卡2卡3卡4卡免费
每下一步楼梯都要撞一次
迈开腿让尝尝你森林视频
女人被老外躁得好爽
污到爆的巨细文
国产DB624色谱柱36521
飘雪日本免费观看西瓜视频
麻花传媒md0沈芯语
他像疯了一样占有了她
变成黑皮肤和朋友做了02
家里没人就让你弄一下
帝王夹玉器上早朝
夹心饼干1V2H
草莓榴莲向日葵18岁站长统计
张警官和吕总视频
云缨救公孙离黄画
输了让同学玩全部位置的作文800字
B是不是越大越好
史莱姆ドラえもんの胡桃免费
上边一面亲下边一面膜的作用
天美传媒作品集
性工作者十日谈粤语
亚洲码一码二码三码区别
电车之狼r视频
亚洲尺码跟欧洲尺码的区别
抑制剂的副作用by栖鹤
爸爸单身多年想要可以给他吗
想吃你身上两个的樱桃
好诱人的搜子未删减在线观看
怎么用一根棉签弄自己
原神甘雨被史莱姆注入sky
女人迈开腿男人要吃草莓
双方同时高C是种什么体验
坐在父亲紫色大龙上写作业
年轻的母亲在完整的有限公司
三个人一起C你的感受
外出佩戴小玩具的感受
四虎 .4HU .影院
老湿机一分钟免费观看
把英语课代表按在地上C了一节课
おじさんとわたし中文在线
坐在学长鸡上面写作文作业
井川里予33秒黑料正能量视频原视频出处
狗狗进到里面变大了
试过黑人之后再也回不去了
学长的手指在里面转动的写作业呢
videosdesexeen英国
八重神子被焯出白水怎么办
亚美只只百度云
国产老狼一卡2卡3卡4卡隐藏版
19岁macbookpro免费
AIRMAX97杂交
差差差很疼视频30无掩盖
输了让对方随便处置隐私一个月
野花视频官网手机免费观看
MD豆传媒一二三区进站口在线
我一边做饭一边被躁了动漫
5G天天运动天天奭运动入口
优质rb灌溉jy系统
插曲视频30分钟完整不用下载
把她日出了水好紧太爽了
小S货又想挨C了叫大声点小
葡萄不能夹烂了也不能掉出来
快要高c的时候却突然停了下来
麻豆产精品一二三产区区
吃警察爸爸的擎天柱视频
五个黑人玩一个女5P
巴西女人与禽2O2O性论交
詹妮弗的肉体下载
宝宝好涨水快流出来了说说
一男一女打扑克
最新浮力影院地扯公布
免费夜里18款禁用软粉色
搞机TIME恶心直接打开的网页不用下载
白妇少洁高义全文阅读
俄罗斯videodese12
日韩乱码卡1卡2卡三卡四卡
奖励自己的隐私位置是什么
大巴车轮C系列
老公的好大我都握不住了的说说
成熟交BGMBGMBGM中国
5g在线视讯年龄确认18岁
王者荣耀曜把西施顶哭了
边做边爱3完整版视频
亲胸揉摸下面刺激视频
宝宝才两根手指就流了
赵露思乳液凸出来了
BGMBGM老太太毛
上楼梯时故意一点一点
迈开腿让学长尝尝你的草莓是
全是肉的糙汉文现言推荐
韩国娱乐圈事件
杨幂ai智能人脸替换脸蓝鲸
甘雨从尿道口挤出白色脓图片
整篇都是车的百合
haulotte官网
和教练在车里撞了我三次怎么办啊
to love第二季
妈妈的朋友8完整视频有翻译木瓜
15岁macbookpro日本
95W乳液78WYW永久区域
刺激打扑克摇床又疼又叫
公天天吃我奶躁我的比视频
老卫和淑容全本
空庭寂寞春欲晚
可以触碰你的深处吗 樱花
雷电将军被史莱姆注入小视频
最近免费中文字幕完整版HD
班级的公共玩具小O
用...用点力快要到了
星空无限传媒国产剧情游戏
夭天曰天天躁天
小莹与翁回乡下欢爱姿势
妈妈说只要爸爸不在家她就是我的
不对劲的监考老师像素游戏
我今天接了一个三十CM长的
手从小腹一路开到丛林处古代
被黑人伦流澡到高潮HNP动漫
仙踪林老狼 - 八零婚纱摄影工作室
舌头往下舔到一个硬硬的包疼
总裁尺寸大的进不去
处处吻全程拉丝舌头
四根一起会坏掉的厉害的视频
宝贝儿 我想听你叫的声音
情侣的30种插秧法图片
小东西我们两个C你视频
国产免费毛不卡片
日产2021免费一二三四
别出声不然就被发现了
2012日本高清免费中文
JAVAPARSERHD夫妻
小娇乳H边走边欢1V1视频国产
我老公告诉我想睡我妈
帮你女儿疏通下水道
LINODEIPHONE欧美拉屎放屁
开车视频疼痛有声音水水水
国产无人区一码二码三码区别
男女XX00上下抽搐动态图
免费网站你知道我的意思的
老师太粗不行坐不下去痛
大孔雀和美丽姐
国色天香精品卡2卡3卡4
黑料社TTTZZZ入口2023
XFB3.XYF幸福宝导航
taiyangdehouyi
无翼乌全彩漫画和
他低吼一声进入
无人区码卡二卡乱码字幕
私人情侣网站中文
让我们俩一起轮你好不好视频
晚上必看的正能量视频入口
厨房春潮唐小米
回娘家父亲求我给他一次
TOBU在线观看免费直播
女人不怕短粗就怕带钩这个钩是指
姬小满去掉布料
放里面睡觉是一种怎样
一个人看BD高清在线观看
laojiumen
我的好妈妈8中字播放
两阳夹一阴涨停双响炮形态
抖音故意走漏视频7028集百度云
三个人我是怎么C你的
没带罩子让他c了一节课作文韩剧
厨房里的激战2类型
爱如潮水图片高清日本
PRUBURB国内官网入口
女人永远是对的
王者荣耀曜把西施顶哭了
肚子装不下了尿液好烫HN黄
电动牙刷自w高c特别快
猫咪最新地域网名3336
公交车里抓着摇曳的手环诗情
外国情侣插秧方法
打扑克直播软件app开发
黑人双人RAPPER美国大豆
女星被大佬哄去多人运动爆料
妈妈刚开始拒绝后来配合孩子
97制片厂传媒潘甜甜
DH-NVR4116HS-HD
为什么女生一被上就老实呢
没有罩子的瑜伽老师叫什么
国语对白露脸XXXXXX
CHINA篮球体育飞机推特
麻花豆传媒剧国产免费MV入口
在英语课上用鸡插英语课代表视频
车文超细过程长图片
犯错把筷子放屁眼里不能掉的作文
男孩花1元买到金戒指
最美情侣在线播放
gtv全球最好g平台推广链接最新
妈妈的朋友10在观完整有限中
弱点73话我也要一起洗免费
欧美无人区码卡二三卡四卡
2023男男钙GGY钙站
全程车的百合推荐短篇
被体育老师c了一节林妙妙视频
林静公交车被做到高C的原因
差差差很疼30分钟的动漫
抖音奶片故意走漏
把腿张大点我就可以吃到扇贝了
成都4片P视频免费完整版
公交车两人双指探洞湘潭天气网
在县城开零食店春节能卖200万
我生日妈妈用身体做生日礼物
不想疼就把腿分到最大到再打
能让我流水水的一千字
白雪公主被树干哭的故事简介
抽的时候为什么越快声音越大
女孩子如何变成喷泉
国内精品乱码卡一卡2卡三卡新区
LINODE熟IPHONE69
失乐园渡边淳一
金刚杵汆肉莲的介绍
宝宝几天没做都湿成这样
B痒了多久没C了
床戏哔哩哔哩大尺
扑克牌又疼又叫的什么含义
成品网站W灬源码16
歪歪漫画登录页面免费漫画破网页
99精品和95优品
3个人玩3Q感详细经过
水蜜桃文化传媒www
IPX 528
人畜禽CORPORATION最新版本
2023年免费进入B站
差差漫画登录页面秋蝉免费
塞跳D不能掉出来上学作文
把毛笔放到洞里写字不准掉HL
すん止め亀头ふたいと的含义
亚洲一卡一卡二新区迎热烈讨论
姬骑士征服战争
好满射太多了装不下了A
墨燃把楚晚宁按着干188章
老旺的大肉蟒进进出出视频
939W乳液78W78WY3
maya成人论坛
一边伸舌头一边快速喘气图片
娇娃荡女K8经典
把筷子放屁眼里不能掉的作文
幻音 腐 肉补钙
不知火舞被辱记
夹看学长的巨大的鸡把写作业
太慢了能不能快一点
小柔在舞蹈室里被蹂躏
比赛输了任对方看和玩部位一个月
年轻的母亲2在线线观中文免费观看
一女多男nP现代高H
仙踪林19岁女RAPPER一百信息
免费体验120秒视频
夜里18款禁用图片
坐在吃饭连在巨大一起文
姐弟俩拔萝卜又疼又叫高新
抱着宝宝坐下太猛
下雨天留客天天留我不留
日产无人区一线二线三线最新版
爸爸妈妈为什么夜里摇床还叫
穿越到随处做X的世界
诱人的女邻居BD在线观看
999re5这里只有精品w
宝贝你的奶头好紧好大
公主葡萄不能夹烂也不能掉出来
叔叔帮我看看是不是有虫子咬我
野花视频韩国免费观看
学长们一个一个来C
日本动漫人物打扑克
writeas
CHINAGARY篮球体育飞机
一个上面吃一个面吸
大将军1V2LH
tobu8在线观看中国
幸福宝8008隐藏入口2023
香肠和扇贝插在一起是什么
欧洲VODAFONEWIFI巨大特
年轻的母亲在完整的有限公司
晚上玩哭自己隐私的100种方法
高树玛利亚作品
大尺度穿床震视频韩国
彩虹男.2022小蓝大叔
40部AI明星造梦
你看你的水喷得到处都是若若
妈妈刚开始拒绝后来配合
女性想被XR是什么意思
半妖乳娘百度影音
小东西才几天没做水这么多
大男当婚蔡微澜
我邻居的老婆2 电影
自W到高C的25种方法视频教程
申鹤被淦出不明液体XMAN
二人生孩子全程不盖被子视频
第一会所s001论坛
最近日本字幕MV高清在线电影
上边一面亲下边一面膜的注意事项
VODAFONEWIFI巨大
国产卡一卡二卡3卡四卡精品
人驴交f ee欧美
王阿姨IPHONE13
领导每天都要喝我的奶
老师拉我去办公室做了一节课文
川上奈美夫の上司に犯 在线观看
他们一前一后的有力的攻击我
24小时日本韩国免费看
夏季短袖看见女同学乳突照片
自我安抚的步骤
美国xaxwaswasfilm
把英语课代表做哭了视频
花魁抚子花魁1号
400aicom情艺中心
学长上课吃我的小兔兔作文
无节操摄影部1
体育院校大猛攻视频
不让我断奶他每天下班要吃
B站大全不收费
太阳能光伏论坛
公交车后车座的疯狂的做小视频
乖我们在水里试一试
终极强奸ii原始兽性
姐姐说家里没人我们就亲亲
青年大学第十一季第二
麻豆京东水蜜桃果冻传媒
不再是朋友的夜晚樱花网
成都4片p视频
日韩精品一卡2卡3卡4卡乱码
刺客伍六七第二季观看
精产国品一二三产区区别9977
早就想在公园要你了
王者荣耀小乔喷了的表情
不让我断奶他每天下班要吃
张书记不戴套干雨婷
S货C货大声点叫
人与畜禽CORPORATION
最近韩国免费观看HD
英语老师没戴套让我C了一节课文
羞羞漫画官方页面免费漫画入口在线阅读秋蝉
大菠萝导航福建app
老卫干淑荣完整版
黑料不打烊TTTZZZ肾虚十八连
宋慧乔爆肛门是怎么回事
父亲的东西比老公的好用
精产国品一二三产品区别在哪
他像疯了一样占有了她退出
丰年轻的继拇中文3的特色和机能
年轻的母亲最初中字7巴巴鱼汤饭
校园春色武侠古典系列
国精产品69永久中国有限
免费网站在线观看人数在哪里
三十分钟让你桶
AI换脸JENNIE向上射水
坐在爸爸的JI巴做作业
公与妇仑乱HD
王者荣耀孙尚香帮黄忠雄起
日本动漫人物打扑克
公交车两个人一前一后
友善的好邻居2
亚洲一线产区和二线产区的
热心的朝阳群众51cgfun
日本REPRODUCTION OF FOUND
吴梦梦到粉丝家里洗澡在线
WRITE AS 黄瓜
淑芬两腿中间痒的厉害
亚洲精华国产精华液有什么福利
爸爸妈妈为什么夜里摇床还叫
试过黑人之后再也回不去了
精产国品一二三产区区别9977
山东猛1体育生打桩机1S
日本卡二卡三乱码新区
怎么把自己变成喷泉夹枕头
18学士2大将军
两阳夹一阴涨停双响炮形态
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1