GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

7 月 13 日消息，外媒 Semianalysis 近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了揭秘，其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型（Mixture of Experts）等具体的参数和信息。

▲ 图源 Semianalysis

外媒表示，GPT-4 在 120 层中总共包含了 1.8 万亿参数，而 GPT-3 只有约 1750 亿个参数。而为了保持合理的成本，OpenAI 采用混合专家模型来进行构建。

IT之家注：混合专家模型（Mixture of Experts）是一种神经网络，该系统根据数据进行分离训练多个模型，在各模型输出后，系统将这些模型整合输出为一个单独的任务。

▲ 图源 Semianalysis

据悉，GPT-4 使用了 16 个混合专家模型 (mixture of experts)，每个有 1110 亿个参数，每次前向传递路由经过两个专家模型。

此外，它有 550 亿个共享注意力参数，使用了包含 13 万亿 tokens 的数据集训练，tokens 不是唯一的，根据迭代次数计算为更多的 tokens。

GPT-4 预训练阶段的上下文长度为 8k，32k 版本是对 8k 微调的结果，训练成本相当高，外媒表示，8x H100 也无法以每秒 33.33 个 Token 的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以 H100 物理机每小时 1 美元计算，那么一次的训练成本就高达 6300 万美元（约 4.51 亿元人民币）。

对此，OpenAI 选择使用云端的 A100 GPU 训练模型，将最终训练成本降至 2150 万美元（约 1.54 亿元人民币）左右，用稍微更长的时间，降低了训练成本。

以上就是GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型的详细内容，更多请关注其它相关文章！

# GPT-4  # 之家  # 三明市网站优化推广  # 建设班级网站  # 在线教学中的网站建设  # 晨星计划营销推广  # 盖州网站优化快照  # 营销推广营业执照图片  # seo制作站群  # 长治网站建设收费多少  # 东营网站建设课程报告  # 南平网站如何优化  # 多个  # 是一种  # 使用了  # 怎么处理  # 重庆  # 自定义  # 亿元  # 老照片  # 自己的  # OpenAI 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 美图公司吴欣鸿：AI技术重构影像产业  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  参议院司法听证会：AI 不易管控，有可能被恶意分子利用来研发生化武器  OpenAI 静默关闭 AI 文本检测工具，准确率仅为 26%  “长沙造”无人机，领先的不止植保  组建团队，字节跳动要造机器人？  OpenAI 向所有付费 API 用户开放 GPT-4  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  马斯克发推讽刺人工智能：机器学习的本质就是统计  学而思网校推出首个基于自研大模型的《人工智能第一课》  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  小米9号员工李明宣布创业：打造首款安卓桌面机器人  灯塔AI大模型票房预测上线：开源算法不断提升精准度  特斯拉门店可能启动机器人卖车？也许不是你想的那样  苹果AR头显商标与华为撞车，在中国或改名  阿里达摩院发布免费开放100项AI专利许可的动机是什么？  高通发布长期产品计划，为工业和企业物联网产品提供全新组合方案  插画师对AI绘画软件的态度是怎样的？  一家 380 亿美元的数据巨头，要掀起企业「AI 化」革命  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  应对算力挑战，亚马逊云科技发力AI基础设施建设  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  《上古卷轴5》AI高清材质包优化游戏中所有怪物  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  Nature封面：量子计算机离实际应用还有两年  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  为AI而服务设计：构建以人为本的AI创新方法  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  “痴迷”元宇宙，魔珐科技想做什么？  PHP和OpenCV库：如何实现人脸识别  报道称亚马逊正在测试AI生成产品评价摘要  GPT-4不能在麻省理工学院获得计算机科学学位  DeepMind用AI重写排序算法；将33B大模型塞进单个消费级GPU  成功孵化首个大型模型解决方案的重庆人工智能创新中心  五款 AI 网站构建器，任何人都能快速构建网站  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  丰田汽车研究院推出生成式人工智能汽车设计工具  万魔推出AI主攻的运动耳机，开启十年研发新纪元  Meta将VR头显最低年龄限制从13岁降至10岁  下一个前沿：量子机器学习和人工智能的未来  抢占新赛道 加快机器人产业集聚发展  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  苹果AI战略与微软谷歌大相径庭，到底是领先还是落后？  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  马斯克的幽默“现实”：AR眼镜与20美元“增强现实”哪个真实？  东软成立魔形科技研究院，积极布局大语言模型系统工程战略，迎接AI时代  衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光 

 2023-07-16