元象发布中国最大MoE开源大模型 落地应用登顶港台榜

---

元象xverse发布中国最大moe开源模型：xverse-moe-a36b，加速ai应用低成本部署，将国产开源提升至国际领先水平。该模型总参数255b，激活参数36b，达到100b模型性能的「跨级」跃升，同时训练时间减少30%，推理性能提升100%，使每token成本大幅下降。

元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

MoE（Mixture of Experts）是业界最前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，保持模型性能最大化。出于这个原因，行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4、马斯克旗下xAI公司的Grok等大模型都使用了MoE。

在多个权威评测中，元象MoE效果大幅超越多个同类模型，包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B以及3140亿参数的MoE开源模型Grok-1-A86B等。

免费下载大模型

Hugging Face：https://huggingface.co/xverse/XVERSE-MoE-A36B

魔搭：https://modelscope.cn/models/xverse/XVERSE-MoE-A36B

Github：https://github.com/xverse-ai/XVERSE-MoE-A36B

官网：chat.xverse.cn

落地应用好且省登顶港台娱乐应用榜

元象此次开源，不仅填补国内空白，也在商业应用上更进一步。

元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo，通过逼真的AI角色扮演和有趣的开放剧情，火遍港台，下载量在中国台湾和香港娱乐榜分别位列第一和第三。

MoE训练范式具有「更高性能、更低成本」优势，元象在通用预训练基础上，使用海量剧本数据「继续预训练」（Continue Pre-training），并与传统SFT（监督微调）或RLHF（基于人类反馈的强化学习）不同，采用了大规模语料知识注入，让模型既保持了强大的通用语言理解能力，又大幅提升「剧本」这一特定应用领域的表现。

高性能「开源标杆」

元象是国内领先的AI与3D公司，秉持「通用人工智能AGI」信仰，持续打造「高性能开源全家桶」，不仅填补国产开源空白，更将其推向了国际领先水平。

2025年11月，此前国内大部分开源参数多在7B到13B，而行业共识是模型达到50到60B参数门槛，大模型才能“智能涌现”，生态亟需“大”模型时，元象率先开源了XVERSE-65B，是当时中国最大参数开源。

2025年1月，元象又开源全球最长上下文窗口大模型，支持输入25万汉字，还附手把手训练教程，让大模型应用一举进入“长文本时代”。

此次国内最大参数MoE开源，又是给生态贡献了一个助推低成本AI应用利器。

引领文娱应用

借助在AI和3D领域的客户积累，元象也迅速将大模型推向商用。

2025年11月，元象成为全国最早一批、广东省前五获得《生成式人工智能服务管理暂行办法》国家备案的大模型，具备向全社会开放的产品能力。

而在更早的10月，元象与腾讯音乐联合推出lyraXVERSE加速大模型，并借助该技术全面升级音乐助手“AI小琴”的问答、聊天与创作能力，让她情商与智商双高，为用户提供个性化、更深入、陪伴感十足的音乐互动体验。

元象大模型陆续与QQ音乐、虎牙|直播|、全民K歌、腾讯云等深度合作与应用探索，为文化、娱乐、旅游、金融领域打造创新领先的用户体验。

MoE技术自研与创新

MoE是目前业界最前沿的模型框架，由于技术较新，国内开源模型或学术研究尚未普及。元象自研MoE的高效训练和推理框架，并持续推动技术创新。

Tunee AI

新一代AI音乐智能体

1104 查看详情

2025年4月推出的XVERSE-MoE-A4.2B中，元象推动MoE专家架构革新。与传统MoE（如Mixtral 8x7B）将每个专家大小等同于标准FFN不同，元象采用更细粒度的专家设计，每个专家大小仅为标准FFN的四分之一，提高了模型灵活性与性能；还将专家分为共享专家（Shared Expert）和非共享专家（Non-shared Expert）两类。共享专家在计算过程中始终保持激活状态，而非共享专家则根据需要选择性激活。这种设计有利于将通用知识压缩至共享专家参数中，减少非共享专家参数间的知识冗余。

此次推出XVERSE-MoE-A36B，继续在MoE效率和效果方面进行技术创新。

（1）效率方面

MoE架构与4D拓扑设计：MoE架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。为了解决这个问题，我们采用了4D拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。

专家路由与预丢弃策略：MoE的另一个特点是“专家路由机制”，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。为此团队设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。

通信与计算重叠：由于MoE架构的专家之间需要大量通信，会影响整体计算效率。为此团队设计了“多维度的通信与计算重叠”机制，即在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。

（2）效果方面

专家权重：MoE中的专家总数为N，每个token会选择topK个专家参与后续的计算，由于专家容量的限制，每个token实际选择到的专家数为M，M

实验1：权重在topM范围内归一化

实验2：权重在topK范围内归一化

实验3：权重在topN范围内归一化

实验4：权重都为1

对比实验结果

举例说明，假设N=8，K=4，M=3（2号专家上token被丢弃），不同专家权重的计算方式所得的权重如下图：

数据动态切换：元象以往开源的模型，往往在训练前就锁定了训练数据集，并在整个训练过程中保持不变。这种做法虽然简单，但会受制于初始数据的质量和覆盖面。此次MoE模型的训练借鉴了"课程学习"理念，在训练过程中实现了动态数据切换，在不同阶段多次引入新处理的高质量数据，并动态调整数据采样比例。

这让模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时通过调整采样比例，也有助于平衡不同数据源对模型性能的影响。

不同数据版本的效果曲线图

学习率调度策略（LR Scheduler）：在训练过程中动态切换数据集，虽有助于持续引入新知识，但也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进数据，团队对学习率调度器进行了优化调整，在每次数据切换时会根据模型收敛状态，相应调整学习率。实验表明，这一策略有效提升了模型在数据切换后的学习速度和整体训练效果。

下图是整个训练过程中MMLU、HumanEval两个评测数据集的效果曲线图。

训练过程中MMLU、HumanEval的性能曲线持续拔高

通过设计与优化，元象MoE模型与其Dense模型XVERSE-65B-2相比，训练时间减少30%、推理性能提升100%，模型效果更佳。PHP中文网(公众号：PHP中文网)PHP中文网

以上就是元象发布中国最大MoE开源大模型 落地应用登顶港台榜的详细内容，更多请关注其它相关文章！

# 谷歌  # git  # 中国最大  # 开源  # grok  # hugging face  # gemini  # 腾讯云  # ai  # qq  # iphone  # 什么网站推广服务比较好  # 郑州网站建设与推广公司  # 酒泉抖音营销推广公司  # 电影下载站seo  # 淮南网站建设哪家靠谱  # 三亚seo快照  # 视频网站影视推广赚钱吗  # 网站优化和推广价格  # 广州企业网站推广策划  # 莱阳品牌网站营销推广  # 国内  # 这一  # 高性能  # 中文网  # 腾讯  # 多个  # 过程中  # 港台 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 探索人工智能在居家养老方面的应用  上海发布大模型政策 打造AI“模”都  读创正式上线“读创AI聊”功能  Hugging Face发布了基于NASA卫星数据构建的AI地理空间基础模型  硅谷人工智能研究院创始人皮埃罗·斯加鲁菲：Transformer模型演讲  争鸣：OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同？  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  人工智能驱动艺术，打开达利的超现实想象  AI进军债券交易，BondGPT来了！  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  数据科学，解码智能未来——Altair首次提出“Frictionless AI”概念  Ai智能机器人，chat-免注册登入，直接使用新版gpt4.0！  AI技术加速迭代：周鸿祎视角下的大模型战略  世界人工智能大会上，科大讯飞宣布与华为联手  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  有远见！华为四年前注册商标Vision Pro：苹果AR国内要改名  音乐制作元工具AudioCraft发布开源AI工具  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  美图设计室2.0什么时候上线  当TS遇上AI，会发生什么？  鸿蒙生态带来了哪些新的流量可能性，包括AI、服务分发和原生智能等方面？  AI技术改变*，新骗局来袭，*成功率接近100%  明略科技发布免费开源TensorBoard.cpp，促进大型模型的预训练工作  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光  甲骨文与Cohere合作为企业提供生成式人工智能服务  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  中美陷入囚徒困境，人工智能变得不可控？可参考核不扩散条约规范  人工智能驱动智能建筑会是未来趋势吗？  字节、网易相继入局，AI之后大厂又找到下一个风口？  无需照相馆，AI证件照生成软件即将推出  生成式人工智能进入产业应用！但再“聪明”仍是工具，最终目的是服务于人  加强高质量数据供应能力，促进通用人工智能大模型领域的创新  智能手机应用中的人工智能的重要性  大疆 DJI Mini 4 Pro 无人机曝光：流线设计，有望迎来功能性提升  人工智能产业竞跑“未来赛道” 创新发展放大“赋能”效应  30+大模型齐聚，大模型成世界人工智能大会“顶流”  特斯拉门店可能启动机器人卖车？也许不是你想的那样  马斯克WAIC2025演讲全文：AI将对人类文明产生深远影响  李开复：未来几年，人工智能会革了所有人的命，除非你这么做  深剖Apple Vision Pro中暗藏的“AI”  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  微盟宣布联合腾讯云共建行业大模型：加快激活AI大模型智能应用  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  消息称 Meta Quest 将推 VR 游戏订阅：每月 7.99 美元，任选两款  ​《流浪地球2》里机器人公司的创始人：未来10年，机器人的崛起！  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  学生作文评分的新趋势：教师与AI的合作模式  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  生活垃圾智能分类机器人社区展“才能”，征求居民意见 

 2025-01-08