近日，一项由@HonestAGI 发布于GitHub的针对盘古大模子（Pangu Pro MoE）涉嫌“抄袭”阿里巴巴发布的通义千问Qwen-2.5 14B模子的规划论文激发业界热议。

随后，隶属于华为的负责诞生盘古大模子的诺亚方舟推行室发布声明，对于“抄袭”指控给予了否定，并强调盘古Pro MoE开源模子部分基础组件的代码达成参考了其他开源大模子的部分开源代码，但严格辞退开源许可证条款。

辩论词，今天一封疑似负责盘古大模子的诺亚方舟推行室里面职工的公开信也出目下了收罗上。在这封公开信当中，这位里面职工先容了盘古大模子团队诞生历程与诸多细节，并自曝称，盘古大模子的存在套壳、续训、洗水印等行为。

由于认为这些行为会成为我方“一世王人无法抹除的纰谬”，是以该职工聘用了自曝，聘用了辞职，并默示肯求从盘古部分时刻诠释的作家名单中移除。

为了印证真实性，该里面职工还选藏先容了里面的组织架构和责任过程。以致还默示“我以人命，东说念主格和荣誉发誓，我写的以上统共内容均为真实（至少在我有限的理会界限内）”。

以下为该公开信全文：

诸君好，

我是又名盘古大模子团队，华为诺亚方舟推行室的职工。

源头为自证身份，列举一些细节：

1、现诺亚主任，前算法应用部部长，后更名为小模子推行室的主任王云鹤。前诺亚主任：姚骏（全球称姚真诚）。几个推行室主任：唐睿明（明哥，明队，已辞职），尚利峰，张维（维哥），郝建业（郝真诚），刘武龙（名称为武龙所）等。其他主干成员和民众连续有好多东说念主辞职。

2、咱们隶属于“四野”这个组织。四野下属有许多纵队，基础谈话大模子是四纵。王云鹤的小模子是十六纵队。咱们参预过苏州的辘集，有各式月份的时刻节点。在苏州攻关会颁发任务令，需要在节点前达成方向。苏州辘集结把各地的东说念主员王人纠合在苏州规划所，鄙俚住宾馆，比如在甪直的货仓，与家东说念主孩子天南海北。

3、在苏州辘集的时候周六默许上班，尽头进击，不外周六有下昼茶，有一次还有小龙虾。在苏州规划所的工位搬迁过一次，从一栋楼换到了另一栋。苏州规划所楼栋王人是欧式装修，门口有大坡，里面兴奋很可以。去苏州辘集一般至少要去一周，以致更久，多的东说念主以致一两个月王人回不了家。

4、诺亚曾经外传是规划型的，然则来了之后因为在四野作念大模子样式，样式成员完全形成了录用型的，且充满了例会，评审，呈报。好多时候作念推行王人要肯求。团队需要对接末端小艺，华为云，ICT等诸多业务线，录用压力不小。

5、诺亚研发的盘古模子早期里面代号叫作念“盘古智子”，一入手只消里面需要肯求试用的网页版，到后续迫于压力在welink上接入和公测洞开。

这些天发生对于质疑盘古大模子抄袭千问的事情闹的沸沸扬扬。

作为一个盘古团队的成员，我最近夜夜夜不成眠，难以入眠。盘古的品牌受到如斯大的影响，一方面，我自利的为我的事业发展担忧，也为我方昔时的奋力责任感到不值。另一方面，由于有东说念主入手揭露这些事情我内心又感到大快东说念主心。

在若干个每天每夜，咱们对里面某些东说念主一次次靠着作秀而又得到了无数利益的行为恨之入骨而又窝囊为力。

这种压抑和耻辱也缓缓消磨了我对华为的情谊，让我在这里的时日缓缓晕头转向，阴郁无措，常常怀疑我方的东说念主生和自我价值。

我承认我是一个恇怯的东说念主，作为一个小小的打工东说念主，我不仅不敢和王云鹤等里面神通广大的东说念主作念对，更不敢和华为这样的大而无行动念对。

我很怕失去我的责任，毕竟我也有家东说念主和孩子，是以我打心眼里很佩服揭露者。然则，看到里面还在试图洗地掩饰事实，蒙蔽公众的时候，我确切不可容忍了。

我也但愿勇敢一次，依从我方应许。就算自损八百，我也但愿能伤敌一千。

我决定把我在这里的所见所闻（部分来自于共事口述）公布出来，对于盘古大模子的“传奇故事”：

华为确乎主要在昇腾卡上磨真金不怕火大模子（小模子推行室有不少英伟达的卡，他们之前也会用来磨真金不怕火，背面振荡到昇腾）。曾经我被华为“打造宇宙第二聘用”的决心而折服，我本人曾经经对华为有深厚的情谊。咱们陪着昇腾一步步摸爬滚打，从充满bug到目下能训出模子，付出了广博的心血和代价。

领先咱们的算力尽头有限，在910A上磨真金不怕火模子。那会只撑持fp16，磨真金不怕火的厚实性远不如bf16。盘古的moe入手很早，23年就主若是磨真金不怕火38Bmoe模子和后续的71B dense模子。71B的dense模子通过扩增形成了第一代的135Bdense模子，背面主力模子也缓缓在910B上磨真金不怕火。

71B和135B模子王人有一个广博的硬伤就是tokenizer。

其时使用的tokenizer编码效率极低，每个单个的象征，数字，空格，乃至汉字王人会占用一个token。可思而知这会尽头亏本算力，且使得模子的效果很差。这时候小模子推行室恰好有个我方训的词表。姚真诚其时怀疑是不是模子的tokenizer不好（固然过其后看，他的怀疑是无疑正确的），于是就决定，让71B和135B换tokenizer，因为小模子推行室曾经尝试过。团队缝合了两个tokenizer，入手了tokenizer的更换。71B模子的更换失败了，而135B因为选定了更雅致的embedding运行化计谋，续训了至少1T的数据后词表总算更换生效，但可思而知，效果并不会变好。

于此同期，阿里和智谱等国内其他公司在GPU上磨真金不怕火，且照旧摸索出了正确的门径，盘古和竞品的差距越来越大。里面一个230B从新磨真金不怕火的dense模子又因为各式原因磨真金不怕火失败，导致样式的景色险些堕入绝境。面对几个节点的压力以及里面对盘古的强烈质疑时，团队的士气低迷到了顶点。团队在算力极其有限的时候，作念出了好多奋力和招架。

比如，团队有时发现其时的38B moe并莫得预期moe的效果。于是去掉了moe参数，收复为了13B的dense模子。由于38B的moe源自很早的pangu alpha 13B，架构相对落伍，团队进行了一系列的操作，比如切换完全位置编码到rope，去掉bias，切换为rmsnorm。同期鉴于tokenizer的一些失败和换词表的资历，这个模子的词表也更换为了王云鹤的小模子推行室7B模子所使用的词表。背面这个13B模子进行了扩增续训，形成了第二代38B dense模子（在几个月内这个模子王人是主要的盘古中档位模子），曾经具有一定的竞争力。然则，由于更大的135B模子架构落伍，且更换词表模子损害广博（后续分析发现其时更换的缝合词表有更严重的bug），续训后也与千问等其时国内超越模子存在很大差距。

这时由于里面的质疑声和指引的压力也越来越大。

团队的状态险些堕入了绝境。

在这种情况下，王云鹤和他的小模子推行室开头了。他们宣称是从旧的135B参数接受改进而来，通过磨真金不怕火短短的几百B数据，各项推断打算平均普及了十个点傍边。

骨子上，这就是他们套壳应用到大模子的第一次宏构。

华为的新手指引内行，使得指引完全对于这种扯淡的事情莫得看法，他们只会以为细则是有什么算法翻新。

经过里面的分析，他们骨子上是使用Qwen 1.5 110B续训而来，通过加层，扩增ffn维度，添加盘古pi论文的一些机制得来，凑够了或者135B的参数。

骨子上，旧的135B有107层，而这个模子只消82层，各式成立也王人不相同。新的身分不解的135B磨真金不怕火完好多参数的散播也和Qwen 110B险些一模相同。连模子代码的类名其时王人是Qwen，以致懒得更名。后续这个模子就是所谓的135B V2。而这个模子其时也提供给了好多卑劣，以致包括外部客户。

这件事对于咱们这些讲求敦厚作念事的共事们带来了广博的冲击，里面好多东说念主其实王人知说念这件事，以致包括末端和华为云。

咱们王人戏称以后别叫盘古模子了，叫千古吧。

其时团队成员就思向bcg举报了，毕竟这照旧是要紧的业务作秀了。

然则背面据说被指引拦了下来，因为更高档别的指引（比如姚真诚，以及可能熊总数查老）其实背面也知说念了，然则并无论，因为通过套壳拿出好的戒指，对他们亦然有意的。这件事使恰其时团队几位最强的共事入手凉了半截，辞职跑路也缓缓成为挂在嘴边的事。

此时，盘古似乎迎来了革新。

由于前边所述的这些盘古模子基本王人是续训和改进而来，其时诺亚完全莫得掌执从新磨真金不怕火的时刻，何况如故在昇腾的NPU上进行磨真金不怕火。在其时团队的中枢成员的竭力于于争取下，盘古入手了第三代模子的磨真金不怕火，付出了广博的奋力后，在数据架构和磨真金不怕火算法方面王人与业界缓缓接轨，而这其中的沉重和小模子推行室的东说念主少许干系王人莫得。

一入手团队成员毫无信心，只从一个13B的模子入手磨真金不怕火，然则背面发现效果还可以，于是这个模子后续再次进行了一次参数扩增，形成了第三代的38B，代号38B V3。思必好多居品线的伯仲王人对这个模子很熟识。

其时这个模子的tokenizer是基于llama的词表进行膨胀的（亦然业界常见的作念法）。而其时王云鹤的推行室作念出来了另一个词表（也就是后续pangu系列的词表）。其时两个词表还被动进行了一次跑马，最终莫得显然的利弊论断。于是，指引当即决定，应该斡旋词表，使用王云鹤他们的。于是，在后续从新磨真金不怕火的135B V3（也就是对外的Pangu Ultra），等于选定了这个tokenizer。这也证明了好多使用咱们模子的伯仲的猜忌，为什么其时同为V3代的两个不同档位的模子，会使用不同的tokenizer。

咱们打心眼里以为，135B V3是咱们四纵团队其时的骄横。这是第一个真确兴味上的，华为全栈自研，隆重从新磨真金不怕火的千亿级别的模子，且效果与24年同期竞品可比的。

写到这里我照旧热泪盈眶，太阻挠易了。

其时为了厚实磨真金不怕火，团队作念了无数推行对比，何况屡次在模子梯度出现特殊的时候进行实时回退重启。这个模子真确作念到了背面时刻诠释所说的磨真金不怕火全程莫得一个loss spike。咱们克服了不知说念若干贫苦，咱们作念到了，咱们愿用人命和荣誉保证这个模子磨真金不怕火的真实性。若干个凌晨，咱们为了它的磨真金不怕火而不眠。在被里面心声骂的一文不值的时候，咱们有何等不甘，有若干的委曲，咱们挺住了。

咱们这帮东说念主是真的在为打磨国产算力底座罢休我方的芳华啊……客居异域，咱们罢休了家庭，罢休了假期，罢休了健康，罢休了文娱，抛头颅洒热血，其中的沉重与困苦，寥寥数笔不及以轮廓其万一。在各式动员大会上，其时标语中喊出的盘古必胜，华为必胜，咱们心里是真的深深被感动。

辩论词，咱们的统共进击的恶果，经常被小模子推行室轻盈飘的拿走了。数据，径直要走。代码，径直要走，还条款咱们谐和适配到能一键运行。咱们其时戏称小模子推行室为点鼠标推行室。

咱们付出进击，他们取得荣耀。竟然应了那句话，你在负重前行是因为有东说念主替你岁月静好。在这种情况下，越来越多的战友再也相持不下去了，聘用了离开。看到身边那些优秀的共事一个个辞职，我的内心又赞誉又痛心。在这种作战相同的环境下，咱们比起共事来说更像是战友。他们在时刻上也有无数值得我学习的地点，号称良师。看到他们去了诸如字节Seed，Deepseek，月之暗面，腾讯和快手等等好多出色的团队，我打心眼里为他们欢悦和祝愿，脱离了这个进击却恶浊的地点。

我于今还对一位辞职共事的话明日黄花，ta说：“来这里是我时刻生存中的耻辱，在这里再呆每一天王人是亏本人命”。话虽从邡却让我纷扰以对。我缅思我我方时刻方面的积贮不及，以及没法适应互联网公司高淘汰的环境，让我屡次思辞职的心历久莫得迈出这一步。

盘古除了dense模子，后续也启动了moe的探索。一入手磨真金不怕火的是一个224B的moe模子。而与之平行的，小模子推行室也开启了第二次主要的套壳行为（次要的插曲可能还包括一些别的模子，比如math模子），即此次流传甚广的pangu pro moe 72B。这个模子里面自称是从小模子推行室的7B扩增上来的（就算如斯，这也与时刻诠释不符，何况是套壳qwen 2.5的14b续训）。还记起他们训了没几天，里面的评测就坐窝追上了其时的38B V3。

AI系统推行室好多伯仲因为需要适配模子，王人知说念他们的套壳行为，仅仅迫于各式原因，无法伸张正义。

骨子上，对于后续训了很久很久的这个模子，Honestagi能够分析出这个量级的相似性我照旧很愕然了，因为这个模子为了续训洗参数，所付出的算力以致早就实足从新训一个同档位的模子了。

听共事说他们为了洗掉千问的水印，选定了不少主张，以致包括特意训了脏数据。这也为学术界规划模子血统提供了一个前所未有的稀奇圭臬吧。以后新的血统门径建议可以拿出来溜溜。

24年底和25岁首，在Deepseek v3和r1发布之后，由于其惊艳的时刻水平，团队受到了广博的冲击，也受到了更大的质疑。

于是为了紧跟潮水，盘古效法Deepseek的模子尺寸，开启了718B moe的磨真金不怕火。这个时候，小模子推行室再次开头了。

他们聘用了套壳Deepseekv3续训。他们通过冻住Deepseek加载的参数，进行磨真金不怕火。连任务加载ckpt的目次王人是deepseekv3，改王人不改，何其嚣张？与之违犯，一些有真确时刻信仰的共事，在从新磨真金不怕火另一个718B的moe。但其中出现了各式种种的问题。然则很显然，这个模子怎样可能比径直套壳的好呢？如果不是团队leader相持，早就被叫停了。

华为的过程处置之勤苦，严重连累了大模子的研发节拍，举例版块处置，模子血统，各式过程化，各式可回想。

讥笑的是，小模子推行室的模子似乎从来不受这些过程的不断，思套壳就套壳，思续训就续训，算力马水车龙的伸手拿走。这种强烈到近乎奇幻的对比，证据了现时过程处置的情况：只许州官纵火，不许匹夫点灯。何其好笑？何其可悲？何其可恶？何其可耻！

HonestAGI的事情出来后，里面让全球不停的磋议分析，怎样公关和“回话”。

诚然，这个原文的分析也许不够有劲，给了王云鹤与小模子推行室他们抵赖和倒置口角的契机。

为此，这两天我内心感到作呕，时常怀疑我方的东说念主生兴味以及青天无眼。

我不作陪了，我要辞职了，同期我也在肯求从盘古部分时刻诠释的作家名单中移除。曾经在这些时刻诠释上签字是我一世王人无法抹除的纰谬。其时我没思到，他们竟然放浪到敢开源。我没思到，他们敢如斯行使众东说念主，大力宣发。

其时，我也许是存了荣幸激情，莫得拒却签字。我折服好多塌实作念事的战友，也仅仅被动上了贼船，或者不知情。但这件事照旧无法转圜，我但愿我的余生能够相持塌实作念真确有兴味的事，为我其时的畏忌和不彊硬赎罪。

更阑写到这里，我照旧泪下如雨，泣不成声。还记起一些出色的共事辞职时，我苦笑问他们要不要发个长长的心声成例帖，揭露一下近况。对方说：不了，亏本时刻，而且我也怕揭高慢来你们过的更糟。我其时一下泪眼汪汪，因为曾经共同为了理思高亢过的战友照旧绝对对华为绝对颓败了。其时全球簸弄，咱们用着当年共产党的小米加步枪，组织却有着堪比当年国民党的立场。

曾几何时，我为咱们用着小米加步枪击败洋枪洋炮而自重。

目下，我累了，我思效劳。

其实时于本日，我如故赤忱但愿华为能讲求吸取教唆，能作念好盘古，把盘古作念到宇宙一流，把昇腾形成英伟达的水平。

里面的劣币收场良币，使得诺亚乃至华为在短时刻内急剧流失了无数出色的大模子东说念主才。折服他们也正在如Deepseek等各个团队精通着，线路着他们的抱负才华，为中好意思在AI的强烈竞赛中奉献力量。我常常赞誉，华为不是莫得东说念主才，而是根底不知说念怎样留下东说念主才。如果给这些东说念主合乎的环境，合乎的资源，更少的桎梏，更少的政事战斗，盘古何愁不成？

终末：我以人命，东说念主格和荣誉发誓，我写的以上统共内容均为真实（至少在我有限的理会界限内）。我莫得那么高的时刻水平以及契机去作念详备塌实的分析，也不敢径直用里面记载举证，怕因为信息安全抓到。然则我折服我好多曾经的战友，会为我作证。

在华为里面的伯仲，包括咱们曾经事业过的居品线伯仲们，折服本文的无数细节能和你们的印象对照，印证我的说法。你们可能曾经经被蒙骗，但这些残暴的真相不会被尘封。咱们奋战过的陈迹，也不应该被污蔑和下葬。

写了这样多，某些东说念主细则思把我找出来，扼杀掉。公司搞不好也思让我噤声乃至追责。如真是的这样，我，乃至我的家东说念主的东说念主身乃至人命安全可能王人会受到要挟。为了自我保护，我近期每天会跟全球报吉祥。

如果我消散了，就当是我为了真谛和理思，为了华为乃至中国能够更好地发展算力和AI而扬弃了吧，我愿下葬于那片曾经高亢过的地点。

诺亚，邂逅

2025年7月6日凌晨 写于深圳万博体育