快科技7月6日消息,日前,一項發(fā)布于GitHub的研究引發(fā)業(yè)界關注。
該研究作者認為,華為推出的盤古大模型(Pangu Pro MoE)與阿里巴巴發(fā)布的通義千問Qwen-2.5 14B模型在注意力參數(shù)分布上有相關性,超正常范圍。
針對網(wǎng)上有聲音質(zhì)疑華為盤古大模型存在抄襲行為,華為盤古團隊發(fā)布《關于盤古大模型開源代碼相關討論的聲明》進行回應。
官方表示,盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)、訓練的基礎大模型,并非基于其他廠商模型增量訓練而來。
在架構設計、技術特性等方面做了關鍵創(chuàng)新,是全球首個面向昇騰硬件平臺設計的同規(guī)格混合專家模型,創(chuàng)新性地提出了分組混合專家模型(MoGE)架構,有效解決了大規(guī)模分布式訓練的負載均衡難題,提升訓練效率。
聲明指出,盤古Pro MoE開源模型部分基礎組件的代碼實現(xiàn)參考了業(yè)界開源實踐,涉及其他開源大模型的部分開源代碼。
我們嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權聲明。
這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導的開源協(xié)作精神。
我們始終堅持開放創(chuàng)新,尊重第三方知識產(chǎn)權,同時提倡包容、公平、開放、團結和可持續(xù)的開源理念。
據(jù)了解,6月30日,華為正式開源盤古70億參數(shù)的稠密模型、盤古Pro MoE 720億參數(shù)的混合專家模型,同時開放基于昇騰AI平臺的模型推理技術。
此次是華為首次將盤古大模型的核心能力開源。

本文鏈接:http://m.yifxia.cn/showinfo-22-166889-0.html被指抄襲阿里通義千問 華為盤古回應
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com