通義千問初の千億パラメータモデルが来た

jerry_Huang

「アリ通義千問」ウィーチャット公式アカウント4月28日によると、通義千問は初めて千億級パラメータモデルQwen 1.5-110 Bを発売した。紹介によると、Qwen 1.5-110 Bの基礎能力はMeta-Lama-3-70 Bに匹敵し、Qwen 1.5シリーズの中で最大規模のモデルであり、同シリーズの中で初めて1000億を超えるパラメータを持つモデルでもある。
研究チームの評価によると、MMLU、GSM 8 K、MATH、HumanEvalなどのベンチマークテストでは、Qwen 1.5-110 Bモデルが3つの中で最も優れていることが分かった。TheoremQA、ARC-C、MBPPなどの評価では、Qwen 1.5-110 BモデルはLlama-3-70 Bより優れている。

「アリ通義千問」ウィーチャット公式アカウント

また、研究チームがChatモデルを評価したところ、MT-BenchとAlpacaEval 2.0におけるQwen 1.5-110 B-Chatモデルの表現を比較した。その結果、Qwen 1.5-110 B-Chatモデルは、先に発表されたQwem 1.5-72 B-Chatモデルよりも明らかに優れていることが明らかになった。

「アリ通義千問」ウィーチャット公式アカウント

今年に入ってから、通義千問チームは最新のオープンソースモデルシリーズQwen 1.5を発売し、その後3ヶ月足らずで8種類の大言語モデルを連続的に発売した。これまでのモデルパラメータ規模は5億、18億、40億、70億、140億、320億、720億だったが、今回のQwen 1.5-110 Bのパラメータ規模は1100億に達した。現在、通義千問のオープンソースモデルのダウンロード数は700万を超えているという。