日韩精品一二三区,91福利姬在线观看网站,狠狠撸日日干

? 6月27日，腾讯推理腾讯混元宣布开源首个混合推理MoE模型 Hunyuan-A13B，混元混合活参总参数80B，开源%E3%80%90WhatsApp%20+86%2015855158769%E3%80%91how%20much%20does%20a%20bench%20press%20barbell%20weigh激活参数仅13B，首款数仅效果比肩同等架构领先开源模型，型性但是异激推理速度更快，性价比更高。腾讯推理这意味着，混元混合活参开发者可以用更低门槛的开源方式获得更好的模型能力。

??即日起，首款数仅模型已经在 Github 和 Huggingface 等开源社区上线，型性同时模型API也在腾讯云官网正式上线，异激支持快速接入部署。腾讯推理

??这是混元混合活参%E3%80%90WhatsApp%20+86%2015855158769%E3%80%91how%20much%20does%20a%20bench%20press%20barbell%20weigh业界首个13B级别的MoE开源混合推理模型，基于先进的开源模型架构，Hunyuan-A13B表现出强大的通用能力，在多个业内权威数据测试集上获得好成绩，并且在Agent工具调用和长文能力上有突出表现。

腾讯混元开源首款混合推理MoE模型，性能优异，激活参数仅13B

*加粗为最高分，下划线表示第二名，数据来源于模型各个公开的测试数据集得分

??对于时下热门的大模型Agent能力，腾讯混元建设了一套多Agent数据合成框架，接入了MCP、沙箱、大语言模型模拟等多样的环境，并且通过强化学习让Agent在多种环境里进行自主探索与学习，进一步提升了Hunyuan-A13B的效果。

??在长文方面，Hunyuan-A13B支持256K原生上下文窗口，在多个长文数据集中取得了优异的成绩。

腾讯混元开源首款混合推理MoE模型，性能优异，激活参数仅13B ?

??在實(shí)際使用場(chǎng)景中，Hunyuan-A13B模型可以根據(jù)需要選擇思考模式，快思考模式提供簡(jiǎn)潔、高效的輸出，適合追求速度和最小計(jì)算開(kāi)銷(xiāo)的簡(jiǎn)單任務(wù)；慢思考涉及更深、更全面的推理步驟，如反思和回溯。這種融合推理模式優(yōu)化了計(jì)算資源分配，使用戶能夠通過(guò)加think/no_think切換思考模式，在效率和特定任務(wù)準(zhǔn)確性之間取得平衡。

腾讯混元开源首款混合推理MoE模型，性能优异，激活参数仅13B

??Hunyuan-A13B模型對(duì)個(gè)人開(kāi)發(fā)者較為友好，在嚴(yán)格條件下，只需要1張中低端GPU卡即可部署。目前，Hunyuan-A13B已經(jīng)融入開(kāi)源主流推理框架生態(tài)，無(wú)損支持多種量化格式，在相同輸入輸出規(guī)模上，整體吞吐是前沿開(kāi)源模型的2倍以上。

??Hunyuan-A13B 集合了騰訊混元在模型預(yù)訓(xùn)練、后訓(xùn)練等多個(gè)環(huán)節(jié)的創(chuàng)新技術(shù)，這些技術(shù)共同增強(qiáng)了其推理性能、靈活性和推理效率。

??預(yù)訓(xùn)練環(huán)節(jié)，Hunyuan-A13B 訓(xùn)練了20T tokens的語(yǔ)料，覆蓋了多個(gè)領(lǐng)域。高質(zhì)量的語(yǔ)料顯著提升了模型通用能力。此外，在模型架構(gòu)上，騰訊混元團(tuán)隊(duì)通過(guò)系統(tǒng)性分析，建模與驗(yàn)證，構(gòu)建了適用于 MoE 架構(gòu)的 Scaling Law 聯(lián)合公式。這一發(fā)現(xiàn)完善了MoE 架構(gòu)的 Scaling Law 理論體系，并為 MoE 架構(gòu)設(shè)計(jì)提供了可量化的工程化指導(dǎo)，也極大的提升了模型預(yù)訓(xùn)練的效果。

??后訓(xùn)練環(huán)節(jié)，Hunyuan-A13B采用了多階段的訓(xùn)練方式，提升了模型的推理能力，同時(shí)兼顧了模型創(chuàng)作、理解、Agent等通用能力。

腾讯混元开源首款混合推理MoE模型，性能优异，激活参数仅13B
图：Hunyuan-A13B后训练四个步骤

??為更好的提升大語(yǔ)言模型能力，騰訊混元也開(kāi)源了兩個(gè)新的數(shù)據(jù)集，以填補(bǔ)行業(yè)內(nèi)相關(guān)評(píng)估標(biāo)準(zhǔn)的空白。其中，ArtifactsBench用于彌合大語(yǔ)言模型代碼生成評(píng)估中的視覺(jué)與交互鴻溝，構(gòu)建了一個(gè)包含 1825個(gè)任務(wù)的新基準(zhǔn)，涵蓋了從網(wǎng)頁(yè)開(kāi)發(fā)、數(shù)據(jù)可視化到交互式游戲等九大領(lǐng)域，并按難度分級(jí)以全面評(píng)估模型的能力；C3-Bench針對(duì)Agent場(chǎng)景模型面臨的三個(gè)關(guān)鍵挑戰(zhàn)：規(guī)劃復(fù)雜的工具關(guān)系、處理關(guān)鍵的隱藏信息以及動(dòng)態(tài)路徑?jīng)Q策，設(shè)計(jì)了1024條測(cè)試數(shù)據(jù)，以發(fā)現(xiàn)模型能力的不足。

??Hunyuan-A13B模型是騰訊內(nèi)部應(yīng)用和調(diào)用量最大的大語(yǔ)言模型之一，有超過(guò) 400+ 業(yè)務(wù)用于精調(diào)或者直接調(diào)用，日均請(qǐng)求超1.3億。本次進(jìn)行升級(jí)更新并對(duì)外開(kāi)源，是繼混元large后混元大語(yǔ)言模型推出的又一重要開(kāi)源模型，參數(shù)更小，但是性能和效果實(shí)現(xiàn)了大幅的提升。接下來(lái)，騰訊混元也將推出更多尺寸、更多特色的模型，將更多實(shí)踐技術(shù)與社區(qū)共享，促進(jìn)大模型開(kāi)源生態(tài)的繁榮。

? 騰訊混元堅(jiān)定擁抱開(kāi)源，持續(xù)推進(jìn)多尺寸、多場(chǎng)景的全系模型開(kāi)源，旗下圖像、視頻、3D、文本等多種模態(tài)基礎(chǔ)模型已全面開(kāi)源。未來(lái)，混元計(jì)劃推出多尺寸混合推理模型，從0.5B到32B的dense模型，以及激活13B的MoE模型，適配企業(yè)與端側(cè)不同需求，混元圖像、視頻、3D等多模態(tài)基礎(chǔ)模型及配套插件模型也將持續(xù)開(kāi)源。

腾讯混元开源首款混合推理MoE模型，性能优异，激活参数仅13B