將大模型用于騰訊營(yíng)銷廣告，難點(diǎn)在哪？

騰訊混元是多模態(tài)的，騰訊廣告內(nèi)容也是天然多模態(tài)的。在這個(gè)巧合的背后，騰訊混元從出生開始，就是為“用在哪里”設(shè)計(jì)的，而不是“套路”。

1.關(guān)鍵詞：三大套路

大模型火了，大模型的套路也火了。

套路一：

只要是有些科技含量的公司，沒(méi)有大模型就對(duì)不起“市值”和“估值”。

套路二：

只說(shuō)早有布局，卻無(wú)論文，無(wú)數(shù)據(jù)，無(wú)“卡”，無(wú)歷史進(jìn)展。

套路三：

為了“大”而“大”。廣義線性模型的時(shí)代，騰訊廣告也曾追求過(guò)參數(shù)量大。然而，這種模型學(xué)習(xí)能力很一般。如果只是模型的參數(shù)總量高，參與計(jì)算的參數(shù)量卻很少，這樣的“大模型”，沒(méi)有深度。騰訊廣告在AI這方面不并算“激進(jìn)派”，但大模型沒(méi)使用套路。騰訊廣告將兩個(gè)大模型用到了廣告業(yè)務(wù)中，參數(shù)都是千億級(jí)別。騰訊廣告大模型提升了騰訊廣告系統(tǒng)的運(yùn)算能力，騰訊混元大模型提升了騰訊廣告系統(tǒng)的理解和生成能力。

2.關(guān)鍵詞：廣告商機(jī)轉(zhuǎn)瞬即逝

從“從前”講起，百貨商店櫥窗里的塑料假人，是展示，也是廣告。后來(lái)，美國(guó)人研究了如何用計(jì)算的方法求解廣告中的各類問(wèn)題，將一部分的計(jì)算策略交給機(jī)器學(xué)習(xí)。早期，廣告對(duì)機(jī)器學(xué)習(xí)模型的要求較低，哪怕能力弱一點(diǎn)，僅算得快一些就可以了。

比如，給一條男士沖浪花褲打廣告。廣告系統(tǒng)共有三層：召回、粗排、精排，每層邊選邊匹配。廣告系統(tǒng)里的模型，類似漏斗原理。粗排時(shí)，模型發(fā)現(xiàn)：這條花褲衩男性比較喜歡，女性則表示無(wú)感。精排時(shí)，模型發(fā)現(xiàn)花褲不是所有男性都喜歡，由于顏色偏女性化，大約20歲左右的男性更喜歡。模型必須做到越往下，越匹配，還需要為廣告主節(jié)約廣告費(fèi)。匹配這個(gè)動(dòng)詞很重要，拿常看的騰訊直播廣告來(lái)說(shuō)，直播廣告系統(tǒng)會(huì)猜對(duì)視頻的興趣，從而推薦相關(guān)視頻，猜對(duì)商品的興趣，從而展示相關(guān)廣告。手機(jī)下滑一下，大約9毫秒，就得猜到這個(gè)瞬間最有可能的喜好。

這里的猜，就是計(jì)算。模型很擅長(zhǎng)抓規(guī)律，但頭部規(guī)律好抓，長(zhǎng)尾則很麻煩。騰訊廣告有很多長(zhǎng)尾問(wèn)題，用戶數(shù)量大，廣告數(shù)量也大。而且廣告匹配的要求是，不僅要準(zhǔn)，還要快。一句“商機(jī)轉(zhuǎn)瞬即逝”，放在這里非常合適。例如剛買一部手機(jī)，廣告出手慢了，買前沒(méi)看到，買后不想看。慢了，就輸了，這就是廣告競(jìng)爭(zhēng)的本質(zhì)。

3.關(guān)鍵詞：廣告“硬核”簡(jiǎn)史

2014年，騰訊廣告平臺(tái)實(shí)時(shí)在線技術(shù)完成。2015年，深度學(xué)習(xí)技術(shù)完成。這兩個(gè)“完成”，都指的是全量上線。

在大模型技術(shù)爆發(fā)前的世代里，沒(méi)有什么比騰訊廣告在2016年“實(shí)時(shí)在線學(xué)習(xí)+深度學(xué)習(xí)”全量上線完成更重要了。團(tuán)隊(duì)的結(jié)論是：騰訊營(yíng)銷廣告應(yīng)該是在更大范圍的產(chǎn)品線，在更長(zhǎng)的數(shù)據(jù)鏈路上，全面釋放模型的威力，模型做大不是目的，而是手段。于是，把模型往大了做，數(shù)據(jù)鏈路拉長(zhǎng)。2020年前后，質(zhì)變發(fā)生了，騰訊廣告整個(gè)技術(shù)思路的轉(zhuǎn)變了。在騰訊公司副總裁蔣杰的帶領(lǐng)下，團(tuán)隊(duì)看清了技術(shù)方向，前浪大儲(chǔ)備，后浪打硬仗。狂飆技術(shù)，不是自嗨，而是商業(yè)需求。

技術(shù)朝著有需求的方向推進(jìn)，終于抵達(dá)“大模型界碑”2021年10月，發(fā)起技術(shù)攻堅(jiān)，項(xiàng)目包括廣告大模型，混元大模型，一共集結(jié)了800余名跨BG團(tuán)隊(duì)的同學(xué)。毫無(wú)疑問(wèn)，誰(shuí)能打破技術(shù)難度的瓶頸，誰(shuí)就是頭部科技企業(yè)，再加一個(gè)條件，越早越好。我們抽取其中一個(gè)技術(shù)指標(biāo)：“大規(guī)模技術(shù)突破之前，精排時(shí)延的閾值是70毫秒，突破之后拉到200毫秒，將近3倍左右。”給廣告系統(tǒng)配套大模型，底層軟件也是另一境界的考驗(yàn)。訓(xùn)練這么大的模型，存儲(chǔ)，計(jì)算，通訊翻倍，甚至量級(jí)的提升，這塊工程團(tuán)隊(duì)下了很大力氣。

為了做好底層工作，甚至把部分關(guān)鍵架構(gòu)重新寫了一遍。把以前好的想法融合進(jìn)去，大幅增強(qiáng)它的伸縮性、容錯(cuò)能力，支持千億大模型訓(xùn)練。這一把，中國(guó)科技公司將大規(guī)模工程技術(shù)做到極致。方案依然還是這么一個(gè)方案，只不過(guò)模型規(guī)模，整個(gè)系統(tǒng)能力等等，不可同日而語(yǔ)了。騰訊公司副總裁蔣杰帶領(lǐng)騰訊廣告團(tuán)隊(duì)，制定出一套自上而下，全局最優(yōu)的推進(jìn)路徑，將多個(gè)技術(shù)團(tuán)隊(duì)與業(yè)務(wù)協(xié)同，帶隊(duì)完成了下一代廣告系統(tǒng)建設(shè)。廣告大模型怎么用？將資源聚焦于精排，排序能力更好，點(diǎn)擊率與轉(zhuǎn)化率絕對(duì)值估準(zhǔn)。精排預(yù)估準(zhǔn)，提升全鏈的運(yùn)算推薦效率。

廣告大模型能為廣告主提供什么“特殊服務(wù)”？因?yàn)閺V告系統(tǒng)的運(yùn)算能力可以支撐多個(gè)小模型同時(shí)運(yùn)行，所以，廣告主可以在系統(tǒng)上與騰訊廣告再共建小模型，做出更多從廣告主業(yè)務(wù)出發(fā)的推薦匹配，提升匹配效率。有的人，練了屠龍術(shù)，結(jié)果發(fā)現(xiàn)沒(méi)有龍。騰訊廣告系統(tǒng)“有龍”，所以“屠龍”，且練成兩大屠龍術(shù)：廣告大模型和混元大模型。

4.關(guān)鍵詞：騰訊混元怎么用？

騰訊廣告的復(fù)雜環(huán)境，也讓騰訊混元得到充分打磨。團(tuán)隊(duì)內(nèi)部對(duì)騰訊混元大模型不斷自審式發(fā)問(wèn)：第一重難關(guān)：如何把技術(shù)搞出來(lái)。第二重難關(guān)：這是真實(shí)業(yè)務(wù)場(chǎng)景所需要的技術(shù)嗎？如何落地？廣告內(nèi)容是什么？是廣告標(biāo)題、文字、圖片、視頻等。簡(jiǎn)單說(shuō)，騰訊混元先做“億點(diǎn)”廣告內(nèi)容的閱讀理解，做完，再將“答案”喂給廣告大模型。以廣告大模型提升廣告和用戶的匹配準(zhǔn)確率，以騰訊混元大模型理解、生成廣告內(nèi)容，包括素材和創(chuàng)意。

5.關(guān)鍵詞：“大”算法思想

雖然廣告大模型已經(jīng)很大，但是想用一個(gè)大模型把所有的場(chǎng)景都學(xué)好，沒(méi)有那么容易。比如，模型會(huì)產(chǎn)生場(chǎng)景之間“我學(xué)不好，你也甭想學(xué)好”的負(fù)面影響，這種現(xiàn)象叫“負(fù)遷移”。廣告大模型中，薛偉博士用到了“公共塔”技術(shù)。公共塔，樣子像塔，其實(shí)是大模型內(nèi)部獨(dú)立子網(wǎng)絡(luò)。騰訊廣告模型大，內(nèi)部子網(wǎng)絡(luò)豐富，還有商品（Item）塔，用戶（User）塔。這類子網(wǎng)絡(luò)專門學(xué)習(xí)特征的共性，降低場(chǎng)景之間的干擾。不同場(chǎng)景參數(shù)不同，推薦汽車，不能把推薦手機(jī)的參數(shù)也算一遍。大模型的出現(xiàn)，讓算法設(shè)計(jì)空間變大，讓設(shè)計(jì)的余地更大，有機(jī)會(huì)用算法的思想充分釋放大模型的價(jià)值。好馬配好鞍，好產(chǎn)品配好廣告。

公司優(yōu)勢(shì)

開戶流程

注意事項(xiàng)