導(dǎo)讀 本文將介紹一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法。分享分為兩大部分：第一部分介紹多任務(wù)學(xué)習(xí)相關(guān)發(fā)展；第二部分具體介紹我們提出的一種多任務(wù)聯(lián)合預(yù)估的方法。

全文目錄如下：

1. 多任務(wù)學(xué)習(xí)的背景介紹

(資料圖)

2. 多任務(wù)經(jīng)典模型結(jié)構(gòu)

3. 一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法

分享嘉賓｜陳華斌 阿里巴巴 算法工程師

編輯整理｜劉曉濤 深圳大學(xué)

出品社區(qū)｜DataFun

01

多任務(wù)學(xué)習(xí)的背景介紹

Stein 悖論是探索多任務(wù)學(xué)習(xí)（MTL）（Caruana，1997）的早期動機。很多東西看起來表面上是不相關(guān)的，但其實它們會服從一個潛在的相似的模式，這就是多任務(wù)學(xué)習(xí)在統(tǒng)計學(xué)上的基礎(chǔ)。

在機器學(xué)習(xí)領(lǐng)域中，多任務(wù)學(xué)習(xí)是一種學(xué)習(xí)范式，其中來自多任務(wù)的數(shù)據(jù)被用來獲得優(yōu)于獨立學(xué)習(xí)每個任務(wù)的性能。即便是真實世界中看似無關(guān)的任務(wù)也因數(shù)據(jù)共享的過程而存在一定的依賴性或者相關(guān)性。

1. 多任務(wù)學(xué)習(xí)中的 CTR、CVR

在電商行業(yè)中，經(jīng)常會聽到點擊率（CTR，Click-Through-Rote）與轉(zhuǎn)化率（CVR，Conversion Rate）這兩個詞，都是代表某種行為轉(zhuǎn)化，同時它們也是業(yè)務(wù)分析的重要指標(biāo)。 CTR 和 CVR 的區(qū)別在于兩者表示著不同的廣告投放指標(biāo)， 可以從一定程度上反映廣告投放的效果。在廣告和推薦場景中，用戶首先會看到平臺給他生成的推薦結(jié)果，稱為曝光（impression），用戶會有一定的概率做點擊 CTR，公式是 CTR=（點擊量/展示量次數(shù)）* 100%。如果滿意就會購買產(chǎn)品，稱為 CVR，公式是 CVR =(轉(zhuǎn)化量/點擊量)*100%。

上圖是典型的推薦系統(tǒng)的示意圖， 候選池->召回->精排。很多公司會在精排之后增加重排機制最后給出推薦展示。展示之后會有點擊和觀看。在視頻推薦領(lǐng)域中，CVR 會根據(jù)觀看視頻時長來確定，即表示視頻觀看的完成度。CTR 預(yù)估和 CVR 預(yù)估是推薦系統(tǒng)中的經(jīng)典目標(biāo)。

多任務(wù)學(xué)習(xí)能夠減少資源壓力（計算成本和時間成本），充分利用各個任務(wù)的潛在關(guān)系校準(zhǔn)單任務(wù)（樣本選擇偏差、樣本稀疏）。但是可能會引入一些共享沖突問題。典型的粗粒度任務(wù)共享可能會引入共享沖突，用戶可能存在細粒度的內(nèi)容興趣偏好。比如一個用戶在電商平臺上因為標(biāo)題或者封面因素點擊了一個商品但是并沒有購買，那么在 CTR 任務(wù)中它是一個正樣本，但在 CVR 任務(wù)中就可能是一個負樣本。很多時候 CTR 跟 CVR 存在一定的潛在興趣沖突。那沒有很好地去解決這些沖突，多任務(wù)帶來的效果可能是 CTR 和 CVR 都會下降。當(dāng)然我們這個工作主要是利用 CTR 來優(yōu)化 CVR，所以本篇也會重點把這個討論放在 CVR 的優(yōu)化上。

2. 多任務(wù)學(xué)習(xí)的潛在優(yōu)勢

① 隱式數(shù)據(jù)增強

每個任務(wù)都有自己的樣本，使用多任務(wù)學(xué)習(xí)，模型的樣本量會提升很多。而且數(shù)據(jù)都會有噪聲，如果單學(xué) A 任務(wù)，模型會把 A 數(shù)據(jù)的噪聲也學(xué)進去。因此可以學(xué)到一個更精確的嵌入表達。

② 注意力聚焦

如果任務(wù)的數(shù)據(jù)噪聲非常多，數(shù)據(jù)很少且非常高維，模型對相關(guān)特征和非相關(guān)特征就無法區(qū)分。多任務(wù)學(xué)習(xí)可以幫助模型聚焦到有用的特征上，因為不同任務(wù)都會反應(yīng)特征與任務(wù)的相關(guān)性。

③ 特征信息竊取

有些特征在任務(wù) B 中容易學(xué)習(xí)，在任務(wù) A 中較難學(xué)習(xí)，主要原因是任務(wù) A 與這些特征的交互更為復(fù)雜，且對于任務(wù) A 來說其他特征可能會阻礙部分特征的學(xué)習(xí)，因此通過多任務(wù)學(xué)習(xí)，模型可以高效地學(xué)習(xí)每一個重要的特征。

④ 表達偏差

MTL 使模型學(xué)到所有任務(wù)都偏好的向量表示。這也將有助于該模型推廣到未來的新任務(wù)，因為假設(shè)空間對于足夠多的訓(xùn)練任務(wù)表現(xiàn)良好，對于學(xué)習(xí)新任務(wù)也表現(xiàn)良好。

⑤ 正則化

從機器學(xué)習(xí)角度來看，對于一個任務(wù)而言，其他任務(wù)的學(xué)習(xí)都會對該任務(wù)有正則化效果。

02

多任務(wù)經(jīng)典模型結(jié)構(gòu)

推薦領(lǐng)域中經(jīng)典的多任務(wù)模型包括 ESMM 系列和 MMOE 系列 。

1. ESMM 模型

ESMM 系列使用點擊信號（CTR）和點擊后信號（如點 贊、收藏等）來解決轉(zhuǎn)化率樣本稀疏問題。該系列主要是 share bottom 的結(jié)構(gòu)，底層的基礎(chǔ)特征 user embedding 和 item embedding 都是共享學(xué)習(xí)的。常規(guī)的 share bottom，分別學(xué)習(xí) CTR 和 CVR 任務(wù)，而作者認(rèn)為是 CTR 跟 CVR 不在一個樣本空間，CTR 是從曝光到點擊，CVR 是從點擊到轉(zhuǎn)化，那 CTR 和 CVR 就不是在同一個樣本空間，這樣整個學(xué)習(xí)可能會帶來一定的偏置。而 ESMM 的改進方式就是同時學(xué) CTR 和 CVR，這樣就轉(zhuǎn)變成了一個是曝光到點擊，一個是曝光到轉(zhuǎn)化，整個的樣本空間是一致的，可以保證推薦系統(tǒng)的離線訓(xùn)練和線上推理兩個過程樣本空間的一致性。整個模型比較大的收益就是來自于這樣一個 share bottom，即底層 embedding 的共享。

2. MMOE 模型

MMOE 系列，與 SNR 和 PLE 都屬于一大類，它們使用專家子網(wǎng)絡(luò)的多門混合對多任務(wù)學(xué)習(xí)進行建模，在子網(wǎng)絡(luò)的粒度上提供有限程度的共享。比如對于任務(wù) A 和 B，它們在 Export 0 上共享得更多，Export 1 上共享得更少等類似這樣的操作。

03

一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法

1. 模型結(jié)構(gòu)

本文的工作啟發(fā)來自于彩票假設(shè)理論，即一個隨機初始化的網(wǎng)絡(luò)包含一個小的子網(wǎng)絡(luò)（中獎彩票），當(dāng)?shù)?xùn)練時可以與原始大型網(wǎng)絡(luò)的性能相當(dāng)（2019 ICLR 最佳論文）。我們在 base model 上通過迭代幅度剪枝， 自動提取 CTR 和 CVR 的 mask，每個任務(wù)的 mask 僅用于自身任務(wù)，也就是說交替訓(xùn)練 CTR 子網(wǎng)絡(luò)和 CVR 子網(wǎng)絡(luò)，每個任務(wù)只更新其對應(yīng)子網(wǎng)的神經(jīng)元權(quán)重。最后通過原始模型（左圖）和 mask（中間）之間的哈達瑪乘積生成最終模型（右圖）。

這種共享和任務(wù)特定表征的方式準(zhǔn)確響應(yīng)了典型的多任務(wù)學(xué)習(xí)范式，它試圖最大化共享特征，同時減少沖突。由于自動地學(xué)習(xí)了掩碼/子網(wǎng)絡(luò)，避免分析網(wǎng)絡(luò)的哪一部分應(yīng)該共享，哪一部分有沖突。

2. 訓(xùn)練推理

我們的 CTR 和 CVR 任務(wù)擁有相同的 base 網(wǎng)絡(luò) sNET ，利用這個 base 網(wǎng)絡(luò)來進行迭代訓(xùn)練，獲得每個任務(wù)（不同 task_id）特定的子網(wǎng)絡(luò)。對于 CTR/CVR 任務(wù)：

① 在初始階段， 我們給 weight 矩陣設(shè)計對應(yīng)的 mask 矩陣 mask[task_id][0]，初始化為全 1 矩陣。

② 接著 我們進行迭代訓(xùn)練，將 weight 和 mask 做 mask 運算。每訓(xùn)練一個 epoch，我們將 weight 元素按照絕對值進行排序，減去最小的 p% 權(quán)重，即將對應(yīng) weight 位置的 mask 設(shè)置為 0。

③ 繼續(xù) 訓(xùn)練一個 epoch，由于這部分 weight 的 mask 設(shè)置為 0，該部分 weight 便沒有激活。使得前饋和反向傳播階段該 weight 失效。在剩余的 weight 中減去 %p 的權(quán)重，直到達到設(shè)置的迭代次數(shù)和剩余參數(shù)率。

④ 根據(jù)每輪選代完的測試結(jié)果，我們選擇性能最好的 masks[task id][best]。

得到這樣一個 best mask 之后，就可以開始正式地去進行 CTR、CVR 的一個訓(xùn)練。重新初始化 sNEt，根據(jù) task_id（CTR 或 CVR），然后加載對應(yīng)的 mask，就得到了對應(yīng)的子網(wǎng)絡(luò)，再訓(xùn)練這個子網(wǎng)絡(luò)。

在訓(xùn)練剪枝過程中，我們發(fā)現(xiàn)并不是用很寬很大的網(wǎng)絡(luò)效果就更好，適當(dāng)減少神經(jīng)元的數(shù)量對于 CTR、CVR 任務(wù)都是有提升效果的。當(dāng)然如果刪減得太多，效果自然也會下降。

3. 實驗結(jié)果

本文使用的損失函數(shù)是 CTR 損失函數(shù)和 CVR 損失函數(shù)的加權(quán)融合，其中權(quán)重是超參數(shù)；

線上打分公式主要是 CTR、CVR 和視頻時長的乘積，其中 α、β 等均是超參數(shù)；

數(shù)據(jù)集使用的是一個較小的短視頻場景，用戶量一千萬左右，視頻一千一百萬左右。

對于離線實驗，其中 hardsharing model 這是最經(jīng)典的 share bottom，對于 CVR 任務(wù) MSE 大概是 ，它大概能讓 MSE 下降 %；我們工作的一個基本結(jié)構(gòu)是 S_weight，它能讓 CVR 在 MSE 下降 3% 。

線上實驗，包括 4 組實驗：

① 單任務(wù)的 CTR * 單任務(wù)的 CVR* 時長；

② 單任務(wù)的 CTR * share bottom 的結(jié)構(gòu)學(xué) CVR* 時長；

③ 單任務(wù)的 CTR * S_weight 的 CVR（就是我們的工作）* 時長；

④ S_weight 的 CTR、CVR * 時長。

從瀏覽效果來看，單任務(wù)的 CTR * S_weight 的 CVR 效果是最好的，這也是符合預(yù)期的一個結(jié)果，因為 CTR 的樣本一般是比較充足的。但是如果用 S_weight 的 CTR、CVR 聯(lián)合上線，可以看到它的 CTR 還有 CVR 的指標(biāo)上效果會有一點提升。我們的推斷是這兩個任務(wù)有一定的協(xié)同性。

我們的方法與單任務(wù)模型和經(jīng)典的層級共享模型進行了比較，分別證明了 CVR MSE 的相對減少 % 和 %。

04

總結(jié)

① 我們是業(yè)界第一個嘗試應(yīng)用神經(jīng)元連接級共享來解決 CVR 多任務(wù)學(xué)習(xí)的工作，緩解了共享沖突問題，自動學(xué)習(xí)共享的神經(jīng)元權(quán)重，與之前的粗粒度子網(wǎng)絡(luò)/層級共享方法相比，這是一種范式轉(zhuǎn)變。

② 我們的方法部署到了某億級用戶視頻線上系統(tǒng)中，實現(xiàn)了比單任務(wù)方法顯著的性 能改進。證明了其在實際工業(yè)應(yīng)用中的價值。

③ 該方法可以很容易地推廣到推薦系統(tǒng)中的其他任務(wù)中，例如點贊率、評論率等。

④ 相關(guān)工作已經(jīng)加入 onerec 項目： /xuanjixiao/onerec 。

以上就是本次分享的內(nèi)容，謝謝大家。

今日推薦

零距離對話全球頂尖技術(shù)專家、學(xué)者、業(yè)界領(lǐng)袖，與國內(nèi)外技術(shù)同行探討：大模型、生成式AI、敏捷數(shù)據(jù)分析、智能湖倉、數(shù)據(jù)安全與合規(guī)等熱門話題

? 活動時間：6/27-28 9:00-17:00

?? 活動地點：上海·世博中心

活動亮點：

31個主題論壇，覆蓋當(dāng)下熱點與前沿技術(shù) 覆蓋汽車、金融、游戲、醫(yī)療、電商等行業(yè) 多個互動項目，現(xiàn)場體驗類ChatGPT應(yīng)用的快速構(gòu)建

點擊鏈接報名參會：

關(guān)鍵詞：