省時查報告-專業(yè)、及時、全面的行研報告庫
省時查方案-專業(yè)、及時、全面的營銷策劃方案庫
美團外賣推薦團隊在推薦算法的長期落地實踐中，針對外賣業(yè)務(wù)情境化特點對排序模型進行深入探索與優(yōu)化。本文介紹了面向情境化建模的“情境細分+統(tǒng)一模型”建模思路，通過用戶行為序列建模以及專家網(wǎng)絡(luò)兩個模塊的優(yōu)化，實現(xiàn)不同場景間對信息獨有性的刻畫和信息共性的相互傳遞，進而提升全部流量效率。
4. 總結(jié)和展望
1. 引言
美團外賣推薦服務(wù)了數(shù)億用戶，通過持續(xù)優(yōu)化用戶體驗和流量分發(fā)精準性，為用戶提供品質(zhì)生活，“幫大家吃得更好，生活更好”。對于“用戶”，大家可能會有不同的理解，通常的理解是用戶即是自然人。業(yè)界主要的推薦場景，如淘寶首頁猜你喜歡、抖音快手 Feeds 流推薦等大部分也是這么認為的，在這些電商、短視頻等業(yè)務(wù)中，用戶無論何時何地使用推薦服務(wù)，他們的需求是大體統(tǒng)一的，商品、信息、視頻等供給也是一致的。
但實際上，在美團外賣場景下，用戶不僅是自然人，更是需求的集合。需求是與情境依存的，也就是有情境就有需求。美團外賣在不同的時間、空間以及其他更廣義的環(huán)境下，用戶需求、商家供給等都有顯著區(qū)別。因此，本地化、餐飲習慣、即時履約共同構(gòu)建了美團外賣多種多樣的情境，進而衍生出用戶多種多樣的需求集合，推薦算法情境化可以幫助算法更好地理解并滿足不同情境下用戶需求。2. 問題與挑戰(zhàn)外賣場景具有很強的地理位置和就餐文化約束，用戶在不同地點（如公司、住所）的需求有較大差異。而且，所處時間也是決定用戶下單的一個關(guān)鍵因素。以北京某地區(qū)高消費用戶為例，工作日和周末在成單品類、成單價格、成單商家配送距離上有著明顯的不同。如下圖 1 所示，工作日與周末用戶在口味、心態(tài)上有明顯變化，工作日多為單人餐，以飯類套餐、輕食、米線為主，更加適應(yīng)工作時的快節(jié)奏；而在周末，用戶會適當犒勞自己、兼顧家人，傾向于選擇更適合多人就餐的燒烤、韓國料理、火鍋。從圖 1 也可以發(fā)現(xiàn)，從工作日到周末時，用戶的成單價格中位數(shù)由 30 元提高至 50 元，能夠接受的配送距離也在變長。
圖1 某地區(qū)高消費用戶在工作日和周末的差異性就餐習慣美團外賣推薦需要滿足“用戶 X 時間 X 地點”等情境下的需求總和，應(yīng)對需求的不斷拓展和演化。為了更好的理解我們所面對的用戶需求，如下圖 2 所示，將其定義到一個魔方內(nèi)（Magic Cube），用戶、時間和地點是魔方的三個維度。其中，魔方中的每個點，如圖 2 中黃色點，代表一個用戶在一個特定情境下的需求；魔方中的每個小立方體，如圖 2 中黃色立方體，代表一組相似用戶在一組相近情境下的需求。此外，在問題定義上，為了支持情境維度的進一步擴展，我們使用超立方體（Hyper Cube）來定義更多維度的用戶需求。
圖2 “用戶X時間X地點”等情境下的需求總和
面對以上這種三維模式，模型設(shè)計是非常棘手的。以往的模型設(shè)計，比如用戶興趣建模，或者樸素的多層神經(jīng)網(wǎng)絡(luò)無法應(yīng)對這些復(fù)雜的用戶、時間和地理環(huán)境糾纏在一起的情況。用戶興趣建模通常采用連續(xù)建模方法，通過注意力機制提取重要行為偏好信息。但是在用戶行為豐富的情況下，模型很難對所有行為進行學(xué)習，并且在外賣場景只有一部分歷史行為與用戶的當次訪問高度相關(guān)，連續(xù)的行為建模會削弱相關(guān)部分的信號。
此外，樸素的多層神經(jīng)網(wǎng)絡(luò)基于全部情境下的數(shù)據(jù)和標簽進行訓(xùn)練，只能學(xué)習到整體的數(shù)據(jù)分布表現(xiàn)，在每個情境下很難達到最佳效果。針對這一問題，阿里 SIM4首先考慮了把行為中的重要相關(guān)信息搜索出來進行建模的方式，但他們所要解決的問題在于降低用戶超長序列建模的離在線資源消耗，并沒有在模型中引入情境特點；螞蟻 、騰訊 等通過模型自動化選擇不同場景專家網(wǎng)絡(luò)進行共享或獨立學(xué)習提升全場景或者多任務(wù)模型表現(xiàn)，但是這些工作都只專注于單一維度情境，并沒有做更廣泛的拓展。
針對無限細分的用戶情境以及情境的不斷拓展和演化，為解決以上挑戰(zhàn)，我們提出“情境細分+統(tǒng)一模型”（ and Model）的建模思路。情境細分針對用戶特定情境進行針對性建模提升推薦精準度，統(tǒng)一模型將多個相近用戶情境進行知識共享和遷移解決情境拓展和演化的問題。
具體來說，依據(jù) Cube 中的每個情境，可以從用戶歷史行為中檢索出與當次訪問最相關(guān)的行為，精確刻畫當前情境下的用戶偏好。此外，我們設(shè)計多個專家網(wǎng)絡(luò)，讓各個專家專注于學(xué)習細分情境下的數(shù)據(jù)分布，然后基于用戶、城市、時段、是否周末等情境強相關(guān)特征來進行專家的挑選，不同情境可以學(xué)習到是否共享某個專家或者學(xué)習到與眾不同的專家選擇分布。對于新用戶或者行為不夠豐富的用戶，借鑒 Cube 的概念，可以考慮從 Cube 中檢索出近似情境，并根據(jù)近似情境檢索出的行為作為用戶在當前情境下的興趣補充，同時對于情境化專家網(wǎng)絡(luò)，通過模型設(shè)計讓不同專家專注于自己情境的同時，針對本情境，利用其他情境知識進行知識遷移，這樣緩解了新用戶冷啟動問題以及可能存在的數(shù)據(jù)稀疏問題。
除了依據(jù)時間、地點進行情境細分之外，還可以將不同的流量入口（首頁、金剛位、活動頁）、業(yè)務(wù)類型（外賣、閃購、醫(yī)藥）都當成一種特殊的“情境”，這樣“用戶 X 時間 X 地點”可以自然拓展成“用戶 X 時間 X 地點 X 入口 X 業(yè)務(wù)”的高維情境，通過對信息獨有性的刻畫和信息共性的相互傳遞，實現(xiàn)全部流量的效率提升。3. 情境化智能流量分發(fā)“情境細分+統(tǒng)一模型”的實現(xiàn)思路主要分為用戶行為序列建模與專家網(wǎng)絡(luò)結(jié)構(gòu)兩個組成部分，模型整體架構(gòu)如圖 3 所示：
圖3 情境化智能流量分發(fā)模型
該模型通過 Cube 檢索出特定細分情境下的用戶行為進行序列建模，并且通過專家網(wǎng)絡(luò)模型自動化對不同情境參數(shù)進行學(xué)習，保持了模型統(tǒng)一，既能刻畫情境的獨特性，也能實現(xiàn)不同情境間的知識共享和遷移。具體的，在用戶行為序列建模上，首先仔細考慮了細粒度行為特征對于外賣商家推薦的重要作用，并以此為基礎(chǔ)，根據(jù)時間、空間場景對用戶序列進行長序列多路情境檢索；對于專家網(wǎng)絡(luò)結(jié)構(gòu)，則先針對不同入口情境建立基于 機制的多入口情境建模，隨后探索了情境化稠密 MMOE 和稀疏 MMOE 模型，發(fā)現(xiàn)在外賣場景中，專家網(wǎng)絡(luò)可以學(xué)習到不同情境、不同任務(wù)的差別，進而提升模型精度。
基于該方案，對于 CTR、CXR（CTCVR）任務(wù)，模型在離線指標 AUC、GAUC（）上均取得了顯著提升，并在線上也取得了 、、、曝光新穎性、首購訂單占比等指標收益。線上指標計算口徑如下：3.1 情境化長序列檢索
基于深度學(xué)習的方法在 CTR 預(yù)估任務(wù)中取得了巨大成功。早期，大多數(shù)工作使用深度神經(jīng)網(wǎng)絡(luò)來捕獲來自不同領(lǐng)域的特征之間的交互，以便工程師可以擺脫枯燥的特征工程工作。最近，我們稱之為用戶興趣模型的一系列工作，專注于從歷史行為中學(xué)習潛在用戶興趣的表示，使用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如 CNN、RNN、 和 等。DIN1強調(diào)用戶興趣是多樣的，并引入了注意力機制來捕捉用戶對不同目標商品的不同興趣。DIEN2指出，歷史行為之間的時間關(guān)系對于建模用戶的興趣漂移很重要，并設(shè)計了一個帶有輔助損失的 GRU 興趣提取層。
但是，對于美團外賣，基于以上連續(xù)建模的方法，難以從用戶歷史行為中提取出與用戶的當次訪問情境高度相關(guān)的有效信息。MIMN3表明在用戶興趣模型中考慮長期歷史行為序列可以顯著提高模型的性能。但是較長的用戶行為序列包含大量噪聲，同時極大地增加了在線服務(wù)系統(tǒng)的延遲和存儲負擔。針對上述問題，SIM4提出把行為中的重要相關(guān)信息搜索出來。具體來說，在拿到需要被預(yù)估的商品信息后，可以像信息檢索一樣，對用戶行為商品構(gòu)建一個快速查詢的索引。待預(yù)估商品的信息可以當做是一個 Query，從用戶的所有行為中，查詢與其相關(guān)的行為子序列。
因此，受啟發(fā)于 MIMN 的超長序列和 SIM 的檢索思路，我們設(shè)計出情境化序列檢索方法，依據(jù) Cube 內(nèi)的情境，從用戶超長的歷史行為序列中檢索出的與當次訪問情境最相關(guān)性的用戶行為，進而捕獲更為精準的用戶興趣。3.1.1 細粒度行為特征
不同于電商中的商品推薦形式，美團外賣推薦是以商家為主體，用戶從進入商家到最終下單過程中具有更加豐富的細粒度行為，通過捕捉用戶在商家中的細粒度行為，可以精細感知到用戶差異化偏好，如注重品質(zhì)商家的用戶會更多查看商家/商品描述和評論，而折扣敏感度高的用戶則會查看折扣信息、領(lǐng)取優(yōu)惠券等。
工業(yè)實踐中，用戶行為序列特征往往包含商家/商品 ID、品類、價格等商家/商品表示特征，而在行為表示上除了用戶到商家的點擊之外，用戶通過什么頁面進入到商家點菜頁、用戶在商家點菜頁中的細粒度行為，同樣可以反映用戶的偏好。因此，可以對用戶從瀏覽商家到最終下單整個流程進行歸納分析，捕捉用戶最細膩的行為并納入模型，充分學(xué)習用戶在外賣場景中重要的、最細粒度的行為及其所代表的意圖偏好。
我們將用戶從瀏覽商家到成單商品的全流程抽取出 70 種不同的 Micro-，總結(jié)歸納出四大步驟：定位商家、考察商家、挑選商品、結(jié)算提單。在歸納不同意圖的 Micro- 時，綜合考慮了該意圖下 Micro- 的日均 PV、當日轉(zhuǎn)化率、行為跳轉(zhuǎn)路徑以及頁面展示信息，并剔除了日均 PV 覆蓋率小于 1%的 Micro-，將相同意圖的行為聚合到一起作為特征表示（比如評價 Tab 點擊、評價標簽點擊和用戶評價縮略圖點擊聚合成“查看評論”意圖表示），最終抽象出 12 種不同意圖的 Micro-，用來捕捉用戶更深層次、更細粒度的興趣?；谟脩?Micro- 提煉出從進入商家到最終下單流程如下圖 4 所示：
圖4 用戶點外賣過程接下來，我們詳細介紹下圖 4 中用戶點外賣過程的 4 類 12 種 Micro-。如下圖 5 左所示，9 種不同意圖的 Micro- 的當日轉(zhuǎn)化率存在著明顯差異（當日轉(zhuǎn)化定義：用戶在商家發(fā)生某一 Micro- 后的自然日內(nèi)有成單；結(jié)算提單意圖下 3 種行為由于轉(zhuǎn)化率很高，因此不做展示）。
圖5 Micro-和轉(zhuǎn)化率關(guān)系
分別在用戶實時（短周期行為）、歷史（長周期行為）商家序列中引入 Micro- 信息。如下表所示，離線實驗數(shù)據(jù)表明，引入的 Micro- 信息取得了比較明顯的提升。最終，細粒度行為特征在線取得了 +1.77%，+1.05%的收益。
離在線實驗效果表明引入 Micro- 信息增加了模型的精準推薦能力。此外，我們進一步對模型是否正確的學(xué)習了細粒度行為進行驗證。隨機選取一個用戶的成單商家及其商家序列引入 Micro- 后 權(quán)重變化，如下圖 6 所示，圖左上部分表示用戶行為序列中的商家以及相應(yīng) Micro- 信息，圖右上部分是序列中商家引入 Micro- 信息后所對應(yīng)的 權(quán)重可視化，方塊顏色越深則表示 權(quán)重越大，圖下部分是用戶的最終成單商家“鴻鵠一品蹺腳牛肉”在引入不同 Micro- 信息后的商家排名。通過對比序列中商家引入 Micro- 觀察 權(quán)重的變化：
圖6 引入 Micro- 和 權(quán)重關(guān)系的 Case從以上過程中可以看到，引入 Micro- 的信息越完善，模型對于用戶興趣的理解越是充分，用戶最終成單的商家也是能夠得以排名靠前。3.1.2 長序列多路情境檢索
美團外賣上線至今，已經(jīng)積累了豐富的用戶行為數(shù)據(jù)。將如此豐富的行為信息引入到模型中，是近期工業(yè)界和學(xué)術(shù)界的熱門方向，我們在該方向上也進行了一系列探索。
最初，我們直接將近三年的點擊行為直接引入到模型中來，發(fā)現(xiàn)離線效果提升顯著，但是帶來的訓(xùn)練和推理的壓力不可承受。在此基礎(chǔ)上，借鑒了 SIM4，將候選商家的品類 ID 當作 Query，先從用戶的行為序列中檢索出相同品類的商家，再進行興趣建模，離線取得了不錯的收益。
具體的，嘗試過使用二級品類和葉子品類來分別做檢索，在檢索后根據(jù)分位點進行最大長度截斷的情況下，二級品類檢索出來的序列平均長度大約為 X，而葉子品類因為品類劃分過細，檢索出來的序列平均長度大幅減少。根據(jù)離線實驗評估，最終選擇了使用二級品類進行檢索，在離線取得了 CXR GAUC+0.30pp 的效果。對于檢索條件中，像二級品類和葉子品類這種泛化性與精確性之間的 trade off，我們目前正在進行更進一步的探索。
為了進一步提升模型的效果，考慮到用戶興趣建模從 DIN 發(fā)展到 SIM，都是根據(jù)候選商家、商品的屬性，從用戶的行為歷史中提取對該候選商家、商品的興趣，這在傳統(tǒng)電商場景下是行的通的，因為用戶對某一商家、商品的興趣基本不會隨著他所處位置、所處時段改變（用戶要買手機殼，不會因為他在家還是在公司有改變，也不會因為他的購物時段是在早上還是晚上而改變）。但是餐飲外賣相較于傳統(tǒng)電商，正如前面的問題與挑戰(zhàn)中提到的，其鮮明的 LBS 和餐飲文化特色構(gòu)成多種多樣的情境，用戶在不同的情境下對于不同的商家、商品的偏好是不一樣的，是會變化的。因此，除了建模品類偏好外，還要進一步建模用戶的地理位置偏好和時段偏好。
最后，我們將二級品類 ID 檢索序列（品類偏好）、地理位置偏好）以及 檢索序列（時段偏好）全部加入到模型中，并根據(jù)各自的平均長度等信息對不同子序列分別進行了不同的最大長度調(diào)整，模型結(jié)構(gòu)如下圖 7 所示：
圖7 長序列多路情境檢索
最終，在離線取得了 CTR GAUC+0.30pp，CXR GAUC+0.52pp 的收益，在線上取得了 +0.87%，+0.70%，+0.70%，首購訂單占比+1.29%的收益。可以注意到上述長序列的引入，不僅帶來了效率的提升，還帶來了新穎性的提升，分析發(fā)現(xiàn)通過建模用戶更長期的興趣，擴展了模型的視野，不再集中于用戶的短期興趣，能更好地滿足用戶口味“短聚集，長多樣”的特性。
在后續(xù)的數(shù)據(jù)探查中，基于樣本維度統(tǒng)計了二級品類 ID 檢索序列、 檢索序列和
然而，當前三路檢索合并的版本，雖然可以對用戶的品類偏好、地理位置偏好和時段偏好進行有效的建模，但還是存在兩個比較明顯的缺陷。首先，各路檢索序列中還是存在冗余信息，并且需要分別建模三個序列，帶來的性能壓力較大。其次，將情境割裂成一個個單獨的維度進行建模，無法建模他們之間的聯(lián)系，更真實準確的情況應(yīng)該是對用戶所處情境的不同維度進行統(tǒng)一建模。針對這兩個問題，我們正在情境 Cube 的概念下，開展通過一個序列統(tǒng)一建模用戶所處情境偏好的探索工作。
下文繼續(xù)介紹長序列工程優(yōu)化實踐。長序列模型會為線上服務(wù)帶來一系列工程挑戰(zhàn)，序列長度變長極大增加了服務(wù)時數(shù)據(jù)傳輸成本與模型推理成本，需要針對這兩個方面做專門優(yōu)化。
圖8 用戶序列計算圖折疊3.2 情境化多專家網(wǎng)絡(luò)
大部分工業(yè)界的 CTR 預(yù)估模型遵循傳統(tǒng) &MLP 范式，將用戶興趣向量、商家/商品表征和其他特征作為輸入，通過樸素的多層神經(jīng)網(wǎng)絡(luò)學(xué)習特征、樣本、標簽之間的關(guān)系。另有學(xué)術(shù)界一些熟知的工作如 PNN5、、、DCN8等方法，都在努力建模特征間共現(xiàn)關(guān)系、特征的特異性、特征的層次結(jié)構(gòu)關(guān)系、樣本之間的關(guān)系等信息，并且在公開數(shù)據(jù)集和部分特定工業(yè)場景下取得顯著效果。而在 NLP 領(lǐng)域，2018 年 10 月， 發(fā)布 BERT9模型，刷新了 11 個 NLP 任務(wù)的最好水平，由此開啟了 NLP“大煉模型”時代，引爆了業(yè)界的研究熱潮。
專家混合（ of , MOE）模型被證明是通往容量更大、性能更強大的機器學(xué)習模型的有效途徑。MOE 是基于分而治之的原則建立的，其中問題空間在幾個神經(jīng)網(wǎng)絡(luò)專家之間劃分，由門控網(wǎng)絡(luò)進行監(jiān)督。在 MOE 基礎(chǔ)上，提出一種新穎的多任務(wù)學(xué)習方法，在所有任務(wù)中共享專家子模型本地外賣系統(tǒng)，使 MOE 結(jié)構(gòu)適應(yīng)多任務(wù)學(xué)習，在 的大規(guī)模內(nèi)容推薦系統(tǒng)取得顯著收益。
受啟發(fā)于 MOE，我們首先探索不同入口下的多專家網(wǎng)絡(luò)模型，然后利用 MMOE 將入口情境拓展到城市、時段等多種復(fù)雜情景中去，讓各個專家專注于學(xué)習細分情境下的數(shù)據(jù)分布，學(xué)習不同情境下用戶興趣，最后探索稀疏化 MMOE 建模，在保持推理性能不變的前提下進一步提升模型效果。采用情境化多專家網(wǎng)絡(luò)還可能導(dǎo)致情境多維叉乘造成 海量的問題，對于這一位問題，在某些具有明確差異的情境，比如入口，我們會采用一個 對應(yīng)一個入口的方案，對于不特別明確的復(fù)雜情境，例如時間交叉地點等，我們會采用固定數(shù)量 對海量 降維，然后利用 Gate 網(wǎng)絡(luò)做自動化學(xué)習。3.2.1 多入口情境建模
美團外賣涵蓋多個推薦入口，包括首頁 Feed（主要流量入口），以及美食“金剛”、甜點“金剛”、夜宵“金剛”、下午茶等子頻道。對于不同入口情境建模存在以下挑戰(zhàn)：
圖9 外賣推薦基于多入口多任務(wù)學(xué)習網(wǎng)絡(luò)結(jié)構(gòu) 示意圖我們通過實現(xiàn)多入口統(tǒng)一建模（）解決以上挑戰(zhàn)。具體的，設(shè)計了如圖 9 所示的多入口情境專家模型，在模型結(jié)構(gòu)的特征 和多任務(wù) Tower 之間構(gòu)建了 Share 學(xué)習全部入口的信息，該 將始終處于激活狀態(tài)；為了捕捉多入口之間的區(qū)別與聯(lián)系，構(gòu)建了 模塊，為每個入口設(shè)置一個由 MLP 組成的專家網(wǎng)絡(luò)（）。
離線實驗上，我們采用全入口數(shù)據(jù)混合訓(xùn)練+入口 ID 特征的模型作為基線，嘗試了 Multi-Task（為各個入口分別設(shè)置一個預(yù)估任務(wù)）、MMOE、等方法。由于用戶在外賣各入口的消費行為存在互斥關(guān)系，且小入口的行為樣本較為稀疏，因此直接采用多任務(wù)的方式效果較差，而引入 MMOE 會有一定的提升。與此同時，對比阿里的 STAR，該方法中各個入口擁有自己的獨立網(wǎng)絡(luò)參數(shù)，但未能捕獲各個入口間的關(guān)系，在外賣推薦場景中提升有限。相比之下， 在主入口和小的入口上都實現(xiàn)了較大的提升。
為了對 產(chǎn)生的激活權(quán)重做可視化分析，具體的，我們在評估集上中對 的結(jié)果根據(jù)不同入口 Query 做分組統(tǒng)計求平均，如下圖 10 所示，縱軸代表作為 Query 的入口、橫軸代表作為 Key 的入口，圖中每個點的值代表某一入口對作為 Query-Key 情況下 score 的平均值。例如，第二行代表著美食金剛(D1)作為 Query 時，對其它入口 的平均激活概率，發(fā)現(xiàn)模型可以學(xué)習到符合認知的入口相似關(guān)系，例如，當下午茶樣本（D7）作為 Query 時本地外賣系統(tǒng)，它和甜點飲品（D2） 的平均激活概率為 0.3，明顯高于對其它入口的激活概率，另外美食金剛（D1）和正餐頻道（D5）同樣有著很高的相關(guān)性。
圖10 不同入口 權(quán)重熱力圖該解決方案不僅實現(xiàn)了首頁 Feed、美食“金剛”、甜點飲品等流量入口間模型的統(tǒng)一，同時也為各個入口帶來了顯著的離線指標收益和線上指標的增長。經(jīng)過聯(lián)合建模，小入口可以有效利用到首頁 Feed 的豐富信息，使得線上和離線效果提升顯著，此外，對于首頁 Feed，該方案同樣有顯著的效果提升，不同場景線上收益如下表所示：
3.2.2 情境化稠密 MMOE
專家網(wǎng)絡(luò)是情境化建模的主要手段之一，模型可以根據(jù)不同情境自動選擇需要激活的參數(shù)參與推理達到整體更高的精度水平。我們發(fā)現(xiàn)在 Share- CTR/CXR 多目標結(jié)構(gòu)基礎(chǔ)上，引入 MMOE 結(jié)構(gòu)可以帶來顯著的離線 CTR/CXR AUC 收益（如下表所示），可以發(fā)現(xiàn)當 數(shù)量達到 64 時，CTR GAUC 和 CXR GAUC 分別有 0.3pp 與 0.4pp 左右的提升。
引入大數(shù)量級 的 MMOE 結(jié)構(gòu)可帶來較顯著的離線收益，但同時也會相應(yīng)帶來離線訓(xùn)練以及線上服務(wù)成本的增加，需要做效果與效率之間的權(quán)衡。我們在保持一定離線訓(xùn)練時長與在線 約束下，選擇了 MMOE 版本作為新的基線模型，并做詳細的探索，進行較為細致的優(yōu)化，包括：
最終，情境化稠密 MMOE 在線取得了 +0.75%，+0.89%，曝光新穎性+1.51%的收益。
3.2.3 情境化稀疏 MMOE
在探索得到稠密 MMOE 最優(yōu)版本之后，我們開始對稀疏 MMOE 模型進行探索。借鑒 提出的 Model，如 等，我們采用 Top K MMOE 方法進行嘗試。其核心思想在于，每條樣本根據(jù) Gate 的計算結(jié)果，從所有 N 個 的輸出中只選取 K 個（K
免責聲明：部分文章信息來源于網(wǎng)絡(luò)以及網(wǎng)友投稿，本站只負責對文章進行整理、排版、編輯，出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其內(nèi)容的真實性，如本站文章和轉(zhuǎn)稿涉及版權(quán)等問題，請作者在及時聯(lián)系本站，我們會盡快為您處理。
