基于Kafka Streams構(gòu)建廣告消耗預(yù)測系統(tǒng)

作者：謝健芬

Pinterest 廣告工程團(tuán)隊(duì)的宗旨是為我們的廣告合作商提供最優(yōu)質(zhì)的服務(wù)體驗(yàn)，而廣告超投，是我們極力要解決的問題之一。在Pinterest，我們使用了?Kafka Streams?，可以實(shí)現(xiàn)把廣告消耗的預(yù)測數(shù)據(jù)在數(shù)秒鐘的時(shí)間內(nèi)發(fā)送給數(shù)千個(gè)廣告投放服務(wù)。本文將會(huì)先解釋什么是超投，然后分享一下我們是如何使用 Kafka Streams 構(gòu)造預(yù)測系統(tǒng)來提供近實(shí)時(shí)的預(yù)測消耗數(shù)據(jù)、從而降低超投的。

關(guān)于超投

當(dāng)廣告主的預(yù)算耗盡時(shí)，如果他們的廣告被繼續(xù)投放，這多出來的投放部分將無法再進(jìn)行收費(fèi)，這種現(xiàn)象被稱之為超投。超投會(huì)減少其他還有預(yù)算盈余的廣告主的廣告展現(xiàn)機(jī)會(huì)，從而降低了他們的產(chǎn)品和服務(wù)觸及潛在顧客的機(jī)會(huì)。

要降低超投率，應(yīng)從兩個(gè)方面著手：

我們舉個(gè)例子來詳細(xì)說明一下。假設(shè)有一個(gè)能提供廣告投放的互聯(lián)網(wǎng)公司，廣告主X向該公司購買了出價(jià)為$0.10元/曝光?、預(yù)算為$100元/天的廣告服務(wù)。這意味著該廣告每天最多曝光1000次。

該公司為廣告主快速實(shí)現(xiàn)了一個(gè)簡單明了的投放系統(tǒng)：

當(dāng)網(wǎng)站上出現(xiàn)新的廣告展現(xiàn)機(jī)會(huì)時(shí)，前端會(huì)向廣告庫（ad inventory）請求一條廣告。廣告庫根據(jù)廣告主X的剩余預(yù)算來決定是否投放他們的廣告。如果預(yù)算仍然充足，廣告庫將通知前端進(jìn)行一次廣告投放（比如在用戶端APP的一個(gè)廣告位上展示出來）。當(dāng)用戶瀏覽了該廣告后，一個(gè)曝光事件會(huì)發(fā)往計(jì)費(fèi)系統(tǒng)。

然而，當(dāng)該公司檢查他們的收入時(shí)，發(fā)現(xiàn)事情的進(jìn)展與預(yù)想的并不一樣。

廣告主X的廣告實(shí)際展示了1100次，由于預(yù)算只有$100，因此平均每次曝光的價(jià)格實(shí)際只有$0.09元。比計(jì)劃多出來的100次曝光相當(dāng)于是免費(fèi)投放了，而且這些曝光機(jī)會(huì)本來可以用來展示其他廣告主的廣告。這就是業(yè)界常談的超投問題。

那么為什么會(huì)發(fā)生超投？在這個(gè)例子中，我們假設(shè)是由于結(jié)算系統(tǒng)的響應(yīng)時(shí)間太長所導(dǎo)致的。假設(shè)系統(tǒng)對一次曝光的處理有5分鐘的延遲，從而導(dǎo)致了超投。因此，這個(gè)互聯(lián)網(wǎng)公司采取了一些優(yōu)化手段來提高了系統(tǒng)性能，結(jié)果成功地多賺了$9元！因?yàn)樗言?00次無效曝光中的90次讓給了其他預(yù)算充足的廣告主，從而把超投率降低到10/1000 = 1%。

不久之后，另一位廣告主Y也聯(lián)系了這家公司，并希望以$100元/天的預(yù)算、$2.0元/點(diǎn)擊（例如，一個(gè)用戶通過點(diǎn)擊廣告鏈接到達(dá)廣告主Y自己的網(wǎng)站）、最多每天50次點(diǎn)擊的價(jià)格購買廣告。這家公司把廣告主Y加到他們的廣告投放流程里，并在他們的系統(tǒng)增加了點(diǎn)擊事件的跟蹤。

一天下來，這家公司的廣告系統(tǒng)再次發(fā)生了超投。

結(jié)算下來，廣告主Y竟然得到了10個(gè)免費(fèi)點(diǎn)擊！而這家互聯(lián)網(wǎng)公司發(fā)現(xiàn)，即使結(jié)算系統(tǒng)處理速度足夠快，但卻無法預(yù)知一個(gè)投放出去的廣告是否會(huì)被點(diǎn)擊，由于缺乏這些未來的消耗信息，超投將永遠(yuǎn)都無法避免。

本例子中的主人公最后找到了一個(gè)非常聰明的解決辦法：給每個(gè)廣告主計(jì)算預(yù)測消耗。預(yù)測消耗指的是已經(jīng)投放出去了但尚未發(fā)生消耗的那部分。如果實(shí)際消耗+預(yù)測消耗＞每日預(yù)算，則停止該廣告主的廣告投放。

構(gòu)建預(yù)測系統(tǒng)

初衷

我們的用戶每天在Pinterest上進(jìn)行瀏覽以獲取新的靈感：從個(gè)性化推薦，到搜索，再到運(yùn)營推薦位。我們需要構(gòu)建一個(gè)兼具可靠性和可擴(kuò)展性的廣告系統(tǒng)來進(jìn)行廣告投放，并確保利用好我們廣告主的每一筆預(yù)算。

需求

我們著手設(shè)計(jì)了一個(gè)消耗預(yù)測系統(tǒng)，系統(tǒng)目標(biāo)如下：

為什么選擇Kafka Streams

我們評估過不同類型的流式服務(wù)，其中也包括?Spark?和?Flink?。這些技術(shù)在數(shù)據(jù)規(guī)模上都能滿足我們的要求，但對我們來說，Kafka Streams還具備了一些特殊的優(yōu)勢：

具體實(shí)施

下圖在高層次上展示了加入了消耗預(yù)測之后的系統(tǒng)結(jié)構(gòu)：

在實(shí)際應(yīng)用中，我們的消耗預(yù)測的準(zhǔn)確率非常高。在整個(gè)預(yù)算預(yù)測系統(tǒng)上線之后，我們的超投率明顯下降了。下圖是我們的實(shí)際消耗與預(yù)測消耗的一個(gè)對比測試結(jié)果樣例。

說明：圖中的橫軸是以3分鐘為單位的時(shí)間軸；縱軸表示單位時(shí)間內(nèi)的消耗。其中藍(lán)線表示預(yù)測消耗，綠線表示實(shí)際消耗

一些經(jīng)驗(yàn)

結(jié)論

使用Apache Kafka Streams來構(gòu)建預(yù)測消耗系統(tǒng)是我們廣告基礎(chǔ)組件的一個(gè)新的嘗試，而該系統(tǒng)也達(dá)到了高效、穩(wěn)定、高容錯(cuò)與可擴(kuò)展的要求。我們計(jì)劃在未來將會(huì)持續(xù)探索由Confluent推出的?Kafka 1.0?和?KSQL?并應(yīng)用到系統(tǒng)設(shè)計(jì)上。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。