(資料圖片)

網(wǎng)易云音樂開源了曙光埋點 dawn

K8s+gRPC云原生微服務(wù)開發(fā)與治理實戰(zhàn)

download：https://www.zxit666.com/5859/

一個跨多端的全鏈路埋點處理計劃，旨在結(jié)構(gòu)一個圓滿的數(shù)據(jù)理想國。曙光埋點發(fā)明性的提出了埋點虛擬樹（VTree），并在此根底上完成了諸多才能，處理大前端側(cè)埋點艱難、精度差、不穩(wěn)定、質(zhì)量不高的問題，并且設(shè)計一套完好的端側(cè)全鏈路追蹤才能，圓滿助力大數(shù)據(jù)用戶畫像、實時歸因/離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景。曙光埋點從埋點設(shè)計、到大前端(iOS、Android、H5、RN等)開發(fā)、以及埋點校驗&稽查、再到埋點數(shù)據(jù)運用的全鏈路效勞，讓客戶端的埋點變得真正的好用。目前曾經(jīng)普遍應(yīng)用于云音樂各個主要APP。行業(yè)難點&痛點埋點開發(fā)本錢高：端側(cè)埋點開發(fā)，常常是逐一坑位停止，坑位上大量且反復(fù)的參數(shù)，開發(fā)本錢昂揚；埋點精準(zhǔn)度低：資源曝光埋點，復(fù)雜度高且準(zhǔn)確低，短少全站統(tǒng)一的曝光戰(zhàn)略；埋點模型不穩(wěn)定：mspm以及x-path方式的埋點，單獨坑位以及自動坑位計劃，很難保證埋點模型的穩(wěn)定；鏈路追蹤才能弱：端側(cè)沒有鏈路追蹤才能，常常需求借助數(shù)據(jù)側(cè)對離線數(shù)據(jù)停止復(fù)雜剖析得來，本錢高；埋點質(zhì)量管控難：從設(shè)計、開發(fā)，再到考證、以及上線，QA人力來保證本錢大、收益小。特征高性能虛擬樹：曙光埋點提出了埋點對象和虛擬樹（后面稱VTree），view聲明成一個對象，原始view樹高性能的導(dǎo)出一顆VTree，VTree構(gòu)建了我們整個曙光埋點計劃的基石；埋點內(nèi)容構(gòu)造化：借助于VTree，我們的埋點內(nèi)容是構(gòu)造化的，是具備自我描繪才能的，自然具備了上下層級關(guān)系，繼而做到埋點內(nèi)容承載坑位、內(nèi)容、上下層級關(guān)系，從而得出有意義的、穩(wěn)定的spm（Super Position Model）以及scm（Super Content Model）；全站統(tǒng)一的曝光戰(zhàn)略：跨多端統(tǒng)一的資源曝光戰(zhàn)略，做到所見即曝光開端，不可見即曝光完畢，大大減輕了開發(fā)人員的開發(fā)本錢和出錯幾率；全鏈路追蹤才能： 端側(cè)強(qiáng)大的鏈路追蹤才能，100%可追蹤用戶日志的操作鏈路關(guān)系，圓滿助力大數(shù)據(jù)實時歸因剖析、離線歸因剖析、漏斗剖析、大數(shù)據(jù)引薦場景，做到不限深度，不限廣度的數(shù)據(jù)剖析才能；完好的埋點迭代管理：強(qiáng)大的埋點迭代管理平臺，特地承載互聯(lián)網(wǎng)app快速迭代場景，完好管理歷史記載和多版本并行；多機(jī)制的埋點質(zhì)量保證：線下埋點校驗做到開發(fā)埋點免去了QA人力，同時保證了埋點上線質(zhì)量；線上數(shù)據(jù)稽查保證以全自動的方式發(fā)現(xiàn)線上埋點問題；全平臺掩蓋：掩蓋iOS、Android、RN、以及站外內(nèi)H5，而且極易的可擴(kuò)展Flutter、weex等其他平臺。更多信息能夠參見文章 云音樂曙光埋點：復(fù)原數(shù)據(jù)理想國

運用曙光曙光埋點掩蓋了iOS、Android、H5、RN，以及埋點管理平臺（easyinsight平臺），BI剖析師在埋點平臺設(shè)計埋點VTree，端側(cè)開發(fā)人員以極低的開發(fā)本錢、聲明式的開發(fā)方式導(dǎo)出VTree，分離easyinsight平臺的上線前埋點校驗以及線上數(shù)據(jù)稽查，即進(jìn)步了開發(fā)效率，又保證了埋點質(zhì)量。愈加細(xì)致的曙光埋點運用，參見 曙光埋點-文檔行業(yè)比照曙光 與 x-path系列x-path系列方式的埋點，比擬有代表性的是Mixpanel(游戲)、GrowingIO、網(wǎng)易HubbleData、以及美團(tuán)，主要特性是強(qiáng)化無痕埋點，埋點坑位后關(guān)聯(lián)，數(shù)據(jù)后處置；適用的場景主要是一些UI復(fù)雜度低，比擬固定的場景，這樣能夠使得從view原始樹生成x-path，用來獨一標(biāo)識一個埋點坑位變得可行。比方典型運用場景是按鈕的點擊、頁面的曝光等場景，對高精度的資源位曝光有些無力。其中美團(tuán)在自有動態(tài)化計劃業(yè)務(wù)場景做可視化埋點，曙光目前也在H5活動場景支持可視化埋點。但是缺陷也很明顯，就是不適用復(fù)雜業(yè)務(wù)場景，埋點模型不穩(wěn)定，關(guān)于埋點質(zhì)量請求特別高的業(yè)務(wù)來說無法運用該計劃。埋點坑位后關(guān)聯(lián)，數(shù)據(jù)后處置，本錢也很大，運用也諸多不便。功用曙光x-path系列VTree可視化支持（貫串全流程）無可視化埋點支持H5支持（美團(tuán)）埋點內(nèi)容構(gòu)造化層級化 & 可高度定制平鋪（參數(shù)冗余、信息量少）埋點模型穩(wěn)定(spm&scm)高度穩(wěn)定低（后關(guān)聯(lián)）端側(cè)開發(fā)本錢普通（聲明式）低全鏈路鏈路追蹤強(qiáng)大（統(tǒng)一范式）普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略抹平列表&非列表；全平臺統(tǒng)一；弱化曝光埋點埋點校驗&數(shù)據(jù)稽查強(qiáng)大（可視化校驗 & 線上稽查）弱曙光 與 坑位mspm系列坑位mspm系列的埋點計劃，是目前行業(yè)內(nèi)大多數(shù)公司采用的計劃，比方騰訊、字節(jié)、快手、美團(tuán)、以及早期的云音樂；該計劃埋點坑位獨立，常常經(jīng)過機(jī)器生成的 mspm 字符串來標(biāo)識埋點坑位，但是通常mspm都是無意義的字符串。這個計劃可靈敏順應(yīng)各種復(fù)雜業(yè)務(wù)場景，并且依托大公司強(qiáng)大的大數(shù)據(jù)才能，也能夠完成很不錯的漏斗剖析、數(shù)據(jù)歸因等才能。但是客戶端開發(fā)/維護(hù)本錢高，特別是資源位曝光埋點，做不到端內(nèi)列表、非列表戰(zhàn)略統(tǒng)一，更做不到全平臺戰(zhàn)略統(tǒng)一，完成起來又比擬艱難，這也是最容易產(chǎn)生bug的中央。由于端側(cè)不參與鏈路追蹤，準(zhǔn)確歸因才能大數(shù)據(jù)側(cè)比擬艱難，沒有統(tǒng)一范式來統(tǒng)一處置。

功用曙光x-path系列VTree可視化支持（貫串全流程）無埋點內(nèi)容構(gòu)造化層級化 & 可高度定制平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢普通（聲明式）低全鏈路鏈路追蹤強(qiáng)大（統(tǒng)一范式）普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略抹平列表&非列表；全平臺統(tǒng)一；弱化曝光埋點曝光埋點高精度高精度（處置遮擋）弱埋點校驗&數(shù)據(jù)稽查強(qiáng)大（可視化校驗 & 線上稽查）弱曙光 與 四段式spm四段式spm是在坑位mspm系列的根底上，賦予spm層級關(guān)系（站點.頁面.區(qū)塊.區(qū)塊內(nèi)）信息，阿里大量運用該計劃，早期云音樂也做過這方面的嘗試；該計劃讓埋點坑位有一定的意義，在埋點管理過程中也愈加便當(dāng)一些。但是四段式也就限定了方式，靈敏度降低，也短少端側(cè)明白的VTree構(gòu)造，關(guān)于埋點穩(wěn)定性、埋點校驗/數(shù)據(jù)稽查、埋點內(nèi)容構(gòu)造化，都有一些才能局限。功用曙光x-path系列VTree可視化支持（貫串全流程）無埋點迭代管理可視化、適用迭代并行普通埋點內(nèi)容構(gòu)造化層級化 & 可高度定制平鋪（參數(shù)冗余、信息量少）端側(cè)開發(fā)本錢普通（聲明式）低全鏈路鏈路追蹤強(qiáng)大（統(tǒng)一范式）普通（依托大數(shù)據(jù)后處置）全平臺統(tǒng)一的曝光戰(zhàn)略抹平列表&非列表；全平臺統(tǒng)一；弱化曝光埋點曝光埋點高精度高精度（處置遮擋）弱埋點校驗&數(shù)據(jù)稽查強(qiáng)大（可視化校驗 & 線上稽查）弱云音樂落地由于曙光埋點能夠帶來的這些益處，截止到目前為止，云音樂APP曾經(jīng)全面擁抱曙光，掩蓋簡直全部的P0/P1業(yè)務(wù)場景，從雙端客戶端、H5、RN等，到數(shù)倉、大數(shù)據(jù)引薦等，曾經(jīng)全數(shù)切換到曙光。依托于穩(wěn)定的VTree構(gòu)造，以及強(qiáng)大的埋點校驗&埋點數(shù)據(jù)稽查，QA人力已完整釋放，數(shù)據(jù)相關(guān)Bug也大幅降落，曾經(jīng)很長時間沒有呈現(xiàn)過由于資源曝光不準(zhǔn)確而招致的數(shù)據(jù)問題了。

關(guān)鍵詞