- Patobulinome suasmenintas vaizdo įrašų rekomendacijas „Facebook“ juostose, perkeldami daugiau nei į metriką, pvz., „Patinka“ ir žiūrėjimo laiką, ir tiesiogiai pasinaudodami vartotojų atsiliepimais.
- Mūsų naujas Naudotojo tikrųjų interesų tyrimo (UTIS) modelisdabar padeda atskleisti daugiau nišos, aukštos kokybės turinio ir padidina įsitraukimą, išlaikymą ir pasitenkinimą.
- Dvigubai sumažiname suasmeninimą, sprendžiame tokias problemas kaip nedideli naudotojų duomenys ir šališkumas bei tyrinėjame pažangų AI, kad pateiktume dar išmanesnes ir įvairesnes rekomendacijas.
- Mūsų laikraštis „Pagerinkite didelio masto reitingavimo sistemų personalizavimą integruodami vartotojų apklausų atsiliepimus“ dalijasi visa informacija apie šį darbą.
Suasmenintų vaizdo įrašų rekomendacijų teikimas yra dažnas iššūkis siekiant patenkinti naudotojus ir ilgalaikį įsitraukimą į didelio masto socialines platformas. „Facebook Reels“ stengėmės panaikinti šią spragą, sutelkdami dėmesį į „interesų atitikimą“ – užtikrindami, kad žmonių matomas turinys tikrai atitiktų jų unikalias nuostatas. Sujungę didelio masto vartotojų apklausas su naujausiais mašininio mokymosi pasiekimais, dabar galime geriau suprasti ir modeliuoti tai, kas žmonėms tikrai rūpi, todėl gerokai pagerėjo rekomendacijų kokybė ir bendras vartotojų pasitenkinimas.
Kodėl svarbūs tikri interesai
Tradicinės rekomendacijų sistemos dažnai remiasi įtraukimo signalais, pvz., mygtukais, bendrinimais ir žiūrėjimo laiku, arba euristika, kad nustatytų naudotojų interesus. Tačiau šie signalai gali būti triukšmingi ir ne iki galo perteikti niuansų to, kas žmonėms iš tikrųjų rūpi ar nori matyti. Tik pagal šiuos signalus apmokyti modeliai dažniausiai rekomenduoja turinį, kuris turi didelę trumpalaikę naudotojo vertę, įvertintą pagal žiūrėjimo laiką ir įsitraukimą, tačiau neapima tikrų interesų, kurie yra svarbūs ilgalaikiam produkto naudingumui. Norėdami užpildyti šią spragą, mums reikėjo tiesioginio būdo įvertinti, kaip vartotojai suvokia turinio tinkamumą. Mūsų tyrimai rodo, kad veiksmingas interesų atitikimas yra ne tik paprastas temos derinimas; ji taip pat apima tokius veiksnius kaip garsas, gamybos stilius, nuotaika ir motyvacija. Tiksliai fiksuodami šiuos aspektus galime teikti tinkamesnes ir labiau suasmenintas rekomendacijas, skatinančias žmones dažniau grįžti į programą.
Kaip mes įvertinome vartotojų suvokimą
Siekdami patvirtinti savo požiūrį, vaizdo įrašų sklaidos kanale pradėjome didelio masto atsitiktinių imčių apklausas, kuriose vartotojų klausėme: „Ar šis vaizdo įrašas atitinka jūsų pomėgius?“ Šios apklausos buvo naudojamos „Facebook“ ritėse ir kituose vaizdo įrašų paviršiuose, todėl kiekvieną dieną galėjome surinkti tūkstančius atsakymų iš vartotojų kontekste. Rezultatai atskleidė, kad ankstesnė palūkanų euristika pasiekė tik a 48,3% tikslumas nustatant tikruosius interesuspabrėžiant tvirtesnės matavimo sistemos poreikį.
Įvertinę atsakymus pagal atrankos ir neatsakymo šališkumą, sukūrėme išsamų duomenų rinkinį, tiksliai atspindintį realias naudotojų nuostatas – ne tik numanomus įsitraukimo signalus, bet ir tiesioginius, realiu laiku pateikiamus naudotojų atsiliepimus.
Framework: Naudotojo tikrųjų interesų tyrimo (UTIS) modelis
Kasdien tam tikra dalis naudotojų, žiūrinčių seansus platformoje, atsitiktinai parenkami, kad būtų rodoma vieno klausimo apklausa, kurioje klausiama: „Kiek šis vaizdo įrašas atitinka jūsų pomėgius?“ 1-5 skalėje. Apklausa siekiama surinkti vartotojų atsiliepimus realiuoju laiku apie ką tik peržiūrėtą turinį.
Pagrindinis platformos naudojamas kandidatų reitingavimo modelis yra didelis kelių užduočių, kelių etikečių modelis. Treniravomės lengvą UTIS derinimo modelis sluoksnis apie surinktus vartotojų apklausos atsakymus, naudojant esamas pagrindinio modelio prognozes kaip įvesties funkcijas. Apklausos atsakymai, naudojami mūsų modeliui išmokyti, buvo dvejetainiai, kad būtų lengviau modeliuoti ir panaikintų atsakymų dispersiją. Be to, buvo sukurtos naujos funkcijos, leidžiančios užfiksuoti naudotojų elgseną, turinio atributus ir susidomėjimo signalus su objekto funkcija, siekiant optimizuoti vartotojų interesų atitikimo mastą.
UTIS modelis išveda tikimybę, kad vartotojas bus patenkintas vaizdo įrašu, ir yra sukurtas taip, kad jį būtų galima interpretuoti, kad galėtume suprasti veiksnius, prisidedančius prie naudotojų interesų atitikimo patirties.
UTIS modelio integravimas į pagrindinę reitingavimo sistemą
Eksperimentavome ir įdiegėme kelis UTIS modelio naudojimo atvejus savo reitingavimo kanale. Visi jie parodė sėkmingus 0 pakopos naudotojų išlaikymo metrikos patobulinimus:
- Vėlyvojo etapo reitingas (LSR): UTIS yra įdiegtas lygiagrečiai su LSR modeliu, suteikiant papildomą įvesties funkciją į galutinės reikšmės formulę. Tai leidžia tiksliai sureguliuoti galutinį reitingavimo etapą, kad būtų įtraukti tikrieji interesai ir subalansuoti kiti klausimai.
- Ankstyvojo etapo reitingas (nugaunimas): UTIS naudojama atkurti naudotojų tikrųjų interesų profilius, kaupiant apklausos duomenis, kad būtų galima numatyti giminingumą bet kuriai naudotojo ir vaizdo įrašo porai, kad galėtume iš naujo reitinguoti naudotojo interesų profilį ir gauti daugiau kandidatų, atitinkančių tikruosius naudotojų pomėgius. Be to, didelės sekos, pagrįstos naudotojo-prekės paieškos modeliais, yra suderinamos naudojant žinių distiliavimu pagrįstus tikslus, parengtus pagal UTIS prognozes iš LSR kaip etiketes.
UTIS modelio balas dabar yra vienas iš įvesties į mūsų reitingavimo sistemą. Vaizdo įrašai, kurie, kaip prognozuojama, sukels didelį susidomėjimą, sulaukia nedidelio paskatinimo, o tie, kurių susidomėjimas yra mažas, sumažinami. Šis požiūris lėmė:
- Didesnis aukštos kokybės, nišinio turinio pristatymas.
- Žemos kokybės, bendrų populiarumu pagrįstų rekomendacijų mažinimas.
- Patobulinti mygtukų, bendrinimo ir sekimo rodikliai.
- Patobulinta naudotojų įtraukimo ir išlaikymo metrika.
Nuo tada, kai pradėjome šį metodą, stebėjome tvirtą našumą neprisijungus ir prisijungę
- Našumas neprisijungus: UTIS modelis pagerino tikslumą ir patikimumą, palyginti su euristinės taisyklės bazine linija. Tikslumas padidėjo nuo 59,5% iki 71,5%, tikslumas pagerėjo nuo 48,3% iki 63,2%, o atšaukimas padidėjo nuo 45,4% iki 66,1%. Šie pranašumai rodo, kad modelis gali padėti tiksliai nustatyti naudotojų pomėgių nuostatas.
- Internetinis našumas: Didelio masto A/B bandymai, kuriuose dalyvavo daugiau nei 10 milijonų vartotojų, patvirtino šiuos realių nustatymų patobulinimus. UTIS modelis nuolat viršijo pradinį lygį, padidindamas vartotojų įsitraukimą ir išlaikymą. Pažymėtina, kad aukšti apklausos įvertinimai padidėjo +5,4%, žemi apklausos įvertinimai sumažėjo -6,84%, bendras naudotojų įsitraukimas padidėjo +5,2%, o vientisumo pažeidimų sumažėjo -0,34%. Šie rezultatai pabrėžia modelio efektyvumą gerinant naudotojų patirtį ir suderinant naudotojus su atitinkamais pomėgiais.
Būsimas darbas dėl palūkanų rekomendacijų
Integruodami apklausomis pagrįstą matavimą su mašininiu mokymusi, sukuriame patrauklesnę ir labiau suasmenintą patirtį – „Facebook“ ritėse pateikiame turinį, kuris atrodo tikrai pritaikytas kiekvienam vartotojui ir skatina pakartotinius apsilankymus. Nors apklausomis pagrįstas modeliavimas jau pagerino mūsų rekomendacijas, išlieka svarbių tobulinimo galimybių, pvz., geriau aptarnauti naudotojus, kurių įtraukimo istorija yra nedidelė, sumažinti apklausos atrankos ir pateikimo šališkumą, toliau individualizuoti rekomendacijas įvairioms naudotojų grupėms ir gerinti rekomendacijų įvairovę. Siekdami išspręsti šiuos iššūkius ir toliau gerinti aktualumą bei kokybę, taip pat tiriame pažangius modeliavimo būdus, įskaitant didelių kalbų modelius ir detalesnius naudotojų vaizdus.
Skaitykite popierių
Pagerinkite didelio masto reitingavimo sistemų personalizavimą integruodami vartotojų apklausų atsiliepimus
