- „Andromeda“ yra „Meta“ patentuota mašininio mokymosi (ML) sistemos konstrukcija, skirta skelbimų rekomendacijoms gauti, siekiant padidinti reklamuotojų ir žmonių vertę.
- Ši sistema peržengia pažangiausio AI ribas, kad būtų galima atkurti NVIDIA Grace Hopper Superčipas ir Meta mokymo ir išvadų greitintuvas (MTIA) aparatinė įranga per ML modelio architektūros naujoves, funkcijų atvaizdavimą, mokymosi algoritmą, indeksavimą ir išvadų paradigmą.
- Dalinamės, kaip Andromeda nustato veiksmingą duomenų gavimo mastelio keitimo įstatymą, panaudodama pažangiausių giliųjų neuroninių tinklų galią, pasinaudodama bendro ML, sistemos ir aparatinės įrangos (NVIDIA ir MTIA lustų) projektavimu, kuris pagerina našumą ir investicijų grąžą.
AI vaidina svarbų vaidmenį „Meta“ reklamoje sistema panaudojant mašininio mokymosi (ML) galią, kad būtų galima numatyti, kurie skelbimai žmogui bus įdomiausi. Tai padeda žmonėms sužinoti apie juos dominančią įmonę ar produktą ir padeda reklamuotojui pasiekti savo tikslus, pvz., padidinti prekės ženklo žinomumą, pritraukti naujų klientų ir paskatinti pardavimą.
Gavimas yra pirmasis žingsnis mūsų kelių etapų skelbimų rekomendacijų sistemoje. Šio etapo užduotis yra atrinkti skelbimus iš dešimčių milijonų reklaminių kandidatų į kelis tūkstančius atitinkamų kandidatų. Kitame etape didesni ir sudėtingesni reitingavimo modeliai numato žmones ir reklamuotojo vertę, kad būtų nustatytas galutinis skelbimų rinkinys, kuris bus rodomas asmeniui.
Iššūkiai ir galimybės šioje naujoje reklamuotojų automatizavimo eroje naudojant generatyvųjį AI
Gavimo etapas yra sudėtingas visų pirma dėl mastelio apribojimų dviem ašimis: skelbimų kandidatų apimties ir griežtų delsos apribojimų.
Kandidatų į skelbimą kiekis: Gavimas apdoroja trimis dydžiais daugiau skelbimų nei vėlesniuose etapuose. Tokios funkcijos kaip nuspėjamas taikymas, kurios labai pagerina reklamuotojo rezultatus, yra brangios. Tęsiamas teigiamas Metos impulsas Privalumas+ rinkinys dar labiau padidina tinkamų skelbimų skaičių automatizavimas auditorijos kūrimas, optimalus biudžeto paskirstymas, dinamiškas išdėstymas meta paviršiuose ir kūrybinis generavimas. Galiausiai, priėmus galingus naujus įrankius, pagrįstus generatyviniu AI Kuriant ir optimizuojant reklamos turinį, tikimasi, kad skelbimų skaičius Meta rekomendacijų sistemose gerokai išaugs.
Griežti delsos apribojimai: Labai svarbu greitai pasirinkti skelbimus, kad skelbimai būtų pateikti laiku ir atitinkami, nes bet koks delsimas gali sutrikdyti žiūrinčiųjų patirtį, nes nepateiks naujausio turinio. Kadangi reklama tampa vis dinamiškesnė, dažnai atnaujinant tiek pristatymą, tiek kiekvieno asmens interesus, beveik realiuoju laiku reikia didesnio modelio sudėtingumo.
Apdorojant tokį didelį skelbimų skaičių per tiek trumpą laiką, reikia daug pajėgumų, todėl reikia iš esmės optimizuoti ir įdiegti naujoves, kad būtų padidintas modelio sudėtingumas, kad būtų galima geriau suasmeninti, kartu išlaikant didelę investicijų grąžą (IG) iš investicijų į infrastruktūrą.
Atlaisvinkite reklamuotojo vertę per pramonėje pirmaujančias ML naujoves
„Meta Andromeda“ yra suasmenintas skelbimų paieškos variklis, kuris naudoja „NVIDIA Grace Hopper Superchip“, kad skelbimų paieškos etape įgalintų pažangiausias ML naujoves ir padidintų efektyvumą ir reklamuotojo našumą. Pagrindiniai AI pažanga apima:
Gilūs neuroniniai tinklai, specialiai sukurti NVIDIA Grace Hopper Superchip, kad užtikrintų puikų našumą
Andromeda pagerina meta skelbimų sistemos našumą, pateikdama labiau suasmenintus skelbimus žiūrintiesiems ir padidindama reklamuotojų skelbimų išlaidų grąžą. „Meta’s Ads“ komanda sukūrė gilų neuroninį tinklą su padidintu skaičiavimo sudėtingumu ir dideliu lygiagretumu „NVIDIA Grace Hopper Superchip“, kad geriau išmoktų aukštesnės eilės sąveiką iš žmonių ir skelbimų duomenų. Jo diegimas visose „Instagram“ ir „Facebook“ programose padidino 6% atšaukimo patobulinimą paieškos sistemoje, tiekdamas +8%. skelbimų kokybė patobulinimai pasirinktuose segmentuose.
Hierarchinis indeksavimas, skirtas palaikyti eksponentinį skelbimų augimą naudojant „Advantage+“ skelbimą
„Advantage+“ automatizuoja biudžeto paskirstymą, taikymą pagal auditoriją ir kainos pasiūlymų koregavimą – supaprastina kampanijos valdymą ir padidina našumą sistemoje daugiau skelbimų, skirtų skirtingoms auditorijoms.
Pavyzdžiui, kai reklamuotojai, kurie anksčiau nenaudojo „Advantage+“ skelbimo, įjungė AI pagrįstą taikymo funkcijas, mūsų skelbimų SIG padidėjo 22 %. Apskaičiavome, kad įmonių, naudojančių vaizdų generavimą, konversijų skaičius padidėja +7 %. Net šiame ankstyvame etape daugiau nei milijonas reklamuotojų naudojo mūsų generuojamuosius AI (GenAI) įrankius, kad per mėnesį sukurtų daugiau nei 15 milijonų skelbimų. „Andromeda“ sukurta taip, kad maksimaliai padidintų skelbimų našumą, panaudojant eksponentinį tinkamų skelbimų, pasiekiamų gavimo etape, kiekio augimą. Jame pateikiamas veiksmingas hierarchinis indeksas, leidžiantis padidinti iki didelio skelbimų kiekio, suteikdamas galimybę reklamuotojams pritaikytos GenAI technologijos.
AI kūrimo efektyvumas
Andromeda sumažina sistemos sudėtingumą sumažindama komponentus ir taisyklėmis pagrįstą logiką, leidžiančią optimizuoti našumą iki galo. Ši supaprastinta sistema pagreitina būsimų AI naujovių pritaikymą paieškos erdvėje.
„Meta“ nauja suasmenintų skelbimų paieškos paradigma
Prieš Andromedą „Meta“ paieškos sistemos galėjo pritaikyti tik ribotą personalizavimą, remdamosi procesu su izoliuotais modelio etapais ir daugybe taisyklėmis pagrįstų euristikos, kad būtų galima valdyti daugybę skelbimų. Šis metodas trukdė optimizuoti iki galo ir efektyviai paskirstyti pasaulinius išteklius, siekiant maksimaliai padidinti našumą. Tokio didžiulio skelbimų kiekio tvarkymas pagal užklausą buvo sudėtingas, reikalaujantis daug atminties pralaidumo ir sunkiai keičiamas, todėl įprastuose paieškos modeliuose aparatinės įrangos lygis buvo mažas. Tai dažnai lėmė neoptimalų našumą ir lėtesnį AI naujovių pritaikymą.
„Andromeda“ reiškia didelį technologinį šuolį paieškos srityje – sprendžiant pirmiau minėtus iššūkius naudojant pagrindines ML ir sistemos naujoves.
Modernus giluminis neuroninis tinklas, skirtas paieškai
„Andromeda“ gali efektyviai keisti paieškos modelių mastelį, suprojektuodama labai pritaikytą gilųjį neuroninį tinklą su sublinijine išvadų kaina, leidžiančia reikšmingai padidinti modelio talpą (10 000 kartų), kad būtų galima geriau pritaikyti asmeniniams poreikiams. Sudėtingi paslėpti ryšiai tarp žmonių pomėgių, produktų ir paslaugų, siūlomų per skelbimus, užfiksuojami naudojant pažangias sąveikos funkcijas ir naujus algoritmus, o tai dar labiau padidina rekomendacijų tinkamumą ir tikslumą.
Dizainas optimizuotas dirbtinio intelekto aparatūrai, sumažinant atminties pralaidumo kliūtis ir leidžiančius labai lygiagrečius, daug skaičiavimo reikalaujančius didelio našumo modelius. Išankstinis GPU apdorojimas naudojamas funkcijoms išgauti, o visi iš anksto apskaičiuoti skelbimų įterpimai ir funkcijos saugomi vietinėje „Grace Hopper Superchip“ atmintyje. Šis metodas sprendžia tradicinius mastelio keitimo apribojimus, susijusius su riboto procesoriaus ir GPU sujungimo pralaidumu, didelėmis atminties IO pridėtinėmis sąnaudomis ir mažu GPU panaudojimu, ir leidžia efektyviai valdyti didesnį įvairių funkcijų įvesčių rinkinį.
Hierarchinis indeksavimas, skirtas efektyvumui ir mastelio keitimui gauti
„Andromeda“ tvarko skelbimus į hierarchinį indeksą su keliais sluoksniais, sumažindama išvados žingsnių skaičių sutelkdama dėmesį tik į pačius aktualiausius mazgus. Hierarchinis indeksas ir paieškos modeliai yra kartu mokomi, o tai suderina indekso reprezentacijas su neuroniniais tinklais; tai pagerina tiek tikslumą, tiek atmintį, palyginti su dažniausiai naudojamais dviejų bokštų neuroniniais tinklais arba apytiksle artimiausio kaimyno paieška.
Hierarchinis struktūrizuotas neuroninis tinklas suteikia sublinijinių išvadų sąnaudas, leidžiančias paieškos modelius padidinti iki daug didesnės talpos, o tai leidžia efektyviai tvarkyti didesnį skelbimų kiekį su dideliu paieškos tikslumu ir pasiekti didesnį našumą.
Modelio elastingumas
Andromeda pagerina bendrą sistemos IG, suteikdama galimybę judriai ir efektyviai paskirstyti išteklius. Segmentą atpažįstantis dizainas panaudoja sudėtingesnius modelius, kad būtų teikiami didelės vertės skelbimų segmentai, siekiant maksimaliai padidinti IG. Jis automatiškai koreguoja modelio sudėtingumą ir išvadų žingsnius realiuoju laiku, atsižvelgdamas į turimus išteklius, taip leisdamas naudoti labiau keičiamo dydžio paieškos sistemą. Kartu su hierarchiniu struktūriniu neuroniniu tinklu modelio elastingumas dar 10 kartų padidina modelio išvadų efektyvumą.
Optimizuotas paieškos modelis
Andromeda žymiai pagerina paieškos modelio nurodymus ir gijų lygiagretumą, įdiegdama modelio architektūros, funkcijų, mokymosi algoritmų ir išvadų paradigmos naujoves. Šis modelis sukurtas naudojant mažo delsos, didelio našumo ir atmintį IO žinančius GPU operatorius, naudojant gilų branduolio suliejimą ir pažangias programinės įrangos konvejerinio perdavimo technologijas. Tai sumažina branduolio išsiuntimo išlaidas, išvengia kliūčių pasikartojančiose HBM-SRAM atminties IO ir sumažina priklausomybę nuo mažo aritmetinio intensyvumo modulių.
Skirtingai nuo įprastų paieškos modelių, kurie remiasi ekspertų sukurtomis funkcijomis, „Andromeda“ naudoja didžiules NVIDIA Hopper GPU lygiagretaus skaičiavimo galimybes, kad dinamiškai atkurtų latentinius vartotojo ir skelbimo sąveikos signalus, o tai daugiau nei 100 kartų pagerina tiek funkcijų ištraukimo delsą, tiek ankstesnį pralaidumą. CPU pagrindu pagaminti komponentai. Be to, lusto didelio pralaidumo procesoriaus ir grafikos procesoriaus sujungimas padidina skelbimų gavimo išvadas, kad pagal užklausą būtų apdorotas didžiulis skelbimų skaičius, todėl atitinkami ir suasmeninti skelbimai būtų pateikiami greičiau ir efektyviau. Pastangos padidino galutinio modelio išvadų užklausas per sekundę (QPS) daugiau nei 3 kartus.
Pažanga skelbimų gavimo srityje
„Andromeda“ žymiai pagerina „Meta“ skelbimų sistemą, suteikdama galimybę integruoti AI, kuri optimizuoja ir pagerina suasmeninimo galimybes paieškos etape ir pagerina reklamos išlaidų grąžą. Hierarchinis indeksavimo sprendimas, panaudojantis gilius neuroninius tinklus, sukurtas kartu su NVIDIA Grace Hopper Superchip, padeda spręsti mastelio problemas, kylančias dėl eksponentinio skelbimų skaičiaus augimo, tuo pačiu užtikrinant geriausią patirtį, atsižvelgiant į griežtus delsos ir talpos IG biudžetus. „Andromeda“ išnaudoja spartų „Advantage+“ automatizavimo ir „GenAI“ pritaikymą pramonėje, kad suteiktų vertę mūsų reklamuotojams ir žmonėms. kurie naudojasi mūsų produktų rinkiniuir Meta.
Žvelgiant į ateitį, tikimasi, kad Andromeda modelio architektūra palaikys autoregresyvaus praradimo funkciją, todėl bus sukurtas efektyvesnis ir greitesnis išvadų sprendimas, suteikiantis įvairesnių kandidatų į skelbimus. Didesnė skelbimų įvairovė gali pagerinti žmonių patirtį su skelbimais ir padėti reklamuotojams pasiekti geresnių rezultatų.
„Andromeda“ integravimas su MTIA ir būsimų komerciškai prieinamų GPU kartos ir toliau didins mastelio gavimo ribas – toliau gerins reklamuotojo našumą ir, mūsų vertinimu, modelis bus dar 1 000 kartų sudėtingesnis.
Padėkos
Norėtume padėkoti Habiya Beg, Zain Brohi, Wenlin Chen, Golnaz Ghasemiesfeh, Xingfeng He, Akshay Hegde, Liquan Huang, Liuhan Huang, Kamran Izadi, Santosh Janardhan, Karthik Jayaraman, Changkyu Kim, I Santanu Kolay. Wenqian Li, Xiaotian Li, Rocky Liu, Paolo Massimi, Kexin Nie, Sandeep Pandey, Uladzimir Pashkevich, Varna Puvvada, Hang Qu, Melanie Roe, Yan Shi, Matt Steiner, Alisha Swinteck, Bangsheng Tang, Jim Tao, Sunay Vaishnav, Arunprasad Venkatraman, Vidhoon Viswanathan, Sasha Vorontsov Xuhanthan, M, M, , Tak Yan, Yang Yang, Qing Zhang, Fangyu Zou ir visus, kurie prisidėjo prie „Meta Andromeda“ sėkmės.
