Humanoidiniai robotai tampa vis sunkiau atskiriami nuo tikrų žmonių, o naujas tyrimas iš Kinijos atskleidžia vieną iš priežasčių, kodėl taip yra.
Tyrėjai sukūrė didelio masto trimačių (3D) veidų duomenų rinkinį ir naują dirbtinio intelekto modelį, galintį nustatyti veido žymeklius tiesiogiai iš pirminių 3D duomenų, nesiremiant dvimačiais (2D) vaizdais ar skaitmeniniais šablonais.
Šis darbas sprendžia esminį realistiškų androidų ir virtualių žmonių kūrimo iššūkį – suteikti jiems gebėjimą reikšti emocijas, atpažinti tapatybę ir natūraliai bendrauti.
Vienas pagrindinių techninių šios srities elementų yra trimačių veido orientyrų (veido taškų) aptikimas – tai kritinių taškų žemėlapio sudarymas veide 3D erdvėje.
Dauguma esamų sistemų smarkiai priklauso nuo 2D tekstūrų žemėlapių ar sintetiškai sukurtų 3D veidų. Toks metodas gali įnešti klaidų, nes skaitmeniniai modeliai dažnai skiriasi nuo tikros žmogaus veido geometrijos, o tekstūrų suderinimas ne visuomet būna tikslus.
Naujajame tyrime siekiama apeiti šiuos apribojimus, dirbant tiesiogiai su realiais 3D veidų skenavimais.
Tyrimą vykdė profesorius SONG Zhan iš Kinijos mokslų akademijos Šendženo pažangiųjų technologijų instituto kartu su dr. YE Yuping iš Fudziano technologijos universiteto.
Didelio masto 3D duomenų rinkinių kūrimas
Siekiant palaikyti šį darbą, komanda sukūrė specialią 3D ir 4D veidų fiksavimo sistemą. Buvo atliktas standartizuotas duomenų rinkimas ir sudaryta duomenų bazė, kurioje yra apie 200 000 aukštos raiškos 3D veidų skenavimų.
Duomenų bazę taip pat papildo keli papildomi rinkiniai: daugelio išraiškų 3D veidų duomenų rinkinys, standartizuotas 3D veido žymeklių rinkinys, didelio tikslumo 3D žmogaus kūno duomenų rinkinys ir dinaminis 4D veido išraiškų duomenų rinkinys.
Kartu šie daugiarūšiai biometriniai ištekliai sudaro vieną didžiausių iki šiol aprašytų struktūruotų realių 3D žmogaus veidų duomenų kolekcijų. Šis duomenų rinkinys buvo atrinktas į Fudziano provincijos 2025 metų aukštos kokybės DI duomenų programą.
Užuot tiekę DI sistemai tekstūromis papildytus vaizdus, tyrėjai sukūrė kreivėmis paremtą grafų dėmesio tinklą (angl. Curvature-Fused Graph Attention Network, CF-GAT), kuris tiesiogiai apdoroja neordines taškų sankaupas. Taškų sankaupa (angl. point cloud) apibrėžia veido geometriją kaip erdvinių taškų rinkinį be paviršiaus tekstūrų.
Komanda pritaikė geometrija grindžiamą mėginių ėmimo strategiją, kuri supaprastina taškų rinkinį, tačiau išsaugo svarbiausią kreivumo informaciją. Ši kreivumo informacija užkoduojama kaip aiški geometrinė prielaida ir integruojama į modelio dėmesio mechanizmą. Tai leidžia tinklui sutelkti dėmesį į subtilius lokalius formos pokyčius ir kartu modeliuoti globalius ryšius visame veide.
Geometrija grįstas DI proveržis
Pasitelkdamas grafų dėmesio struktūrą, CF-GAT modelis prognozuoja 3D veido žymeklių koordinates tiesiogiai iš pirminių geometrinių duomenų. Jam nereikia 2D tekstūrų ar iš anksto nustatytų šabloninių modelių, todėl sumažėja priklausomybė nuo paviršiaus išvaizdos.
Atliekant bandymus, modelis parodė didesnį atsparumą triukšmui ir geresnį apibendrinimą skirtingų veido formų atžvilgiu, palyginti su tradiciniais metodais.
Be to, jis pasiekė tikslesnį smulkių veido orientyrų lokalizavimą, kas yra kritiškai svarbu realistiškoms veido išraiškoms ir preciziškam veido judesių sekimui.
Tyrimo rezultatai parodo, kokią tiesioginę įtaką algoritmų veikimui gali turėti aukštos kokybės, didelio masto duomenų rinkiniai. Mokydamasis iš detalių realios geometrijos duomenų, modelis gali išmokti turtingesnius erdvinius dėsningumus ir efektyviau prisitaikyti prie realaus pasaulio įvairovės.
Šis proveržis gali prisidėti prie dar gyvesnių humanoidinių robotų kūrimo, tikslesnių biometrinių atpažinimo sistemų ir išraiškingesnių virtualių avatarų. Kadangi androidai vis dažniau pasirodo pramogų, sveikatos priežiūros ir paslaugų srityse, būtent pažangi geometrinė žvalgyba gali nulemti, kaip natūraliai jie atrodys žmonių akyse.
