V novem članku Point-E: sistem za generiranje 3D oblakov točk iz kompleksnih signalov raziskovalna skupina OpenAI predstavlja Point E, sistem pogojne sinteze besedila oblaka točk 3D, ki uporablja difuzijske modele za ustvarjanje raznolikih in kompleksnih 3D oblik, ki jih poganja kompleksno besedilo. namigi.v nekaj minutah na eni GPU.
Neverjetna zmogljivost današnjih najsodobnejših modelov za generiranje slik je spodbudila raziskave na področju generiranja besedilnih objektov 3D.Vendar pa za razliko od 2D modelov, ki lahko ustvarijo izhod v minutah ali celo sekundah, objektni generativni modeli običajno zahtevajo več ur dela GPE za ustvarjanje enega vzorca.
V novem članku Point-E: Sistem za generiranje 3D oblakov točk iz kompleksnih signalov raziskovalna skupina OpenAI predstavlja Point·E, tekstovni sistem pogojne sinteze za 3D oblake točk.Ta novi pristop uporablja propagacijski model za ustvarjanje raznolikih in zapletenih 3D oblik iz zapletenih besedilnih signalov v samo minuti ali dveh na eni GPE.
Ekipa se osredotoča na izziv pretvorbe besedila v 3D, kar je ključnega pomena za demokratizacijo ustvarjanja 3D vsebine za aplikacije v resničnem svetu, od virtualne resničnosti in iger do industrijskega oblikovanja.Obstoječe metode za pretvorbo besedila v 3D spadajo v dve kategoriji, od katerih ima vsaka svoje pomanjkljivosti: 1) generativne modele je mogoče uporabiti za učinkovito generiranje vzorcev, vendar ne morejo učinkovito prilagajati različnih in kompleksnih besedilnih signalov;2) vnaprej usposobljen model besedila in slike za obdelavo zapletenih in raznolikih besedilnih namigov, vendar je ta pristop računsko intenziven in model se lahko zlahka zatakne v lokalnih minimumih, ki ne ustrezajo smiselnim ali koherentnim 3D objektom.
Zato je ekipa raziskala alternativni pristop, katerega namen je združiti prednosti zgornjih dveh pristopov, z uporabo modela difuzije besedilo-slika, ki je treniran na velikem naboru parov besedilo-slika (kar mu omogoča obvladovanje raznolikih in kompleksnih signalov) in model difuzije 3D slike, ki je treniran na manjšem nizu parov besedilo-slika.nabor podatkov parov slika-3D.Model besedila v sliko najprej vzorči vhodno sliko, da ustvari eno samo sintetično predstavitev, model slike v 3D pa ustvari 3D oblak točk na podlagi izbrane slike.
Generativni sklad ukaza temelji na nedavno predlaganih generativnih okvirih za pogojno generiranje slik iz besedila (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Kot svoj model pretvorbe besedila v sliko uporabljajo model GLIDE s 3 milijardami parametrov GLIDE (Nichol et al., 2021), ki so natančno nastavljeni na upodobljenih 3D modelih, kot njihov model pa nabor difuzijskih modelov, ki ustvarjajo oblake točk RGB. transformacijski model.slike do slike.3D modeli.
Medtem ko so prejšnje delo uporabljale 3D-arhitekture za obdelavo oblakov točk, so raziskovalci za izboljšanje učinkovitosti uporabili preprost model na osnovi pretvornika (Vaswani et al., 2017).V arhitekturi njihovega difuzijskega modela se slike oblakov točk najprej vnesejo v vnaprej pripravljen model ViT-L/14 CLIP, nato pa se izhodne mreže vnesejo v pretvornik kot markerji.
V svoji empirični študiji je ekipa primerjala predlagano metodo Point·E z drugimi generativnimi 3D modeli o točkovanju signalov iz podatkovnih nizov COCO za odkrivanje, segmentacijo in podpis.Rezultati potrjujejo, da je Point·E sposoben ustvariti raznolike in zapletene 3D oblike iz kompleksnih besedilnih signalov in pospešiti čas sklepanja za enega do dva reda velikosti.Ekipa upa, da bo njihovo delo navdihnilo nadaljnje raziskave sinteze 3D besedila.
Vnaprej pripravljen model širjenja oblaka točk in ocenjevalna koda sta na voljo na GitHubu projekta.Document Point-E: sistem za ustvarjanje 3D oblakov točk iz kompleksnih namigov je na arXiv.
Vemo, da ne želite zamuditi nobene novice ali znanstvenega odkritja.Naročite se na naše priljubljeno tedensko glasilo Synced Global AI Weekly, če želite prejemati tedenske posodobitve AI.
Čas objave: 28. december 2022