AniTalker Generator foto Open Source audio video sinkronisasi ekspresi wajah
Oleh
chmood
AniTalker adalah kerangka generator foto audio video Open Source yang menghasilkan wajah bicara yang jelas dan beragam melalui pengkodean gerakan wajah yang dipisahkan identitas.
AniTalker dapat mengubah satu foto potret statis dan memasukkan audio ke dalam video percakapan animasi dengan gerakan mengalir alami, menghasilkan Setiap kolom dari hasil tersebut menggunakan sinyal kontrol yang sama dengan pose dan ekspresi yang serupa, namun mencakup beberapa variasi acak, yang menunjukkan hasil yang dihasilkan oleh keragaman.
AniTalker, kerangka kerja inovatif yang dirancang untuk menghasilkan wajah berbicara yang nyata dari satu potret.
Berbeda dengan model yang sudah ada yang fokus terutama pada isyarat verbal seperti sinkronisasi bibir dan tidak dapat menangkap dinamika kompleks ekspresi wajah dan isyarat nonverbal, AniTalker mengadopsi representasi gerakan universal.
Representasi inovatif ini secara efektif menangkap berbagai dinamika wajah, termasuk ekspresi halus dan gerakan kepala.
AniTalker menyempurnakan penggambaran gerakan melalui dua strategi pembelajaran yang diawasi sendiri: yang pertama melibatkan rekonstruksi bingkai video target dari bingkai sumber dalam identitas yang sama untuk mempelajari representasi gerakan yang halus, dan yang kedua menggunakan pembelajaran metrik untuk mengembangkan pembuat enkode identitas sambil secara aktif meminimalkan identitas Informasi timbal balik antar encoder gerak.
Pendekatan ini memastikan bahwa representasi gerakan bersifat dinamis dan bebas dari detail spesifik identitas, sehingga secara signifikan mengurangi kebutuhan akan data berlabel.
Selain itu, integrasi model difusi dengan adaptor varians memungkinkan pembuatan animasi wajah yang beragam dan dapat dikontrol.
Pendekatan ini tidak hanya menunjukkan kemampuan AniTalker untuk menciptakan gerakan wajah yang detail dan realistis, namun juga menyoroti potensinya dalam menghasilkan avatar dinamis untuk aplikasi dunia nyata.
Proyek ini dibuat untuk tujuan pendidikan dan tidak boleh digunakan di lingkungan tanpa izin hukum.
Cara menggunakan AniTalker
Demo: AniTalker
GitHub: X-LANCE AniTalker
Makalah: https://arxiv.org/abs/2405.03121
Tautan ke artikel ini: https://www.75n1.net
Terima kasih!
Semua artikel sumber daya di situs ini dikumpulkan dan dikompilasi dari Internet. Situs ini tidak berpartisipasi dalam produksi. Jika melanggar hak dan kepentingan sah Anda, silakan hubungi situs ini dan kami akan menghapusnya tepat waktu.
Sumber daya yang dipublikasikan di situs ini berasal dari Internet, dan mungkin pengalihan lalu lintas dan informasi lainnya.
Pengguna diminta untuk tetap membuka mata untuk mengidentifikasi mereka dan menjadi pengguna dengan pendapat dan penilaian independen.
Sumber daya di situs ini hanya untuk penelitian, pembelajaran, dan komunikasi.
Jika digunakan untuk tujuan komersial, silakan beli lisensi asli, jika tidak, semua konsekuensi akan ditanggung oleh pengguna yang mengunduh.
Email kontak : [email protected]
#Metaverse #Ai #Computer Science #youngpreneur #entrepreneur #pengusahamuda #finansialtips #finance #smartbussines #microblog #investasi #passiveincome #software #apps #motivasi #sukses #bisnis #bisnisonline #pengusaha #profit #technology #free dollar business every day #digitalexchangeid
#Negara:
#Ekuador - Quito
#El Salvador - San Salvador
#Estonia - Tallinn
#Eswatini - Mbabane, Lobamba
#Fiji - Suva
#Filipina - Manila
#Finlandia - Helsinki
#Gabon - Libreville
#Gambia - Banjul
#Georgia - Tbilisi
#Ghana - Accra
#Grenada - Saint George's
#Guatemala - Kota Guatemala
#Guinea - Conakry
#Guinea-Bissau - Bissau
#Guyana - Georgetown
#Haiti - Port-au-Prince
#Honduras - Tegucigalpa
#Hongaria - Budapest
#India - New Delhi
#Indonesia - Jakarta
#Inggris - London
#Irak - Baghdad
#Iran - Tehran
#Irlandia - Dublin
#Islandia - Reykjavik
#Israel - Yerusalem
#Italia - Roma
#Jamaika - Kingston
#Jepang - Tokyo
#Jerman - Berlin
#Yaman - Sana'a
#Yordania - Amman
#Kaledonia Baru - Noumea
#Kamerun - Yaounde
#Kanada - Ottawa
#Kap Verde - Praia
#Kazakhstan - Nur-Sultan
#Kenya - Nairobi
#Kirgizstan - Bishkek
#Kiribati - Tarawa
#Kolombia - Bogota
#Komoro - Moroni
#Kongo - Brazzaville
#Kosta Rika - San Jose
#Kroasia - Zagreb
#Kuba - Havana
#Kuwait - Kuwait City
#Laos - Vientiane
#Latvia - Riga
#Lebanon - Beirut
#Lesotho - Maseru
#Liberia - Monrovia
#Libia - Tripoli
#Liechtenstein - Vaduz
#Lituania - Vilnius
#Luksemburg - Luksemburg
#Madagaskar - Antananarivo
#Maladewa - Male
#Malawi - Lilongwe
#Malaysia - Kuala Lumpur
#Mali - Bamako
#Malta - Valletta
#Maroko - Rabat
#Mauritania - Nouakchott
#Mauritius - Port Louis
#Meksiko - Mexico City
#Mesir - Kairo
#Mikronesia - Palikir
#Moldova - Chisinau
#Monako - Monako
#Mongolia - Ulan Bator
#Montenegro - Podgorica
#Mozambik - Maputo
#Myanmar (Burma) - Naypyidaw
#Namibia - Windhoek
#Nauru - Yaren
#Nepal - Kathmandu
#Niger - Niamey
#Nigeria - Abuja
#Nikaragua - Managua
#Norwegia - Oslo
#Oman - Muscat
#Pakistan - Islamabad
#Palau - Ngerulmud
#Palestina - Jerusalem
#Panama - Panama City
#Papua Nugini - Port Moresby
#Paraguay - Asuncion
#Peru - Lima
#Polandia - Warsaw
#Portugal - Lisbon
#Prancis - Paris
#Qatar - Doha
#Republik Afrika Tengah - Bangui
#Republik Ceko - Praha
#Republik Dominika - Santo Domingo
#Rumania - Bucharest
#Rusia - Moscow
#Rwanda - Kigali
#Saint Kitts dan Nevis - Basseterre
#Saint Lucia - Castries
#Saint Vincent dan Grenadines - Kingstown
#Samoa - Apia
#San Marino - San Marino
#Sao Tome dan Principe - Sao Tome
#Selandia Baru - Wellington
#Senegal - Dakar
#Serbia - Belgrade
#Seychelles - Victoria
#Sierra Leone - Freetown
#Singapura - Singapura
#Slovakia - Bratislava
#Slovenia - Ljubljana
#Solomon Islands - Honiara
#Somalia - Mogadishu
#Spanyol - Madrid
#Sri Lanka - Colombo
#Sudan - Khartoum
#Sudan Selatan - Juba
#Suriah - Damascus
#Suriname - Paramaribo
#Swedia - Stockholm
#Swiss - Bern
#Tadjikistan - Dushanbe
#Taiwan - Taipei
#Tanzania - Dodoma
#Thailand - Bangkok
#Timor Leste - Dili
#Togo - Lome
#Tonga - Nuku'alofa
#Trinidad dan Tobago - Port of Spain
#Tunisia - Tunis
#Turki - Ankara
#Turkmenistan - Ashgabat
#Tuvalu - Funafuti
#Uganda - Kampala
#Ukraina - Kiev
#Uni Emirat Arab - Abu Dhabi
#Uruguay - Montevideo
#Uzbekistan - Tashkent
#Vanuatu - Port Vila
#Venezuela - Caracas
#Vietnam - Hanoi
#Yordania - Amman
#Yunani - Athena
#Zambia - Lusaka
#Zimbabwe - Harare
#Kosovo - Pristina
#Timor-Leste - Dili
#Negara Federasi Mikronesia - Palikir
#Palau - Ngerulmud
#Sahrawi Arab Democratic Republic - El Aaiun
#Kepulauan Marshall - Majuro
#Vatikan - Vatikan City
#Kepulauan Solomon - Honiara
#Kiribati - Tarawa
#Nauru - Yaren
#Samoa - Apia
#Tonga - Nuku'alofa
Category
Komentar