Nvidia, uzun süredir oyunlardan müşteri hizmetlerine kadar geniş bir alanda kullanılan Audio2Face teknolojisini açık kaynak kodlu hale getirdiğini duyurdu. Bu adım, geliştiricilerin, öğrencilerin ve araştırmacıların teknolojiyi daha hızlı benimsemesini ve üzerine yenilikler eklemesini hedefliyor.
Bilmeyenler için Audio2Face, ses girdilerini analiz ederek gerçeğe yakın yüz ifadeleri ve dudak senkronizasyonu üreten bir yapay zeka modeli. Fonemler, tonlama ve akustik özellikler üzerinden üretilen animasyon verileri hem önceden hazırlanmış içeriklerde hem de gerçek zamanlı etkileşimlerde kullanılabiliyor. Bu sayede oyun karakterlerinden sanal müşteri temsilcilerine kadar birçok alanda doğal ve duygusal tepkiler veren avatarlar oluşturulabiliyor.
Geliştiricilere özel araç seti
Nvidia yalnızca modelin kendisini değil, Audio2Face SDK’sı ve eğitim framework’ünü de açık kaynak topluluğuna sundu. Böylece geliştiriciler mevcut modelleri kendi ihtiyaçlarına göre özelleştirebilecek ve farklı kullanım senaryoları için daha esnek çözümler geliştirebilecek.
Audio2Face, halihazırda pek çok oyun stüdyosu ve yazılım geliştirici tarafından kullanılıyor. Pek çok ISV (Bağımsız yazılım sağlayıcısı) ve oyun geliştirici, uygulamalarında Audio2Face’i tercih ediyor. Bu geliştiriciler arasında Codemasters, GSC Game World, NetEase, Perfect World Games bulunurken; ISV tarafında Convai, Inworld AI, Reallusion, Streamlabs, UneeQ öne çıkıyor. Örneğin The Farm 51, Chernobylite 2: Exclusion Zone oyununda Audio2Face sayesinde animasyon çalışmalarında saatlerle ölçülecek tasarruflar sağladığını söylüyor. Nvidia ayrıca RTX Kit için de önemli yenilikler duyurdu. Yapay zeka destekli ışın izleme, yüksek detaylı sahne işleme ve foto-gerçekçi karakter üretimi sunan bu paket, yeni optimizasyonlarla geliştirildi. Şirkete göre RTX Neural Texture Compression SDK, büyük boyutlu dokuların bellek kullanımını ciddi ölçüde azaltırken görsel kaliteden ödün veröeyecek. Güncellemelerle birlikte DLSS desteği, DX12 uyumluluğu ve performans iyileştirmeleri de eklendi. RTX Global Illumination SDK tarafında ise VSync seçeneği, yeni önbellek görselleştirme araçları ve SHaRC algoritmasında geliştirmeler sağlandı.
