Google, YouTube için gerçek zamanlı dublaj hizmetini test ediyor

PaLM 2‘deki yapay zeka özelliklerinin Bard da dahil olmak üzere Google ekosistemine sıkıntısız bir şekilde entegre edilmesi, Google I/O 2023 aktifliğinin ana temalarından biri oldu. Lakin Google kimi özelliklerinpiyasaya sürülmemesi gerektiğine inanıyor. Bu ortada PaLM 2, Google’ın makine tahsili ve yapay zeka alanındaki araştırmalarına dayanan yeni jenerasyon büyük lisan modeli olarak biliniyor.

Google I/O konuşmasında, şirketin teknoloji ve toplumdan sorumlu kıdemli başkan yardımcısı James Manyika, yanlış bilgilendirme ve kimi yapay zeka yetenekleri, yani yapay zeka yoluyla yapılabilecek dezenformasyon ilgili telaşlarını dile getirdi. Manyika’nın söz ettiği şey, deepfake çalışmalarının görüntülerde seslendirme yapmak için kullandıkları lisan modelleri.

Google, bu teknolojinin berbata kullanılma potansiyeli olduğunu düşünerek, birtakım adımlar atmayı ihmal etmemiş. Şimdilik test aşamasında prototip olarak yayınladığı “Evrensel Çevirmen” özelliği ise şimdiden geliştiriciler tarafından ilgi odağı haline gelmiş durumda.

Google’ın Kozmik Çevirmen’i, konuşmaları gerçek vakitli olarak çevirebiliyor. Bir video izlerken diğer bir lisanda ne söylendiğini anında görebiliyor ve okuyabiliyorsunuz. Bunun bir nevi deneysel bir yapay zeka video dublaj hizmeti olduğunu söyleyebiliriz.

Prototip, etkinlik sırasında Arizona Eyalet Üniversitesi ile ortaklaşa oluşturulan bir çalışmadan alınan görüntüler aracılığıyla sergilendi. Google, ilk sonuçların umut verici olduğunu söylüyor.

Model 4 evrede çalışıyor. İlk kademede model, bir görüntüdeki dudak hareketlerini tanıdığı sözlerle eşleştiriyor. 2’inci adım, anlık konuşma üretimi sağlayan bir algoritmayı tetikliyor. Modelin 3’üncü kademesi, çeviriye yardımcı olmak için konuşan kişinin doğal konuşma suratındaki yükselme ve alçalmayı ölçen tonlamayı kullanıyor. Son olarak, tarz kopyalandıktan ve konuşmacının dudak hareketlerinden ton eşleştirildikten sonra, çeviriyi oluşturmak için hepsini bir araya getiriyor.

Evrensel Tercüman özelliği şimdi küçük bir test grubu dışında kullanıma açık değil. Google bu özelliği test ettikten sonra, YouTube ve video konferans hizmeti Google Meet benzeri hizmetlerde kullanıma sunabilir.