Yapay zekanın kullanıcıların kullanımına açılmasının ardından bir kaç gün geçmedi ki, hemen kötü amaçlı olarak ünlüleri taklit edilmeye ve istismar edilmeye başlandı. Şirket, Twitter'da "artan sayıda ses klonlama vakası" gördüğünü ve "ek güvenlik önlemleri uygulayarak" sorunu çözmek üzere yeni bir yol üzerinde düşündüğünü açıkladı.
ElevenLabs, "kötüye kullanım vakaları" ile ne kastedildiğini ayrıntılı olarak açıklamasa da, ünlülerin müstehcen bir şeyler okuması veya söylemesi gibi üretilen seslerin yer aldığı klipler içeren gönderiler buldu.
Bu kliplere örnek olarak, Emma Watson'ın Adolf Hitler'in yazdığı yasaklı bir kitap olan 'Kavgam'ın bir bölümünü okumasına benzetilen bir sesin internette yayıldığı bildirildi. Kullanıcılar ayrıca homofobik, transfobik, şiddet içeren ve ırkçı söylemler içeren ses klipleri yayınladılar. Tüm bu ses kliplerini oluşturmak için ElevenLab'ın teknolojisini kullanıp kullanmadığı tam olarak belli değil. Ancak 4chan'daki geniş bir ses dosyası koleksiyonu içeren bir gönderide, ses dosyaları ElevenLab platformuna bağlanan bir bağlantı içeriyordu.
"Deepfake" ses kliplerinin bu tip bir ortaya çıkış yapması sürpriz olmamalı, çünkü birkaç yıl önce benzer bir olayın ünlülerin başına geldiğini görmüştük. Yapay zeka ve makine öğrenimindeki gelişmeler, sahte videolarda, özellikle de mevcut pornografik materyallerin ünlülerin yüzlerini kullanacak şekilde değiştirildiği 'deepfake pornografi' içeriklerinde ciddi bir artışa yol açmıştı. Ve yine aynı şekilde, kötü amaçlı kişiler bu müstehcen videolarda Emma Watson'ın yüzünü kullanmıştı.
ElevenLabs, kullanıcıların teknolojisini kötüye kullanmasını nasıl engelleyeceği konusunda geri bildirim toplamaya başladı. Şu anda mevcut fikirler arasında ses klonlamayı etkinleştirmek için hesap doğrulamaya daha fazla katman eklemeyi düşünen şirket, kullanıcıların ödeme bilgilerini veya kimlik bilgilerini girmesini isteyebileceği düşünülüyor. Ayrıca, kullanıcıların kopyalamak istedikleri sesin telif hakkı sahipliğini doğrulamayı sağlayacak yeni bir özellik üzerinde çalıştığı söylendi. Eğer bu adımlar işe yaramazsa şirket, Voice Lab aracını tamamen kaldırmayı veya kullanıcıların manuel olarak doğrulaması gereken ses klonlama istekleri gönderebileceği düşünülüyor.
Kendi yapay zeka sesinizi oluşturmak için buraya tıklayabilirsiniz.