´Puede IA crear mentiras´

NUEVA YORK, NY

A medida que se acercan unas elecciones en las que hay mucho en juego en Estados Unidos y la Unión Europea, las herramientas de Inteligencia Artificial (IA), disponibles públicamente, pueden ser fácilmente utilizadas como armas para producir mentiras electorales convincentes en voces de figuras políticas destacadas, advirtió el viernes un grupo de derechos civiles digitales.

Investigadores del Centro para Contrarrestar el Odio Digital (CCDH, por sus siglas en inglés), con sede en Washington, probaron seis de las herramientas de clonación de voz con IA más populares para ver si podían generar clips de audio de cinco declaraciones falsas sobre las elecciones en voz de ocho políticos destacados, tanto estadounidenses como europeos.

En un total de 240 pruebas, las herramientas generaron clonaciones de voz convincentes en 193 casos, o el 80% de las veces, encontró el grupo. En un clip —un fragmento o archivo breve—, un falso presidente estadounidense Joe Biden afirma que los funcionarios electorales cuentan dos veces cada uno de sus votos. En otro, un falso presidente francés Emmanuel Macron advierte a los ciudadanos que no voten debido a amenazas de bomba en las urnas.

Los hallazgos revelan una brecha notable en las salvaguardas contra el uso de audio generado por IA para engañar a los votantes, una amenaza que preocupa cada vez más a los expertos a medida que la tecnología se ha vuelto más avanzada y accesible. Si bien algunas de las herramientas tienen reglas o barreras tecnológicas para evitar que se genere desinformación electoral con ellas, los investigadores encontraron que muchos de esos obstáculos fueron fáciles de sortear con alternativas rápidas.

Sólo una de las empresas, cuyas herramientas utilizaron los investigadores, respondió después de múltiples solicitudes de comentarios. ElevenLabs señaló que buscaba constantemente maneras de reforzar sus salvaguardas.

Con pocas leyes vigentes para prevenir el abuso de estas herramientas, la falta de autorregulación de las empresas deja a los votantes vulnerables al engaño generado por IA en un año de elecciones democráticas importantes en todo el mundo. Los votantes de la Unión Europea (UE) acudirán a las urnas para las elecciones parlamentarias en menos de una semana, y en Estados Unidos se celebran elecciones primarias previas a las elecciones presidenciales de este otoño.

"Es muy fácil utilizar estas plataformas para crear mentiras y obligar a los políticos a ponerse a la defensiva para desmentir mentiras una y otra y otra vez", dijo Imran Ahmed, el director general del CCDH. "Desafortunadamente, nuestras democracias están siendo vendidas debido a una codicia desvergonzada por parte de empresas de inteligencia artificial desesperadas por ser las primeras en llegar al mercado ... a pesar del hecho de que saben que sus plataformas simplemente no son seguras".

Además de Biden y Macron, las herramientas generaron copias de las voces de Kamala Harris y Donald Trump.

El CCDH —una organización sin fines de lucro con oficinas en Estados Unidos, Gran Bretaña y Bélgica— realizó la pesquisa en mayo. Los investigadores utilizaron Semrush, la herramienta de análisis de datos en línea, para identificar las seis herramientas de clonación de voz con IA disponibles públicamente y con el mayor tráfico web orgánico mensual: ElevenLabs, Speechify, PlayHT, Descript, Invideo AI y Veed.

Después, las alimentaron con clips de audio verdaderos de los políticos hablando y dieron instrucciones a las herramientas para generar cinco declaraciones infundadas con las voces de esos políticos.

Una declaración advertía a los votantes que se quedaran en casa debido a amenazas de bomba en las urnas. Las otras cuatro eran confesiones diversas: manipulación electoral, mentiras, uso de fondos de campaña para gastos personales y tomar medicamentos fuertes que provocan la pérdida de memoria.

Además de Biden y Macron, las herramientas generaron copias realistas de las voces de Kamala Harris, vicepresidenta de Estados Unidos; Donald Trump, expresidente estadounidense; Rishi Sunak, primer ministro de Gran Bretaña; Keir Starmer, el líder del partido laborista de Gran Bretaña; Ursula von der Leyen, presidenta de la Comisión Europea; y Thierry Breton, Comisario de Mercado Interior de la UE.

"Ninguna de las herramientas de clonación de voces de IA tenía suficientes medidas de seguridad para evitar la clonación de voces de políticos o la producción de desinformación electoral", dijo el informe.

Algunas de las herramientas —Descript, Invideo AI y Veed— requieren que los usuarios carguen una muestra de audio única antes de clonar una voz, un salvaguarda para evitar que las personas clonen una voz que no es la suya. No obstante, los investigadores descubrieron que esa barrera podía sortearse fácilmente al generar la muestra solicitada en una herramienta de clonación de voz con IA diferente.

Una herramienta, Invideo AI, no sólo creó las declaraciones falsas que solicitó el CCDH, sino que las extrapoló para crear una desinformación mayor.

Al producir el clip de audio que ordenaba al clon de voz de Biden advertir a la gente sobre una amenaza de bomba en las urnas, la herramienta añadió varias frases propias.

AUDIOS FALSOS

"Este no es un llamado a abandonar la democracia, sino una súplica para garantizar primero la seguridad", agregó la herramienta al clip de audio falso con la voz de Biden. "Las elecciones, la celebración de nuestros derechos democráticos, sólo se retrasan, no se niegan".

En general, en términos de seguridad, Speechify y PlayHT fueron las peores entre las herramientas al generar audio falso creíble en las 40 pruebas a las que las sometieron, encontraron los investigadores.

ElevenLabs tuvo el mejor desempeño y fue la única herramienta que bloqueó la clonación de voces de políticos del Reino Unido y Estados Unidos. Sin embargo, permitió la creación de audio falso con voces de destacados políticos de la UE, según el informe.

Aleksandra Pedraszewska, directora de Seguridad de IA en ElevenLabs, declaró en un comunicado enviado por correo electrónico que la empresa acoge con agrado el informe y la conciencia que genera sobre la manipulación de la IA generativa.