Instagram atrae a más ciberacosadores que Facebook y Twitter. Descubra cómo funciona su nuevo algoritmo de aprendizaje de máquina y qué puede aprender su empresa.
Video: Cómo Instagram está utilizando el sexo anal para combatir el acoso cibernéticoUn estudio sugiere que Instagram es el lugar más común en el que los jóvenes experimentan el acoso cibernético. Ahora Instagram está usando Inteligencia Artificial para luchar contra eso.
En una plataforma que pretende ser un lugar seguro para compartir instantáneas de la vida de los usuarios, Instagram tiene el mayor problema de ciberacoso de todos los sitios de medios sociales. Pero en lugar de responsabilizar a sus usuarios de denunciar abusos, como lo han hecho Facebook y Twitter, Instagram es el primer medio de comunicación social que utiliza el aprendizaje automático para eliminar el lenguaje abusivo en su plataforma.
Una encuesta reciente de la organización benéfica contra el acoso Ditch the Label reveló que el 42% de más de 10.000 jóvenes británicos de entre 12 y 25 años de edad encontraron que Instagram era la plataforma en la que más se sentían intimidados, y que Facebook y Twitter estaban rezagados en un 37% y un 9%, respectivamente. Y el 71% de los encuestados coincidieron en que todas las redes de medios sociales no están haciendo lo suficiente para detener el ciberacoso.
Búsqueda de una solución
Para hacer frente al acoso cibernético, Instagram anunció recientemente una nueva estrategia: Integrar un algoritmo de aprendizaje de la máquina para detectar y bloquear a los agresores potenciales en su plataforma. El objetivo de la investigación es forjar comunidades amables e inclusivas en Instagram, dijo Kevin Systrom, CEO y cofundador de la compañía, en una entrada del blog.
VER: Cómo manejar el abuso y la intimidación de los empleados (Tech Pro Research)
Instagram está utilizando DeepText, el mismo algoritmo de aprendizaje de máquina que sus propietarios en Facebook- para intentar acabar con su problema de ciberacoso. En junio de 2019, los ingenieros de Facebook presentaron DeepText como «un motor de comprensión de texto basado en el aprendizaje profundo que puede comprender con precisión casi humana el contenido textual de varios miles de mensajes por segundo».
A través del aprendizaje profundo, un subconjunto de aprendizaje automático que utiliza algoritmos modelados a partir de las redes neuronales del cerebro humano, los ingenieros de Facebook utilizaron incrustaciones de palabras para ayudar al sistema a comprender la forma en que los humanos utilizan el lenguaje. DeepText está diseñado para funcionar como el cerebro humano, utilizando el razonamiento deductivo para determinar qué significan las palabras en un contexto específico.
Más información sobre innovación
Por ejemplo, si alguien usa la palabra «topo», se espera que DeepText determine si el usuario se refiere al pequeño mamífero, a una mancha en la piel o a un traidor. Facebook utiliza este sistema para examinar miles de mensajes y comprender mejor a su público, con el objetivo de crear una experiencia de usuario mejor y más personalizada que se adapte a los intereses individuales.
En octubre de 2019, Instagram lanzó DeepText para eliminar el spam. El algoritmo apuntaba a los trolls de Internet en busca de seguidores y organizaciones que trataban de vender productos, analizando comentarios y pies de foto en busca de semántica que indicara si los datos eran spam.
Pero el éxito de DeepText llevó a Instagram a considerar otros usos para el sistema. En una entrada del blog de junio de 2019, Systrom anunció que la compañía usaría DeepText como «un filtro para bloquear ciertos comentarios ofensivos». La plataforma utilizó la tecnología creada originalmente por Facebook para crear un filtro que ayudaría a crear un entorno seguro para los usuarios.
Otras plataformas que reconocen el problema
El acoso cibernético y la incitación al odio no son exclusivos de Instagram; otras grandes redes de medios sociales ya se han visto obligadas a realizar cambios en la seguridad de sus usuarios.
«Los algoritmos de aprendizaje automático han demostrado ser formas efectivas de detectar la incitación al odio y el acoso cibernético», dijo Tom Davidson, estudiante de postgrado de la Universidad de Cornell y coautor de informes sobre incitación al odio y acoso cibernético en los medios sociales, con énfasis en Twitter. Una variedad de algoritmos diferentes son verificados como efectivos, dijo Davidson a ConsejoTecnologico.com, tales como «regresión logística, Bayes ingenuos, bosques aleatorios, máquinas vectoriales de apoyo».» Pero la clave de todos estos métodos es la dependencia en el aprendizaje supervisado, dijo, que es una estrategia de aprendizaje automático de usar datos de entrenamiento etiquetados para hacer inferencias. La investigación de Davidson consistió en recolectar millones de tweets que tenían un posible trasfondo de acoso cibernético (calumnias raciales, improperios, etc.), etiquetarlos e introducir los datos en un algoritmo, apuntó Davidson. Los ejemplos se usan para entrenar el algoritmo, agregó Davidson, después de lo cual debería ser capaz de clasificar la expresión de odio por sí misma.
La entrada en el blog de Twitter de noviembre de 2019 anunció la función de silenciamiento de notificaciones, así como una política de conducta de odio que ofrece a los usuarios un medio más directo para denunciar los abusos. Aunque estos esfuerzos están tratando de prevenir el acoso cibernético, el silenciamiento de las notificaciones ofensivas no hace que los tweets sean inexistentes. Y aunque la denuncia de los abusos es extremadamente importante, los usuarios siguen a merced del tiempo que Twitter tarde en responder.
VER: Machine Learning Artificial Intelligence Bundle (ConsejoTecnologico.com Academy)
Facebook intentó reducir el ciberacoso formando el Centro de Prevención del Acoso. The Hub actúa como un recurso para adolescentes, padres y educadores que pueden usar cuando ellos o alguien que conocen está siendo intimidado. Aunque el recurso proporciona consejos valiosos para iniciar la conversación sobre el acoso cibernético, Facebook’s Bullying Prevention Hub no hace nada directamente para eliminar directamente el contenido abusivo. La empresa sólo utiliza la herramienta para recomendar contenidos a los usuarios en función de sus intereses.
Fortalezas y debilidades de DeepText
Sin embargo, estos esfuerzos no llegan a bloquear por completo el acoso en línea.
Zeerak Waseem, estudiante de doctorado de la Universidad de Sheffield que se centra en la detección de lenguaje abusivo y el discurso de odio en Twitter, dijo a ConsejoTecnologico.com que «estos intentos no tienen efecto».
Por qué? Mientras que tanto Twitter como Facebook hicieron progresos para domar el ciberacoso, Instagram es el primer sitio de redes sociales en hacer desaparecer automáticamente los comentarios ofensivos. Tanto la entrada del blog de Systrom como Wired explicaron cómo funciona actualmente la IA en las cuentas de Instagram. Si un usuario publica un lenguaje ofensivo o acosador, DeepText lo detectará y lo borrará instantáneamente. Y para evitar que los matones intenten jugar con el sistema, el lenguaje ofensivo seguirá siendo visible para el perpetrador, reportó Wired. Los usuarios también pueden introducir manualmente las palabras o frases que deseen bloquear, lo que hace que DeepText sea aún más eficaz al bloquear palabras de activación que podrían ser exclusivas para el usuario.
Sin embargo, DeepText no es perfecto.
El algoritmo de aprendizaje de la máquina de Instagram se integra automáticamente en la plataforma, pero algunas expresiones de odio pueden pasar por alto la herramienta. Waseem le dijo a ConsejoTecnologico.com que los insultos implícitos, como apodos o nombres en código para calumnias, serían difíciles de detectar para DeepText. Además, la función se puede desactivar fácilmente. Con el toque de un dedo, se puede desactivar el botón «ocultar comentarios ofensivos», lo que parece contrario a la intuición si la misión es eliminar el ciberacoso. La línea entre la libertad de expresión y la creación de un ambiente libre de expresiones de odio no es fácil de encontrar. Davidson añade, sin embargo, que «el aprendizaje automático no es una bala mágica que detendrá el ciberacoso o la incitación al odio en línea». El aprendizaje automático puede ayudar al usuario intimidado a sentirse mejor, pero ninguna tecnología va a impedir que los individuos digan cosas malas.
Liam Hackett, CEO de Ditch the Label, dijo a ConsejoTecnologico.com que Instagram tiene los problemas de ciberacoso más importantes de la masa crítica de jóvenes que tienen cuentas en la plataforma. Debido a la naturaleza del contenido de Instagram, gran parte del acoso se centra en las apariencias de la gente, dijo Hackett. Los insultos varían desde comentarios negativos en las fotos, hasta matones que crean cuentas falsas para asar a sus objetivos.
Hackett elogió los esfuerzos de Instagram, diciéndole a ConsejoTecnologico.com lo fantástica que es la estrategia de aprendizaje automático y cómo más redes sociales necesitan invertir en la tecnología. Mencionó cómo el uso de la IA de Instagram muestra un gran progreso en el movimiento contra el ciberacoso, con la IA cambiando realmente el juego.
Además de prevenir la intimidación, DeepText tiene otras funciones que podrían ayudar a las empresas a comprender mejor los intereses de sus clientes y cómo se comunica la información en toda la empresa.
VER: serie iHate – La intolerancia se apodera de Internet (CNET)
La raíz del problema
El aprendizaje automático que ayuda a las personas a nivel emocional es un gran paso en la dirección correcta. Sin embargo, abordar por qué los trolls en línea continúan con comportamientos abusivos en estas plataformas es un tema más amplio.
«No sabemos, como sociedad, cómo conectarnos en línea», dijo Hackett. «Internet deshumaniza a la gente», añadió Hackett, insultar a los usuarios en línea detrás de la comodidad de una pantalla es mucho más fácil que decir esos insultos en la cara de una persona. Las relaciones interpersonales fuera de línea tienen códigos de conducta implícitos, una norma social que es tácita pero entendida. Las mismas cortesías no siempre son seguidas en la red mundial.
Como una de las redes de medios sociales más utilizadas de este año, Instagram es el hogar de la friolera de 700 millones de usuarios activos mensuales y está creciendo rápidamente, ganando 100 millones de nuevos usuarios en sólo cuatro meses. El aumento de usuarios, sin embargo, reveló un aumento en los mensajes hirientes y en el lenguaje ofensivo.
Hackett señaló que los usuarios «no están siendo adecuadamente equipados con habilidades para comportarse en línea». Un programa como DeepText promete abordar el problema. Sin embargo, la programación, en sí misma, puede no ser la solución completa para enseñar a la gente a respetarse unos a otros en línea.
Próximo boletín informativo de Big Thing
Conoce las ciudades inteligentes, la IA, la Internet de las cosas, la RV, la conducción autónoma, los aviones no tripulados, la robótica y más de las innovaciones tecnológicas más geniales. Entregado los miércoles y viernes