Twitter defiende las métricas de cuentas falsas después de las últimas consultas de Elon Musk
Publicado: 2022-05-25Entonces, ¿cómo va la adquisición de Twitter de Elon Musk?
Bueno, no ideal.
Hoy, en respuesta a las críticas públicas de Musk de que la metodología de Twitter para contar el spam y las cuentas falsas es claramente incorrecta, el actual director ejecutivo de Twitter, Parag Agrawal, tuiteó una larga explicación del proceso actual de detección y eliminación de perfiles falsos de la empresa.
Durante la última semana, Musk cuestionó si la estimación de Twitter de que el 5% de todas las cuentas de Twitter son falsas podría ser correcta, y ha invitado a sus más de 90 millones de seguidores a realizar sus propios experimentos rudimentarios para ver qué encuentran.
Para averiguarlo, mi equipo hará una muestra aleatoria de 100 seguidores de @twitter.
— Elon Musk (@elonmusk) 14 de mayo de 2022
Invito a otros a repetir el mismo proceso y ver qué descubren…
Por supuesto, cualquier prueba anecdótica como esta es enormemente defectuosa y, en última instancia, no probará nada.
Pero al igual que con muchos aspectos de la plataforma, Musk aparentemente está aprendiendo sobre estos procesos en tiempo real, en medio de una adquisición de $ 44 mil millones, a pesar de que todas sus diversas preguntas se plantearon y evaluaron, de diversas formas, en el pasado.
Entonces, con el aumento de las conversaciones sobre este elemento específico, Agrawal abordó las críticas de Elon directamente.
En primer lugar, Agrawal explicó que la detección de cuentas de bots no es fácil y probablemente los usuarios habituales no puedan hacerlo:
“ Las campañas de spam más avanzadas utilizan combinaciones de humanos coordinados + automatización. También comprometen cuentas reales y luego las usan para avanzar en su campaña. […] El desafío difícil es que muchas cuentas que parecen falsas superficialmente, en realidad son personas reales. Y algunas de las cuentas de spam que en realidad son las más peligrosas, y causan el mayor daño a nuestros usuarios, pueden parecer totalmente legítimas en la superficie. Nuestro equipo actualiza nuestros sistemas y reglas constantemente para eliminar la mayor cantidad de spam posible, sin suspender inadvertidamente a personas reales o agregar fricciones innecesarias para personas reales cuando usan Twitter: ninguno de nosotros quiere resolver un captcha cada vez que usa Twitter. ”
Por lo tanto, contar al azar las cuentas que sospecha que son falsas en su propia lista de seguimiento no será exacto. Lo cual, en realidad, parece obvio.
Tenga en cuenta también que la referencia a realizar un proceso de verificación de CAPTCHA cada vez que usa la aplicación es una referencia directa a otra sugerencia de Musk.
“Cada revisión humana se basa en las reglas de Twitter que definen el spam y la manipulación de la plataforma, y utiliza datos públicos y privados (p. ej., dirección IP, número de teléfono, geolocalización, firmas del cliente/navegador, qué hace la cuenta cuando está activa…) para hacer una determinación en cada cuenta. El uso de datos privados es particularmente importante para evitar clasificar erróneamente a los usuarios que en realidad son reales. FirstnameBunchOfNumbers sin foto de perfil y tweets extraños puede parecerle un bot o spam, pero detrás de escena a menudo vemos múltiples indicadores de que es una persona real”.
En otras palabras, hay muchos elementos que intervienen en la detección y determinación de perfiles falsos y spam, no solo la intuición o la información de la cuenta que hace que un usuario normal entrecierre los ojos. Twitter tiene la información de back-end para respaldar sus investigaciones, y es más profunda que una simple prueba ocular.
“Cada trimestre, hemos estimado que <5% de los mDAU informados para el trimestre son cuentas de spam. Nuestra estimación se basa en múltiples revisiones humanas (en réplicas) de miles de cuentas, que se muestrean al azar, de manera constante a lo largo del tiempo, de las cuentas que contamos como mDAU. Hacemos esto cada trimestre, y lo hemos estado haciendo durante muchos años”.
Eso es interesante porque, según Musk, Twitter solo muestra 100 cuentas aleatorias para esta cifra.
¡Twitter legal acaba de llamar para quejarse de que violé su NDA al revelar que el tamaño de muestra de verificación de bot es 100!
— Elon Musk (@elonmusk) 14 de mayo de 2022
Esto realmente sucedió.
Como puede ver, Musk luego afirma que Twitter lo contactó por violar los términos de su acuerdo sobre este elemento, por lo que Musk está inventando esto o Agrawal está exagerando el proceso de Twitter.
Una vez más, no hay viento en popa en el impulso de adquisición de Elon.
En resumen, Agrawal dice que, en realidad, según su informe más reciente, la cifra de cuentas falsas es inferior al 5%.
“Nuestras estimaciones internas reales para los últimos cuatro trimestres estuvieron muy por debajo del 5%, según la metodología descrita anteriormente. Los márgenes de error en nuestras estimaciones nos dan confianza en nuestras declaraciones públicas cada trimestre. Desafortunadamente, no creemos que esta estimación específica se pueda realizar externamente, dada la necesidad crítica de usar información tanto pública como privada (que no podemos compartir). Externamente, ni siquiera es posible saber qué cuentas se cuentan como mDAU en un día determinado. Hay MUCHOS detalles que son muy importantes debajo de esta descripción de alto nivel”.
¿La respuesta de Musk?
????
– Elon Musk (@elonmusk) 16 de mayo de 2022
Derecha. Parece que eso va a salir bien, y nuevamente, es fascinante ver que las maquinaciones internas de un acuerdo multimillonario se reducen a malas interpretaciones e interpretaciones técnicas versus la visión personal de un individuo.
En el mejor de los casos, el tira y afloja debería generar cierto nivel de preocupación sobre la capacidad de Musk para transformar Twitter en una máquina de hacer dinero, según sus proyecciones, dado que parece incapaz de comprender incluso algunas de las métricas más básicas de las redes sociales.
Pero, de nuevo, muchos también dirán que Musk tiene razón, que no es posible que el recuento de perfiles falsos de Twitter sea tan bajo, según su propia experiencia personal, pero también según estudios externos publicados que claramente sugerirían lo contrario.
De hecho, en 2017, un estudio conjunto realizado por investigadores de la Universidad del Sur de California y la Universidad de Indiana descubrió que alrededor del 15 % de la base de usuarios de Twitter eran bots en lugar de personas , mientras que en 2018, Twitter suspendió o eliminó más de 70 millones de cuentas. que había determinado que eran falsos. En ese momento, Twitter tenía 330 millones de usuarios activos mensuales, lo que sugeriría que alrededor del 20% de su cuenta de usuarios no eran personas reales.
En respuesta a este último intercambio, SparkToro realizó un nuevo análisis de 44.058 cuentas activas de Twitter y determinó que el 19,42 % "encajaba en una definición conservadora de cuentas falsas o spam".
La clave puede estar, entonces, en este elemento identificado en la explicación de Agrawal:
Nuestra estimación se basa en múltiples revisiones humanas (en réplicas) de miles de cuentas, que se muestrean al azar, de manera constante a lo largo del tiempo, de *cuentas que contamos como mDAU*. Hacemos esto cada trimestre, y lo hemos estado haciendo durante muchos años.
– Parag Agrawal (@paraga) 16 de mayo de 2022
¿Qué es exactamente un mDAU según Twitter?
“ Definimos uso o usuarios activos diarios monetizables (mDAU) como usuarios de Twitter que iniciaron sesión o se autenticaron y accedieron a Twitter en un día determinado a través de Twitter.com o aplicaciones de Twitter que pueden mostrar anuncios .”
Por lo tanto, podría haber otros usuarios que queden fuera de este conteo; tal vez no estén activos todos los días, por lo que se pierden la evaluación, o no son elegibles para que se les muestren anuncios, debido a la lógica variable del sistema. Puede haber, debido a la variación de parámetros, algunas explicaciones técnicas que aborden cierto nivel de variación entre estos hallazgos de terceros y los propios datos de Twitter.
Pero incluso entonces, el recuento del 5% de Twitter, en general, parece una exageración y una desviación de la verdad real con respecto a lo que las personas experimentan en la aplicación.
Y como dice Musk:
Entonces, ¿cómo saben los anunciantes lo que obtienen por su dinero? Esto es fundamental para la salud financiera de Twitter.
– Elon Musk (@elonmusk) 16 de mayo de 2022
Lo cual, por supuesto, es una pregunta fundamental que han planteado todos los anunciantes y todas las empresas en los círculos de marketing digital desde el inicio del medio, por lo que no es que esto esté abriendo nuevos caminos, o que sea una nueva y sorprendente perspectiva para aquellos en el sector.
Pero es, aparentemente, una noticia bastante nueva para el propio Musk. Lo que, nuevamente, podría generar preguntas sobre sus planes de crecimiento masivo para la aplicación.
¿Qué pasa ahora? ¿Puede Musk retirarse del acuerdo de Twitter si, de alguna manera, puede demostrar que Agrawal está equivocado y demostrar que la cuenta de perfil falso de Twitter es en realidad mucho más alta de lo que dice?
Bueno, probablemente no.
Musk, para bien o para mal, renunció a muchas medidas de diligencia debida en su propuesta de adquisición de Twitter para impulsar el acuerdo más rápido, lo que significa que, tal como está ahora, está prácticamente bloqueado, y tomaría un significativo argumento legal para que él se aleje del trato.
Es factible, con al menos algún precedente legal, que si Musk pudiera demostrar definitivamente que Twitter había engañado deliberadamente a la SEC en sus estados financieros regulares, a través de la información errónea de perfiles falsos, posiblemente podría salirse de estos requisitos, con el argumento de que que la plataforma simplemente no vale lo que creía, según sus finanzas. Pero eso parece exagerado, especialmente dada la explicación de Agrawal.
Tal vez, entonces, Musk simplemente esté presionando para reducir el precio de su oferta, para obtener un mejor trato.
No está 100% claro qué resultado busca Musk, pero tal como está, todavía parece que Musk tendrá que seguir adelante con el acuerdo de Twitter, incluso si él y sus seguidores piensan que estas estadísticas son incorrectas.
¿Descubriremos alguna vez cuál es el recuento real de perfiles falsos de Twitter? Según la explicación de Agrawal, eso también parece poco probable, aunque los tecnicismos aquí parecen importantes, al especificar qué se cuenta y qué no, en las estadísticas de usuarios de Twitter.
De cualquier manera, el debate público solo puede ser negativo para Twitter, ya sea reduciendo la confianza de los anunciantes en sus métricas o destacando un problema de larga data con sus sistemas.
¿Es bueno que Musk, el futuro propietario de la plataforma, esté presionando en público? Parece un enfoque defectuoso, especialmente dadas las otras opciones que tendría disponibles, en términos de auditorías privadas, discutir internamente con Twitter, verificar a través de investigadores independientes, etc.
Tal vez así es como Musk planea hacer las cosas, pero no es exactamente una historia de origen inspiradora para la próxima etapa de la aplicación.