El experimento fue capaz de explicar a un destinatario de correo electrónico por qué un mensaje era probablemente malicioso, pero la tecnología requiere mucha potencia de cálculo para funcionar a gran escala.
Para ver si la IA puede ayudar a detener los ciberataques, Google realizó recientemente un experimento en el que utilizó IA generativa para explicar a los usuarios por qué un mensaje de phishing se marcaba como amenaza.
En la Conferencia RSA de San Francisco, Elie Bursztein, jefe de investigación de Google DeepMind, habló sobre el experimento para destacar cómo la tecnología actual de chatbot de IA podría ayudar a las empresas a combatir las amenazas de piratería maliciosa.
Según Bursztein, la mayoría de los documentos maliciosos que Gmail bloquea actualmente, alrededor del 70%, contienen tanto texto como imágenes, como logotipos oficiales de empresas, en un intento de estafar a los usuarios.
La empresa experimentó con el chatbot Gemini Pro de Google, un gran modelo de lenguaje (LLM), para ver si podía detectar los documentos maliciosos. Gemini Pro fue capaz de detectar el 91% de las amenazas de phishing, aunque quedó por detrás de un programa de IA especialmente entrenado que tuvo una tasa de éxito del 99% mientras funcionaba 100 veces más eficientemente, dijo Bursztein.
Por lo tanto, utilizar Gemini Pro para detectar mensajes de phishing no parece ser el mejor uso de un LLM. En cambio, la IA generativa actual destaca a la hora de explicar por qué un mensaje de phishing se ha detectado como malicioso, en lugar de limitarse a actuar como detector de correos electrónicos de phishing, afirma Bursztein.
Como ejemplo, Bursztein mostró un LLM de Google analizando un documento PDF malicioso disfrazado de correo electrónico legítimo de PayPal. La IA de la empresa fue capaz de señalar que el número de teléfono del documento no coincidía con los números de asistencia oficiales de PayPal. Además, la IA observó que el lenguaje del PDF intentaba crear una sensación de urgencia, una táctica que los estafadores suelen utilizar con las víctimas potenciales.
«Esto nos da un ejemplo de dónde creo que brillará mucho el modelo, que es proporcionando una capacidad casi de analista», dijo Bursztein en un vídeo que acompañaba a su charla en la RSAC.
Por ahora, Google se limita a experimentar con esta función, según declaró Bursztein tras su intervención en la RSAC. «Nos pareció interesante mostrarlo. Y a la gente le gusta mucho», afirmó. «Si les emociona, ése era el objetivo. El objetivo era mostrar lo que es posible hoy en día y dar a la gente un modelo, eso es todo lo que puedo decir. No hay ningún anuncio de producto específico».
Una de las razones por las que Google probablemente se esté demorando es que ejecutar un LLM requiere una gran potencia de cálculo. Durante su charla en la RSAC, la presentación de Bursztein señaló que el uso de «LM a escala de Gmail [era] inviable pero genial para pequeña escala».
Además de luchar contra las amenazas de phishing, Google también ha estado investigando si la IA generativa puede utilizarse para encontrar y parchear automáticamente vulnerabilidades en el código de los programas informáticos. Pero hasta ahora, la investigación de la empresa ha descubierto que los LLM tienen dificultades para detectar vulnerabilidades, según Bursztein. Lo atribuyó a que los datos de entrenamiento son «ruidosos» y están llenos de variables, lo que puede dificultar que un LLM identifique la naturaleza exacta de un fallo de software.
Para subrayar esto, Bursztein dijo que Google realizó un experimento interno el año pasado, que consistía en utilizar un LLM para parchear 1.000 fallos de software C++. Sin embargo, el modelo solo fue capaz de parchear con éxito el 15% de las vulnerabilidades. En otros casos, el modelo hizo lo contrario e introdujo código que rompía el programa o provocaba otros problemas.
En el lado positivo, Bursztein dijo que los LLM funcionaron bien a la hora de ayudar a los trabajadores humanos a generar con rapidez un informe de respuesta a incidentes cuando se detectaba un ciberataque en una red. El experimento interno de la empresa descubrió que la tecnología de IA generativa podía acelerar la redacción de dichos informes el 51% de las veces cuando el informe inicial del incidente se basaba en un borrador creado por un gran modelo lingüístico.
