Noticias

Jul 07, 2023

Cuando tu compañero de equipo es una máquina: 8 preguntas que los CISO deberían hacerse sobre la IA

La inevitabilidad de la IA está obligando a muchos líderes de ciberseguridad a decidir si es amiga o enemiga. Tratarlo como a un compañero de equipo puede ser la solución definitiva, pero hay una serie de preguntas importantes para los CISO.

La inevitabilidad de la IA está obligando a muchos líderes de ciberseguridad a decidir si es amiga o enemiga. Tratarlo como a un compañero de equipo puede ser la solución definitiva, pero hay una serie de preguntas específicas que los CISO deberían hacerse.

La inteligencia artificial está cambiando la forma en que hacemos casi todo: dondequiera que vayamos, las máquinas realizan tareas que en el pasado habrían sido realizadas por un humano. Estas instancias impulsadas por IA abarcan desde vehículos autónomos hasta robots de servicio al cliente que deben ser navegados antes de que un humano se ponga en línea. En ciberseguridad, la IA se ha convertido rápidamente en un amigo y un multiplicador de fuerzas para los adversarios. Nos guste o no, ver a la máquina como un compañero de equipo se ha convertido en una realidad que los CISO tendrán que aprender a aceptar, pero deberían hacerse una serie de preguntas antes de contratar a un compañero de IA.

El concepto no es nuevo. En 2019, un equipo internacional de 65 científicos colaborativos generó 819 preguntas de investigación sobre el tema con la intención de "proporcionar una agenda de investigación que los investigadores colaborativos puedan utilizar para investigar los efectos anticipados de las máquinas diseñadas por compañeros de equipo basándose en las opiniones calificadas de los investigadores colaborativos". Sin duda, algunos de los puntos de investigación desarrollados por el equipo de científicos colaborativos llegaron a los principios y directrices de IA responsable del Departamento de Defensa de EE. UU., que capturaron cinco puntos de datos que cualquier IA debe tener antes de ser aceptable para su uso: responsable, equitativa, trazable, confiable y gobernable.

Para imaginar el concepto de IA como compañero de equipo en acción, basta con mirar el plan de la Fuerza Aérea de EE. UU. para mejorar la efectividad de su avión de combate multiusos F-35 emparejándolo con drones de batalla que funcionan como pilotos autónomos. Al trabajar con drones mejorados con inteligencia artificial, el avión puede acumular información a velocidades más allá de las capacidades humanas. Esto hace que "el movimiento a través del ciclo de observar, orientar, decidir y actuar (OODA) sea rápido y agilidad, lo que a su vez permite que el receptor de información en tiempo real sea más hábil", según JR Seeger, novelista y oficial retirado de la CIA. .

La IA se convertirá efectivamente en una extensión de los procesos de automatización y podrá descubrir una amplitud y amplitud de información enormemente ampliada, lo que ayudará a evaluar las complejidades a velocidades cada vez mayores, afirma el director ejecutivo de StrikeReady, Anurag Gurtu. "La IA funciona mejor cuando el CISO busca mejorar su productividad, aumentar las capacidades de un analista capacitado, descargar una parte de la carga de trabajo y retener a los empleados", afirma Gurtu.

Si bien a menudo puede parecer como si tuviéramos el pie en el "pedal a fondo y sin frenos", dice Gurtu, "la IA también ayuda en la capacidad de ejercitar el proceso a velocidad y mejora la tarea de detección y puede ajustarse para proporcionar la analista con una probabilidad de evento de ser objetivo o atacado".

En el pasado, los árboles de decisión y los modelos basados ​​en reglas hacían que la detección de amenazas y vulnerabilidades fuera un proceso bastante laborioso, pero "con la IA podemos incorporar conjuntos de datos dispares y mejorar la 'explicabilidad' del analista", dice Gurtu, y agrega que el modelo interpretable local. Las explicaciones agnósticas (LIME) y SHAP (Shapley Additive exPlanations) ayudan con la tarea de explicabilidad.

"Cada vez más entidades están incorporando IA generativa y deben estar preparadas para un aumento en las 'alucinaciones' y, a medida que lo hacen, se producen alucinaciones masivas", dice Gurtu. El medio para evitar alucinaciones en los resultados de la IA generativa es el uso de un modelo de lenguaje gráfico de IA, afirma.

Para ilustrar este punto, basta con mirar el escrito reciente de un abogado presentado ante un tribunal, escrito con la ayuda de un chatbot de IA que "alucinó" jurisprudencia inexistente cuando no pudo encontrar ejemplos del mundo real. Esto dio lugar a que el juez emitiera una orden permanente para que cualquier escrito creado con IA fuera identificado y verificado por un humano. "Utilizando la metodología gráfica, la IA le da al usuario un poder extremo para comprender el contexto", dice Gurtu. "Sin ello, como se ha señalado, [el resultado son] alucinaciones masivas".

Prácticamente todos los sectores eventualmente se verán afectados por la IA y se encontrarán con una máquina como compañera de equipo. En un artículo de Frontiers in Psychology publicado en agosto de 2022, los autores señalaron que debe existir un trabajo en equipo eficaz para lograr el éxito en los equipos humanos. "Factores como el liderazgo, la resolución de conflictos, la adaptabilidad y el comportamiento de respaldo, entre muchos otros, se han identificado como aspectos críticos del trabajo en equipo que respaldan los resultados del equipo".

Al extrapolar eso para abordar futuros equipos humano-máquina, los autores dijeron que "dependerá, en parte, de agentes de máquina que hayan sido diseñados para facilitar y participar exitosamente en el trabajo en equipo con compañeros humanos".

Es en el contexto de la IA donde la confianza sigue siendo una consideración importante. ¿Cuántas entidades garantizarán que las responsabilidades del director de confianza incluyan el uso ético, moral y responsable de la IA en productos y compromisos? Cuando la IA comete un error, ¿quién informa del error? ¿Quién corrige el error? ¿Cómo se puede medir la confianza en la relación entre la máquina y los compañeros humanos?

Hay muchos beneficios potenciales que pueden derivarse de la incorporación de IA en la tecnología de seguridad, según Rebecca Herold, miembro del IEEE y fundadora de la consultora The Privacy Professor: agilizar el trabajo para acortar los tiempos de finalización de los proyectos, la capacidad de tomar decisiones rápidas, encontrar problemas más expeditamente.

Pero, añade, se están empleando muchos casos a medias y los compradores "terminan sumergiéndose en el fondo del grupo de IA sin hacer ni un ápice de escrutinio sobre si la IA que ven como la salvadora de HAL 9000 de Su negocio incluso funciona según lo prometido".

También advierte que cuando "los resultados defectuosos de la IA salen muy mal, provocando violaciones de la privacidad, sesgos, incidentes de seguridad y multas por incumplimiento, quienes usan la IA de repente se dan cuenta de que esta IA se parecía más al lado oscuro de HAL 9000 de lo que habían considerado". siendo una posibilidad."

Para evitar que su compañero de equipo de IA le diga: "Lo siento, Dave, me temo que no puedo hacer eso" cuando solicita resultados que sean precisos, imparciales, que protejan la privacidad y cumplan con las normas. Con los requisitos de protección de datos, Herold aconseja que cada CISO haga ocho preguntas:

Herold afirma que no basta con confiar en lo que dice el equipo de ventas, hay que desarrollar la capacidad de descubrir las respuestas a las preguntas difíciles o encontrar terceros que sean a la vez dignos de confianza y competentes.

Cuando una máquina es una compañera de equipo, un humano debe asumir la responsabilidad de las decisiones de la máquina, dice el inversor y orador Barry Hurd. "Trabajar con compañeros de equipo de IA requerirá talentos especializados para optimizar la relación de trabajo y no romper cosas", afirma. "Los humanos no estamos hechos para operar con las mismas tolerancias que una máquina. Si pensamos en una película de ciencia ficción donde un brazo mecánico es indestructible en comparación con un cuerpo humano débil, nuestra lógica y capacidades de toma de decisiones tienen una fragilidad similar en comparación con el procesamiento. velocidad de un miembro del equipo de IA."

Las máquinas multiplican nuestras acciones, ya sean correctas o incorrectas, señala Hurd. "La escala y la velocidad deben estar en equilibrio con nuestro tiempo de reacción como humanos para preservar el tiempo ético, legal y moral para actuar. La IA a escala significa el potencial de daños colaterales a escala en una amplia gama de áreas departamentales".

Eso creará desafíos a la hora de decidir la cantidad de capas humanas a prueba de fallas necesarias para que cualquiera que opere con un sistema de inteligencia artificial tenga tiempo de considerar qué es aceptable. "Una vez que se ha tomado la decisión de actuar, la acción resultante habrá terminado antes de que podamos adivinar lo que acaba de suceder", dice Hurd.

"Sin embargo, junto con un grupo talentoso de socios humanos que entienden dónde se pueden lograr múltiples resultados efectivos, puede haber una relación simbiótica donde el pensamiento crítico, la experiencia en la materia y la moralidad estén en equilibrio con la acción calculada y la automatización a escala. El riesgo se puede minimizar, "Y la eficacia se multiplicó en ese momento. Los mejores humanos permitirán la mejor tecnología y viceversa".

Es lógico que cuando un compañero de equipo de IA toma una decisión, el compañero humano "necesita poder explicar por qué se tomó una decisión", dice Gurtu.