Ferramentas de IA, como o ChatGPT e o Copilot, revolucionaram o modo como as pessoas trabalham globalmente. Da mesma forma, essas inovações também reformularam o papel dos “red teams”, equipes de especialistas em segurança cibernética que pensam como hackers para garantir que a tecnologia permaneça segura. 

Os Novos Riscos da IA Generativa 

A IA generativa, com sua capacidade de se comunicar em vários idiomas, criar narrativas e produzir imagens realistas, apresenta novos riscos. Desde resultados tendenciosos até possíveis usos maliciosos para fomentar discórdia, esses riscos exigiram uma nova abordagem por parte do Red Team de IA da Microsoft, focada em identificar e mitigar possíveis danos. 

Uma Visão Ampla e Integrada dos Riscos 

“Acreditamos que segurança, IA responsável e a segurança da IA são aspectos diferentes da mesma moeda”, explica Ram Shankar Siva Kumar, principal líder de pesquisa da Microsoft. “É crucial ter uma visão abrangente de todos os riscos de um sistema de IA antes de colocá-lo nas mãos dos usuários, devido ao seu impacto sociotécnico massivo”, completa. 

A Origem e a Evolução dos Red Teams 

O conceito de “red teaming” surgiu na Guerra Fria, onde as “equipes vermelhas” simulavam o papel dos soviéticos e as “equipes azuis” representavam os Estados Unidos e seus aliados. Essa estratégia foi adotada pela segurança cibernética para criar equipes que agem como adversários, buscando identificar e corrigir falhas antes que problemas reais ocorram. 

Unindo Segurança Cibernética e IA Responsável 

Ao fundar a Red Team de IA da Microsoft em 2018, Siva Kumar seguiu esse modelo tradicional, reunindo especialistas em segurança cibernética para analisar proativamente as vulnerabilidades. Paralelamente, a pesquisadora Forough Poursabzi liderava estudos focados em IA responsável, investigando se a tecnologia generativa poderia ser prejudicial, seja intencionalmente ou devido a falhas sistêmicas negligenciadas durante o desenvolvimento dos modelos. Essa dimensão era inédita para as equipes vermelhas. 

A Importância da Diversidade de Perspectivas 

Com o tempo, os diferentes grupos perceberam que unindo forças poderiam avaliar riscos de segurança e danos sociais de forma mais eficaz. Assim, nasceu uma equipe mais ampla, composta por neurocientistas, linguistas, especialistas em segurança nacional e outros profissionais com diversos backgrounds. 

“Precisamos de uma ampla gama de perspectivas para que o Red Team de IA responsável seja eficaz”, afirma Poursabzi, gerente sênior do programa de Ética e Efeitos de IA em Engenharia e Pesquisa da Microsoft. A equipe examina todo o ecossistema de IA responsável na empresa, considerando riscos emergentes e o impacto a longo prazo das tecnologias de IA generativa. 

A Abordagem de Três Etapas para uma IA Segura 

Separada dos desenvolvedores da tecnologia, a Red Team de IA liderada por Siva Kumar também enfrenta desafios como adversários que tentam induzir sistemas a gerar respostas prejudiciais ou tendenciosas devido a dados inadequados. Os membros da equipe assumem várias identidades, desde um adolescente pregando peças até hackers tentando roubar dados, revelando pontos cegos e riscos potenciais. 

Ferramentas de Código Aberto e Colaboração Global 

A equipe não trabalha sozinha na tarefa de comprometer sistemas. Eles também utilizam grandes modelos de linguagem (LLMs) para realizar ataques automatizados a outros LLMs. Além disso, ampliaram suas capacidades lançando ferramentas de código aberto, como o Counterfit e o PyRIT (Python Risk Identification Toolkit for Generative AI), para ajudar profissionais de segurança e engenheiros de aprendizado de máquina a mapear riscos potenciais. 

Antecipando Riscos e Impulsionando a Segurança da IA 

Após identificar um problema, a Red Team de IA da Microsoft o encaminha para a equipe de medição de IA responsável, que avalia o nível de ameaça. Outros especialistas e grupos internos colaboram para completar a abordagem de três etapas para uma IA segura: mapeamento, medição e gerenciamento de riscos. 

“Nosso trabalho cobre uma ampla variedade de danos que tentamos prever“, diz Siva Kumar. “Adaptamo-nos rapidamente às mudanças, antecipando riscos antes que se tornem grandes problemas.”            

Fonte: https://news.microsoft.com/source/latam/features/ia-pt-br/red-teams-pensam-como-hackers-para-ajudar-a-manter-a-ia-segura/?lang=pt-br 

Nos últimos anos, o mundo testemunhou diversas mudanças tecnológicas, principalmente com os avanços de inteligência artificial, que estão acelerando a inovação e mudando a forma como interagimos e operamos. Mas ao mesmo tempo o crime Cibernético está avançando, com iniciativas e inovações que ameaçam a segurança virtual. 

A Microsoft visualizou essa crescente na velocidade, escala e sofisticação dos ciberataques, e por isso lançaram uma nova iniciativa para buscar a sua próxima geração de proteção cibernética, o que a empresa está chamando de Secure Future Initiative (SFI). 

Essa iniciativa busca reunir todas as áreas da Microsoft para avançar na proteção cibernetica, com três pilares: 

• Defesas Cibernéticas baseadas em IA; 
• Avanços na engenharia de Software; 
• Defesa com uma forte aplicação das normas internacionais. 

Panorama das ameaças 

Nos últimos meses a Microsoft destacou atividades cibernéticas pelos Estados Unidos, atividades que foram preocupantes, além de ameaçar civis, mas pela sofisticação das técnicas envolvidas.  

Embora tenham sido feitas melhorias significativas nos últimos anos, são necessárias novas abordagens são necessárias para aprimorar a segurança cibernética. O relatório anual de defesa digital da Microsoft destacou que praticas avançadas de Ciber-higiene protegem efetivamente contra a maioria dos ciberataques. 

Defesa cibernética baseada em IA 

A guerra na Ucrânia demonstrou a capacidade do setor de tecnologia de desenvolver defesas cibernéticas mais fortes do que as ameaças avançadas. A Microsoft está comprometida em contruiri uma proteção contra ataques cibernético baseado em IA, para proteger seus clientes e países ao redor do mundo. 

Como parte da Secure Future Initiative (SFI), a Microsoft acelera esse trabalho em vários aspectos como: 

• Utilizar a IA para avançar na inteligência contra ameaças, e fornecer isso para os clientes; 
• Empregar a IA para ajudar organizações a derrotar ataques cibernéticos em velocidade de máquina. 

Novos avanços na engenharia de software 

Além das capacidades de Inteligência Artificial, para um futuro mais seguro, será preciso novos avanços na engenharia de software. A Microsoft irá implementar um novo padrão de segurança chamado “SDL Dinâmico”, que aplicará processos sistemáticos para integrar continuamento a proteção cibernética em seus sistemas e serviços. Isso inclui a transformação na maneira como são desenvolvidos seus softwares com automação e IA fortalecendo a proteção de identidade contra ciberataques sofisticados e aprimorando a resposta a vulnerabilidade em plataformas de nuvem. 

Forte aplicação de normas internacionais 

A Microsoft acredita que defesas de IA mais fortes e avanços na engenharia devem ser combinados com um terceiro componente crítico: a forte aplicação de normas internacionais no ciberespaço. 

É preciso um compromisso público mais forte da comunidade global para resistir a ataques cibernéticos. É necessária uma ação conjunta dos governos para responsabilizar os estados que cruzam essas linhas vermelhas. Ao unir defesas baseadas em IA, avanços na engenharia de software e forte aplicação de normas internacionais, a Microsoft acredita que possa ser construido um futuro mais seguro para todos. 

FONTE: https://blogs.microsoft.com/on-the-issues/2023/11/02/secure-future-initiative-sfi-cybersecurity-cyberattacks/