Ferramentas de IA, como o ChatGPT e o Copilot, revolucionaram o modo como as pessoas trabalham globalmente. Da mesma forma, essas inovações também reformularam o papel dos “red teams”, equipes de especialistas em segurança cibernética que pensam como hackers para garantir que a tecnologia permaneça segura. 

Os Novos Riscos da IA Generativa 

A IA generativa, com sua capacidade de se comunicar em vários idiomas, criar narrativas e produzir imagens realistas, apresenta novos riscos. Desde resultados tendenciosos até possíveis usos maliciosos para fomentar discórdia, esses riscos exigiram uma nova abordagem por parte do Red Team de IA da Microsoft, focada em identificar e mitigar possíveis danos. 

Uma Visão Ampla e Integrada dos Riscos 

“Acreditamos que segurança, IA responsável e a segurança da IA são aspectos diferentes da mesma moeda”, explica Ram Shankar Siva Kumar, principal líder de pesquisa da Microsoft. “É crucial ter uma visão abrangente de todos os riscos de um sistema de IA antes de colocá-lo nas mãos dos usuários, devido ao seu impacto sociotécnico massivo”, completa. 

A Origem e a Evolução dos Red Teams 

O conceito de “red teaming” surgiu na Guerra Fria, onde as “equipes vermelhas” simulavam o papel dos soviéticos e as “equipes azuis” representavam os Estados Unidos e seus aliados. Essa estratégia foi adotada pela segurança cibernética para criar equipes que agem como adversários, buscando identificar e corrigir falhas antes que problemas reais ocorram. 

Unindo Segurança Cibernética e IA Responsável 

Ao fundar a Red Team de IA da Microsoft em 2018, Siva Kumar seguiu esse modelo tradicional, reunindo especialistas em segurança cibernética para analisar proativamente as vulnerabilidades. Paralelamente, a pesquisadora Forough Poursabzi liderava estudos focados em IA responsável, investigando se a tecnologia generativa poderia ser prejudicial, seja intencionalmente ou devido a falhas sistêmicas negligenciadas durante o desenvolvimento dos modelos. Essa dimensão era inédita para as equipes vermelhas. 

A Importância da Diversidade de Perspectivas 

Com o tempo, os diferentes grupos perceberam que unindo forças poderiam avaliar riscos de segurança e danos sociais de forma mais eficaz. Assim, nasceu uma equipe mais ampla, composta por neurocientistas, linguistas, especialistas em segurança nacional e outros profissionais com diversos backgrounds. 

“Precisamos de uma ampla gama de perspectivas para que o Red Team de IA responsável seja eficaz”, afirma Poursabzi, gerente sênior do programa de Ética e Efeitos de IA em Engenharia e Pesquisa da Microsoft. A equipe examina todo o ecossistema de IA responsável na empresa, considerando riscos emergentes e o impacto a longo prazo das tecnologias de IA generativa. 

A Abordagem de Três Etapas para uma IA Segura 

Separada dos desenvolvedores da tecnologia, a Red Team de IA liderada por Siva Kumar também enfrenta desafios como adversários que tentam induzir sistemas a gerar respostas prejudiciais ou tendenciosas devido a dados inadequados. Os membros da equipe assumem várias identidades, desde um adolescente pregando peças até hackers tentando roubar dados, revelando pontos cegos e riscos potenciais. 

Ferramentas de Código Aberto e Colaboração Global 

A equipe não trabalha sozinha na tarefa de comprometer sistemas. Eles também utilizam grandes modelos de linguagem (LLMs) para realizar ataques automatizados a outros LLMs. Além disso, ampliaram suas capacidades lançando ferramentas de código aberto, como o Counterfit e o PyRIT (Python Risk Identification Toolkit for Generative AI), para ajudar profissionais de segurança e engenheiros de aprendizado de máquina a mapear riscos potenciais. 

Antecipando Riscos e Impulsionando a Segurança da IA 

Após identificar um problema, a Red Team de IA da Microsoft o encaminha para a equipe de medição de IA responsável, que avalia o nível de ameaça. Outros especialistas e grupos internos colaboram para completar a abordagem de três etapas para uma IA segura: mapeamento, medição e gerenciamento de riscos. 

“Nosso trabalho cobre uma ampla variedade de danos que tentamos prever“, diz Siva Kumar. “Adaptamo-nos rapidamente às mudanças, antecipando riscos antes que se tornem grandes problemas.”            

Fonte: https://news.microsoft.com/source/latam/features/ia-pt-br/red-teams-pensam-como-hackers-para-ajudar-a-manter-a-ia-segura/?lang=pt-br 

Nos últimos anos, o mundo testemunhou diversas mudanças tecnológicas, principalmente com os avanços de inteligência artificial, que estão acelerando a inovação e mudando a forma como interagimos e operamos. Mas ao mesmo tempo o crime Cibernético está avançando, com iniciativas e inovações que ameaçam a segurança virtual. 

A Microsoft visualizou essa crescente na velocidade, escala e sofisticação dos ciberataques, e por isso lançaram uma nova iniciativa para buscar a sua próxima geração de proteção cibernética, o que a empresa está chamando de Secure Future Initiative (SFI). 

Essa iniciativa busca reunir todas as áreas da Microsoft para avançar na proteção cibernetica, com três pilares: 

• Defesas Cibernéticas baseadas em IA; 
• Avanços na engenharia de Software; 
• Defesa com uma forte aplicação das normas internacionais. 

Panorama das ameaças 

Nos últimos meses a Microsoft destacou atividades cibernéticas pelos Estados Unidos, atividades que foram preocupantes, além de ameaçar civis, mas pela sofisticação das técnicas envolvidas.  

Embora tenham sido feitas melhorias significativas nos últimos anos, são necessárias novas abordagens são necessárias para aprimorar a segurança cibernética. O relatório anual de defesa digital da Microsoft destacou que praticas avançadas de Ciber-higiene protegem efetivamente contra a maioria dos ciberataques. 

Defesa cibernética baseada em IA 

A guerra na Ucrânia demonstrou a capacidade do setor de tecnologia de desenvolver defesas cibernéticas mais fortes do que as ameaças avançadas. A Microsoft está comprometida em contruiri uma proteção contra ataques cibernético baseado em IA, para proteger seus clientes e países ao redor do mundo. 

Como parte da Secure Future Initiative (SFI), a Microsoft acelera esse trabalho em vários aspectos como: 

• Utilizar a IA para avançar na inteligência contra ameaças, e fornecer isso para os clientes; 
• Empregar a IA para ajudar organizações a derrotar ataques cibernéticos em velocidade de máquina. 

Novos avanços na engenharia de software 

Além das capacidades de Inteligência Artificial, para um futuro mais seguro, será preciso novos avanços na engenharia de software. A Microsoft irá implementar um novo padrão de segurança chamado “SDL Dinâmico”, que aplicará processos sistemáticos para integrar continuamento a proteção cibernética em seus sistemas e serviços. Isso inclui a transformação na maneira como são desenvolvidos seus softwares com automação e IA fortalecendo a proteção de identidade contra ciberataques sofisticados e aprimorando a resposta a vulnerabilidade em plataformas de nuvem. 

Forte aplicação de normas internacionais 

A Microsoft acredita que defesas de IA mais fortes e avanços na engenharia devem ser combinados com um terceiro componente crítico: a forte aplicação de normas internacionais no ciberespaço. 

É preciso um compromisso público mais forte da comunidade global para resistir a ataques cibernéticos. É necessária uma ação conjunta dos governos para responsabilizar os estados que cruzam essas linhas vermelhas. Ao unir defesas baseadas em IA, avanços na engenharia de software e forte aplicação de normas internacionais, a Microsoft acredita que possa ser construido um futuro mais seguro para todos. 

FONTE: https://blogs.microsoft.com/on-the-issues/2023/11/02/secure-future-initiative-sfi-cybersecurity-cyberattacks/ 

A cada segundo, 921 ataques de senha acontecem no mundo todo, com um crescimento anual de 74%. Segundo o relatório de defesa digital da Microsoft, o custo de ataques cibernéticos continua a aumentar, atingindo em média US$ 4,35 milhões. Por conta desse aumento, as organizações precisam aumentar seus reforços e proteger seus dados ativos!   

Venha saber como a Microsoft está incentivando para o aumento de profissionais na área:

Há medida que esses ataques aumentam, a demanda por profissionais da área cresceu em 35% durante o ano.

“O número e a sofisticação dos ataques de cibersegurança estão aumentando a cada dia. É fundamental que invistamos na força de trabalho de cibersegurança para garantir que haja pessoas suficientes com as habilidades necessárias para proteger o ecossistema digital. Estamos comprometidos em gerar canais de aprendizagem para as pessoas e com ênfase especial nas mulheres, para impulsionar a economia e melhorar as oportunidades para milhares de brasileiros e brasileiras”, diz Vanessa Pádua, diretora de Cibersegurança da Microsoft para América Latina & Caribe.

No Brasil

A demanda por profissionais da área teve um aumento de 26% no último ano segundo a (ISC) Cybersecurity Workforce Study 2022, aumentando a oportunidade de criação de empregos bem remunerados e a criação de programas para aprimorar a capacidade dos profissionais.

Fundamental para a transformação digital no país.

Incentivos da Microsoft 

A Microsoft redobrou os esforços na formação de talentos na área de segurança, fornecendo treinamentos para pessoas do mundo tudo, expandindo sua iniciativa de Habilidades de Segurança Cibernética para novos países. Concedendo subsídios a organizações sem fins lucrativos para ajudar nos treinamentos de pessoas nessa área, buscando desenvolver a próxima geração de profissionais de Cibersegurança.

Microsoft Learn 

A Microsoft oferece com o Microsoft Learn cursos gratuitos de segurança para estudantes e profissionais com centenas de horas de conteudo. 

Além de fazer parcerias com instituições de ensino para fornecer currículo e treinamento gratuito para educadores pelo programa Microsoft Learn for Educators, com cursos como: 

• Microsoft Security;
• Identity and Compliance Fundamentals;  
• Microsoft Azure Security Technologies Certification; 
• e muito mais 

Microsoft Brasil 

A Microsoft Brasil junto do Movimento Inovação Digital (MID) lançou um documento que apresenta conselhos e orientações práticas para ajudar as empresas na criação de estratégias eficazes se segurança da informação. 

Com o guia, os leitores terão acesso a uma imersão no mundo da Cibersegurança, com uma grande quantidade de informações e dicas que auxiliaram diversos profissionais a compreenderem a importância do assunto. 

Microsoft Cyber Exercise

A Microsoft lançou também um projeto piloto chamado Microsoft Cyber Exercise dentro das Fatecs de Americana e São Caetano e no instituto federal de Londrina. 

Esse projeto oferece cursos de capacitação gratuita e prática de cibersegurança ara estudantes do ensino técnico. 

E aí, o que achou desse incentivo da Microsoft pelo aumento da Cibersegurança e na especialização de profissionais na área?  

Busque entender melhor esse universo tecnológico da Microsoft e traga a solução inteligente para a sua empresa, conheça nossos serviços de consultoria tecnológica no nosso site e fale com a nossa equipe de profissionais em Microsoft 365.