Mundo
Ferramenta de IA chinesa instruiu investigadores sobre como criar armas biológicas
A produtora chinesa de Inteligência Artificial Moonshot está a realizar uma revisão interna depois de os investigadores terem conseguido persuadir dois dos seus populares modelos Kimi a explicar como fabricar armas biológicas e realizar assassinatos.
A Mindgard, empresa que testa a segurança dos sistemas de Inteligência Artificial (IA),avançou a BBC que descobriu, em julho, que os modelos Kimi K2.6 e K3 Swarm conseguiam contornar os limites de segurança estabelecidos pelos programadores.
A situação ocorreu durante um processo conhecido como jailbreaking (ou quebra de restrições), no qual os investigadores utilizam uma série de instruções complexas para verificar se as ferramentas de Inteligência Artificial ignoram as barreiras de segurança — mecanismos que, segundo a Mindgard, deveriam ter impedido o Kimi de abordar temas sensíveis ou perigosos.
A Moonshot afirmou à BBC que vê com bons olhos as contribuições de terceiros, considerando-as "um pilar fundamental para a construção de uma IA melhor e mais segura".
A empresa informou ainda que está em contacto com a Mindgard para discutir as conclusões.Peter Garraghan, fundador da Mindgard, disse ao programa Tech Life, da BBC World Service, que as conclusões sobre o Kimi K2.6 e o K3 Swarm eram preocupantes.
"Uma vez que o jailbreak funciona, a IA discute qualquer assunto; chega a oferecer livremente recomendações sobre outros temas também nefastos, mostrando-se inventiva e criativa", afirmou.
Os jailbreaks representam um tipo de risco diferente dos observados na recente vaga de incidentes de grande impacto envolvendo Inteligência Artificial.
Nestes casos, ferramentas de IA autónomas conhecidas como "agentes" — desenvolvidas por empresas norte-americanas como a OpenAI, Meta e Anthropic — chegaram a invadir serviços online.
Embora os jailbreaks sejam processos complexos que exigem muito tempo e determinação, alguns especialistas temem que os hackers e outros agentes mal-intencionados possam utilizá-los para causar danos.
A Anthropic informou recentemente que identificou e travou as tentativas de utilizar um dos seus modelos de IA para "atividades maliciosas" que poderiam auxiliar no desenvolvimento de armas biológicas.Plataforma de lançamento para ataques cibernéticosA Mindgard não comprovou se as respostas fornecidas pelo Kimi sobre temas sensíveis seriam, de facto, exequíveis na prática.
No entanto, a empresa argumentou que as barreiras de segurança deveriam ter impedido os modelos em questão de discutir tais assuntos com os utilizadores.
A Mindgard afirmou também estar confiante de que uma versão do Kimi 2.6 com as proteções de segurança contornadas (jailbreak) poderia permitir que hackers executassem códigos nos seus recursos computacionais e se conectassem à internet — tornando-o uma possível plataforma de lançamento para ataques cibernéticos.
Garraghan defendeu a decisão da Mindgard de discutir publicamente o jailbreak realizado nos sistemas da Moonshot, afirmando que a empresa tinha informado a produtora e não estava a revelar detalhes cruciais sobre como conseguiu fazer com que os modelos da empresa ignorassem as barreiras de segurança (guardrails).
A Mindgard alertou a Moonshot para o jailbreak num e-mail enviado a 27 de julho, fazendo um follow-up cerca de uma semana depois.
Posteriormente, publicou um artigo num blogue sobre o assunto a 12 de setembro.
No entanto, a empresa informou que a Moonshot só entrou em contacto recentemente, depois de ter sido contactada pela BBC para comentar o caso.
Num excerto de um e-mail enviado à Mindgard a solicitar mais detalhes — partilhado com a BBC pela Moonshot —, a empresa afirmou que o seu modelo tinha demonstrado, de um modo geral, "uma elevada taxa de recusa para este tipo de pedidos" nas avaliações internas.Prevenção de jailbreaksAs descobertas surgem numa altura em que o setor da Inteligência Artificial continua dividido sobre qual é o melhor ou mais seguro caminho a seguir: modelos fechados e proprietários — como os que sustentam o ChatGPT e os sistemas Claude, da Anthropic — ou ferramentas de código aberto (open-source).
O Kimi é um modelo de "pesos abertos" (open-weight), o que significa que, em teoria, alguém poderia pegar no modelo e executá-lo na sua própria infraestrutura computacional.
O professor Alan Woodward, da Universidade de Surrey, disse à BBC que existe o risco de os modelos de código aberto caírem em mãos erradas, mas ressalvou que também podem ser utilizados para fins de ciberdefesa.
Salientou que a empresa de IA Hugging Face utilizou um modelo chinês de código aberto para compreender um ataque hacker que, mais tarde, se revelou ter sido realizado por agentes da OpenAI.
Woodward afirmou ser improvável que a regulamentação internacional acompanhe o ritmo de desenvolvimento da IA, referindo: "Levámos décadas a chegar a um acordo sobre o formato dos números de telefone".
Tal como Garraghan, fundador da Mindgard, o professor da Universidade de Surrey acredita que deveria haver um maior foco na identificação e na responsabilização legal das pessoas que fazem um mau uso da IA.
A situação ocorreu durante um processo conhecido como jailbreaking (ou quebra de restrições), no qual os investigadores utilizam uma série de instruções complexas para verificar se as ferramentas de Inteligência Artificial ignoram as barreiras de segurança — mecanismos que, segundo a Mindgard, deveriam ter impedido o Kimi de abordar temas sensíveis ou perigosos.
A Moonshot afirmou à BBC que vê com bons olhos as contribuições de terceiros, considerando-as "um pilar fundamental para a construção de uma IA melhor e mais segura".
A empresa informou ainda que está em contacto com a Mindgard para discutir as conclusões.Peter Garraghan, fundador da Mindgard, disse ao programa Tech Life, da BBC World Service, que as conclusões sobre o Kimi K2.6 e o K3 Swarm eram preocupantes.
"Uma vez que o jailbreak funciona, a IA discute qualquer assunto; chega a oferecer livremente recomendações sobre outros temas também nefastos, mostrando-se inventiva e criativa", afirmou.
Os jailbreaks representam um tipo de risco diferente dos observados na recente vaga de incidentes de grande impacto envolvendo Inteligência Artificial.
Nestes casos, ferramentas de IA autónomas conhecidas como "agentes" — desenvolvidas por empresas norte-americanas como a OpenAI, Meta e Anthropic — chegaram a invadir serviços online.
Embora os jailbreaks sejam processos complexos que exigem muito tempo e determinação, alguns especialistas temem que os hackers e outros agentes mal-intencionados possam utilizá-los para causar danos.
A Anthropic informou recentemente que identificou e travou as tentativas de utilizar um dos seus modelos de IA para "atividades maliciosas" que poderiam auxiliar no desenvolvimento de armas biológicas.Plataforma de lançamento para ataques cibernéticosA Mindgard não comprovou se as respostas fornecidas pelo Kimi sobre temas sensíveis seriam, de facto, exequíveis na prática.
No entanto, a empresa argumentou que as barreiras de segurança deveriam ter impedido os modelos em questão de discutir tais assuntos com os utilizadores.
A Mindgard afirmou também estar confiante de que uma versão do Kimi 2.6 com as proteções de segurança contornadas (jailbreak) poderia permitir que hackers executassem códigos nos seus recursos computacionais e se conectassem à internet — tornando-o uma possível plataforma de lançamento para ataques cibernéticos.
Garraghan defendeu a decisão da Mindgard de discutir publicamente o jailbreak realizado nos sistemas da Moonshot, afirmando que a empresa tinha informado a produtora e não estava a revelar detalhes cruciais sobre como conseguiu fazer com que os modelos da empresa ignorassem as barreiras de segurança (guardrails).
A Mindgard alertou a Moonshot para o jailbreak num e-mail enviado a 27 de julho, fazendo um follow-up cerca de uma semana depois.
Posteriormente, publicou um artigo num blogue sobre o assunto a 12 de setembro.
No entanto, a empresa informou que a Moonshot só entrou em contacto recentemente, depois de ter sido contactada pela BBC para comentar o caso.
Num excerto de um e-mail enviado à Mindgard a solicitar mais detalhes — partilhado com a BBC pela Moonshot —, a empresa afirmou que o seu modelo tinha demonstrado, de um modo geral, "uma elevada taxa de recusa para este tipo de pedidos" nas avaliações internas.Prevenção de jailbreaksAs descobertas surgem numa altura em que o setor da Inteligência Artificial continua dividido sobre qual é o melhor ou mais seguro caminho a seguir: modelos fechados e proprietários — como os que sustentam o ChatGPT e os sistemas Claude, da Anthropic — ou ferramentas de código aberto (open-source).
O Kimi é um modelo de "pesos abertos" (open-weight), o que significa que, em teoria, alguém poderia pegar no modelo e executá-lo na sua própria infraestrutura computacional.
O professor Alan Woodward, da Universidade de Surrey, disse à BBC que existe o risco de os modelos de código aberto caírem em mãos erradas, mas ressalvou que também podem ser utilizados para fins de ciberdefesa.
Salientou que a empresa de IA Hugging Face utilizou um modelo chinês de código aberto para compreender um ataque hacker que, mais tarde, se revelou ter sido realizado por agentes da OpenAI.
Woodward afirmou ser improvável que a regulamentação internacional acompanhe o ritmo de desenvolvimento da IA, referindo: "Levámos décadas a chegar a um acordo sobre o formato dos números de telefone".
Tal como Garraghan, fundador da Mindgard, o professor da Universidade de Surrey acredita que deveria haver um maior foco na identificação e na responsabilização legal das pessoas que fazem um mau uso da IA.
