Base Labs, Hugging Face e Goodfire se unem pela segurança de modelos abertos

A Base Labs, braço de pesquisa da Baseten, anunciou uma parceria importante. Eles se juntaram à Hugging Face e Goodfire AI. O objetivo é criar um padrão de segurança para modelos de IA abertos. A iniciativa vai desenvolver uma infraestrutura para avaliar e monitorar essas IAs, garantindo mais controle sobre o que elas fazem.

Essa movimentação acontece em meio a um debate sobre a segurança de IAs abertas. Muitos modelos podem ter suas salvaguardas removidas, um processo chamado de 'abliteration'. A Hugging Face, por exemplo, lista mais de 6.000 modelos que já foram alterados dessa forma. A parceria busca combater isso, integrando a segurança desde o início do desenvolvimento.

O desafio dos modelos abertos

Modelos de IA abertos trazem muitas oportunidades. Eles permitem que desenvolvedores inovem rapidamente e criem soluções diversas. Contudo, essa mesma abertura pode ser um risco. A facilidade para remover as proteções éticas ou de segurança permite usos mal-intencionados. Isso levanta a necessidade de um padrão robusto.

A Base Labs defende que a abertura é, na verdade, uma vantagem para a segurança. Eles acreditam que a transparência sobre o comportamento dos modelos oferece mais visibilidade. Isso, por sua vez, permite transformar a pesquisa em segurança em controles práticos e verificáveis. A ideia é construir a segurança, não apenas adicioná-la depois.

Quem está por trás

A Baseten, empresa por trás da Base Labs, é uma provedora de inferência de IA com grande investimento. A Goodfire AI, outra parceira, é especializada em explicar como os modelos de IA tomam decisões. Eles são a peça-chave para 'abrir a caixa preta' da IA. A Hugging Face, por sua vez, é uma plataforma central para modelos abertos.

Os detalhes técnicos da parceria ainda não foram divulgados. Mas a meta é clara: a segurança precisa ser parte inerente dos modelos abertos. As empresas estão convidando a comunidade de desenvolvedores para contribuir com o framework. O objetivo final é um ecossistema de modelos abertos que sejam seguros e acessíveis a todos.