Segurança

Se toda a modernização tecnológica que experienciamos resultará em um futuro onde nossos valores serão preservados, ainda é uma pergunta em aberto. A incerteza que experienciamos em relação ao tipo de futuro que estamos criando tem levantado várias críticas e advertências de áreas como Sociologia, Literatura, Filosofia, Direito, Ciências da Computação, Engenharia de Software, entre diversas outras.

Já em 1863, Samuel Butler, em seu trabalho intitulado “Darwin Among the Machines”, já questionava o risco de nossa “escravidão quiescente” à tecnologia. Em sua carta, Butler argumenta que um dia chegaríamos ao ponto de que a sociedade não seria mais capaz de se separar de suas criações tecnológicas, pois isto seria equivalente ao suicídio do status-quo. Neste ponto, "o mau já teria sido feito."

Na RAIES, não nos consideramos técno-pessimístas, pois acreditamos que a tecnologia pode ser utilizada como uma ferramenta de emancipação humana. Contudo, não adotamos uma postura técno-otimista, pois será a prudência que nos auxiliará a evitar futuros distópicos.

Algumas das temáticas em Segurança da IA (AI Safety) que que estamos interessados em investigar na RAIES são:

Robustez: A criação de modelos que sejam resistentes a ataques adversariais e situações incomuns (i.e., fora de sua distribuição de treinamento);

Monitoramento: A detecção de utilização maliciosa, mal funcionamento ou funcionalidades não pretendidas emergentes de sistemas criados por Aprendizagem de Máquina;

Alinhamento: Criação de modelos que otimizem, de forma robusta, objetivos difíceis de serem especificados (e.g., valores humanos);

Segurança Externa: Modelos podem estar integrados em ambientes inseguros, como software malfeito e organizações mal estruturadas. Dada a fragilidade que modelos treinados por aprendizagem de máquina apresentam, é importante tornar seus ambientes de implantação seguros, seja desenvolvendo softwares resilientes a ciberataques, ou criando políticas de governança que visem tornar a implantação de tais modelos segura.

Se você têm interesse em algumas das linhas de pesquisa que trabalhamos, entre em contato conosco e junte-se ao projeto RAIES.