O que é a governança de algoritmos?*

Danilo Doneda, professor de direito civil da Faculdade de Direito da Universidade do Estado do Rio de Janeiro (UERJ).
Virgílio A.F. Almeida, professor do Depto. de Ciência da Computação da Universidade Federal de Minas Gerais (UFMG), e atualmente professor visitante da Universidade de Harvard.

Data da publicação: outubro 2016

Os algoritmos são basicamente um conjunto de instruções para realizar uma tarefa, produzindo um resultado final a partir de algum ponto de partida. Atualmente, os algoritmos embarcados em sistemas e dispositivos eletrônicos são incumbidos cada vez mais de decisões, avaliações e análises que têm impactos concretos em nossas vidas.

A vocação que os algoritmos têm para penetrar em diversos âmbitos do nosso cotidiano já é vista como um fato da vida. Eles realizam tarefas que dificilmente pensaríamos em cumprir sem que houvesse um ser humano diante delas. À medida que aumentam a sofisticação e a utilidade dos algoritmos, mais eles se mostram “autônomos”, chegando a dar a impressão de que existe alguma “máquina pensante” em alguns dos raciocínios misteriosos que remontam aos primórdios da era da informática. De fato, o termo “algoritmo” costuma ser usado ou mencionado como sinônimo para computador, máquina, código, software e por aí vai.

A disponibilidade de um poder computacional e de conjuntos de dados que não param de crescer permite que os algoritmos realizem tarefas de uma magnitude e complexidade insuportável para os padrões humanos. Já mal se pode prever ou explicar seus resultados, nem mesmo por parte de quem os escreve.

Ao mesmo tempo, por mais valiosos que sejam os seus resultados, os algoritmos são capazes de tirar os seres humanos do circuito de seus vários processos decisórios – o que pode ser um risco! Assim é que, para estimular a sua integração em alguns processos sociais e econômicos onde eles podem ser valiosos, talvez seja o caso de elaborarmos instrumentos que permitam algum tipo de governança para os algoritmos. Com isso, talvez possamos evitar uma gama de influências negativas sobre o equilíbrio de poderes em favor daqueles capazes de exercer poder real quanto ao seu uso, maximizando ademais os benefícios que eles podem trazer e reduzindo o seu potencial de riscos.

Um exemplo de tal mudança no equilíbrio de poderes é dado por Frank Pasquale ao mencionar que alguns planos de saúde se negaram a aceitar uma mulher que consumia antidepressivos para facilitar o sono. O registro histórico de uso de tais medicamentos, que poderiam até ajuda-la se mantidos rigorosamente com propósitos medicinais, foi apresentado contra ela com base em premissas sobre o uso dessas drogas².

Problemas e outras questões que podem advir dos Algoritmos

A complexidade do trabalho dos algoritmos aumenta com o uso cada vez maior das técnicas de aprendizagem automática. Com elas, o algoritmo é capaz de reorganizar seu funcionamento interno com base nos dados que está analisando. Conforme já descreveu Pedro Domingos, os algoritmos de aprendizagem automática são “os algoritmos que fazem outros algoritmos... para que nós não precisemos fazê-los.”³ Em geral, não é tarefa fácil para o cientista que trabalha com dados ou para quem escreve algoritmos descrever os passos que um algoritmo deu para produzir um determinado resultado, nem que seja apenas em termos abstratos.

Portanto, os algoritmos acrescentam um elemento novo à cadeia de informação – sua opacidade – que costuma estar associada à dificuldade de decodificar o seu resultado. Os seres humanos vão ficando cada vez menos capazes de compreender, explicar ou prever o funcionamento interno, os vieses e os eventuais problemas dos algoritmos. Vem aumentando a preocupação diante de situações em que nos fiamos nos algoritmos para a tomada de decisões importantes, até mesmo fundamentais, que afetam nossas vidas ao ponto de muitos trabalhos acadêmicos e campanhas públicas estarem clamando por uma transparência cada vez maior dos algoritmos e sua respectiva responsabilização pelo que fazem.⁴

Ao mesmo tempo, existem justificativas não técnicas para a sua opacidade. Algumas dessas justificativas se baseiam em questões relativas à concorrência. Um algoritmo aberto pode colocar a empresa por ele responsável em desvantagem diante da concorrência. Outras se baseiam na propriedade intelectual: há países onde a lei protege o sigilo comercial ou a propriedade intelectual das empresas. Outra razão para não se abrir determinados algoritmos é a possibilidade de algumas pessoas, uma vez cientes das suas características, darem um jeito de “enganar” o algoritmo.⁵ Portanto, a opacidade dos algoritmos é uma tendência sustentada por elementos de natureza tanto técnica quanto não técnica.

Mas a opacidade não tem conseguido barrar a ampla adoção dos algoritmos em vários domínios. De fato, eles já não são vistos apenas como o truque que faz funcionar os mecanismos de busca ou como algo que ajuda o e-comércio a arrebanhar as preferências dos clientes. Eles são, sim, componentes essenciais dos veículos autoconduzidos, dos sistemas de previsão de crimes e dos exames para diagnosticar várias doenças, juntamente com uma lista que também não para de crescer com tantas novas aplicações de bastante importância. Algumas dessas aplicações, a propósito, têm impactos diretos sobre a sociedade, como o uso para dar aos dados algum sentido que leve ao desenvolvimento e à ação humanitária, ou o apoio para chegar-se ao diagnóstico médico correto, ou mesmo ao dar mais racionalidade a decisões judiciais.⁶

Os algoritmos surgiram para realizar uma quantidade infindável de tarefas, não só por conta do seu próprio desenvolvimento quanto pela ocorrência de condições que transformaram todo o ambiente em que se situam. Decerto “o algoritmo não é um algoritmo pelo fato de executar (as instruções dadas); ele é um algoritmo pois funciona a partir de um conjunto heterogêneo de atores, que a ele transmitem a exata ação que pressupomos estar sendo por ele realizada.”⁷

Esse ambiente contém elementos de grande relevância para a governança dos algoritmos. A bem da verdade, sua governança pode mesmo se basear em ferramentas que atuem não apenas no próprio algoritmo como também sobre elementos do seu ambiente. Dentre tais elementos, os conjuntos de dados talvez sejam os mais fundamentais. Os algoritmos se tornaram muito mais úteis enquanto função da disponibilidade de dados, que é relevante para seu funcionamento interno. Conforme destacou Tarleton Gillespie, “os algoritmos são inertes, máquinas sem sentido, enquanto não estiverem ligados a bases de dados sobre as quais venham a funcionar.”⁸

Os conjuntos de dados são formados a partir de dados coletados em ritmos cada vez mais acelerados, à medida que nossas atividades vão deixando rastros (pensemos nas nossas atividades na Internet) ou vão sendo, quase sempre, monitoradas. Isso leva à oferta de muito mais dados relevantes. E essa questão é absolutamente central à ideia do “big data”, o paradigma para dados que costumam “alimentar” algoritmos, com características usualmente chamadas de 3 V’s: volume (há mais dados disponíveis), variedade (a partir de uma gama muito maior de fontes) e velocidade (em ritmo crescente, até mesmo em tempo real).⁹

Se os conjuntos de dados forem usados como partes centrais das tarefas a serem realizadas por algoritmos, é importante enfatizar a necessidade de verificar se estão sendo usados dentro da lei e da ética. Em suma, cabe assegurar que os dados sejam legítimos e corretos, que estejam atualizados e não apresentem nenhum viés. Por exemplo, a mineração de dados e outros métodos usados para refinar os conjuntos de dados podem acabar resultando em discriminação. Além disso, a seleção, a classificação, a correlação e outras técnicas costumam repetir vieses ambientais, pois são capazes de imitar as condições sociais e pessoais. Isso nem é uma grande novidade, pois a discriminação estatística (a formação de estereótipos a partir do comportamento “médio” de um grupo discriminado) já é questionada há quatro décadas, mas trata-se de um problema que os algoritmos vêm sempre destacando.¹⁰

Como exercer a governança dos algoritmos

Já foram identificados na literatura alguns riscos que o uso dos algoritmos pode trazer, tais como manipulação, viés, censura, discriminação social, violações da privacidade e dos direitos proprietários, abuso do poder de mercado, efeitos sobre as capacidades cognitivas e uma crescente heteronomia. É preciso considerar um processo de governança para os algoritmos com vistas a tratar desses riscos.

A governança dos algoritmos pode variar desde os pontos de vista estritamente jurídico e regulatório até uma postura puramente técnica. Ela costuma priorizar a responsabilização, a transparência e as garantias técnicas. A escolha da abordagem de governança pode basear-se em fatores tais como a natureza do algoritmo, o contexto em que ele existe ou uma análise de risco.¹¹

Quando se opta por uma abordagem de governança, esta deve buscar geralmente uma redução dos problemas causados pelos algoritmos. Ela deveria tentar preservar a sua eficácia e reduzir os resultados indesejáveis.

Algumas ferramentas de governança não agem sobre o algoritmo mas sim sobre os dados que eles precisam para funcionar. Isso se aplica a algumas das ferramentas que já estão presentes na legislação de proteção de dados que, em alguns países, incluem medidas relativas à transparência e à razoabilidade, aplicáveis diretamente aos algoritmos e às plataformas que dão suporte ao seu funcionamento. Por exemplo, a premissa que as decisões automatizadas devem basear-se em critérios transparentes costuma estar presente em algumas leis de proteção de dados. O mesmo ocorre com o direito de solicitar revisão humana para as decisões tomadas automaticamente.

O uso de algoritmos para regular conjuntos de dados está no cerne da maioria dos arcabouços jurídicos para a proteção dos dados, o que também exige que esses conjuntos de dados sejam legítimos e corretos, cumprindo vários requisitos para atender a esses critérios. Um bom exemplo seria o consentimento para o uso de dados pessoais em várias ocasiões, uma vez que a propriedade é outra das questões que assomam, e identificar conjuntos de dados específicos – de maneira a permitir consentimento para tratamento e uso de dados, seja para uso pessoal ou simplesmente originado por um cidadão – também deveria ser assunto para regulação.

A necessidade de uma prestação de contas e da transparência dos algoritmos costuma ser mencionada como outra abordagem possível. A transparência, como já mencionamos, não é natural a muitos dos algoritmos que estão em uso, por razões técnicas e não técnicas, de forma que precisamos de instrumentos de governança para estimular a adoção de certos níveis de transparência, ou de algoritmos abertos.

A prestação de contas, que está ligada à noção de responsabilidade, justeza e processo devido no uso dos algoritmos, também é fundamental e invoca outra questão que deverá ser enfrentada com o uso generalizado de algoritmos: quem fica responsável pelo seu uso? Em quais situações o criador de um algoritmo será responsabilizado e em quais o será uma empresa ou órgão governamental que empregue esse algoritmo?

As garantias técnicas são outro recurso fundamental, de maneira a estabelecer opções para o projeto de algoritmos quanto à mineração e análise de dados com considerações que busquem evitar preconceito, desigualdade ou quaisquer outros resultados tendenciosos. Nesse âmbito, os engenheiros e pesquisadores estão desenvolvendo técnicas para assegurar que os algoritmos e a sua implementação atendam aos padrões de concepção, desempenho e mesmo responsabilização. Num momento seguinte, existem técnicas de auditoria que podem ser úteis para determinar se o algoritmo adere às normas técnicas exigidas.

Uma ferramenta intimamente ligada à auto-regulação é o desenvolvimento de princípios ligados ao uso ético de dados pessoais – o que vem sendo mencionado às vezes como ética do “big data”. Mesmo sendo uma variação da abordagem da auto-regulação, alguns órgãos governamentais têm mencionado que talvez esses princípios devam ser desenvolvidos como parte de um novo arcabouço regulatório.¹²

Outro elemento importante é que os algoritmos estão sempre atuando sob as condições do momento, enfrentando situações novas e inéditas que exigem respostas, o que requer o constante acompanhamento dos seus resultados para avaliação. Essa questão é ainda mais importante no caso das técnicas de aprendizado automático.

A implantação de instrumentos de governança para os algoritmos pode ocorrer em vários níveis. Descrevemos aqui uma pequena gama, levando em conta que alguns só seriam considerados se o risco que apresentassem fosse substancial e concreto. Os processos de governança de algoritmos podem variar desde soluções orientadas para o mercado até mecanismos governamentais.

Um conjunto de órgãos de supervisão é necessário para estruturar e implementar a governança dos algoritmos sobre uma variedade de instrumentos. Fica evidente que não existe uma solução única para todos os casos.

As empresas particulares devem abordar o uso de algoritmos dentro de padrões estabelecidos (se os seus clientes estiverem numa posição tal que possam evitar o uso de algoritmos arriscados embutidos em seus softwares, serviços e produtos), contanto que haja transparência e responsabilização em níveis adequados.

Para que funcione sistematicamente, essa abordagem da iniciativa privada deve ser parte da organização interna das empresas, onde elas definem os padrões que refletem o interesse público e estabelecem um processo de revisão e um órgão interno para garantir a integridade e conformidade com valores de interesse público quando usarem algoritmos.

Essa abordagem também pode basear-se em processos de auto-regulação no âmbito da indústria como um todo onde, por exemplo, padrões coletivos e valores de interesse público são definidos para um setor específico – conforme acontece quando a indústria automobilística define padrões de qualidade e segurança para software embarcado nos automóveis. Um órgão de supervisão específico para a indústria, capaz de assumir a forma de comitês multissetoriais, teria a incumbência de exigir de quem os cria as informações relativas aos algoritmos.

E, por fim, um órgão de supervisão governamental encarregado da regulação dos algoritmos é mais uma possibilidade para o futuro, priorizando requisitos tais como o nível de transparência ou de qualidade de serviço em termos de erros, risco de morte ou lesões causadas por algoritmos ou por software, juntamente com violações de segurança e outros assuntos pertinentes.

--
*(1) Os autores agradecem a Yasodara Córdova por suas valiosas contribuições e sugestões.
2. F. Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, 2015
3. P. Domingos, The Master Algorithm, Basic Books, 2015.
4. Electronic Privacy Information Center, Algorithmic Transparency: End Secret Profiling,” Epic.org, 2015; https://epic.org/algorithmic-transparency
5. T. Gillespie, “The Relevance of Algorithms,” Media Technologies: Essays on Communication, Materiality, and Society, T. Gillespie, P. Boczkowski, and K. Foot, eds., MIT Press, 2014, pp. 167–194.
6. http://www.unglobalpulse.org
7. L. Introna, “Algorithms, Governance, and Governmentality: On Governing Academic Writing,” Science, Technology, & Human Values, 3 June 2015; doi:10.1177/0162243915587360.
8. T. Gillespie, op.cit.
9. H. Fang and A. Moro, “Theories of Statistical Discrimination and Affirmative Action: A Survey,” NBER working paper no. 15860, Nat’l Bureau of Economic Research, 2010; www.nber.org/papers/w15860
10. F. Saurwein, N. Just, and M. Latzer, “Governance of Algorithms: Options and Limitations,” Social Science Research Network, vol. 17, no. 6, 2015, pp. 35–49.
11. European Data Protection Supervisor, Towards a New Digital Ethics: Data, Dignity, and Technology, opinion 4/2015, EDPS, 11 Sept. 2015; https://secure.edps.europa.eu/EDPSWEB/webdav/site/mySite/shared/Document...
12. F. Saurwein et al, op.cit.