Insuficiência dos princípios éticos para normatização da Inteligência Artificial: o antirracismo e a anti-discriminação como vetores da regulação de IA no Brasil

Paula Guedes Fernandes da Silva, Doutoranda em Direito e Mestre em Direito Internacional e Europeu pela Universidade Católica do Porto, Pesquisadora de Direito e Tecnologia pelo Legalite PUC-Rio e pesquisadora no Data Privacy Brasil Escola.
Marina Gonçalves Garrote, pesquisadora na Associação Data Privacy Brasil de Pesquisa e Mestranda em Direito na Universidade de São Paulo.

Data da publicação: setembro 2022

Chatbots,¹ verificação de identidade, acesso a informações, concessão de crédito, obtenção de vagas de trabalho e acesso a serviços essenciais. Esses são apenas alguns dos muitos exemplos, cada vez mais ubíquos, de aplicação da Inteligência Artificial (IA) hoje. A automatização, total ou parcial, da função de tomada de decisão com impactos significativos na vida de indivíduos e grupos gera uma série de preocupações, principalmente em razão de seu potencial gerador de resultados objetivamente equivocados ou questionáveis em termos de parcialidade, opacidade e discriminação.²

Diante do progressivo uso da tecnologia de forma desenfreada e com consequências negativas para direitos e liberdades fundamentais, há alguns anos observamos uma tendência internacional de regulação da IA, iniciada com base em mecanismos de soft-law³, especialmente autorregulação e criação de princípios éticos. Até 2020, pelo menos 173 iniciativas⁴ público-privadas surgiram globalmente para a definição de valores, princípios, códigos de conduta e guias orientativos para o desenvolvimento e implantação éticos da IA.⁵

Paralelamente, conforme destacado por Elettra Bietti,⁶ teve início um movimento, entre as empresas de tecnologia, de instrumentalização da linguagem ética, com o objetivo de defender um modelo de regulação mais favorável a elas, seja pela desnecessidade de regulação do mercado de IA, pela autorregulação, ou simplesmente que a regulação seja orientada por valores do mercado. Essa movimentação é denominada de “ethics washing”. Exemplos de práticas que se enquadram nesse modelo são a criação de conselhos de ética em IA, contratação de pesquisadores de ética em IA e até filósofos, sem que haja, entretanto, poder para de fato alterar políticas internas e de mercado. Um exemplo disso foi a dissolução do Advanced Technology External Advisory Council (ATEAC), do Google, cerca de uma semana após seu anúncio, por ter sido assinada uma petição por funcionários da própria empresa demandando que um membro do conselho criado fosse removido por ser sabidamente anti-LGBT⁷.

Assim, apesar de certo consenso entre diferentes stakeholders em relação aos princípios éticos de aplicação da IA, a exemplo de transparência, justiça/não-discriminação, não-maleficência, prestação de contas e privacidade,⁸ a prática revela dificuldade de traduzir esses princípios em medidas concretas que salvaguardem efetivamente direitos fundamentais.⁹ Demonstram isso os diversos casos de práticas e decisões ilegítimas ou abusivas fruto de aplicações de IA, mesmo após a fixação de guias éticos, como a proliferação de casos de racismo algorítmico,¹⁰ falhas em identificação biométrica facial, vigilantismo, exclusão social, manipulação de comportamentos e dificuldade de acesso a serviços essenciais,¹¹ todos com efeitos desproporcionais sobre grupos minorizados.

Nesse contexto de continuidade de produção dos efeitos negativos da IA associada à dificuldade de transformação de guias éticos em ações concretas, a abordagem única de autorregulação da tecnologia se mostrou insuficiente e ineficiente para a proteção individual e coletiva face ao avanço tecnológico.¹² Consequentemente, observamos uma nova tendência mundial de criação de normas jurídicas com coercibilidade e poder vinculante, especificamente para a IA, como ocorre, por exemplo, com a Proposta de Regulamento de Inteligência Artificial da União Europeia¹³ e diferentes propostas em análise ou já aprovadas no contexto estadunidense,¹⁴ como a Proposta de Lei de Responsabilidade Algorítmica¹⁵ (2022).

Cenário regulatório brasileiro

Em julho de 2021, o Brasil se inseriu mais fortemente na tendência internacional ao aprovar regime de urgência para a tramitação do Projeto de Lei 21/2020 (PL 21/20), cujo objetivo era criar um marco regulatório de IA no país.¹⁶ Em setembro do mesmo ano, a Câmara dos Deputados, primeira casa legislativa de análise, aprovou o projeto na forma de substitutivo da deputada-relatora Luiza Canziani (PTB-PR)¹⁷, sob críticas de pesquisadores e organizações da sociedade civil.

Além da limitada possibilidade de discussão pública e participação popular, fundamentais diante da complexidade ética, técnica e jurídica do tema a ser regulado, o texto aprovado foi também alvo de críticas e gerou preocupação em razão de sua abordagem excessivamente principiológica e pouco normativa.¹⁸ Apesar de inserir o Brasil na tendência internacional de regulamentação do uso de IA por instrumentos legislativos cogentes, a abordagem escolhida, na ocasião, prejudicaria sua coercibilidade prática,¹⁹ o que impediria a normatização concreta da matéria e, por consequência, a efetiva proteção de direitos e liberdades fundamentais, à semelhança do que ocorreu anteriormente com as estratégias de autorregulação ética.

Nesse contexto, é interessante mencionar os estudos de Julia Black e Andrew Murray.²⁰ Os autores destacam a importância de um sistema de regulação de IA através do direito, que se dedique aos riscos com efeitos em rede gerados pela tecnologia, e não apenas às questões éticas que surgem com a sua utilização de maneira individual. Black e Murray comparam a experiência atual da regulação de IA com a experiência da regulação da Internet na década de 90. À época, pela demora na intervenção dos governos com uma regulação estrutural, foi deixada para o controle dos mercados uma tecnologia de comunicação com efeitos em rede e geradora de riscos e impactos sistêmicos, além da criação de monopólios econômicos. Os autores refletem que objetivos e valores (presentes tanto no debate geral de ética de IA quanto na natureza principiológica do PL) são apenas parte de um sistema regulatório, que também requer que as pessoas e organizações modifiquem seus comportamentos.

O texto do PL 21/20, aprovado na Câmara dos Deputados, acabaria por posicionar o Brasil no debate regulatório de IA de maneira atrasada, repetindo os mencionados erros cometidos na regulação da Internet.²¹ Se a Proposta de Regulamento de IA na União Europeia, por exemplo, já é alvo de críticas – principalmente relacionadas à insuficiência do rol de práticas de IA proibidas e a falta de previsão de requisitos significativos de avaliação do impacto para o desenvolvimento e implantação de sistemas de IA²² – o projeto brasileiro é substancialmente inferior do ponto de vista normativo, e ainda mais problemático.

Além de estabelecer uma regulamentação setorial associada a um alto grau de autorregulação por parte dos próprios agentes regulados, o projeto aprovado pela Câmara também não previa um rol de direitos e deveres, o que poderia impossibilitar uma efetiva governança de sistemas de IA no Brasil ao permitir excessiva fragmentação do debate entre os diferentes setores e sem a devida coercibilidade para garantia de aplicação prática das regras jurídicas.²³ Ademais, apesar de mencionar "gestão baseada em risco" e "análise de impacto regulatório", o texto carece de profundidade e reflexão, já que possui certa imprecisão conceitual, falta de elementos que garantam densidade normativa e uma efetiva previsão e procedimentalização de mecanismos de avaliação de impacto.

Somado a todo o exposto, ainda falta às discussões sobre regulação de IA no Brasil um entendimento concreto a respeito de suas especificidades enquanto país do Sul Global, permeado por um histórico de marginalização e discriminação de grupos e comunidades, especialmente pessoas negras e indígenas, que são impactadas de forma mais prejudicial por algumas aplicações de IA. A tecnologia, aplicada na realidade brasileira, acaba por reforçar e aprimorar, direta e indiretamente, o racismo estrutural²⁴ histórico da sociedade brasileira, segregando várias formas de vivência da negritude,²⁵ o que fica evidente, por exemplo, pela predominância de negros presos em decorrência do uso de reconhecimento facial na segurança pública.²⁶

Diante dessas questões, em fevereiro de 2022, iniciada a segunda etapa do processo legislativo no Senado, e diante das fortes críticas à estrutura e conteúdo do PL 21/20, foi instaurada uma Comissão de Juristas para a elaboração de um substitutivo ao projeto sob presidência de Ricardo Villas Bôas Cueva e relatoria de Laura Schertel Mendes.²⁷ Porém, a Comissão foi criticada em carta aberta da Coalizão Direitos na Rede por sua falta de diversidade racial, ausência de juristas negras/negros e indígenas, além de não considerar como critério para escolha de seus membros a diversidade regional e de interesses afetados pelas aplicações de IA.²⁸

Preocupada e ciente das críticas iniciais de defasagem de diversidade racial e regional, a Comissão de Juristas buscou mitigá-la em suas ações. Por exemplo, na composição das audiências públicas realizadas em abril e maio de 2022, houve maior representatividade de raça e gênero entre os painelistas convidados, que discutiram diferentes assuntos relacionados à regulação de IA no Brasil,²⁹ como gradação de riscos, transparência e explicabilidade, revisão e direito à intervenção humana, discriminação algoritmica e princípio da precaução. Apesar de ser algo ainda incipiente, já que a participação em audiência pública não confere o mesmo poder e peso de ser incluído como membro da Comissão, tal posicionamento indica um alinhamento positivo da Comissão de Juristas com a luta antirracista.

O que esperamos para o futuro da regulação de IA no Brasil

Com a instalação da Comissão de Juristas para elaboração do substitutivo, o Brasil recebeu uma nova oportunidade para discutir a regulação de IA voltada para a efetiva proteção de direitos e liberdades fundamentais, especialmente dos indivíduos e grupos vulneráveis, saindo da lógica meramente principiológica e considerando o histórico de opressão e discriminação enraizada nos tecidos sociais do país.

De acordo com Bianca Kremer, o projeto de modernidade legislativa referente à IA no Sul Global, onde o Brasil se insere, deve centrar-se na governança algorítmica que traga as questões raciais como elemento organizador-chave, sob pena de nos sujeitarmos a princípios e limites éticos vazios. Apesar de bem-intencionados, tais arranjos não seriam aptos a lidar com a proteção de minorias e grupos vulneráveis no contexto das dinâmicas de poder e interesses hegemônicos da nossa herança colonial, aristocrática, burguesa e patriarcal.³⁰

Nesse cenário, Adilson Moreira³¹ expõe claramente como o projeto liberal de uma sociedade sem hierarquias não ocorreu no Brasil, afinal, o próprio Estado liberal moderno é um Estado Racial. Isto porque suas instituições se basearam na opressão negra, e seus órgãos políticos e ideologia permitem a continuidade da exclusão racial. Na ausência de uma sociedade sem hierarquias, não é possível pensar em uma legislação que pretenda conferir o mesmo tratamento entre indivíduos, pois essa é uma visão de igualdade procedimental-liberal, que não considera o contexto social:

Nós, negros, que somos operadores do Direito, devemos estar conscientes de que privações fazem com que sejamos sempre socialmente classificados como membros de um grupo específico, o que elimina a possibilidade de termos nossa individualidade reconhecida. Esse estado de coisas não será alterado enquanto o status social e o status material do nosso povo sejam transformados por meio de ações positivas das instituições estatais, além da mudança da forma como esses sujeitos são socialmente percebidos. (MOREIRA, Adilson José, 2019. p. 99-100)

Anita Allen³², enfrentando a questão de como alterações na legislação referentes à privacidade e proteção de dados poderiam promover a equidade da experiência afro-americana no ambiente online, delimita cinco objetivos que podem servir de inspiração para a legislação brasileira:

1. não exacerbação da desigualdade racial;

2. impossibilidade de neutralidade racial do impacto de políticas de privacidade (não irão proteger e possivelmente irão prejudicar os indivíduos de maneira desigual);

3. eliminação da hipervigilância discriminatória baseada na raça; (iv) redução da exclusão discriminatória baseada na raça; e

4. redução de exploração e fraudes baseadas na raça.

Consequentemente, a importância de dispositivos antidiscriminatórios e antirracistas de maneira explícita na legislação de IA não pode ser subestimada, pois a IA será cada vez mais significativa socialmente, e pode ser um instrumento de potencialização ou de combate ao racismo. Enquanto ferramenta de combate, a IA pode ser utilizada enquanto mecanismo de efetivação de ações afirmativas. Por exemplo, a IA pode ser utilizada para reduzir as discriminações e o racismo ao investigar e questionar diretamente as estruturas de poder de um estado racial, ao invés de ser direcionada para o comportamento dos indivíduos vulneráveis. Exemplo disso é o estudo de Barabas et al³³, que constrói um modelo para prever a probabilidade de um determinado juiz, em qualquer caso, não respeitar a Constituição dos Estados Unidos e impor uma fiança que seja impossível para o réu pagar sem o devido processo legal.

Por isso, conforme posicionamento do coletivo AqualtuneLab, é imprescindível que a futura legislação de IA, projetada pela Comissão de Juristas, afirme o dever de que esses sistemas sejam antirracistas e contrários às demais práticas de discriminação ilícita ou abusiva. Em outras palavras, o PL 21/20, caso aprovado como lei federal, deve ter o princípio da não-discriminação como critério de validade para as atividades de fomento, desenvolvimento e uso da IA no Brasil, além de prever concretamente instrumentos de ação preventiva e de prestação de contas, a exemplo da avaliação de impacto em direitos humanos, que deve se pautar necessariamente nesta abordagem anti-discriminação.³⁴

Por mais que seja positivo que o regulador brasileiro se inspire nos modelos regulatórios de sucesso vindos do direito comparado, em especial do continente europeu, o país precisa refletir criticamente e discutir publicamente antes de incorporar soluções estrangeiras, muitas das quais são baseadas na pretensa ideia de universalidade representada por um sujeito de direito eurocêntrico. Assim, uma regulação brasileira de IA deve ser pensada em seus próprios termos, considerando a colonialidade como elemento que perpassa todo o seu contexto histórico, social e econômico. Nas palavras de Kremer:³⁵

Uma tecno-regulação benéfica à humanidade, portanto, precisa levar em consideração – sobretudo reconhecer, como ponto de partida – os processos de hierarquias de humanidade que ainda se desenvolvem no tecido social brasileiro, que tem cor, gênero, raça, sexualidade, e demais imbricações muito bem definidas para fora da régua de proteção que determina o padrão a partir do qual é projetado o sujeito de direito universal. (CORRÊA, Bianca Kremer Nogueira, 2021, p. 212).

Logo, para que haja efetiva proteção de direitos e liberdades fundamentais, especialmente dos grupos sociais historicamente marginalizados, além da previsão de usos de IA proibidos e da obrigatoriedade de elaboração de instrumentos de responsibilização, como a avaliação de impacto em direitos humanos e seus procedimentos concretos, é essencial que a futura legislação considere o contexto brasileiro (país de Sul Global permeado pelo racismo e discriminações enraizadas no tecido social) e tenha o antirracismo e a anti-discriminação tanto como valores que fundamentam a regulação legal, quanto como objetivos a serem alcançados³⁶, refletidos em todo o seu texto e nas ferramentas de implementação regulatórias.

1Na definição da Oracle, “no nível mais básico, um chatbot é um programa de computador que simula e processa conversas humanas (escritas ou faladas), permitindo que os humanos interajam com dispositivos digitais como se estivessem comunicando-se com uma pessoa real.” Ver https://www.oracle.com/chatbots/what-is-a-chatbot/

2 WIMMER, Miriam; DONEDA, Danilo. “Falhas de IA” e a Intervenção Humana em Decisões Automatizadas: Parâmetros para a Legitimação pela Humanização. Revista de Direito Público, Brasília, Vol. 18, nº 100, pp. 374-406, out./dez. 2021. p. 375-376.

3 O termo soft-law é utilizado para se referir a regras que, apesar de terem conteúdo normativo, não geram efeito vinculante direto, apenas práticos, o que permite que cada agente avalie seu cumprimento ou não, de acordo com suas próprias conveniências. Por exemplo, a partir da criação de recomendações éticas para a IA, são estabelecidos comportamentos desejáveis, mas sem a imposição de sanções pelo não-cumprimento, que fica a cargo de cada ator interessado; TRUBEK, David M.; COTRELL, Patrick; NANCE, Mark. “Soft Law,” “Hard Law,” and European Integration: Toward a Theory of Hybridity. Legal Studies Research Paper Series, Winsconsin, nº 1.002, pp. 1- 42, nov./2005. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=855447; FLORIDI, Luciano. The End of an Era: from Self‑Regulation to Hard Law for the Digital Industry. Philosophy & Technology, Vol. 34, pp. 619–622, 2021. Disponível em: https://doi.org/10.1007/s13347-021-00493-0. p. 620.

4 ALGORITHM WATCH. AI Ethics Guidelines Global Inventory. Abril 2020. Disponível em: https://inventory.algorithmwatch.org/about.

5 MITTELSTADT, Brent. Principles alone cannot guarantee ethical AI. Nature Machine Intelligence, Vol. 1, pp. 501–507, 2019. p. 501.

6 BIETTI, Elettra. From Ethics Washing to Ethics Bashing: A Moral Philosophy View on Tech Ethics. Journal of Social Computing, v. 2, n. 3, p. 266–283, set. 2021.

7 BIETTI, Elettra. From Ethics Washing to Ethics Bashing: A Moral Philosophy View on Tech Ethics. Journal of Social Computing, v. 2, n. 3, p. 266–283, set. 2021.

8 JOBIN, Anna; IENCA, Marcello; VAYENA, Effy. The global landscape of AI ethics guidelines. Nature Machine intelligence, Vol. 1, pp. 389–399, 2019. p. 390.

9 FLORIDI, Luciano. Translating Principles into Practices of Digital Ethics:Five Risks of Being Unethical. Philosophy & Technology, Vol. 32, pp. 185–193, 2019. p. 185.

10 SILVA, Tarcízio. Linha do Tempo do Racismo Algorítmico. Blog do Tarcízio Silva, 2019. Disponível em: https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-linha-do-tempo. Acesso em: 22 ago. 2022.

11 CHIUSI, Fabio. Automating Society Report 2020. Disponível em: https://automatingsociety.algorithmwatch.org; VALE, Sebastião Barros; ZANFIR-FORTUNA, Gabriela. Automated Decision-Making Under the GDPR: Practical Cases from Courts and Data Protection Authorities. Future of Privacy Forum, maio 2022. Disponível em: https://fpf.org/wp-content/uploads/2022/05/FPF-ADM-Report-R2-singles.pdf.

12 MITTELSTADT, Brent. Principles alone cannot guarantee ethical AI. Nature Machine Intelligence, Vol. 1, pp. 501–507, 2019. p. 501; FLORIDI, Luciano. The End of an Era: from Self‑Regulation to Hard Law for the Digital Industry. Philosophy & Technology, Vol. 34, pp. 619–622, 2021. Disponível em: https://doi.org/10.1007/s13347-021-00493-0. p. 619-620; DE SOUZA, Michel Roberto. Proyecto de ley de inteligencia artificial: múltiples desafíos por delante. Derechos Digitales, 22 jul. 2022. Disponível em: https://www.derechosdigitales.org/19074/proyecto-de-ley-de-inteligencia-.... Acesso em 22 ago. 2022.

13 COMISSÃO EUROPEIA. Proposta de Regulamento de Inteligência Artificial. Bruxelas, COM (2021) 206 final, 21 abr. 2021. Disponível em: https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-95....

14 KRACZON, Caroline. The State of State AI Policy (2021-22 Legislative Session). Electronic Privacy Information Center, publicado em 8 ago. 2022. Disponível em: https://epic.org/the-state-of-ai/.

15 ESTADOS UNIDOS. H.R.6580 - Algorithmic Accountability Act of 2022. Introduzido por Yvette D. Clarke em 02 mar. 2022. Disponível em: https://www.congress.gov/bill/117th-congress/house-bill/6580/text?r=2&s=....

16 CÂMARA DOS DEPUTADOS. Câmara aprova regime de urgência para projeto sobre inteligência artificial. Publicado em 06 jul. 2021. Disponível em: https://www.camara.leg.br/noticias/782074-camara-aprova-regime-de-urgenc....

17 CÂMARA DOS DEPUTADOS. Projeto de Lei - PL 21/2020. Disponível em: https://www.camara.leg.br/propostas-legislativas/2236340.

18 SENADO FEDERAL. Para especialistas, PL sobre Inteligência Artificial precisa de mais debates. Agência Senado, publicado em 16 de julho de 2021. Disponível em: https://www12.senado.leg.br/noticias/materias/2021/07/16/para-especialis...; DATA PRIVACY BRASIL RESEARCH. Nota Técnica - Contribuições do Data Privacy Brasil ao Projeto de Lei nº 21, de 04 de fevereiro de 2020. Disponível em: https://www.dataprivacybr.org/wp-content/uploads/2021/09/dpbr_notatecnic....

19 DATA PRIVACY BRASIL RESEARCH. Nota Técnica - Contribuições do Data Privacy Brasil ao Projeto de Lei nº 21, de 04 de fevereiro de 2020. Disponível em: https://www.dataprivacybr.org/wp-content/uploads/2021/09/dpbr_notatecnic....

20 BLACK, Julia.; MURRAY, Andrew. Regulating AI and Machine Learning: Setting the Regulatory Agenda. European Journal of Law and Technology. Vol. 10, n.3, 2019.

21 DATA PRIVACY BRASIL RESEARCH. Nota Técnica - Contribuições do Data Privacy Brasil ao Projeto de Lei nº 21, de 04 de fevereiro de 2020. Disponível em: https://www.dataprivacybr.org/wp-content/uploads/2021/09/dpbr_notatecnic....

22 EUROPEAN CENTER FOR NOT-FOR-PROFIT LAW (ECNL). EU AI Act must have a standardised methodology for impact assessments. Publicado em 04 abr. 2022. Disponível em: https://ecnl.org/news/eu-ai-act-must-have-standardised-methodology-impac.... Acesso em 24 ago. 2022; LEUFER, Daniel. Here’s how to fix the EU’s Artificial Intelligence Act. Access Now, publicado em 7 set. 2021. Disponível em: https://www.accessnow.org/how-to-fix-eu-artificial-intelligence-act/. Acesso em 24 ago. 2022.

23 DATA PRIVACY BRASIL RESEARCH. Nota Técnica - Contribuições do Data Privacy Brasil ao Projeto de Lei nº 21, de 04 de fevereiro de 2020. Disponível em: https://www.dataprivacybr.org/wp-content/uploads/2021/09/dpbr_notatecnic....

24 Silvio de Almeida sustenta em sua obra Racismo Estrutural (Feminismos Plurais), que o racismo é sempre estrutural, o que quer dizer que ele é parte da organização econômica e política da sociedade, parte de sua normalidade: “O racismo fornece o sentido, a lógica e a tecnologia para a reprodução das formas de desigualdade e violência que moldam a vida social contemporânea.” ALMEIDA, Silvio Luiz de. Racismo Estrutural. São Paulo: Sueli Carneiro; Pólen, 2019. 264p. Feminismos Plurais. coord. Djamila Ribeiro.

25 BARBOSA, Arthur Almeida Menesês et al. Documento Preto I. Brasil: Aqualtune Lab, maio de 2022. Disponível em: https://www.aqualtunelab.com.br/wp-content/uploads/2022/06/AQUALTUNELAB-....

26 NUNES, Pablo. Exclusivo: Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. The Intercept Brasil, publicado em 21 nov. 2019. Disponível em: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-n.... Acesso em 23 ago. 2022.

27 SENADO FEDERAL. Ato do Presidente do Senado Federal nº 4 de 2022. Disponível em: https://legis.senado.leg.br/sdleg-getter/documento?dm=9087218&ts=1647551....

28 COALIZAÇÃO DIREITOS NA REDE. Carta Aberta | Regulação de Inteligência Artificial: um tema transversal que exige debate multissetorial e interdisciplinar. Publicado em 23 fev. 2022. Disponível em: https://direitosnarede.org.br/carta-aberta-regulacao-ia/.

29 AqualtuneLab - cruzando o Atlântico. Ontem o debate sobre Inteligência Artificial trouxe uma pequena, porém importante vitória na luta antirracista (...). Rio de Janeiro, RJ, 21 abr. 2022. Twitter: @AqualtuneLab. Disponível em: https://twitter.com/AqualtuneLab/status/1517146043200073728?t=BUV2o-eUz7.... Acesso em 24 ago. 2022.

30 CORRÊA, Bianca Kremer Nogueira. Direito e Tecnologia em Perspectiva Amefricana: autonomia, algoritmos e vieses raciais. Tese apresentada ao Programa de Pós-graduação em Direito da Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). Orientação de Maria Celina Bodin de Moraes e Co-orientação de Caitlin Sampaio Mulholland. Rio de Janeiro, março de 2021. Disponível em: https://www.maxwell.vrac.puc-rio.br/58993/58993.PDF. p. 213 e 235.

31 MOREIRA, Adilson José. Pensando como um negro: ensaio de hermenêutica jurídica. São Paulo: Editora Contracorrente, 2019. 304p.

32 ALLEN, Anita. L. Dismantling the “Black Opticon”: Privacy, Race Equity, and Online Data-Protection Reform. SSRN Electronic Journal, 2022.

33 BARABAS, Chelsea. et al. Studying Up: Reorienting the study of algorithmic fairness around issues of power. p. 10, 2020.

34 BARBOSA, Arthur Almeida Menesês et al. Documento Preto I. Brasil: Aqualtune Lab, maio de 2022. Disponível em: https://www.aqualtunelab.com.br/wp-content/uploads/2022/06/AQUALTUNELAB-....

35 CORRÊA, Bianca Kremer Nogueira. Direito e Tecnologia em Perspectiva Amefricana: autonomia, algoritmos e vieses raciais. Tese apresentada ao Programa de Pós-graduação em Direito da Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). Orientação de Maria Celina Bodin de Moraes e Co-orientação de Caitlin Sampaio Mulholland. Rio de Janeiro, março de 2021. Disponível em: https://www.maxwell.vrac.puc-rio.br/58993/58993.PDF. p. 212.

36 Relembramos aqui a possibilidade de a IA ser utilizada como instrumento de combate ou redução de assimetrias de poder e discriminações, especialmente o racismo, como demonstrado na construção de modelo tecnológico que prevê a probabilidade de um determinado juiz não respeitar a Constituição dos EUA e impor fiança que seja impossível para o réu pagar sem o devido processo legal, conforme exposto por Barabas et al; BARABAS, Chelsea. et al. Studying Up: Reorienting the study of algorithmic fairness around issues of power. p. 10, 2020.