Contente
- O viés de beleza da IA
- O viés de gênero nas línguas
- 2. Discriminação de gênero e idade no emprego
- Falha no reconhecimento facial
- Viés de reincidência
Leve embora:
Nos últimos anos, a IA tem sido cada vez mais adotada e aplicada a tudo, desde avaliar a beleza até avaliar o risco de reincidência. Ao fazê-lo, também manteve padrões que apóiam preconceitos e discriminação em vários casos.
O avanço da tecnologia tem o potencial de democratizar verdadeiramente o acesso à informação e às oportunidades. No entanto, quando em alguns casos, está sendo usado de maneira a reforçar a noção de que em nossa sociedade algumas pessoas são mais iguais que outras.
É o que vimos nas sete instâncias a seguir em que a inteligência artificial (IA) é deliberadamente usada para excluir determinadas categorias ou nas quais simplesmente reflete o viés incorporado por seus programadores humanos com um efeito discriminatório.
O viés de beleza da IA
A beleza pode estar nos olhos de quem vê, mas quando essa visão subjetiva pode programar a IA, você tem um viés no programa. Rachel Thomas relatou um desses episódios em uma competição de beleza da beauty.ai em 2016. Os resultados mostraram que as tezes mais claras eram classificadas como mais atraentes que as escuras.
No ano seguinte, o "FaceApp, que usa redes neurais para criar filtros para fotografias, criou um" filtro de gostosuras "que iluminou a pele das pessoas e deu a elas mais recursos europeus".
O viés de gênero nas línguas
Thomas também cita um exemplo documentado de traduções que carregam expectativas estereotipadas de carreiras. O ponto de partida são duas frases: "Ela é médica. Ele é enfermeira".
Se você os traduzir para o turco e voltar para o inglês, obterá o tipo de resultado que espera de um jogo por telefone.
Em vez de começar o que começou, você teria o tipo de expectativa dos anos 50: "Ele é médico. Ela é enfermeira". Ela explica que isso se deve ao pronome singular de gênero neutro na língua turca que atribuirá o gênero com base nas expectativas e no viés estereotipado. (Leia Mulheres na IA: Reforçando o sexismo e os estereótipos com a tecnologia.)
Embora preconceitos raciais e de gênero que filtram imagens e linguagem sejam motivo de irritação, eles não são exatamente a mesma coisa que discriminação ativa resultante da IA, mas isso também aconteceu.
Sua prova foi uma captura de tela das limitações impostas a um anúncio em sua categoria de habitação que permitia a opção de restringir o público ao marcar exclusões de categorias como afro-americano, asiático-americano ou hispânicos. O anúncio pode ser visto aqui.
Como aponta a ProPublica, o efeito discriminatório de tais anúncios é ilegal tanto pela Lei da Habitação Justa de 1968 quanto pela Lei dos Direitos Civis de 1964. A única defesa nesse caso foi que o anúncio não era para habitação própria, pois não era ' t sobre uma propriedade ou casa à venda ou aluguel.
No entanto, houve outros casos de direcionamento que indicam viés racial e motivaram várias entidades a entrar com ações civis contra a rede social. Como a Wired relatou, finalmente resolveu ajustar sua tecnologia de segmentação de anúncios como resultado de uma solução de cinco processos legais que a acusaram de permitir a discriminação contra minorias por meio de anúncios em março de 2019.
Em seu relatório sobre o acordo, a ACLU apontou como esses anúncios direcionados poderiam ser insidiosos, já que minorias e mulheres podem nem perceber que não têm o mesmo acesso a informações, moradia e oportunidades de trabalho compartilhadas com homens brancos.
À medida que mais pessoas recorrem à Internet para encontrar empregos, apartamentos e empréstimos, há um risco real de que a segmentação de anúncios seja replicada e exacerbada os preconceitos raciais e de gênero existentes na sociedade. Imagine se um empregador optar por exibir anúncios de trabalhos de engenharia apenas para homens - os usuários que não são identificados como homens nunca verão esses anúncios, eles também nunca saberão o que perderam.
Afinal, raramente temos uma maneira de identificar os anúncios que não vemos online. O fato de essa discriminação ser invisível para o usuário excluído dificulta ainda mais a interrupção.
2. Discriminação de gênero e idade no emprego
Entre os casos legais, estava a discriminação ilegal de moradias permitida pela segmentação. Em seu relatório sobre o acordo, a ProPublica disse que testou a plataforma e conseguiu comprar “anúncios relacionados à habitação em grupos excluídos, como afro-americanos e judeus, e já havia encontrado anúncios de emprego, excluindo usuários por idade e sexo colocados pelas empresas. que são nomes familiares. "
Vários anúncios de emprego que a ACLU descobriu que eram direcionados explicitamente apenas a homens em uma determinada faixa etária, como os usuários podiam encontrar clicando na resposta sobre o motivo pelo qual foram exibidos nesse anúncio específico, foram apresentados em outro artigo da Wired. A ACLU acusou a Comissão de Igualdade de Oportunidades de Emprego contra a rede social e as empresas que colocaram os anúncios alegando que estavam violando as leis trabalhistas e de direitos civis.
A discriminação contra a contratação de pessoas acima de 40 anos viola a Lei Federal sobre Discriminação Etária no Emprego (ADEA). Mas segmentar anúncios de emprego apenas para pessoas abaixo dessa idade é uma das coisas ativadas pela plataforma.
A ProPublica fez o foco de um de seus relatórios, expondo quais anúncios de emprego capitalizavam essa forma ilegal de exclusão por idade. Os “nomes de família” incluem Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fundo para o interesse público, Goldman Sach, OpenWorks, entre outros.
Falha no reconhecimento facial
"O reconhecimento facial é preciso, se você é um cara branco" declarou a manchete de um artigo do New York Times publicado em fevereiro de 2018. Ele citou resultados que encontraram uma correlação distinta entre o tom de pele e a identificação incorreta:
“Quanto mais escura a pele, mais erros surgem - até quase 35% para imagens de mulheres de pele mais escura, de acordo com um novo estudo que abre novos caminhos ao medir como a tecnologia funciona em pessoas de diferentes raças e gêneros.”
As descobertas são creditadas a Joy Buolamwini, pesquisadora do MIT Media Lab e fundadora da Liga da Justiça Algorítmica (AJL). Sua área de pesquisa são os vieses subjacentes à IA, resultando em resultados tão distorcidos quando se trata de reconhecer rostos que não se encaixam na norma masculina branca definida para o modelo.
Buolamwini apresentou o problema de preconceito racial e de gênero para o reconhecimento facial em uma palestra do TED de 2017, que ela se referiu a ela no início de 2018 no vídeo no The Gender Shades Project do MIT Lab:
<
O que está descrito na descrição do vídeo é que deixar o viés da IA desmarcado "prejudicará a era da automação e agravará ainda mais a desigualdade se for deixada em apodrecimento". Os riscos nada mais são do que "perder os ganhos obtidos com o movimento dos direitos civis e o movimento das mulheres sob a falsa suposição de neutralidade da máquina".
A descrição do vídeo adiciona o aviso que muitos outros já apontaram, como vimos em Mulheres na IA: Reforçando o sexismo e os estereótipos com a tecnologia: "Os sistemas automatizados não são inerentemente neutros. Eles refletem as prioridades, preferências e preconceitos - os codificados olhar - daqueles que têm o poder de moldar a inteligência artificial ".
Em 25 de janeiro de 2019, Buolamnwini publicou uma publicação no Medium que se baseou em sua própria pesquisa e na de pesquisadores adicionais que apontam como as falhas da IA resultam em erros no Amazon Rekognition e exigiram que a empresa parasse de vender o serviço de AI para os departamentos de polícia.
Embora o Rekognition possa se vangloriar de 100% de precisão no reconhecimento de homens de pele clara e 98,7% de precisão, mesmo em homens mais escuros, quando se trata de mulheres, a precisão caiu para 92,9% em mulheres mais claras. Ainda mais flagrante foi a queda acentuada para apenas 68,6% de precisão nas fêmeas mais escuras.
Mas a Amazon se recusou a ceder. Um artigo da Venture Beat citou uma declaração do Dr. Matt Wood, gerente geral de aprendizagem profunda e IA da AWS, na qual ele insistia que as descobertas dos pesquisadores não refletiam como a AI é realmente usada, explicando:
“A análise facial e o reconhecimento facial são completamente diferentes em termos da tecnologia subjacente e dos dados usados para treiná-los. Tentar usar a análise facial para avaliar a precisão do reconhecimento facial é desaconselhável, pois não é o algoritmo pretendido para esse fim. "
Mas não são apenas os afiliados aos principais centros de pesquisa que consideram os algoritmos muito problemáticos. A ACLU executou seu próprio teste a um custo mais razoável de US $ 12,33, de acordo com o relatório do Gizmodo. Ele descobriu que o Rekognition combinava 28 membros do Congresso com fotos de criminosos.
"As falsas identificações foram feitas quando a ACLU do norte da Califórnia encarregou o Rekognition com fotos correspondentes de todos os 535 membros do Congresso contra 25.000 fotos de fotos de canecas disponíveis ao público".
Como 11 das 28 eram pessoas de cor, isso refletia uma taxa de erro significativa de 39% para elas. Em contraste, a taxa de erro como um todo foi de 5% mais aceitável. Seis membros do Black Caucus do Congresso, que estavam entre os reconhecimentos vinculados a tiros, expressaram sua preocupação em uma carta aberta ao CEO da Amazon.
Viés de reincidência
O viés incorporado na IA contra pessoas de cor se torna um problema mais sério quando significa mais do que apenas um erro na identificação. Essa foi a descoberta de outra investigação do ProPublica em 2016. As consequências desse viés nada mais são do que a liberdade individual, além de ignorar o risco real da pessoa cuja cor da pele é favorecida pelo algoritmo.
O artigo se referia a dois casos paralelos envolvendo um criminoso branco e um preto. Um algoritmo foi usado para prever qual deles provavelmente infringiria a lei novamente. O preto foi classificado como de alto risco e o branco, de baixo risco.
A previsão errou completamente, e o branco que foi libertado teve que ser preso novamente. Isso é extremamente problemático porque os tribunais dependem da pontuação para decidir sobre a liberdade condicional, e isso significa que o viés racial consignado no programa significa tratamento desigual nos termos da lei.
O ProPublica testou o algoritmo, comparando as pontuações de risco de mais de 7.000 pessoas presas no Condado de Broward, Flórida, em 2013 e 2014, com o número de novas acusações criminais apresentadas contra eles nos dois anos seguintes.
O que eles descobriram foi que apenas 20% das previsões de repetir crimes de natureza violenta se tornaram realidade, e mais crimes menores ocorreram apenas para 61% daqueles com pontuação indicando risco.
O verdadeiro problema não é apenas a falta de precisão, mas o viés racial envolvido:
- A fórmula era particularmente provável em sinalizar falsamente réus negros como futuros criminosos, rotulando-os dessa maneira dessa maneira quase o dobro da taxa de réus brancos.
- Os réus brancos eram rotulados como de baixo risco com mais frequência do que os réus negros.
De fato, isso se traduziu em uma taxa de erro de 45% para negros e 24% para brancos. Apesar dessa estatística flagrante, Thomas relatou que o Supremo Tribunal de Wisconsin ainda defendia o uso desse algoritmo. Ela também detalha outros problemas associados aos algoritmos de reincidência.