O computador diz não: Impacto da tomada de decisão automatizada na vida humana

Computadores estão tomando decisões que mudam vidas sobre saúde, assistência social e educação com mínimo ou nenhum input humano. Decisões automatizadas podem se tornar mais comuns com o Projeto de Lei de Dados (Uso e Acesso) que está passando pelo Parlamento no momento.

Saúde – Vida em jogo

Transplantes de órgãos:

Algoritmos estão decidindo se um paciente recebe ou não um transplante de órgão. Um algoritmo do NHS atribuía transplantes de fígado com base em uma pontuação gerada por computador chamada ‘Transplant Benefit Score’ (TBS).

Isso é o que os pacientes enfrentam com esse algoritmo:

• Nenhuma ideia de sua existência
• Nenhum envolvimento humano
• Nenhum processo de recurso disponível

Algoritmos como esse já demonstraram vieses contra idade, gênero e raça. Neste caso, o computador favoreceu pacientes mais velhos, deixando pacientes mais jovens no escuro.

Isso inclui Sarah Meredith, uma paciente de 31 anos, que foi negada a um transplante de fígado salvador por esse algoritmo. O algoritmo atribuiu a ela uma pontuação muito baixa para justificar o transplante, apesar de ela estar gravemente doente. Sarah finalmente recebeu a chamada que esperava no ano passado, após sua família fazer campanha por quatro anos. Ela recebeu um fígado diretamente de cirurgiões em Cambridge – nenhum computador esteve envolvido.

A história de Sarah ilumina como decisões puramente baseadas em máquinas podem custar aos pacientes anos antes de receber tratamento.

Assistência social – Penalizando os pobres

Escândalo holandês de creches:

Dezenas de milhares de famílias foram erroneamente sinalizadas como risco de fraude por um algoritmo que considerava nacionalidade e status socioeconômico. Enquanto indivíduos de baixo risco eram aprovados automaticamente, os sinalizados enfrentavam escrutínio intenso e dívidas, enquanto o estresse das investigações resultou em separações familiares e, em alguns casos, suicídio.

Chermaine Leysner recebeu uma conta impressionante de £84,165 da autoridade tributária holandesa porque um algoritmo a sinalizou por fraude em creches. O escândalo levou Chermaine à depressão e custou nove anos de sua vida.

Margreet ten Pas, mãe de seis filhos, é uma das vítimas desse escândalo. Embora ela estivesse entre as primeiras a serem compensadas, não foi nem de longe suficiente para que ela levasse uma vida digna. Além de sofrer trauma psicológico, ela ficou isolada, vivendo de comer urtigas e castanhas na floresta por anos.

Esse escândalo revela o poder verdadeiramente destrutivo que sistemas automatizados podem ter sobre pessoas inocentes.

Algoritmos de Benefício Habitacional no Reino Unido:

Mais perto de casa, um sistema do DWP sinalizou erroneamente mais de 200.000 requerentes inocentes de benefício habitacional por possível fraude, nossa investigação descobriu. O algoritmo usa idade, gênero e até o número de dependentes como características preditivas para direcionar o algoritmo.

Uma vez sinalizado, uma Revisão Completa de Caso intrusiva e de alto estresse é acionada. Milhares de pessoas tiveram seus benefícios suspensos ou encerrados porque não responderam a uma revisão a tempo – uma revisão potencialmente acionada com pouco input humano.

Maya (não é seu nome real), uma residente de Wandsworth e mãe de três filhos, foi erroneamente cortada do recebimento de seu benefício habitacional em 2021. Seus advogados acreditam que isso se deveu ao algoritmo de Benefício Habitacional.

Não receber os pagamentos de benefício significou não poder pagar aluguel e contas. Isso levou a cerca de £20.000 em dívidas de aluguel acumuladas ao longo de três anos. Eventualmente, isso levou o Conselho de Wandsworth a tentar despejá-la de sua casa.

Depois de experimentar altos níveis de ansiedade e muitas noites sem dormir lutando contra essa injustiça por três anos, Maya recebeu boas notícias. O conselho finalmente admitiu ter cortado erroneamente seu benefício e pagou a ela £19.281,06 em benefícios.

A história de Maya revela a natureza cruel e desumanizadora das decisões automatizadas no sistema de assistência social e seu custo sobre a vida.

Educação – Marcado por máquinas

Escândalo de notas do A-level:

Durante a pandemia, um algoritmo foi usado para prever notas de exames escolares no Reino Unido. Milhares de estudantes receberam notas mais baixas do que o esperado, especialmente em escolas de desempenho mais baixo. Escolas particulares viram um aumento nas notas mais altas. Após a reação, o governo descartou o algoritmo.

Essa decisão automatizada teve um sério impacto na saúde mental dos estudantes e causou ansiedade sobre seu futuro.

Ophelia Gregory, uma estudante de Kent, estava entre as centenas de estudantes impactadas por esse algoritmo. Ela organizou um protesto estudantil em Londres, pedindo ao Governo que voltasse atrás nas notas atribuídas por máquinas e concedesse aos estudantes as notas previstas pelos professores.

Aplicação da lei – Policiamento usando IA

Ferramenta de risco da Durham Constabulary:

A agora extinta ferramenta usava 34 categorias de dados – incluindo dados sensíveis de código postal – para avaliar o risco de reincidência. A polícia poderia usar tais ferramentas algorítmicas para tomar decisões automatizadas com base em onde as pessoas vivem, emoções inferidas ou até sotaques regionais.

Nossa investigação no conjunto de dados da Experian, uma empresa de referência de crédito, revelou um perfil surpreendentemente detalhado de bairros, residências e até indivíduos.

Isso amplia enormemente as possibilidades de viés, discriminação e falta de transparência.

Por que isso importa agora

O Governo está debatendo legislação que enfraqueceria as proteções contra decisões puramente baseadas em máquinas impactando todos os aspectos de nossas vidas.

Remover as poucas salvaguardas que atualmente temos torna o risco de outra catástrofe no estilo Horizon ainda maior.

Se a nova legislação passar sem controle, enfraquecerá as salvaguardas que impedem todos nós de sermos submetidos a decisões puramente automatizadas, o que corre o risco de exacerbar a possibilidade provável de resultados injustos, opacos e discriminatórios de computadores.

É por isso que, no início deste ano, reunimos 30 grupos de direitos para alertar contra decisões feitas por máquinas no policiamento. Também informamos especialistas políticos sobre o impacto de decisões automatizadas no público e os instamos a rejeitar o enfraquecimento das salvaguardas.

Agora, queremos ouvir de você se você foi afetado no escândalo dos A-levels ou se sua chance de receber um transplante de órgão foi decidida por um computador.

Entre em contato em [email protected] para compartilhar suas experiências. Juntos podemos iluminar as decisões automatizadas que impactam vidas humanas.