Os Princípios Básicos da IA Responsável: Guia para Gestores de Ciência de Dados

  ^NOS

Porque é que a IA Responsável é tão importante?

“O importante não é viver, mas sim viver bem”. Esta frase, atribuída a Sócrates, ecoa profundamente no ecossistema tecnológico atual, em constante evolução - e onde a nossa vontade em viver uma vida moralmente adequada se relaciona com as ferramentas que desenvolvemos e utilizamos. A tecnologia não é eticamente neutra; no entanto, ela molda-se de acordo com os nossos valores, comportamentos e normas sociais.

A AI Incident Database [1] destaca os desafios colocados pelos sistemas de IA, identificando casos em que estes sistemas causaram - ou quase causaram - danos. Em 2023, foram identificadas 123 instâncias, um aumento de 32% em relação a 2022 - com um crescimento constante em termos de casos reportados nos últimos anos. Embora as aplicações de alto risco - como as ferramentas preditivas de IA desenvolvidas durante a pandemia da COVID-19 (para efeitos de diagnóstico e de triagem de pacientes [3]) - sejam um bom exemplo de consequências associadas à pobre implementação de sistemas de IA, estas preocupações não se limitam a situações críticas. Veja-se, por exemplo, o caso da Staples [2], que variava os preços dos produtos de acordo com a localização e os dados demográficos dos clientes. Esta situação influenciou negativamente a reputação da empresa, e é mais um caso que ilustra a forma como as práticas de IA podem ter um impacto profundo nas empresas. Estranhamente, esta situação não faz parte da AI Incident Database, demonstrando a existência de outro problema: a subnotificação. Este padrão, em franco crescimento, demonstra a necessidade, sentida pelas empresas, de priorizar a IA Responsável como ferramenta de mitigação e prevenção de riscos.

A AI Incident Database [1destaca os desafios colocados pelos sistemas de IA, identificando casos em que estes sistemas causaram - ou quase causaram - danos. Em 2023, foram identificadas 123 instâncias, um aumento de 32% em relação a 2022 - com um crescimento constante em termos de casos reportados nos últimos anos. Embora as aplicações de alto risco - como as ferramentas preditivas de IA desenvolvidas durante a pandemia da COVID-19 (para efeitos de diagnóstico e de triagem de pacientes [3]) - sejam um bom exemplo de consequências associadas à pobre implementação de sistemas de IA, estas preocupações não se limitam a situações críticas. Veja-se, por exemplo, o caso da Staples [2], que variava os preços dos produtos de acordo com a localização e os dados demográficos dos clientes. Esta situação influenciou negativamente a reputação da empresa, e é mais um caso que ilustra a forma como as práticas de IA podem ter um impacto profundo nas empresas. Estranhamente, esta situação não faz parte da AI Incident Database, demonstrando a existência de outro problema: a subnotificação. Este padrão, em franco crescimento, demonstra a necessidade, sentida pelas empresas, de priorizar a IA Responsável como ferramenta de mitigação e prevenção de riscos.

No entanto, a própria definição de IA Responsável não é simples. Os mais recentes estudos [4] apontam os desafios associados à terminologia inconsistente e à sobreposição de conceitos como “IA confiável” e “IA responsável”. Estes termos são vulgarmente utilizados como sinónimos, gerando alguma confusão e tornando mais difícil compreender e implementar os princípios da IA Responsável de uma forma mais eficaz. Promover a confiança em sistemas de IA é, claramente, insuficiente. Para ser verdadeiramente eficaz, a IA Responsável deve ser baseada em considerações éticas alinhadas com valores sociais e normas legais.

Assim, uma definição mais clara - proposta após uma análise a 254 artigos - assenta numa abordagem centrada no ser humano, valorizando o bem-estar, os direitos e as necessidades de todas as pessoas que, de uma forma ou de outra, são afetadas pelos sistemas de IA. Esta abordagem garante uma maior confiança por parte dos utilizadores, permitindo processos de tomada de decisão eticamente mais justos e responsáveis, e de acordo com as leis e normas sociais. Outro aspeto importante é a sustentabilidade, de forma a garantir que os sistemas de IA têm em consideração o impacto social e ambiental a longo prazo. Além disso, a IA Responsável deve garantir que as decisões automáticas são facilmente explicáveis aos utilizadores, preservando sempre a sua privacidade.

Quais são os outros aspetos relacionados com a IA Responsável?

Apesar de ser óbvia a importância da IA Responsável, a sua relevância baseia-se numa estrutura robusta, desenvolvida para garantir a integração de considerações técnicas e éticas. Esta estrutura, proposta por trabalhos de investigação [4], e representada visualmente na Figura 1, sublinha a interdependência entre os pilares éticos e técnicos da IA Responsável. Juntos, estes pilares devem ser geridos através de uma governança responsável, de forma a implementar sistemas que os stakeholders considerem responsáveis. De forma a ilustrar cada um destes pilares, iremos recorrer a um sistema de contratação como caso de uso, mostrando de que forma são aplicados na prática.

Pilares Técnicos

• Explicabilidade o sistema de contratação deve apresentar motivos concretos para selecionar ou rejeitar determinados candidatos. Por exemplo, identificar candidatos que não apresentem competências específicas, referidas no anúncio de emprego. Esta transparência garante que a decisão é facilmente compreensível, e que existe uma maior confiança entre os candidatos e as entidades empregadoras.
• Privacidade: o sistema deve garantir a privacidade dos candidatos, através do processamento seguro de dados pessoais e confidenciais, e.g., nomes, moradas e experiência profissional. Por exemplo, o sistema deve anonimizar os dados dos candidatos durante a avaliação, garantindo que as entidades empregadoras não conseguem aceder a dados sensíveis - pelo menos, até uma fase mais avançada do processo de recrutamento.
• Segurança: o sistema deve ser desenvolvido de forma a prevenir ataques, garantindo que as informações dos candidatos estão protegidas contra acessos não autorizados. O sistema em questão deve utilizar métodos de encriptação para proteger dados pessoais, e.g., número de Segurança Social.

Pilares Éticos

• Equidade: o sistema deve evitar preconceitos, nomeadamente aqueles relacionados com a etnia, o género, ou o contexto socioeconómico. Os algoritmos devem ser alvo de auditorias regulares, para garantir que não favorecem candidatos de determinadas instituições de ensino, ou de certos contextos demográficos - mantendo a igualdade de oportunidades para todos.
• Responsabilidade: a equipa responsável pelo desenvolvimento do sistema deve monitorizar o sistema, de forma a corrigir quaisquer práticas discriminatórias que possam surgir. Por exemplo, se for detetado um padrão de viés, o algoritmo deve ser alvo de intervenção e ajuste, sendo feito um relatório dessa mesma intervenção.
• Conformidade: o sistema, dependendo do setor, deve estar em conformidade com as leis, e.g., regulamentos antidiscriminação em processos de seleção de candidatos. Neste domínio podemos incluir as verificações regulares, de forma a garantir que as recomendações de contratação cumprem os padrões legais.
• Sustentabilidade: O sistema deve ser desenvolvido tendo em conta a equidade a longo prazo, sendo necessário efetuar ligeiros ajustes para refinar o seu processo de tomada de decisão, tendo em conta as mudanças no mercado de trabalho e a evolução das normas sociais. Além disso, a solução deverá ser eficiente em termos energéticos, considerando o impacto ambiental das necessidades computacionais.

Confiabilidade e Design Centrado no Ser Humano

• • Na base desta estrutura, a confiança é alcançada quando os utilizadores entendem que os sistemas são justos, transparentes e confiáveis. Se o sistema de contratação baseado em IA fornecer resultados facilmente compreendidos, garantir a privacidade e cumprir os padrões legais, as entidades empregadoras e os candidatos terão mais facilidade em confiar nas decisões tomadas. Ao manter uma abordagem human-in-the-loop, as entidades empregadoras podem intervir caso o sistema não cumpra determinados requisitos, de forma a respeitar os valores humanos.

A estrutura da IA Responsável garante que a tecnologia opera adequadamente, mas também de forma ética e segura. Esta estrutura dever integrar pilares técnicos e éticos para garantir o desenvolvimento de sistemas explicáveis, seguros, justos e em conformidade com a lei. A utilização de processos do mundo real, e.g., sistema de recrutamento, demonstra que estes pilares funcionam em conjunto para promover a confiança e a responsabilidade, bem como o facto de a IA Responsável não poder ser analisada de um ponto de vista puramente tecnológico: é necessário analisar o seu impacto nas populações e na sociedade.

Quais são os principais enquadramentos em termos de governança da IA Responsável?

À medida que a IA continua a evoluir, as entidades governamentais, as empresas e os investigadores focam-se no desenvolvimento de enquadramentos que garantam a utilização responsável de sistemas de IA. Eis alguns dos principais tipos de documentos relacionados com a governança da IA Responsável:

• Leis e Regulamento de IA: O cenário global da governança de IA encontra-se em franca evolução, com muitos países a apostar no desenvolvimento de quadros legais para garantir que a utilização de ferramentas de IA cumpre princípios éticos. Nos E.U.A., iniciativas como o SAFE Innovation Framework visam equilibrar o desenvolvimento de IA em termos de segurança. A Lei da UE sobre a IA adota uma abordagem baseada no risco, aplicando normas rigorosas para aplicações de IA de risco elevado. De acordo com o Global AI Legislation Tracker [5], vários países encontram-se a desenvolver os seus próprios enquadramentos legais, o que demonstra uma clara preocupação com a questão da governança de IA - com quadros adaptados ao contexto social, legal e económico de cada nação.
• Orientação e Enquadramento: existem vários documentos e quadros que apoiam as organizações na implementação de práticas baseadas em IA. O AI Risk Management Framework da NIST [6] disponibiliza diretrizes sobre como identificar e gerir riscos associados à IA, com ênfase nas questões éticas e de adequabilidade. O Ethics and Safety Framework do Instituto Turing [7] foca-se em aspetos relevantes como a equidade, a responsabilidade e a transparência, de forma a garantir o desenvolvimento de sistemas de IA seguros e eticamente adequados. Os AI Principles da OCDE [8] são uma referência, a nível mundial, no que diz respeito a ética na IA, com ênfase na transparência, na robustez e na inclusão. Para além dos exemplos mencionados, empresas como a Microsoft também partilham os princípios[9] pelos quais se regem - neste caso, focando-se em questões como a equidade, a fiabilidade, e a privacidade -, demonstrando a importância atribuída pelo setor à governança de IA responsável e ética.
• Normas e Certificações: normas como a ISO/IEC 42001 [10] contribuem para a melhora das diretrizes para a IA Responsável, privilegiando aspetos como a transparência, a responsabilidade e o cumprimento de práticas eticamente adequadas, com vista a aumentar a confiança em sistemas de IA. Graças a estas normas, as organizações conseguem avaliar os seus sistemas de IA tendo em conta determinados padrões de referência. Além disso, existem vários programas de certificação de IA Responsável [11] para apoiar as organizações em termos de práticas eticamente responsáveis. Apesar de terem um carácter voluntário, e não terem o poder vinculativo da Lei da UE sobre IA, estes programas de certificação podem desempenhar um papel importante na promoção da IA Responsável nos diversos setores.
• Estratégias nacionais de IA: as estratégias nacionais de IA servem como estruturas abrangentes que integram leis, regulamentos e normas. Por exemplo, a Pan-Canadian Artificial Intelligence Strategy, do Canadá, foca-se em três pilares: Comercialização, Normas e Talento e Investigação. Já o Standards Council desenvolve normas como a CAN/CIOSC 101:2019 [12], que estabelece os requisitos mínimos para projetos eticamente adequados e para a utilização de sistemas automáticos de apoio à tomada de decisão. Esta norma está alinhada com os AI Principles da OCDE [8], ao abordar aspetos fundamentais como a transparência, a responsabilidade, e o respeito pelos direitos humanos, reforçando, assim, o compromisso do Canadá para com as práticas de IA Responsável. Os países que integram enquadramentos como os AI Principles da OCDE e a Lei da UE sobre a IA nas suas estratégias nacionais garantem, assim, que o desenvolvimento de soluções de IA cumpre os princípios éticos estabelecidos, com vista à inovação e ao crescimento económico.

Dada a diversidade de quadros de governança de IA Responsável, as organizações devem assumir que as abordagens “one-size-fits-all” são inadequadas. Para uma eficaz implementação de IA Responsável, as organizações devem avaliar o contexto no qual se inserem, bem como as suas competências e principais objetivos. Esta análise é crucial para selecionar e adaptar quadros que se alinhem com os compromissos éticos e as realidades operacionais.

Por exemplo, uma start-up que desenvolva uma plataforma de contratação baseada em IA deve priorizar a implementação dos AI Principles da OCDE, com vista ao desenvolvimento de algoritmos justos, transparentes e responsáveis. Ao focar-se nestes princípios durante o processo de desenvolvimento, a start-up terá mais facilidade em conquistar a confiança dos utilizadores, diferenciando-se de outras no mercado.

No entanto, uma empresa multinacional que pretenda utilizar o mesmo sistema de contratação que a start-up é obrigada a enfrentar desafios mais complexos. Assim, o cenário mais provável é garantir a conformidade com a Lei da UE sobre IA, que privilegia a responsabilidade e a gestão de risco no que toca a soluções de IA de risco elevado. Assim, é possível que a multinacional priorize sistemas de reporte mais robustos, focando-se na identificação de vieses e num modelo de governança de dados mais abrangente, para mitigar riscos de perda de reputação e cumprir com leis mais estritas.

Ou seja, e apesar de ambas as entidades apostarem no desenvolvimento de algoritmos para alimentar sistemas de IA, as prioridades de cada uma levam à adoção de enquadramentos distintos. A start-up poderá focar-se em princípios de design ético, com vista a promover a confiança, ao invés da multinacional, que poderá privilegiar o cumprimento de leis e a gestão de riscos no que concerne as suas operações. Este exemplo ilustra a importância de adaptar os quadros de IA Responsável de forma a abordar as necessidades e os desafios concretos de diferentes organizações.

Quão avançada é a sua abordagem de IA Responsável?

Ao longo dos últimos quatro anos, a McKinsey, uma empresa de consultoria, identificou “AI High Performers” [13], empresas que obtêm mais de 20% do seu EBIT (lucro líquido + juros + impostos) através de IA, destacando-se em termos de estratégia, talento e tecnologia. O inquérito 2022 Digital Trust [14] demonstra uma correlação entre as práticas de IA Responsável e o desempenho em termos de negócios; entre as organizações que privilegiam a confiança digital, as receitas e o EBIT são 10% superiores quando comparadas a outras entidades.

Apesar de a literatura não apoiar a noção de que o EBIT impulsiona os programas de IA Responsável, ou vice-versa, os estudos sugerem que as organizações que apresentam um desempenho elevado tendem a estar mais preparadas, adotando práticas mais rápidas e robustas. Independentemente da relação entre ambos os aspetos, estas organizações estão claramente bem posicionadas para o sucesso. Por exemplo, 70% dos líderes em confiança digital adotaram modelos automáticos que previnem falhas, em comparação aos restantes (<40%). Mais: o crescente foco em questões como a equidade, a explicabilidade e a segurança exige novas competências no seio das equipas de IA, nomeadamente em termos de experiência na validação, melhoria e descoberta de novo conhecimento ao longo da implementação de modelos.

Não obstante os avanços registados entre as entidades com melhor desempenho, o progresso em termos de abordagem aos riscos da IA tem sido relativamente lento. De acordo com o estudo State of AI 2022 da McKinsey [15], apenas 22% das empresas explicam adequadamente os seus processos de tomada de decisão baseados em IA.

Uma investigação realizada pela BCG [16], outra empresa de consultoria líder no setor, destaca uma lacuna entre intenção e execução: 42% das organizações percebem a IA como uma prioridade estratégica, mas apenas 19% conseguiram implementar programas de IA Responsável.

Entre os 16% dos “Líderes em IA Responsável”, esta encontra-se devidamente integrada nas estratégias de responsabilidade social e corporativa, cada vez mais alinhadas com as metas de desenvolvimento sustentável, e.g., redução da pegada de carbono e melhor gestão ambiental.

Um exemplo relevante no setor das telecomunicações é a NOS Comunicações, empresa líder em Portugal. Recentemente, a NOS desenvolveu um projeto para melhorar o desempenho da rede móvel através da desativação de elementos de rede durante períodos de baixa utilização, recorrendo aos dados dos clientes para otimizar este processo, mantendo a qualidade do serviço. Embora esta iniciativa seja uma forma louvável de cumprir os ODS, representando um compromisso com os princípios da IA Responsável, acaba também por ser um caso contencioso - uma vez que leva a uma redução de custos para a empresa através da melhoria da eficiência operacional e da redução do consumo de energia. No entanto, a eficaz priorização e execução deste tipo de projetos pode contribuir, significativamente, para a criação de uma cultura de responsabilidade e de inovação, reforçando a importância de integrar a IA Responsável nos modelos de negócio.

Esta integração é outro aspeto importante entre os resultados do inquérito referido acima, demonstrando diferenças entre Líderes em IA Responsável e as restantes entidades:

• No seio do primeiro grupo, 74% referem que a IA Responsável faz parte da agenda dos altos cargos, ao contrário dos restantes, onde apenas 46% referem priorizar a IA Responsável.
• Segundos os dados, 77% dos Líderes estão dispostos a investir em iniciativas de IA Responsável, em oposição aos 39% registados entre as restantes entidades.
• Além disso, 73% dos Líderes associam a IA Responsável à responsabilidade social, contrariamente aos 35% entre as entidades não Líderes.

À semelhança dos resultados do trabalho realizado por Tom Davenport sobre análise[17], em que a adoção de recursos de análise avançada proporcionou às empresas uma vantagem competitiva significativa, os atuais Líderes em IA Responsável têm ligeira vantagem ao incorporar a IA Responsável como um dos principais valores das suas organizações. Tal como os líderes em análise avançada, que prosperaram ao dar prioridade a processos de decisão baseados em dados, aqueles que favorecem a IA Responsável estão melhor posicionados para alcançar o sucesso sustentável a longo prazo.

RECOMENDAÇÕES ESSENCIAIS PARA ASPIRANTES A LÍDERES EM IA RESPONSÁVEL: A PERCEÇÃO DE UM GESTOR DE CIÊNCIA DE DADOS

O estudo realizado pela BCG também identifica que tipo de restrições organizacionais limitam a capacidade de implementar IA Responsável, podendo ser divididas de acordo com duas dimensões:

• Desenvolvimento de Talento: dois dos desafios referidos são a falta de conhecimento relativamente a IA Responsável e formação insuficiente no seio das equipas. De forma a integrar a IA Responsável em diferentes projetos de IA, as equipas devem desenvolver competências como a literacia em IA, que engloba a compreensão de conceitos, a capacidade de identificar riscos e de implementar práticas inclusivas.
• Participação de altos quadros: o relatório indica que duas das cinco principais barreiras à adoção da IA Responsável estão associadas aos altos quadros das organizações. A ausência de prioridades, consciência e recursos dificulta a adoção de uma estratégia adequada para a realização de iniciativas de IA Responsável.

Apesar dos desafios acima apresentados, é sempre possível progredir, nomeadamente através do papel proativo desempenhado pelos gestores de ciência de dados. Tendo em conta a minha própria experiência, e tendo testemunhado a forma como as iniciativas de IA podem transformar as organizações, considero igualmente importante promover práticas de IA Responsável que cumpram objetivos de negócio e respeitem padrões éticos. Como líderes, devemos liderar por exemplo, demonstrando o nosso compromisso para com a IA Responsável, e agindo de forma transparente no que toca a desafios éticos - sempre com o apoio das nossas equipas no desenvolvimento das soluções mais adequadas. Esta é uma abordagem que fomenta a responsabilidade, individual e coletiva.

EIS ALGUMAS RECOMENDAÇÕES PARA ASPIRANTES A LÍDERES EM IA RESPONSÁVEL:

1. Foco na Formação e na Melhoria Contínua

As equipas que trabalham no desenvolvimento de IA/machine learning devem perceber que certas decisões podem vir a ter um impacto na sociedade. Apesar de o processo de implementação de práticas de IA Responsável no seio das organizações ser relativamente lento, é necessário algum trabalho de preparação para acelerar esse processo. Assim, a formação é crucial para uma maior consciencialização; no entanto, a oferta educativa de qualidade em IA é ainda bastante reduzida. Por exemplo, certos estudos [18] indicam que apenas 22 dos 186 cursos de machine learning disponíveis nas principais universidades norte-americanas incluíam conteúdo relacionado com a ética, expondo uma lacuna grave em termos de formação prática.

Como possível solução, e aproveitando os resultados de um outro estudo[19], desenvolvemos um curso prático com o objetivo de melhorar a utilização de IA nos processos de tomada de decisão, focado na ética e na explicabilidade da IA. Identificados os desafios no que toca a disponibilizar informações claras aos utilizadores, combinamos técnicas de IA explicável (XAI) para apoiar o design UX. O curso apresenta um processo orientado por questões, que alinha as necessidades dos utilizadores com a seleção e a implementação de técnicas de XAI, promovendo uma maior colaboração entre designers e engenheiros. Através de exemplos práticos, os participantes aprendem a enfrentar os desafios associados ao design de sistemas de IA, seguindo uma metodologia descrita na Figura 2 - com recurso a um estudo de caso que aborda um pedido de empréstimo. Por exemplo, desenhar explicações para um stakeholder/gestor de risco que visa comparar pedidos de empréstimo semelhantes requer um método de explicabilidade contrastivo; no entanto, e no que toca os clientes, é necessário disponibilizar dados que ajudem a perceber a probabilidade de aprovação desse mesmo empréstimo - e.g., de que forma um histórico “saudável” pode influenciar o processo de tomada de decisão. O curso encontra-se disponível como unidade curricular no mestrado de uma universidade parceira, de forma a expandir o seu impacto.

2. Aplicação dos Princípios da IA Responsável a Projetos Concretos

O próximo passo passou por identificar projetos onde fosse possível implementar princípios de IA Responsável. Embora a equidade surja, muitas vezes, associada a certos casos de uso, e.g., aprovação de empréstimos ou contratação de pessoal - em que decisões imparciais relativamente a aspetos delicados (por exemplo, género e idade) são críticas, as preocupações de foro ético podem ser menos diretas.

Entender que a equidade é essencial para negócios sustentáveis exige que ela seja adequadamente enquadrada nos diferentes contextos de negócios. Por exemplo, no âmbito de um projeto que envolvia um call-center, o nosso primeiro objetivo passou pela otimização a curto prazo, o que levou a um desequilíbrio, pois os operadores mais experientes acabavam por receber mais chamadas. Ao reformular este processo como uma oportunidade para formar os operadores através de uma atribuição de tarefas mais equilibrada, conseguimos alcançar uma distribuição mais justa. Esta decisão não só incidiu sobre a questão da equidade, como também promoveu a sustentabilidade no seio das equipas, melhorando o seu bem-estar.

3. Promover a Colaboração no seio de equipas de AI Responsável

As iniciativas de IA Responsável devem ir além da ciência de dados e das equipas de IA, devendo incluir os departamentos de apoio legal, jurídico e responsabilidade social. Envolver estas equipas garante o equilíbrio entre projetos de IA e as políticas das organizações, gerando oportunidades para melhorar o processo rumo a práticas centradas na IA Responsável.

Por exemplo, no início de cada projeto, realizamos uma avaliação de risco completa em colaboração com o departamento jurídico. Esta avaliação pode ser melhorada através da integração do conhecimento técnico relacionado com a IA Responsável. Uma questão importante neste sentido é “como justificar a complexidade do modelo para determinado caso de uso?”

Embora esta questão possa parecer simples, a falta de compreensão em relação aos modelos glassbox e blackbox pode levar a respostas vagas. Consequentemente, podem ser desenvolvidos modelos demasiado complexo, que dão lugar a explicações post-hoc que pecam por incorretas [20]. Ao abordar estas questões de forma colaborativa, as equipas fomentam a partilha de conhecimento e de responsabilidade, de forma a obter melhores resultados em termos de IA Responsável.

Como gestores, devemos preencher a lacuna entre as equipas técnicas e os altos quadros, defendendo os recursos alocados e o compromisso para com a IA Responsável. A IA Responsável não é apenas “algo que está na moda” - é algo crucial para mitigar os riscos, melhorar os níveis de confiança, e alinhar os processos com as metas de negócio a longo prazo.

Ao demonstrar como as práticas de IA Responsável - como a equidade e a transparência - contribuem para resultados eticamente positivos e para o sucesso dos negócios, garantimos que os sistemas de IA beneficiam não só as organizações, mas também a sociedade. Liderar com esta mentalidade posiciona as nossas organizações como verdadeiros Líderes em IA Responsável, garantindo um crescimento sustentável e um impacto social positivo.

References: