Apostila completa de Governança de IA, Ética e EU AI Act
Governança de IA é a disciplina que garante que sistemas de IA sejam desenvolvidos e usados de forma legal, ética e responsável — com riscos avaliados, decisões documentadas, supervisão humana e alguém prestando contas. Esta apostila cobre os princípios, o NIST AI RMF, a ISO/IEC 42001, e sobretudo o EU AI Act (a primeira lei abrangente de IA do mundo, com aplicação faseada até 2027) — mais fairness, explicabilidade e como montar o programa na prática.
Por que governança de IA existe
Objetivo: entender os riscos específicos que a IA introduz, o que "governança de IA" abrange, e por que ela deixou de ser opcional.
1.1 O que muda quando uma decisão passa a ser tomada por IA
| Dimensão | Decisão humana | Decisão por sistema de IA |
|---|---|---|
| Escala | Um analista decide dezenas de casos por dia | Um modelo decide milhões — um erro sistemático afeta todos |
| Opacidade | Você pode perguntar "por quê?" | Modelos complexos são difíceis de explicar; a lógica está nos pesos |
| Viés | Individual, variável | Aprendido dos dados históricos e aplicado de forma consistente e invisível |
| Responsabilidade | Clara: a pessoa que decidiu | Difusa: quem treinou? quem forneceu os dados? quem implantou? o modelo? |
| Contestação | Recurso a um superior | "O sistema decidiu" — sem processo, sem explicação, sem apelação |
Casos reais que motivaram a regulação: sistemas de recrutamento que penalizavam currículos de mulheres; algoritmos de reincidência criminal com taxas de erro desiguais por raça; benefícios sociais cancelados em massa por um modelo defeituoso (o escândalo do "Toeslagenaffaire" nos Países Baixos derrubou um governo); reconhecimento facial com taxas de erro muito maiores para peles escuras.
1.2 O que "governança de IA" abrange
Governança de IA é o conjunto de políticas, processos, papéis e controles que uma organização usa para garantir que seus sistemas de IA sejam legais (conformidade regulatória), éticos (alinhados a valores e direitos), confiáveis (robustos, seguros, precisos o suficiente para o propósito) e accountable (alguém responde por cada sistema, e há trilha para investigar). Não é um documento — é uma função contínua, do design ao descomissionamento.
O espectro, do abstrato ao concreto:
- Ética: os valores — dignidade, autonomia, justiça, não-maleficência, transparência.
- Princípios: a tradução dos valores em orientações (OECD, UNESCO, "FEAT/FAT").
- Frameworks: a estrutura de gestão de risco (NIST AI RMF, ISO/IEC 42001).
- Regulação: a lei aplicável (EU AI Act, GDPR, leis setoriais, PL 2338 no Brasil).
- Operação: o programa interno — inventário, classificação de risco, gates, auditoria, monitorização.
1.3 Por que agora
- Regulação vinculante chegou: o EU AI Act está em vigor (adotado em 2024), com sanções de até 7% do faturamento global para práticas proibidas.
- Extraterritorialidade: como o GDPR, o EU AI Act alcança quem coloca sistemas no mercado da UE ou cujos outputs são usados lá — mesmo empresas fora da Europa.
- IA generativa popularizou o uso e multiplicou os riscos (desinformação, deepfakes, direitos autorais, "shadow AI" nos times).
- Pressão de clientes e investidores: due diligence de IA em contratos B2B e em rodadas de investimento.
- Reputação: um incidente de IA vira crise pública rapidamente.
"AI Governance", "Responsible AI", "AI Ethics", "AI Policy & Compliance" saíram de think tanks e viraram função corporativa em 2024–2026, puxadas pelo EU AI Act. Perfis vêm de: privacidade/GDPR (DPOs migrando), compliance/GRC, jurídico, e data science com veia de política. A certificação IAPP AIGP (AI Governance Professional) virou referência. Pergunta de abertura: "O que é governança de IA e por que ela é diferente de governança de dados?"
✏️ Exercício 1 — Identifique o risco de governança
Uma empresa vai usar um modelo de IA para triar candidatos a vagas, filtrando currículos antes de um humano ver. Liste quatro riscos de governança e o que cada um exige.
Gabarito: (1) Viés/discriminação — o modelo pode aprender preferências históricas por gênero/idade/origem; exige avaliação de fairness por grupo e mitigação. (2) Falta de explicação — candidatos rejeitados têm direito a saber por quê (dependendo da jurisdição); exige explicabilidade e canal de contestação. (3) Falta de supervisão humana — decisão totalmente automatizada sobre acesso a emprego é alto risco no EU AI Act; exige human-in-the-loop significativo. (4) Documentação e accountability — quem responde se der errado? exige registo do sistema, avaliação de impacto, dono nomeado, e monitorização pós-implantação. Bônus: transparência (informar candidatos de que há IA no processo).
Princípios, frameworks e o panorama regulatório
Objetivo: conhecer os princípios que quase todo framework compartilha, os dois instrumentos operacionais principais (NIST AI RMF, ISO/IEC 42001) e o mapa regulatório global.
2.1 Os princípios convergentes
Dezenas de conjuntos de princípios (OECD, UNESCO, Comissão Europeia, empresas) convergem em ~7 ideias:
| Princípio | O que significa |
|---|---|
| Beneficência / propósito legítimo | A IA deve gerar valor e não causar dano desproporcional |
| Justiça (fairness) | Não discriminar; distribuir benefícios e riscos de forma equitativa (Módulo 6) |
| Transparência | As pessoas sabem quando interagem com IA e podem entender decisões que as afetam (Módulo 7) |
| Supervisão humana | Humanos mantêm controle significativo, podem intervir e reverter |
| Robustez e segurança | O sistema funciona de forma confiável, resiste a ataques e a condições fora do esperado |
| Privacidade e governança de dados | Dados usados com base legal, minimização, qualidade, proteção (Módulo 9) |
| Accountability | Papéis claros, documentação, auditabilidade, remediação |
2.2 NIST AI RMF — o framework de gestão de risco
O AI Risk Management Framework (NIST, EUA — voluntário, mas referência global) organiza a governança em quatro funções:
- Govern: a cultura, os papéis, as políticas — a base que sustenta as outras três. Atravessa tudo.
- Map: entender o contexto — para que serve o sistema, quem é afetado, quais os riscos e impactos.
- Measure: medir os riscos identificados — métricas de fairness, robustez, segurança, explicabilidade; testes.
- Manage: priorizar e tratar os riscos — mitigar, monitorar, responder a incidentes, decidir go/no-go.
Há um Generative AI Profile específico. É o vocabulário mais usado em conversas de governança e casa bem com MLOps/LLMOps (as apostilas irmãs cobrem o Measure/Manage técnico).
2.3 ISO/IEC 42001 — o sistema de gestão certificável
O "ISO 27001 da IA": especifica um AI Management System (AIMS) — política de IA, objetivos, avaliação de risco e de impacto, controles (Anexo A), papéis, e o ciclo plan-do-check-act. É auditável e certificável por terceira parte — cada vez mais pedido em contratos e RFPs. Complementa o NIST (que é "o que pensar") com "como estruturar e provar".
2.4 O panorama regulatório (2026)
| Jurisdição | Instrumento | Abordagem |
|---|---|---|
| União Europeia | EU AI Act (Reg. 2024/1689) + GDPR + AI Liability | Horizontal, baseada em risco, vinculante, extraterritorial — Módulos 3–5 |
| EUA | Sem lei federal abrangente; ordens executivas (mudam com o governo), NIST AI RMF, e leis estaduais (Colorado AI Act, leis de Illinois/NYC sobre IA em contratação, leis de deepfake) | Setorial e estadual, mais leve, foco em inovação |
| Reino Unido | Abordagem "pró-inovação" baseada em princípios, reguladores setoriais existentes | Sem lei única (por enquanto) |
| Brasil | PL 2338/2023 (em tramitação) — inspirado no EU AI Act, baseado em risco; + LGPD para dados | Horizontal, baseada em risco (proposta) |
| China | Regras específicas: algoritmos de recomendação, deep synthesis, IA generativa (registro de modelos, rotulagem de conteúdo) | Setorial, controle estatal, foco em conteúdo |
| Internacional | OECD AI Principles, G7 Hiroshima Process, UNESCO Recommendation, Conselho da Europa (Convenção-Quadro sobre IA) | Soft law, coordenação |
Assim como o GDPR virou padrão de fato global de privacidade, o EU AI Act tende a virar a referência mundial: empresas multinacionais preferem um único padrão alto a manter regimes diferentes por região. Por isso esta apostila o trata em profundidade mesmo para quem não está na Europa.
Perguntas: "Quais as quatro funções do NIST AI RMF?" (Govern, Map, Measure, Manage), "O que é a ISO/IEC 42001 e como se relaciona com o NIST AI RMF?" (AIMS certificável vs framework de risco), "Como é o cenário regulatório de IA nos EUA vs UE?" (setorial/estadual vs horizontal/vinculante), "O que é o 'Efeito Bruxelas'?".
✏️ Exercício 2 — Qual instrumento para quê?
Uma empresa global de RH-tech quer: (a) uma estrutura interna para pensar e priorizar riscos de IA; (b) uma certificação que os clientes reconheçam em RFPs; (c) saber suas obrigações legais ao vender na Europa. O que ela usa em cada caso?
Gabarito: (a) NIST AI RMF (+ o Generative AI Profile se usar GenAI) — o vocabulário e as quatro funções para mapear, medir e gerir risco. (b) ISO/IEC 42001 — implementar o AIMS e certificar por terceira parte; é o que aparece em due diligence. (c) EU AI Act — determinar o papel (provider/deployer), classificar o(s) sistema(s) por risco (IA em recrutamento é alto risco), e cumprir as obrigações do Anexo III; mais GDPR para os dados pessoais.
EU AI Act I — escopo e a pirâmide de risco
Objetivo: entender a quem o Regulamento se aplica, como ele define "sistema de IA", a classificação por nível de risco, as práticas proibidas e o calendário de aplicação.
3.1 O que é e a quem se aplica
O EU AI Act (Regulamento (UE) 2024/1689) é a primeira lei horizontal e abrangente de IA do mundo. Aplica-se, com efeito extraterritorial, a:
- Providers (fornecedores): quem desenvolve um sistema de IA e o coloca no mercado da UE ou o põe em serviço — independentemente de onde estão estabelecidos.
- Deployers (utilizadores profissionais): quem usa um sistema de IA sob sua autoridade, na UE (ou cujos outputs afetam pessoas na UE).
- Também: importadores, distribuidores, e representantes autorizados.
- Exclusões: uso puramente pessoal e não profissional; fins militares/defesa/segurança nacional; investigação e desenvolvimento antes da colocação no mercado; sistemas sob licença livre e aberta (com ressalvas, sobretudo para GPAI).
3.2 Definição de "sistema de IA"
Alinhada à da OECD (para consistência internacional): um sistema baseado em máquina, projetado para operar com graus variados de autonomia, que pode ser adaptativo, e que — a partir de inputs — infere como gerar outputs (previsões, conteúdo, recomendações, decisões) que influenciam ambientes físicos ou virtuais. A ênfase em inferência pretende excluir software de regras simples e cálculos determinísticos triviais.
3.3 A pirâmide de risco
╱╲ RISCO INACEITÁVEL → PROIBIDO
╱ ╲ (social scoring, manipulação subliminar danosa, scraping
╱────╲ facial em massa, reconhecimento de emoção no trabalho/escola,
╱ ALTO ╲ categorização biométrica sensível, previsão de crime só por perfil...)
╱ RISCO ╲ → permitido SOB requisitos rigorosos (Módulo 4)
╱──────────╲ (Anexo III: biometria, infraestrutura crítica, educação,
╱ RISCO ╲ emprego, serviços essenciais e crédito, aplicação da lei,
╱ LIMITADO ╲ migração, justiça; + IA como componente de segurança de produtos)
╱────────────────╲ → obrigações de TRANSPARÊNCIA
RISCO MÍNIMO (chatbots, deepfakes, conteúdo gerado: informar o utilizador)
(a grande maioria: filtros de spam, jogos, recomendação — sem obrigações)
3.4 Práticas proibidas (Artigo 5)
- Manipulação e exploração de vulnerabilidades (idade, deficiência, situação socioeconômica) que causem dano significativo; técnicas subliminares ou enganosas.
- Social scoring por autoridades públicas (ou em seu nome) que leve a tratamento prejudicial desproporcional ou fora do contexto.
- Policiamento preditivo baseado apenas em perfil ou traços de personalidade.
- Scraping não direcionado de imagens faciais da internet ou de CCTV para criar bases de reconhecimento facial.
- Reconhecimento de emoções no local de trabalho e em instituições de ensino (salvo razões médicas/segurança).
- Categorização biométrica para inferir raça, opiniões políticas, filiação sindical, crenças, vida sexual.
- Identificação biométrica remota "em tempo real" em espaços públicos para aplicação da lei — proibida, com exceções estreitas e autorizadas (busca de vítimas, ameaça iminente, crime grave).
3.5 Calendário de aplicação (faseado)
| Marco | O que entra em vigor |
|---|---|
| ~6 meses após a entrada em vigor (fev/2025) | Proibições (Art. 5) + obrigações de literacia em IA |
| ~12 meses (ago/2025) | Regras para modelos de propósito geral (GPAI); governança (AI Office, autoridades) |
| ~24 meses (ago/2026) | A maioria das obrigações de alto risco (Anexo III) e de transparência |
| ~36 meses (ago/2027) | Alto risco quando a IA é componente de segurança de produtos já regulados (Anexo I) |
(Datas aproximadas a partir da entrada em vigor em ago/2024; há discussões sobre ajustes e um "digital omnibus" — confira sempre o texto e o cronograma oficiais.)
Perguntas garantidas: "Explique a abordagem baseada em risco do EU AI Act" (proibido / alto / limitado / mínimo), "Dê exemplos de práticas proibidas", "Diferença entre provider e deployer", "O EU AI Act se aplica a uma empresa dos EUA?" (sim, se coloca sistemas no mercado da UE ou os outputs são usados lá), "O que caracteriza 'alto risco'?" (Anexo III + IA em produtos do Anexo I).
✏️ Exercício 3 — Classifique o sistema
Classifique cada um (proibido / alto risco / transparência / mínimo): (a) um filtro anti-spam de e-mail; (b) um chatbot de atendimento ao cliente; (c) um sistema que avalia risco de crédito de pessoas físicas; (d) um app que analisa expressões faciais dos funcionários em reuniões para medir "engajamento"; (e) um gerador de imagens que produz fotos realistas de pessoas.
Gabarito: (a) Risco mínimo — sem obrigações. (b) Transparência — o utilizador deve ser informado de que fala com uma IA. (c) Alto risco — Anexo III (avaliação de solvabilidade / crédito de pessoas singulares); obrigações do Módulo 4. (d) Proibido — reconhecimento de emoções no local de trabalho. (e) Transparência — conteúdo gerado/manipulado (deepfake) deve ser rotulado como artificial (Módulo 5); o modelo em si pode também ser GPAI.
EU AI Act II — obrigações de alto risco
Objetivo: o que provider e deployer de um sistema de alto risco precisam fazer — gestão de risco, dados, documentação, supervisão humana, robustez — e o fluxo de conformidade.
4.1 As obrigações do provider (o núcleo)
| Obrigação | Em resumo |
|---|---|
| Sistema de gestão de risco (Art. 9) | Processo contínuo e iterativo: identificar riscos previsíveis à saúde, segurança e direitos fundamentais; estimar e avaliar; adotar medidas de mitigação; testar. Atravessa todo o ciclo de vida |
| Governança de dados (Art. 10) | Datasets de treino/validação/teste relevantes, representativos, o mais isentos de erros possível, completos; examinar possíveis vieses; documentar origem e escolhas |
| Documentação técnica (Art. 11, Anexo IV) | Dossiê detalhado: descrição do sistema, propósito, arquitetura, dados, métricas de desempenho, limitações, medidas de supervisão humana — mantido atualizado |
| Registo de eventos (logs) (Art. 12) | Registo automático ao longo da vida do sistema, para rastreabilidade e auditoria |
| Transparência para o deployer (Art. 13) | Instruções de uso claras: capacidades, limitações, desempenho esperado, riscos, supervisão necessária |
| Supervisão humana (Art. 14) | Projetado para permitir supervisão efetiva: entender o output, detetar anomalias, decidir não usar, intervir, parar ("stop button"). Para alguns casos biométricos, verificação por ≥ 2 pessoas |
| Precisão, robustez e cibersegurança (Art. 15) | Níveis apropriados ao propósito; resiliência a erros, falhas e inconsistências; proteção contra ataques (data poisoning, adversarial, model evasion — ver apostila de Segurança de Aplicações de IA) |
| Sistema de gestão da qualidade (Art. 17) | Um QMS documentado que amarra tudo (parecido com ISO 42001) |
4.2 O fluxo de conformidade
desenhar o QMS + gestão de risco ▼ elaborar a documentação técnica (Anexo IV) ▼ avaliação de conformidade ──► em geral: AUTOAVALIAÇÃO do provider │ (para alguns sistemas biométricos: organismo notificado) ▼ Declaração de Conformidade UE + marcação CE ▼ registo na base de dados da UE (para sistemas do Anexo III) ▼ colocação no mercado ▼ VIGILÂNCIA PÓS-MERCADO: plano de monitorização, recolha de dados de desempenho, relato de INCIDENTES GRAVES às autoridades, ações corretivas
4.3 As obrigações do deployer
- Usar conforme as instruções do provider; garantir supervisão humana por pessoas competentes.
- Dados de entrada relevantes e representativos para o propósito, na medida do seu controle.
- Monitorar a operação; suspender e reportar se houver risco ou incidente grave.
- Guardar os logs gerados pelo sistema.
- Informar as pessoas sujeitas a decisões de alto risco; para autoridades públicas e alguns serviços, conduzir uma Avaliação de Impacto sobre Direitos Fundamentais (FRIA) — Módulo 7.
- Trabalhadores: informar representantes dos trabalhadores antes de pôr em uso um sistema de alto risco no trabalho.
Se um deployer modifica substancialmente um sistema de alto risco, coloca o próprio nome/marca nele, ou muda o propósito de forma que o torne alto risco, ele assume as obrigações de provider. Fazer fine-tuning pesado de um modelo e implantá-lo num caso de alto risco pode te colocar nessa posição — avalie antes.
4.4 Sanções
- Práticas proibidas: até €35M ou 7% do faturamento anual mundial (o maior).
- Descumprir obrigações de alto risco / GPAI: até €15M ou 3%.
- Informação incorreta a autoridades: até €7,5M ou 1%.
- PMEs e startups: tetos ajustados para o menor valor.
Perguntas: "Cite cinco obrigações de um provider de sistema de alto risco" (gestão de risco, governança de dados, documentação técnica, logs, supervisão humana, robustez/cibersegurança, QMS), "O que é a marcação CE no contexto do AI Act?", "Como um deployer pode virar provider?", "O que é vigilância pós-mercado e relato de incidente grave?", "Quais as sanções máximas?" (7% para proibições).
✏️ Exercício 4 — Monte o plano de conformidade
Uma empresa portuguesa desenvolveu um sistema de IA que avalia elegibilidade a um subsídio social (serviço essencial → alto risco) e vai licenciá-lo a municípios. É provider. Esboce os passos até poder colocá-lo no mercado.
Gabarito (esboço): (1) Implantar um QMS e o processo de gestão de risco (Art. 9) — mapear riscos a direitos fundamentais (discriminação, erro que nega subsídio devido), mitigar, testar. (2) Governança de dados (Art. 10): garantir representatividade, examinar viés por grupos vulneráveis, documentar. (3) Elaborar a documentação técnica (Anexo IV) e configurar os logs (Art. 12). (4) Projetar supervisão humana efetiva (Art. 14) — o funcionário municipal entende e pode reverter cada decisão. (5) Definir métricas de precisão/robustez e testar cibersegurança (Art. 15). (6) Escrever as instruções de uso para os municípios (Art. 13). (7) Fazer a avaliação de conformidade (autoavaliação, neste caso), emitir a Declaração UE, apor a marcação CE, e registar o sistema na base de dados da UE. (8) Estabelecer o plano de vigilância pós-mercado e o canal de relato de incidentes. Os municípios (deployers) terão de fazer a FRIA e informar os cidadãos.
GPAI, IA generativa e transparência de conteúdo
Objetivo: as obrigações específicas para modelos de propósito geral (incluindo os de "risco sistémico"), a transparência de conteúdo gerado, e a questão dos direitos de autor no treino.
5.1 Modelos de propósito geral (GPAI)
Um modelo GPAI é um modelo de IA (tipicamente treinado em larga escala) capaz de desempenhar competentemente uma ampla gama de tarefas distintas e de ser integrado em muitos sistemas a jusante — os grandes LLMs e modelos multimodais. Obrigações do provider do modelo:
- Documentação técnica do modelo (arquitetura, treino, avaliação) disponível para a AI Office e para autoridades.
- Informação aos integradores a jusante para que consigam cumprir suas próprias obrigações.
- Política de conformidade com direitos de autor da UE (incluindo respeitar reservas de text and data mining / opt-outs).
- Sumário público "suficientemente detalhado" dos dados usados no treino (segundo modelo da AI Office).
- Modelos sob licença livre e aberta têm algumas isenções — mas não das obrigações de copyright e do sumário de dados, nem se forem de risco sistémico.
5.2 GPAI com risco sistémico
Modelos com capacidades de alto impacto — presumidos acima de um limiar de computação de treino (na ordem de 1025 FLOPs) ou designados pela AI Office. Obrigações adicionais:
- Avaliação do modelo incluindo adversarial testing / red teaming para identificar e mitigar riscos sistémicos.
- Avaliação e mitigação de riscos sistémicos (à escala da UE): desinformação, discriminação em larga escala, riscos CBRN, perda de controle, uso malicioso.
- Rastreamento e relato de incidentes graves à AI Office.
- Cibersegurança adequada do modelo e da infraestrutura física.
O GPAI Code of Practice (elaborado com a indústria e a sociedade civil) serve como meio de demonstrar conformidade enquanto normas harmonizadas não existem.
5.3 Transparência de conteúdo gerado (Art. 50)
| Situação | Obrigação |
|---|---|
| Sistema que interage com pessoas (chatbot) | Informar que é uma IA (salvo se óbvio pelo contexto) |
| Conteúdo sintético (texto, imagem, áudio, vídeo) gerado por IA | O provider marca a saída como artificial em formato legível por máquina (watermark / metadados / técnicas de proveniência tipo C2PA) |
| Deepfakes (imagem/áudio/vídeo que parecem reais) | O deployer divulga claramente que o conteúdo foi gerado/manipulado artificialmente |
| Texto de IA publicado para informar o público sobre assuntos de interesse público | Divulgar que foi gerado por IA (com exceções para conteúdo com revisão editorial humana) |
5.4 Direitos de autor e dados de treino
- Na UE, a exceção de text and data mining (Diretiva 2019/790) permite treinar com obras acessíveis licitamente, mas os titulares podem reservar esse uso (opt-out legível por máquina, ex.:
robots.txt,ai.txt, metadados). - Providers de GPAI devem respeitar essas reservas e ter uma política de copyright — inclusive para treino feito fora da UE, se o modelo é colocado no mercado da UE.
- Litígios em curso em várias jurisdições sobre se o treino é "uso transformativo"/fair use ou infração — o cenário ainda está se formando.
- Para deployers: atenção a outputs que reproduzam obras protegidas e a cláusulas de indenização dos fornecedores.
Perguntas: "O que é um modelo GPAI e quais as obrigações do seu provider?", "O que torna um GPAI 'de risco sistémico' e o que muda?" (limiar de compute; red teaming, mitigação de riscos sistémicos, relato de incidentes), "O que o AI Act exige sobre conteúdo gerado por IA?" (marcação legível por máquina + divulgação de deepfakes), "Como o AI Act trata dados de treino e copyright?" (respeitar opt-outs de TDM; sumário público dos dados).
✏️ Exercício 5 — Obrigações de quem?
Uma empresa usa a API de um LLM de terceiros (o provider do modelo é uma big tech) para gerar posts de blog automáticos publicados no site da empresa, alguns sobre política pública, sem revisão humana. Quem tem quais obrigações de transparência?
Gabarito: O provider do LLM: obrigações de GPAI (documentação, política de copyright, sumário de dados de treino) e de marcar as saídas como geradas por IA de forma legível por máquina. A empresa (deployer): como publica texto de IA para informar o público sobre assuntos de interesse público sem revisão editorial humana, deve divulgar que o conteúdo é gerado por IA. Se houvesse revisão editorial humana com responsabilidade, a obrigação de divulgação do texto poderia não se aplicar — mas a boa prática (e a confiança do leitor) recomenda divulgar mesmo assim.
Fairness e mitigação de viés
Objetivo: entender de onde vem o viés em IA, por que "fairness" não tem uma definição única, como medir, as técnicas de mitigação e seus limites.
6.1 De onde vem o viés
| Fonte | Exemplo |
|---|---|
| Viés histórico nos dados | Dados de contratações passadas refletem discriminação passada; o modelo a reproduz |
| Viés de amostragem / representação | Grupo sub-representado no dataset → modelo funciona pior para ele |
| Viés de rotulagem | Os rótulos "verdade" foram atribuídos por humanos enviesados, ou o proxy do alvo é enviesado (ex.: "recontratado" como proxy de "bom funcionário") |
| Variáveis proxy | CEP, nome, escola correlacionam com raça/classe; remover o atributo protegido não remove o viés |
| Feedback loop | O modelo influencia os dados futuros (policiamento preditivo manda mais polícia para onde já prendeu mais → mais prisões lá → confirma o modelo) |
| Viés de avaliação | O benchmark de teste não representa a população real de uso |
6.2 As definições de fairness (e por que colidem)
- Paridade demográfica (demographic parity): a taxa de decisão positiva é igual entre grupos (ex.: mesma % de aprovação de crédito).
- Igualdade de oportunidade (equal opportunity): entre quem "merece" (verdadeiro positivo real), a taxa de acerto é igual entre grupos.
- Probabilidades igualadas (equalized odds): taxas de verdadeiro positivo e falso positivo iguais entre grupos.
- Calibração: um score de "70% de risco" significa o mesmo risco real para todos os grupos.
- Fairness individual: pessoas semelhantes recebem decisões semelhantes.
Está matematicamente provado que, quando as taxas-base diferem entre grupos, você não pode satisfazer calibração e equalized odds ao mesmo tempo (salvo casos degenerados). Não existe "o modelo justo" — existe uma escolha de qual noção de justiça priorizar, e essa escolha é ética e jurídica, não técnica. Documente a escolha e o porquê.
6.3 Medir
- Calcular as métricas por grupo protegido (e interseções — mulher + idosa, por exemplo) e comparar; reportar disparidades, não só a média.
- Regra dos 4/5 (disparate impact): usada em direito trabalhista dos EUA — a taxa de seleção de um grupo não deve ser inferior a 80% da do grupo mais favorecido. É um indício, não prova.
- Ferramentas: Fairlearn, AIF360 (IBM), What-If Tool,
Aequitas. - Cuidado: coletar o atributo protegido para medir fairness pode conflitar com minimização de dados (GDPR) — há bases legais e técnicas (ex.: inferência probabilística, dados agregados) para resolver.
6.4 Mitigar
| Estágio | Técnica |
|---|---|
| Pré-processamento | Rebalancear amostras, reponderar, transformar features para remover correlação com o grupo, gerar dados sintéticos para o grupo sub-representado |
| In-processing | Adicionar uma restrição/penalização de fairness à função de perda durante o treino; adversarial debiasing |
| Pós-processamento | Ajustar limiares de decisão por grupo para igualar a métrica escolhida; rejeitar-e-encaminhar-para-humano na zona de incerteza |
| Não técnico | Consertar o problema a montante: melhor coleta de dados, revisar o proxy do alvo, mudar o processo, ou não usar IA para aquela decisão |
O trade-off: impor fairness quase sempre custa alguma acurácia global. A questão certa não é "quanto perdemos de acurácia?", e sim "essa perda é aceitável dado o dano de discriminar, e para quem o custo recai?". E: fairness técnica num modelo defeituoso a montante é maquiagem — às vezes a resposta é redesenhar ou abandonar.
Perguntas: "De onde vem o viés em modelos de ML?" (dados históricos, amostragem, rótulos, proxies, feedback loop), "Por que remover o atributo protegido não resolve?" (variáveis proxy), "Cite duas definições de fairness e explique por que podem colidir" (teorema da impossibilidade), "Onde você pode intervir para mitigar viés?" (pré / in / pós-processamento + soluções não técnicas).
✏️ Exercício 6 — Diagnóstico de fairness
Um modelo de aprovação de crédito aprova 60% dos homens e 42% das mulheres. O time removeu a variável "gênero" do modelo. Investigando: mulheres têm, em média, histórico de crédito mais curto (entraram no mercado formal depois) e o modelo pesa muito "anos de histórico". Qual o problema e quais as opções?
Gabarito: "Anos de histórico de crédito" é uma variável proxy de gênero (por razões estruturais/sociais), então remover "gênero" não removeu a disparidade. Há disparate impact (42/60 = 70% < 80% da regra dos 4/5). Opções: (1) medir fairness explicitamente por grupo e escolher (com jurídico) qual noção priorizar. (2) Reduzir o peso ou transformar a feature "anos de histórico" para descorrelacioná-la do grupo; ou substituir por sinais de comportamento de pagamento que não penalizem quem entrou depois. (3) Pós-processamento: limiares por grupo para igualar equal opportunity. (4) Questionar o proxy do alvo e a política de negócio — talvez o produto precise de um caminho alternativo de avaliação para "thin file". Documentar a decisão e o trade-off de acurácia.
Transparência, explicabilidade e documentação
Objetivo: os artefatos de documentação (model cards, datasheets, system cards), as avaliações de impacto (DPIA, FRIA), e como adequar a explicação ao público.
7.1 Os três níveis de transparência
- Transparência de existência: a pessoa sabe que há IA envolvida (obrigação do AI Act para chatbots e conteúdo gerado).
- Transparência de sistema: como o sistema funciona em geral — propósito, dados, desempenho, limitações (model card, documentação técnica).
- Explicabilidade de decisão: por que este resultado para esta pessoa (explicação local, direito à contestação).
7.2 Artefatos de documentação
| Artefato | Documenta |
|---|---|
| Model Card | Propósito e usos previstos e não previstos, dados de treino, métricas de desempenho por subgrupo, considerações éticas, limitações, contato do dono |
| Datasheet for Datasets | Motivação, composição, processo de coleta, pré-processamento, usos, distribuição, manutenção — a "ficha técnica" do dataset |
| System Card | O sistema completo (modelo + guardrails + humano + processo), não só o modelo — como partes interagem, riscos residuais |
| Documentação técnica do AI Act (Anexo IV) | O dossiê formal de conformidade para alto risco (Módulo 4) |
| Registo de decisões (ADR/decision log) | As escolhas de governança e o porquê — qual noção de fairness, por que este limiar, por que aceitar este risco residual |
| AI-BOM | Inventário de modelos, datasets, dependências, licenças (ver apostila de Segurança de Aplicações de IA) |
| AI Use Policy | O que colaboradores podem/não podem fazer com IA (interna e de terceiros); combate a "shadow AI" |
7.3 Avaliações de impacto
- DPIA (Data Protection Impact Assessment) — obrigatória sob o GDPR quando o processamento (incluindo IA) é de alto risco para direitos e liberdades: descrever o processamento, avaliar necessidade e proporcionalidade, identificar e mitigar riscos à privacidade.
- FRIA (Fundamental Rights Impact Assessment) — exigida pelo AI Act para deployers que sejam entidades públicas ou prestem serviços essenciais, antes de usar um sistema de alto risco: descrever o uso, o período, as pessoas afetadas, os riscos a direitos fundamentais, as medidas de supervisão humana e de mitigação, e o plano de governança.
- Algorithmic / AI Impact Assessment — versões mais amplas (do NIST, de governos, da academia) que cobrem também impacto social, ambiental e sobre trabalho.
- Boa prática: uma avaliação integrada que cubra DPIA + FRIA + risco do AI Act num só processo, no início do ciclo de vida (não como formalidade no fim).
7.4 Explicabilidade por público
| Público | O que precisa | Como |
|---|---|---|
| Pessoa afetada | Por que fui rejeitado e o que posso fazer | Linguagem simples, os 2–3 fatores principais, o caminho de contestação, um humano acessível |
| Operador / analista | Confiar ou não neste output agora | Score de confiança, fatores locais (SHAP), casos similares, sinal de "fora de distribuição" |
| Auditor / regulador | O sistema é conforme e robusto | Documentação técnica, métricas por subgrupo, testes, logs, decision log |
| Time de dados | Depurar e melhorar | Importância global de features, PDP/ALE, análise de erros por segmento |
O "direito à explicação": o GDPR (Art. 22) dá à pessoa o direito de não ser sujeita a decisão unicamente automatizada com efeitos significativos, salvo bases específicas — e, nesses casos, direito a intervenção humana, a expressar seu ponto de vista e a contestar. O AI Act reforça com a supervisão humana e o direito a explicação de decisões de alto risco (Art. 86).
Perguntas: "O que é um model card e o que ele deve conter?" (uso previsto/não previsto, métricas por subgrupo, limitações), "Diferença entre DPIA e FRIA" (privacidade/GDPR vs direitos fundamentais/AI Act; quem faz e quando), "O que diz o Art. 22 do GDPR sobre decisões automatizadas?", "Como você adequa a explicação de uma decisão a públicos diferentes?".
✏️ Exercício 7 — Que documentação falta?
Uma seguradora implantou um modelo que ajusta prêmios com base em dezenas de variáveis. Só existe um notebook com o código de treino e uma métrica de AUC. Um cliente reclamou de aumento "sem explicação" e o regulador pediu informações. O que está faltando?
Gabarito: Falta praticamente todo o aparato de governança: (1) Model card — propósito, variáveis usadas, desempenho por subgrupo, limitações. (2) Datasheet do dataset — origem, representatividade, viés examinado. (3) Avaliação de impacto (DPIA, e FRIA/impacto se aplicável) feita antes da implantação. (4) Análise de fairness — o ajuste de prêmio pode discriminar por proxies de origem/idade/saúde. (5) Explicabilidade local — capacidade de dizer ao cliente os principais fatores do seu caso e um canal de contestação com revisão humana. (6) Logs e decision log das escolhas de modelagem. (7) Documentação técnica no padrão exigido (dependendo da classificação de risco). O notebook + AUC é o mínimo do trabalho de modelagem, não de governança.
Operacionalizar um programa de governança de IA
Objetivo: transformar princípios e requisitos legais num programa que funciona — inventário, classificação de risco, comitê, gates no ciclo de vida, políticas, monitorização e gestão de IA de terceiros.
8.1 Os componentes de um programa
| Componente | O que é |
|---|---|
| Inventário / registo de IA | Lista viva de todo sistema de IA (interno, comprado, embutido), com dono, propósito, dados, fornecedor, status |
| Classificação de risco | Cada sistema recebe um nível (inspirado no AI Act + impacto interno) que define o rigor dos controles |
| AI Governance Board / Comitê | Fórum multidisciplinar (jurídico, privacidade, segurança, dados, negócio, ética) que revisa casos de risco alto e destrava decisões |
| Políticas | Política de IA responsável, AI use policy (uso de ferramentas de IA por colaboradores), política de dados de treino, política de fornecedores de IA |
| Gates no ciclo de vida | Pontos de revisão obrigatórios: ideação → design (avaliação de impacto) → pré-deploy (fairness, robustez, red teaming, aprovação) → pós-deploy (monitorização) → descomissionamento |
| Monitorização pós-mercado | Métricas de desempenho, fairness e drift em produção; alertas; revisão periódica (integra com MLOps/LLMOps) |
| Gestão de incidentes de IA | Definição de "incidente", triagem, resposta, relato a autoridades quando exigido, postmortem |
| Gestão de IA de terceiros | Due diligence de fornecedores (documentação, model cards, testes, contratos com cláusulas de conformidade e indenização) |
| Combate a "shadow AI" | Descobrir uso não sancionado de ferramentas de IA; oferecer alternativas aprovadas; treinar |
| Literacia em IA | Obrigação do AI Act: garantir que quem opera/é afetado tenha entendimento suficiente |
8.2 Os papéis
- AI Governance Lead / Responsible AI Officer — dono do programa.
- AI Ethics Committee / Board — o fórum de decisão.
- Model / System Owner — responde por um sistema específico ponta a ponta.
- Data Protection Officer (DPO) — privacidade; muitas vezes lidera ou co-lidera a governança de IA.
- Legal / Compliance — mapeia obrigações, gerencia relação com reguladores.
- Security — a parte adversarial (apostila de Segurança de Aplicações de IA).
- ML/Data teams — executam os controles técnicos (MLOps/LLMOps).
8.3 Integração com o que já existe
Governança de IA funciona quando se enxerta nos processos que a empresa já tem: o gate de fairness/robustez entra no pipeline de MLOps/LLMOps (não é uma reunião paralela); a avaliação de impacto integra a DPIA que privacidade já faz; o red teaming é o mesmo da equipe de segurança; o inventário de IA vive no catálogo de dados. Um programa "de compliance puro", desconectado da engenharia, é ignorado.
8.4 Maturidade
| Nível | Como é |
|---|---|
| Ad hoc | Nenhum inventário; decisões caso a caso; "shadow AI" difundido |
| Reativo | Política escrita, inventário parcial, revisão só quando alguém levanta a mão |
| Estruturado | Inventário completo, classificação de risco, gates obrigatórios, comitê ativo, avaliações de impacto no início |
| Integrado | Governança embutida no MLOps/LLMOps, monitorização contínua, métricas de programa, auditoria interna regular, prontidão para auditoria externa/certificação |
Perguntas de vaga sénior: "Como você montaria um programa de governança de IA do zero?" (inventário → classificação de risco → políticas → gates no ciclo de vida → comitê → monitorização → gestão de terceiros), "Como evitar que a governança vire um gargalo que a engenharia contorna?" (enxertar nos processos existentes, risco proporcional), "O que é shadow AI e como lidar?", "Que papéis compõem um comitê de ética de IA?".
✏️ Exercício 8 — Plano de 90 dias
Você é a primeira contratação de "Responsible AI" de uma empresa de tecnologia com ~40 modelos em produção, alguns comprados, sem inventário nem política. Esboce as prioridades dos primeiros 90 dias.
Gabarito (exemplo): Dias 1–30: construir o inventário de IA (interna, comprada, embutida) com dono e propósito; classificação de risco rápida (usar a lógica do AI Act + impacto); identificar os sistemas de risco alto e os "achados vermelhos" (uso proibido, falta grave de supervisão humana, dados sensíveis sem base legal). Dias 31–60: escrever a Política de IA Responsável e a AI Use Policy; estabelecer o comitê e o gate obrigatório de pré-deploy (fairness + robustez + avaliação de impacto); iniciar avaliações de impacto para os sistemas de alto risco; due diligence dos fornecedores de IA. Dias 61–90: enxertar a monitorização pós-mercado nos pipelines de MLOps/LLMOps; definir o processo de incidente; treinar (literacia em IA); mapear a exposição ao EU AI Act e o roadmap de conformidade; publicar métricas do programa. Princípio: risco proporcional — não travar os 30 modelos de risco mínimo.
Temas de fronteira
Objetivo: os debates ativos — privacidade em IA, agentes autónomos e responsabilidade, IA de fronteira e risco sistémico, auditoria algorítmica, responsabilidade civil e sustentabilidade.
9.1 Privacidade e IA
- Base legal para treino: usar dados pessoais para treinar exige base no GDPR (consentimento, interesse legítimo com teste de ponderação, etc.); scraping de dados pessoais é especialmente sensível.
- Minimização vs "quanto mais dados melhor": tensão real; respostas incluem dados sintéticos, aprendizado federado, e limitar a coleta ao necessário.
- Direitos do titular: acesso, retificação, apagamento — e o problema de "desaprender" um dado de um modelo já treinado (machine unlearning, retreino, filtros de saída).
- Memorização e vazamento: modelos podem regurgitar dados de treino (ver apostila de Segurança de Aplicações de IA).
- PETs (Privacy-Enhancing Technologies): privacidade diferencial, computação multipartidária segura, enclaves — permitem treinar/analisar com garantias formais.
9.2 Agentes autónomos e accountability
Sistemas que planejam e agem com ferramentas (ver apostilas de IA Aplicada) esticam a governança: quem responde quando um agente executa uma ação danosa que ninguém aprovou explicitamente? Respostas emergentes: human-in-the-loop para ações de alto impacto, limites duros (menor privilégio, allowlists), rastreabilidade completa de cada ação a uma intenção, e a manutenção de controle humano significativo como princípio inegociável — o "humano permanece responsável".
9.3 IA de fronteira e risco sistémico
- Frontier AI Safety Frameworks (compromissos de Seul, políticas de "responsible scaling" dos grandes labs): definir capability thresholds a partir dos quais mitigações adicionais (ou pausa) são acionadas — riscos CBRN, cibernético ofensivo, autonomia/perda de controle, persuasão em massa.
- Avaliações de capacidades perigosas e red teaming por terceiros; institutos de segurança de IA (AISI no Reino Unido/EUA) fazendo testes pré-deploy.
- O debate sobre risco catastrófico/existencial vs foco em danos presentes (viés, trabalho, concentração de poder) — uma governança madura leva os dois a sério, sem que um sirva de desculpa para ignorar o outro.
9.4 Auditoria de IA
| Tipo | Quem faz |
|---|---|
| Interna | Time de auditoria/governança da própria empresa, contra as políticas e o framework |
| De segunda parte | Cliente/parceiro audita o fornecedor de IA (due diligence) |
| De terceira parte / certificação | Auditor independente (ex.: para ISO/IEC 42001, ou para conformidade com o AI Act via organismo notificado em casos específicos) |
| Algorithmic auditing / pesquisa | Academia, jornalismo, sociedade civil testam sistemas "de fora" (ex.: enviando currículos pareados) |
9.5 Responsabilidade civil
- Na UE, a Diretiva revista de Responsabilidade por Produtos passa a cobrir software e IA como "produtos", com regras de ónus da prova favoráveis à vítima quando há complexidade técnica.
- Contratualmente: cláusulas de alocação de risco entre provider e deployer, indenização por infração de IP nos outputs, SLAs de desempenho e de conformidade.
- Seguros de IA começam a aparecer.
9.6 Sustentabilidade
Treino e inferência de modelos grandes consomem energia e água significativas. Governança madura inclui: medir a pegada (o AI Act pede eficiência energética na documentação de GPAI), escolher o menor modelo que resolve, otimizar inferência (ver apostila de Otimização de Custos de Cloud e IA), e reportar. Cruza com ESG e com FinOps/GreenOps.
Perguntas de fronteira: "Como o 'direito ao apagamento' do GDPR interage com um modelo já treinado?" (machine unlearning, retreino, filtros — problema não resolvido), "Quem é responsável quando um agente autónomo causa dano?" (controle humano significativo, rastreabilidade, alocação contratual), "O que é um frontier safety framework?", "Tipos de auditoria de IA".
✏️ Exercício 9 — O pedido de apagamento
Uma pessoa exerce o direito ao apagamento (GDPR) e exige que seus dados sejam removidos de um modelo de recomendação já em produção, treinado há 6 meses com milhões de registros. O que a empresa pode e deve fazer?
Gabarito: Não há resposta perfeita — é um problema aberto. Passos razoáveis: (1) Remover os dados da pessoa de todos os datasets e das fontes, para que não entrem em treinos futuros. (2) Avaliar se o modelo atual memoriza ou expõe dados dessa pessoa (teste de extração); se sim, é mais urgente. (3) Opções técnicas: retreinar sem os dados (custa, mas é o mais limpo se o ciclo de retreino é frequente); aplicar técnicas de machine unlearning aproximado; ou filtros de saída que suprimam informação identificável. (4) Documentar a decisão, o raciocínio de proporcionalidade e o prazo (ex.: "removido do próximo ciclo de retreino, em X semanas"). (5) Comunicar à pessoa o que foi feito. (6) Rever a base legal e a minimização para reduzir o problema no futuro (menos dados pessoais crus no treino, mais agregação/síntese).
Mercado de trabalho: roadmap, entrevistas e portfólio
Objetivo: converter o conteúdo dos módulos anteriores em aprovação — perfis, certificações, roadmap, banco de perguntas com respostas e como demonstrar competência.
10.1 Os perfis que contratam
| Perfil | Foco | Vem de |
|---|---|---|
| AI Governance Lead / Responsible AI Manager | Montar e rodar o programa; comitê; políticas; roadmap de conformidade | Privacidade/DPO, GRC, jurídico + fluência técnica |
| AI Compliance / Regulatory Specialist | Mapear obrigações (AI Act, setoriais), avaliação de conformidade, relação com reguladores | Compliance, direito |
| AI Ethics Researcher / Advisor | Fairness, impacto social, princípios, avaliações de impacto | Academia (ética, ciências sociais), data science |
| Responsible AI Engineer / ML Governance | Implementar os controles técnicos: fairness testing, model cards, monitorização, gates no pipeline | ML/data science, MLOps |
| AI Policy Analyst | Análise de política pública, posicionamento, resposta a consultas regulatórias | Relações institucionais, think tanks |
10.2 Certificações e leituras
- IAPP AIGP (Artificial Intelligence Governance Professional) — a certificação de referência da área; a IAPP também tem material sobre AI Act.
- ISO/IEC 42001 Lead Implementer / Auditor — para quem vai implantar o AIMS.
- Certificações de privacidade (CIPP/E, CIPM) são complementares fortes — muita governança de IA passa por privacidade.
- Leitura obrigatória: o texto do EU AI Act e os guias da AI Office; o NIST AI RMF + Generative AI Profile; a norma ISO/IEC 42001; as OECD AI Principles.
- Acompanhar: a AI Office da UE, a IAPP (newsletters), os blogs de escritórios de advocacia especializados, o "AI Incident Database".
10.3 Roadmap de estudo (8 semanas)
| Semanas | Foco | Prática |
|---|---|---|
| 1 | Por que governança, princípios, panorama regulatório (Módulos 1–2) | Mapa dos frameworks e das jurisdições relevantes para um setor à escolha |
| 2–3 | EU AI Act completo: risco, alto risco, GPAI (Módulos 3–5) — ler o texto | Classificar 10 sistemas de IA reais e listar as obrigações de cada |
| 4 | NIST AI RMF e ISO/IEC 42001 a fundo | Mapear os controles do AIMS para um sistema de exemplo |
| 5 | Fairness: fontes de viés, métricas, mitigação (Módulo 6) | Rodar Fairlearn/AIF360 num dataset público; escrever a análise |
| 6 | Documentação e avaliações de impacto (Módulo 7) | Escrever um model card completo + um esboço de FRIA |
| 7 | Operacionalizar o programa (Módulo 8) | Desenhar um programa de governança de 1 página (inventário, gates, comitê) |
| 8 | Temas de fronteira + preparo para AIGP; portfólio (Módulos 9–10) | Estudo de caso publicado + preparo para a certificação |
10.4 Banco de perguntas de entrevista (com a resposta que aprova)
Júnior/pleno — "O que é governança de IA?"
O conjunto de políticas, processos, papéis e controles que garantem que os sistemas de IA de uma organização sejam legais, éticos, confiáveis e accountable — do design ao descomissionamento. Difere de governança de dados porque acrescenta os riscos específicos da IA: viés aprendido, opacidade, autonomia, escala do impacto, e responsabilidade difusa. É uma função contínua, não um documento.
Pleno — "Explique a pirâmide de risco do EU AI Act"
Quatro níveis: risco inaceitável (proibido — social scoring, manipulação danosa, scraping facial em massa, reconhecimento de emoções no trabalho…); alto risco (permitido sob requisitos rigorosos — Anexo III: biometria, infra crítica, educação, emprego, crédito, aplicação da lei, migração, justiça); risco limitado (obrigações de transparência — chatbots, deepfakes); risco mínimo (a maioria — sem obrigações). A obrigação é proporcional ao risco.
Pleno — "Provider vs deployer, e como um vira o outro"
Provider desenvolve e coloca no mercado / põe em serviço; deployer usa sob sua autoridade profissional. As obrigações pesadas (documentação técnica, avaliação de conformidade, CE) são do provider; o deployer tem deveres de uso conforme, supervisão humana, monitorização e, para setor público/serviços essenciais, a FRIA. Um deployer vira provider se modifica substancialmente o sistema, coloca sua marca, ou muda o propósito para um caso de alto risco.
Pleno/sénior — "Por que não existe 'o modelo justo'?"
Porque "fairness" tem várias definições formais (paridade demográfica, igualdade de oportunidade, equalized odds, calibração, fairness individual) e está provado que, quando as taxas-base diferem entre grupos, algumas dessas definições são mutuamente incompatíveis (teorema da impossibilidade — calibração vs equalized odds). Escolher qual priorizar é uma decisão ética e jurídica sobre o contexto, que deve ser documentada — não um ajuste técnico.
Sénior — "Como você montaria um programa de governança de IA?"
Inventário de todos os sistemas de IA (com dono e propósito) → classificação de risco (AI Act + impacto interno) → políticas (IA responsável, AI use policy, fornecedores) → gates obrigatórios no ciclo de vida (avaliação de impacto no design; fairness/robustez/red teaming/aprovação no pré-deploy; monitorização no pós-deploy) → comitê multidisciplinar para casos de alto risco → gestão de incidentes → due diligence de IA de terceiros → literacia. Enxertado nos processos de MLOps/privacidade/segurança existentes, com rigor proporcional ao risco.
Sénior — "O que o EU AI Act exige de um GPAI de risco sistémico?"
Além das obrigações gerais de GPAI (documentação, política de copyright, sumário dos dados de treino): avaliação do modelo com adversarial testing / red teaming; avaliação e mitigação de riscos sistémicos à escala da UE (desinformação, discriminação em massa, CBRN, perda de controle); rastreamento e relato de incidentes graves à AI Office; e cibersegurança adequada. O GPAI Code of Practice serve para demonstrar conformidade.
Armadilha — "Já temos GDPR e uma política de ética, então estamos cobertos para IA"
Não. O GDPR cobre dados pessoais, não a segurança, robustez, viés ou supervisão humana de um sistema de IA; e uma política de ética sem operação (inventário, classificação de risco, gates, monitorização, avaliações de impacto, accountability nomeada) é um pôster na parede. O EU AI Act traz obrigações novas e específicas por nível de risco, com sanções próprias. A governança de IA usa a estrutura de privacidade, mas vai além dela.
10.5 Como demonstrar competência (portfólio)
- Análise de conformidade (âncora): pegar um produto de IA real ou plausível, classificá-lo pelo EU AI Act, listar as obrigações aplicáveis, e escrever um plano de conformidade com cronograma. Publicar como estudo de caso.
- Model card + FRIA de exemplo: um model card completo e um esboço de Avaliação de Impacto sobre Direitos Fundamentais para um sistema de alto risco fictício.
- Estudo de fairness: análise de viés de um dataset público (Fairlearn/AIF360), com as métricas por grupo, a discussão do trade-off e a escolha justificada de uma definição de fairness.
- Blueprint de programa: o desenho de um programa de governança de IA para uma organização hipotética — inventário, política, gates, comitê, papéis, KPIs.
- Mapeamento de frameworks: uma matriz que cruza os controles da ISO/IEC 42001 com o NIST AI RMF e com as obrigações do AI Act — útil e demonstra domínio.
Quatro ideias sustentam governança de IA: (1) a obrigação é proporcional ao risco — o EU AI Act inteiro é essa ideia, e um bom programa interno também; (2) alguém tem que responder por cada sistema — accountability nomeada, documentação, trilha de auditoria; (3) não existe "o modelo justo" nem "a explicação certa" — há escolhas éticas e jurídicas que precisam ser explícitas e documentadas; (4) governança que não se enxerta na engenharia (MLOps, privacidade, segurança) é ignorada. A regulação vai mudar; esses princípios, não.