Num ano de grande debate sobre o rumo da Inteligência Artificial (IA), tem-se verificado que o foco das conversas se tem afastado das dúvidas sobre a capacidade da tecnologia (“O que consegue a IA fazer?”, “Que tarefas permite automatizar?”, “Quantas horas de trabalho [humano] pode poupar?”, “Que decisões vai apoiar?”), para se posicionar numa questão de resposta bem mais complexa: “Quando a tecnologia começa a decidir e a agir por nós, em quem confiamos?”.
À medida que a tecnologia progride e a própria natureza da IA evolui – passando da geração de conteúdos para sistemas capazes de interpretar informação, executar tarefas, interagir com outros sistemas e tomar decisões intermédias -, a noção de quem continua responsável pelo resultado torna-se paradigmática. O desenvolvimento de sistemas de Agentic AI, capazes de ligar diferentes etapas de um processo com menor intervenção humana, aumenta o potencial de automação, ao mesmo tempo que torna mais exigentes as necessidades de supervisão, segurança e conformidade.
A capacidade avança mais depressa do que a confiança
A confiança na tecnologia resulta da aptidão de uma organização compreender como é utilizada, que dados suporta, que riscos envolve, quem supervisiona os resultados que produz e o que acontece quando algo corre mal. É precisamente nesta abordagem que assenta o conceito de AI Trust. O National Institute of Standards & Technology (NIST), através do seu AI Risk Management Framework, identifica como características de uma IA confiável a validade e fiabilidade, segurança, resiliência, transparência e responsabilização, explicabilidade, proteção da privacidade e gestão de enviesamentos.
Não se trata, portanto, de confiar cegamente na IA, mas de criar condições para acompanhar, validar e confiar de forma informada. E aqui reside uma das grandes contradições do momento: quanto mais sofisticada é a tecnologia, menos razoável é tratá-la como uma “caixa negra”, na qual delegamos tarefas.
Uma organização pode automatizar uma tarefa – mas não pode automatizar a responsabilidade. Se uma ferramenta gera um documento incorreto, a organização precisa de saber quem valida o resultado. Se um algoritmo recomenda uma ação, alguém deve conseguir interpretar os critérios relevantes para a decisão sugerida. Se um agente de IA desencadeia uma sequência de operações, devem existir mecanismos que permitam monitorizar, interromper e corrigir essa sequência, se e quando necessário.
O princípio Human-In-The-Loop (HITL) ganha, assim, uma nova dimensão, uma vez que o objetivo não passa por ter pessoas a validar manualmente cada operação realizada pela IA. Significa isto que as responsabilidades humanas devem estar claramente definidas e na proporção certa do risco e do contexto de utilização.
Saber quando não delegar: a verdadeira sofisticação
O paradoxo da evolução da IA é bastante óbvio: quanto mais tecnologia conseguimos pôr a trabalhar de forma autónoma, mais importante se torna definir o limite dessa autonomia. Uma empresa pode ter acesso a um modelo extremamente sofisticado e, ainda assim, não estar preparada para o utilizar num processo crítico. A conclusão deve, então, ser a de que a sofisticação tecnológica não elimina a necessidade de critérios de negócio, conhecimento do contexto, supervisão e responsabilidade.
É por esta razão que a próxima geração da transformação digital deverá ter em conta a capacidade de governar aquilo que é automatizado. A confiança digital tem de reservar espaço para soluções personalizadas, acompanhadas por estratégias de atualização, manutenção e integração, com uma preocupação contínua com a segurança e o funcionamento esperado das soluções. Saiba mais sobre as respostas de Inteligência Artificial da Opensoft.