Piloto de IA: definir responsáveis e critérios de paragem
Responsabilidades e limites a documentar antes de testar IA num processo interno.
Antes do piloto, prepare a decisão
Recomendação Macro: Se é o decisor responsável por um piloto de IA, comece por escolher uma tarefa concreta, em vez de pedir à equipa que transforme todo o processo de uma vez. Descreva o documento de entrada, o trabalho a experimentar e o resultado que pretende submeter a revisão. Registe também o que fica fora do ensaio e quem confirma essa delimitação antes do arranque.
Recomendação Macro: Prepare uma ficha de decisão que possa ser lida por quem executa a tarefa e por quem autoriza a sua continuidade. Inclua a pergunta a testar, os responsáveis, os materiais necessários e os critérios de paragem propostos. Trate essa ficha como uma proposta a discutir com a equipa, não como uma declaração antecipada de que o piloto vai resultar.
O que as fontes sustentam
O NIST apresenta o AI RMF como referencial de utilização voluntária. (NIST AI Risk Management Framework, overview; Overview of the AI RMF).
GOVERN 1.6 prevê inventário dos sistemas de IA e recursos proporcionados às prioridades de risco. (NIST AI RMF Playbook, GOVERN; GOVERN 1.6).
GOVERN 2.1 prevê papéis, responsabilidades e canais de comunicação documentados para a gestão do risco. (NIST AI RMF Playbook, GOVERN; GOVERN 2.1).
GOVERN 1.5 prevê monitorização e revisão periódica com responsabilidades e frequência definidas. (NIST AI RMF Playbook, GOVERN; GOVERN 1.5).
GOVERN 2.2 prevê preparação das pessoas e parceiros para desempenhar as responsabilidades de risco atribuídas. (NIST AI RMF Playbook, GOVERN; GOVERN 2.2).
Defina o trabalho que entra no ensaio
Recomendação Macro: Desenhe o percurso da tarefa com os intervenientes: receção da informação, preparação, produção do rascunho, revisão e decisão sobre o seu uso. Para cada etapa, peça um exemplo do documento utilizado e identifique quem o entrega e quem o recebe. Se houver exceções conhecidas pela equipa, registe-as separadamente para decidir se entram neste piloto ou ficam para outra fase.
Recomendação Macro: Escolha as entradas que a equipa está autorizada a utilizar e confirme essa autorização com o responsável adequado. Descreva a origem, os campos necessários e as restrições de utilização que tenham sido comunicadas. Não acrescente dados apenas para tornar o teste mais completo: peça uma decisão explícita sobre cada conjunto adicional antes de o incluir no ensaio.
Recomendação Macro: Combine como será preparado o conjunto de teste. Peça exemplos representativos da tarefa delimitada e exemplos das exceções que decidiram incluir. Documente os critérios dessa seleção, sem a apresentar como uma amostra estatisticamente validada. Separe os materiais usados para ajustar o ensaio daqueles que a equipa reservar para uma verificação posterior e registe as alterações feitas entre as duas fases.
Atribua decisões, não apenas nomes
Recomendação Macro: Designe quem autoriza o início, quem opera a tarefa e quem revê cada saída. Para cada papel, descreva as decisões permitidas, os documentos que deve consultar e a pessoa a contactar perante uma dúvida. Se a mesma pessoa acumular funções, assinale essa escolha na ficha e discuta com a equipa como pretende tratar os momentos em que não esteja disponível.
Recomendação Macro: Antes do primeiro teste, percorra um exemplo completo com os intervenientes. Peça ao operador que explique o que fará com a entrada e ao revisor que descreva o que irá conferir no rascunho. Registe as perguntas que ficarem sem resposta. Adie as tarefas dependentes dessas respostas até existir uma decisão explícita sobre como as executar.
Recomendação Macro: Defina um caminho de escalamento para situações que o operador ou o revisor não consigam resolver. Identifique a pessoa que recebe a questão, a informação a enviar e quem pode autorizar a retoma. Combine também o que acontece à tarefa durante essa espera: permanecer em fila, seguir pelo processo manual ou ser retirada do âmbito do piloto.
Escreva os critérios de revisão e paragem
Recomendação Macro: Construa a grelha de revisão a partir da tarefa concreta. Para um rascunho de relatório, pode propor campos a conferir, documentos de comparação e perguntas sobre omissões ou inconsistências. Discuta cada critério com quem conhece o processo. Não atribua um valor numérico de aprovação por conveniência: peça à equipa que justifique os limites que pretende experimentar e que registe as dúvidas.
Recomendação Macro: Distinga a saída que pode ser aceite, a que deve voltar ao operador e a que deve suspender o ensaio. Escreva exemplos de cada decisão como hipóteses de trabalho, sujeitos à validação da equipa. Indique quem pode alterar essa classificação e preserve um registo da alteração, incluindo o motivo e os casos do teste que precisam de ser revistos.
Recomendação Macro: Escolha uma frequência de acompanhamento adequada à disponibilidade dos intervenientes e às tarefas que decidiu testar. Registe-a como decisão da equipa, sem a atribuir ao NIST. Defina também acontecimentos que justificam uma revisão fora dessa frequência, como uma dúvida sobre a autorização de uma entrada ou a indisponibilidade da pessoa que deveria rever a saída.
Recomendação Macro: Combine o que deve constar do registo de cada ocorrência: tarefa, material utilizado, versão do rascunho, verificação efetuada e decisão tomada. Acrescente apenas os elementos necessários para a equipa analisar o caso. Defina quem pode consultar esse registo, onde será guardado e quem confirma as condições de acesso e conservação antes de começar a recolher informação.
Experimente uma decisão de continuidade
Exemplo hipotético: Considere, apenas para esta discussão, um piloto que prepara rascunhos de relatórios internos, sem envio automático. Assuma que um operador prepara a entrada e que um revisor confere cada rascunho antes de qualquer utilização. Escolha um dos casos de teste e simule a identificação de um campo por confirmar. Use o exemplo para decidir se o caso volta ao operador, segue pelo processo manual ou justifica suspender o ensaio.
Recomendação Macro: No exemplo, peça aos intervenientes que percorram as três alternativas sem pressupor qual será a melhor. Para devolver o caso, identifique a informação que falta e quem a pode fornecer. Para manter o trabalho manual, confirme quem executa essa tarefa. Para suspender, registe a condição que terá de ser esclarecida e quem avaliará uma eventual retoma.
Recomendação Macro: Repita a discussão com uma situação diferente, escolhida pela equipa: ausência do revisor, entrada fora do âmbito aprovado ou divergência entre o rascunho e o documento de comparação. Não trate estas situações hipotéticas como resultados observados. Utilize-as para identificar decisões ainda por definir e atualizar a ficha do piloto antes de experimentar essas tarefas.
Decida continuar, limitar ou suspender
Recomendação Macro: Quando rever o ensaio, compare os registos disponíveis com os critérios que a equipa definiu. Separe observações dos testes, interpretações e perguntas em aberto. Se alguém propuser alargar o âmbito, peça que identifique a nova tarefa, os materiais adicionais, o responsável e a verificação necessária. Registe essa proposta como uma decisão nova, sem a considerar validada pelo piloto anterior.
Recomendação Macro: Prepare uma decisão curta com três opções: continuar no âmbito atual, limitar a utilização ou suspender até esclarecer uma condição. Para a opção escolhida, registe os elementos considerados, as dúvidas que permanecem e a próxima revisão acordada. Não preencha os campos em falta com estimativas não verificadas; identifique a informação a recolher e a pessoa responsável por a confirmar.
Recomendação Macro: Antes de discutir autonomia adicional, reveja a hipótese de trabalho deste piloto: revisão humana de cada saída e ausência de envio automático. Qualquer proposta de alterar esses pressupostos deve ter uma avaliação própria. Peça à equipa que descreva o que pretende mudar, que verificações serão necessárias e quem pode autorizar a experiência seguinte, mantendo separadas as duas decisões.
Perguntas antes de avançar
Pergunta para decisão: Que tarefa concreta vamos testar e que trabalho continuará fora do piloto?
Pergunta para decisão: Quem confirmou as entradas autorizadas e quem vai rever cada saída antes de a utilizar?
Pergunta para decisão: Que documentos e critérios usaremos para aceitar, devolver ou suspender um caso?
Pergunta para decisão: Quem decide a retoma e que informação precisa de receber para tomar essa decisão?
Pergunta para decisão: Que dúvida continua por esclarecer e impede o arranque ou o alargamento do ensaio?
Conheça a área de Transformação Digital
Inteligência artificial no glossário