Laboratório

O que é

O Laboratório é uma área de trabalho digital: um ambiente isolado onde experimentos com modelos de IA são executados e registrados. Não é um espaço físico nem uma equipe.

Cada experimento responde a uma pergunta estreita. O resultado vale para as tarefas testadas e não é generalizado além delas.

Protocolo registrado antes de executar

Antes da primeira execução, o protocolo registra:

1. Pergunta e escopoO uso pretendido e as tarefas às quais o resultado se restringe.
2. ModelosO critério de escolha e as versões exatas.
3. Dados e licençaDe onde vêm os dados, sob qual licença, e quais são sintéticos.
4. Divisão dos dadosO que é usado para desenvolvimento, validação e teste.
5. Prompts e ferramentasOs textos enviados aos modelos, as ferramentas permitidas e os limites de contexto.
6. MétricasMétricas, linhas de base e critérios de sucesso e de falha.
7. Casos e repetiçõesQuantos casos, quantas repetições, como erros são tratados e como a incerteza é analisada.
8. Custo, latência e qualidadeAs regras para comparar os três.
9. OrçamentoO gasto máximo e o critério para interromper.
10. Conflitos e limitaçõesO que já se sabe que pode distorcer o resultado.

A versão do protocolo e seu hash são congelados antes da execução. Se o método mudar depois de ver resultados, nasce uma nova versão, e a mudança é descrita.

Regras de avaliação

• Sempre que a tarefa permite, a resposta certa é definida de forma determinística: campo, formato, cálculo ou presença de informação.
• A mesma IA não cria os casos, define as respostas certas e se aprova.
• Um modelo usado como juiz pode ajudar, mas seu veredito não é tratado como verdade independente.
• Resultados negativos e inconclusivos são publicados.
• Diferença observada não é tratada como diferença estatisticamente confiável sem análise.
• Teste sem registro de execução não é descrito como executado.

Reprodução

Cada nota de laboratório registra ambiente, dependências, comandos executados, parâmetros, horários e resultados brutos. Chamadas a modelos hospedados podem não se repetir de forma idêntica, mesmo com as mesmas configurações. Essa limitação aparece em toda nota.