Analogia: o LLM é como um engenheiro
Pense num engenheiro do escritório.
A capacidade dele depende da preparação profissional: formação, experiência, julgamento. Há engenheiros mais capazes e menos capazes para certas tarefas. Um large language model — LLM: modelo grande de linguagem — se parece com isso: modelos mais ou menos capazes conforme foram treinados e dimensionados. Nem todos os «engenheiros digitais» rendem igual diante do mesmo problema.
Mas mesmo o melhor engenheiro trabalha diferente conforme o ambiente:
- Com mais ferramentas (software do escritório, Excel auditado, GIS).
- Com melhor ambiente de trabalho (políticas claras, arquivos versionados, revisão).
- Com melhor maquinaria (motores, scripts, checagens).
Isso, ao redor de um modelo de IA, é o harness: o arnês / oficina com que o «engenheiro» trabalha. O mesmo LLM se comporta de forma distinta conforme o harness. Mesmo modelo, oficina distinta: qualidade de trabalho distinta, evidência distinta, risco distinto.
Esta nota faz parte da série sobre o harness de IA para engenharia civil. Leia junto com o system prompt e o prompt engineering: a oficina, as políticas e a ordem de serviço.
O que é um LLM numa frase de escritório
Um LLM prevê o próximo fragmento de texto a partir de uma distribuição de probabilidade condicionada pelo contexto. Em cada passo escolhe — com mais ou menos aleatoriedade conforme a configuração — entre alternativas plausíveis.
Isso produz texto útil, resumos, rascunhos e propostas de passos. Não produz, por si só, a solução numérica de um modelo estrutural com a mesma semântica que OpenSees, CalculiX ou ETABS.
Probabilístico versus determinístico, em linguagem de obra:
- Chat / LLM: texto plausível. Duas rodadas do mesmo pedido podem diferir. Isso é amostragem, não bug raro.
- Motor (OpenSees, ETABS, CalculiX etc.): dado o mesmo modelo, a mesma versão do motor e os mesmos parâmetros, o resultado é determinístico. Se mudar, você investiga o input ou o motor — não «a criatividade» do sistema.
Não inventamos cifras aqui. A lição não precisa de um número inventado: precisa que você não trate uma conversa como se fosse um solve.
Mesmo pedido, dois resultados
Ilustração — demo de mesa, não caso de cliente.
- Mesmo pedido duas vezes ao chat: dois textos ou dois números. Anote a diferença.
- Mesmo modelo físico a um motor (OpenSees ou CalculiX, por exemplo) com os mesmos inputs: o resultado é determinístico dado o modelo, a versão do motor e os parâmetros.
Esta peça não repete o artigo do harness inteiro. O foco aqui é o papel: por que AEC não trata o parágrafo como se fosse ETABS, e por que o mesmo LLM parece outro quando o harness lhe dá mãos, políticas e parada.
Baixar temperature reduz variedade. Não transforma o chat num motor de elementos finitos. Ajudas de reprodutibilidade em algumas APIs (seeds e semelhantes) podem estabilizar saídas; continuam sendo amostragem sobre um modelo de linguagem, não a resolução de um sistema de equações com a sua massa, a sua rigidez e o seu solver versionado.
Sinais de que você está prestes a assinar uma conversa
- Você não consegue nomear arquivo, versão, motor e parâmetros.
- O número apareceu em prosa, sem traço de tool.
- A segunda rodada não coincide e você mesmo assim pensa «está perto».
- Confunde confiança retórica com convergência.
- Usa temperature 0 como se fosse selo de qualidade estrutural.
- Acha que «o modelo é muito bom» substitui evidência de motor.
Se alguma dessas for verdade, não cole. Peça evidência de motor ou deixe o texto como rascunho de redação.
O que o LLM consegue fazer (sem mentir para si)
- Ajudar a colocar o problema e listar hipóteses.
- Revisar um deck ou um script antes de rodá-lo.
- Explicar um resultado que já saiu do motor.
- Redigir uma nota que separa fatos, hipóteses e avisos.
- Preparar uma ordem de serviço clara (ver prompt engineering) ou respeitar políticas persistentes (ver system prompt).
O que não consegue: substituir o solve nem transferir o seu registro.
Missão desta peça: não confie a probabilidade do chat para números de engenharia. O número sério sai do motor com traço. O chat pode ajudar você a pensar; não a assinar.
O mesmo LLM, harness distinto
Volte à analogia do engenheiro.
O mesmo profissional, sem ferramentas e sem políticas, improvisa. Com ferramentas, políticas (system prompt), checagens e assinatura, o trabalho é outro. O harness não faz o LLM «calcular» como ETABS; faz o trabalho ao redor do LLM ser auditável: o que se pediu, o que se executou, o que se verificou, quem aprovou.
Por isso «trocar de modelo» não é a única alavanca. Às vezes o modelo basta e falta oficina. Às vezes a oficina está vazia e o modelo só escreve.
Se quiser o mapa do arnês completo, leia o que é um harness de IA.
Fontes
- OpenAI — documentação sobre uso avançado e não determinismo de completions (consulte o guia oficial).
- OpenSees — site oficial do motor
Avaliação e limitações
Trate as notas abaixo como contexto de avaliação, não como um cálculo ou uma verificação comprovados.
Se você precisa do mesmo resultado duas vezes, o cálculo deve viver num motor determinístico com evidência, não no chat.