Recupere dos manuais. Não invente cláusulas de norma.

Por que isto importa

Normas de projeto são documentos controlados: edição, jurisdição, anexo nacional e linguagem obrigatória versus comentário importam todos. Modelos de linguagem são fluentes. Fluência mais um número de cláusula falso é pior do que «não sei», porque parece pesquisa.

A geração aumentada por recuperação (RAG) é um jeito de ancorar uma resposta em passagens que você realmente armazenou. Usada com cuidado, pode ajudar um engenheiro a achar a página certa mais rápido. Usada com descuido, é uma máquina de inventar cláusulas com bibliografia.

O que RAG é — e o que não é

No padrão popularizado para NLP intensivo em conhecimento, o sistema recupera texto de um corpus e depois gera uma resposta que pode atender a essas passagens. O passo de recuperação é a única razão pela qual isto é diferente de perguntar a um modelo de chat nu sobre «a norma».

RAG não é:

• uma cópia licenciada de cada norma que você gostaria de ter;
• uma determinação de qual documento rege o projeto;
• um substituto de ler a cláusula no contexto (exceções, linguagem de encargo, ponteiros para outras seções);
• um solver das desigualdades que essas cláusulas contêm.

Se a passagem recuperada faltar, estiver velha ou for do livro errado, a geração ainda produzirá frases. Isso é um problema de confiabilidade, não uma nota de rodapé de erro do usuário.

Inventar cláusulas versus apontar manuais

Inventar parece: um identificador numerado, uma paráfrase de combinações de carga ou detalhamento «requeridos», e nenhum arquivo que você possa abrir que contenha essa linguagem. Estudantes e praticantes apressados colam isto em notas. É indistinguível de competência até alguém abrir o documento real.

Apontar um manual parece: uma citação que um humano consegue resolver (título do documento, edição, id de seção/cláusula como impresso, página ou fragmento estável se você guardar um), mais o trecho recuperado que o seu sistema realmente usou, mais um rótulo claro de que o trecho não substitui o texto oficial.

São produtos diferentes. Só o segundo pertence perto do trabalho de engenharia, e mesmo então só como ajuda de achado.

Um fluxo que mantém a norma no comando

1. Decida os documentos vigentes antes de recuperar (jurisdição, edição, se você está no comentário). Um modelo não consegue fazer isto a partir de um prompt genérico.
2. Restrinja o corpus a cópias que você tem permissão de usar, com metadados de edição em cada trecho. Misturar linguagem de 2010 e 2022 num índice é um jeito conhecido de inventar híbridos.
3. Recupere primeiro. Se nada relevante voltar, o sistema deveria dizê-lo. Não «preencha» a partir da memória paramétrica.
4. Mostre a passagem. O revisor precisa ver o trecho, não só um resumo.
5. Aplicação humana. Caminhos de carga, fatores φ, especificações de material e exceções são aplicados por uma pessoa a uma estrutura concreta. A geração pode associar mal uma cláusula ao membro errado.
6. Registre a citação que você usou, como faria com qualquer outra referência. Se você não consegue citá-la, não a usou.

O que avaliar (se você constrói ou compra isto)

Peça evidência sobre perguntas como estas. Nenhuma se resolve com uma demo de marketing sobre uma cláusula famosa que todo mundo já conhece.

• Recall em consultas reservadas: dada uma pergunta real da sua prática, a seção certa aparece nos trechos recuperados de cima?
• Fidelidade: a frase gerada fica dentro do texto recuperado, ou acrescenta números e linguagem «shall» que não estavam lá?
• Isolamento de edição: o sistema consegue recusar responder a partir do ano errado?
• Abstenção: qual é o comportamento quando o índice não tem resposta — recusa, ou um palpite fluente?
• Comentário versus disposições: as notas não obrigatórias estão rotuladas como tais no corpus, ou achatadas no mesmo espaço de embedding?

Se um fornecedor não consegue falar desses testes, você não tem uma avaliação. Tem uma demo.

Erros comuns

• Colar um «A cláusula 12.3.x exige…» gerado num cálculo sem abrir o livro.
• Indexar blogs, fios de fórum e PDFs não oficiais como se fossem a norma.
• Fatiar através de uma tabela de modo que uma equação de capacidade se separe dos seus limites de aplicabilidade.
• Permitir que o gerador cite um id de cláusula que nunca apareceu nos trechos recuperados.
• Tratar uma pontuação alta de similaridade como «esta é a disposição vigente».
• Pedir ao RAG um projeto numérico (bitola de barra, aplicação de limite de deriva) em vez de pedir que localize a disposição que você aplicará.

Limitações

Este artigo não implementa um stack RAG, não publica um corpus e não cita normas de projeto. Termos de copyright e de licença controlam o que você pode indexar; «seria útil» não é uma licença.

A qualidade de recuperação depende do fatiamento, dos metadados e da consulta. Mesmo um índice perfeito não consegue escolher a combinação de carga certa para o seu edifício. Anexos nacionais, emendas, emendas locais e especificações de projeto anulam rotineiramente o livro «principal». Um artigo de hub não pode listá-los.

Respostas só-modelo sobre normas continuam pouco confiáveis mesmo quando RAG existe no mesmo produto. Confirme qual caminho de código realmente rodou.

Contexto profissional

Engenheiros já sabem usar um índice, um comentário e um PDF grifado. RAG é infraestrutura opcional em torno desse hábito. Não move a responsabilidade profissional. Se o seu procedimento de QA exige citar a edição no desenho, cite a edição que você abriu — não a edição que um modelo mencionou.

Para arquivos de análise redigidos com IA, a mesma regra vale que para cláusulas: fluência não é evidência. Emparelhe este briefing com a divisão de quatro papéis (cálculo versus sugestão versus revisão versus validação) antes de ligar um assistente a manuais ou a solvers.

Referências

• Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401. Descreve o padrão recuperar-depois-gerar. Não é um método para aplicar normas de edificação.
• NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0) — nist.gov/itl/ai-risk-management-framework. Só linguagem de avaliação; não é uma norma de projeto.
• A norma estrutural ou de edificação vigente de um projeto é a edição oficial adotada pela jurisdição. Este artigo não a cita nem a substitui.

Avaliação e limitações

Trate as notas abaixo como contexto de avaliação, não como um cálculo ou uma verificação comprovados.

Avalie um sistema RAG de normas por fidelidade de recuperação e de citação, não por comprimento de resposta: um revisor consegue abrir a edição citada e achar a passagem; o comentário está distinto da linguagem obrigatória; o que acontece quando o corpus não tem resposta. Este artigo é um briefing de confiabilidade. Não é um benchmark de nenhum assistente comercial e não cita cláusulas de norma.