Psicometria na prática: validade, precisão e normas que todo psicólogo precisa entender

Muitos psicólogos associam a psicometria a fórmulas e tabelas que ficaram para trás na graduação. Na prática, ela responde a uma pergunta muito concreta: posso confiar neste número para tomar uma decisão sobre esta pessoa? Sempre que um escore entra num laudo, num parecer ou numa conversa devolutiva, a psicometria está em jogo, saiba o profissional disso ou não.

Primi (2010) lembra que a avaliação psicológica é uma das áreas mais antigas da psicologia e que o desenvolvimento dos testes e da psicometria teve, no início, aplicação prática na seleção de soldados nas grandes guerras. Mas o autor insiste que a área não é só técnica: ela é a parte da psicologia responsável por transformar teorias em eventos observáveis, o que permite testar, corrigir e aprimorar essas teorias.

Para quem atende, isso significa que conhecer psicometria não é luxo acadêmico. A Cartilha Avaliação Psicológica do CFP (2022) inclui, entre as competências esperadas de quem faz avaliação, ter conhecimentos de psicometria, especialmente sobre validade, precisão e normas dos testes, e saber escolher e trabalhar de acordo com os propósitos e contextos de cada instrumento.

Antes de falar em validade, vale entender o que um teste faz. Segundo Primi (2010), os instrumentos são meios padronizados de obter amostras de comportamento que revelam diferenças individuais em construtos, ou seja, traços latentes ou processos mentais que não podem ser observados diretamente. A medida é sempre uma via indireta: observamos indicadores e, a partir deles, inferimos algo sobre o construto.

Essa ideia tem uma consequência prática importante. O escore não é o construto. Um resultado alto numa medida de atenção, por exemplo, é um indicador que só ganha sentido quando há boas razões para acreditar que aquelas respostas refletem de fato o processo que se quer avaliar. É exatamente isso que os estudos de validade tentam demonstrar.

A Resolução CFP nº 9/2018, hoje revogada pela Resolução CFP nº 31/2022, definia o teste psicológico como um instrumento que busca identificar, descrever, qualificar e mensurar características psicológicas por meio de procedimentos sistemáticos de observação e descrição do comportamento, acordados pela comunidade científica. Essa mesma resolução deixava claro que escalas, inventários, questionários e métodos projetivos ou expressivos também entram na categoria de testes psicológicos para fins do SATEPSI.

A validade é a qualidade mais importante de uma medida, porque diz respeito ao sentido das interpretações que fazemos a partir dos escores. Primi (2010), apoiado em Borsboom e colaboradores, descreve os estudos de validade como tentativas de mostrar que variações no construto produzem variações nos indicadores observados pelo instrumento. Por isso, não se diz que um teste "é válido" em abstrato, e sim que há evidências que sustentam certas interpretações, para certos fins e certos públicos.

O formulário de avaliação anexo à Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) organiza essas evidências em grupos que ajudam o psicólogo a ler um manual:

• Conteúdo: consulta sistemática a juízes sobre se os itens representam bem o domínio que se quer medir.
• Estrutura interna: estudos, como análises fatoriais, que verificam se as respostas se organizam conforme a teoria prevê. O formulário considera esse tipo de estudo indispensável quando se aplica à natureza do teste.
• Relação com variáveis externas: associação com critérios observáveis, como desempenho no trabalho ou diagnóstico clínico, avaliados ao mesmo tempo (validade concorrente) ou depois (validade preditiva).
• Convergente e discriminante: correlações mais altas com medidas do mesmo construto e mais baixas com medidas de construtos não relacionados.

Primi (2010) também destaca a validade consequencial, ligada às consequências sociais do uso dos testes, como uma direção importante para o futuro da área no Brasil.

Precisão, também chamada de fidedignidade, diz respeito ao quanto o escore está livre de variações aleatórias. Um teste pouco preciso pode dar resultados diferentes para a mesma pessoa sem que nada tenha mudado nela. O formulário da Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) lista os principais delineamentos usados para estimar a precisão:

• formas paralelas ou alternadas, comparando versões equivalentes;
• teste-reteste, que verifica a estabilidade ao longo do tempo;
• precisão entre avaliadores, importante quando a correção envolve julgamento;
• consistência interna, que verifica se os itens medem a mesma coisa.

A Cartilha do CFP (2022) informa que, entre os requisitos mínimos para um teste ter parecer favorável, está a presença de pelo menos um estudo brasileiro de precisão com indicadores iguais ou acima de 0,60. O formulário da resolução usava faixas mais altas, como 0,70 e 0,80, para classificar os estudos como bons ou excelentes.

Na prática clínica, o ponto central é que precisão não garante validade. Um instrumento pode ser muito consistente e, ainda assim, medir outra coisa que não o construto desejado. Por isso as duas qualidades precisam ser examinadas juntas.

Um escore bruto, sozinho, quase nunca diz muito. Para interpretar, é preciso um referencial. A Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) previa dois caminhos para o sistema de interpretação:

• interpretação referenciada à norma, em que o resultado da pessoa é comparado ao de um grupo de referência, e o manual deve descrever a amostra de normatização de forma explícita e exaustiva;
• outro tipo de interpretação, que precisa explicar o embasamento teórico e justificar a lógica usada.

Daí a pergunta que todo psicólogo deve fazer antes de aplicar: a pessoa que vou avaliar se parece com o grupo usado nas normas? Idade, escolaridade, região e outras características da amostra importam. A Cartilha do CFP (2022) reforça que modificar o público-alvo ou a forma de aplicação pode interferir na precisão dos resultados, porque as evidências do teste estão condicionadas à administração padronizada.

As normas também envelhecem. Segundo o SATEPSI, com base no art. 14 da Resolução CFP nº 31/2022, os parâmetros psicométricos de um teste devem ser revisados periodicamente, sem que o intervalo entre um estudo e outro ultrapasse 15 anos. Se a revisão não for apresentada, o teste passa a ser considerado desfavorável. O prazo dos estudos de normatização aparece abaixo de cada teste favorável na lista do SATEPSI.

No Brasil, a qualidade técnica dos testes é avaliada pelo Sistema de Avaliação de Testes Psicológicos, o SATEPSI, hoje regulamentado pela Resolução CFP nº 31/2022. Primi (2010) descreve o sistema como um marco para a área, e a Cartilha do CFP (2022) resume os requisitos mínimos que precisam ser apresentados de forma satisfatória:

1. especificação do construto que o teste pretende avaliar;
2. caracterização fundamentada na literatura da área;
3. pelo menos um estudo satisfatório de análise dos itens, exceto para testes projetivos;
4. pelo menos um estudo brasileiro de precisão com indicadores iguais ou acima de 0,60;
5. pelo menos um estudo de validade baseado na estrutura interna, quando aplicável, e outro estudo de validade que não seja de conteúdo;
6. sistema de correção e interpretação dos escores baseado na literatura.

Para o psicólogo, o recado é direto: o parecer favorável indica que o teste reúne requisitos mínimos, mas não substitui o julgamento sobre a adequação daquele instrumento àquela pessoa e àquela pergunta. Antes de usar, confira sempre o status atualizado do teste no SATEPSI.

O manual é onde as evidências psicométricas são apresentadas. A Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) já exigia que ele trouxesse uma ficha síntese com objetivo, público-alvo, material, aplicação e correção. Uma leitura crítica pode seguir este roteiro:

1. Construto e objetivo: o que exatamente o teste mede e para que finalidade foi construído? Isso combina com a minha pergunta de avaliação?
2. Público-alvo: a faixa etária, a escolaridade e o contexto da amostra incluem a pessoa que vou avaliar?
3. Validade: que tipos de evidência foram apresentados e para quais interpretações? Há estudos no contexto em que pretendo usar?
4. Precisão: quais delineamentos foram usados e com quais grupos?
5. Normas: como a amostra foi composta e qual o prazo dos estudos de normatização informado no SATEPSI?
6. Aplicação: a modalidade que pretendo usar, presencial, informatizada ou remota, está prevista e aprovada?

Esse roteiro não pede cálculos. Pede atenção ao que o manual afirma e ao que ele não afirma.

Primi (2010) descreve duas tradições na avaliação: o estilo psicométrico, voltado a leis gerais e às diferenças entre pessoas, e o estilo clínico, voltado à compreensão profunda de um indivíduo. Para o autor, elas não são opostas, mas complementares. As previsões derivadas de estudos de validade servem como guia para hipóteses iniciais, que depois precisam ser adaptadas ao caso concreto.

A regulamentação vai no mesmo sentido. A Cartilha do CFP (2022) afirma que não é recomendado usar uma só técnica ou um só instrumento, e que a testagem é uma etapa de um processo mais amplo de avaliação, que integra entrevistas, observações e documentos. A Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) já distinguia fontes fundamentais de informação, como testes aprovados, entrevistas, anamnese e observação, de fontes complementares.

Na prática, conhecer psicometria ajuda o psicólogo a saber quanto peso dar a cada dado. Um escore com boas evidências para aquele público pesa mais do que um resultado obtido em condições que fogem ao padronizado. Para aprofundar as etapas, veja o guia sobre como conduzir a avaliação psicológica.

As qualidades psicométricas de um teste só se mantêm quando ele é usado como foi estudado. Segundo a Cartilha do CFP (2022), aplicar um teste de forma diferente do que orienta o manual impede garantir suas qualidades psicométricas e configura falta ética, com base no Código de Ética Profissional do Psicólogo, que veda interferir na validade e fidedignidade de instrumentos e técnicas psicológicas.

O SATEPSI também informa que, conforme o art. 12 da Resolução CFP nº 31/2022, usar testes com parecer desfavorável ou que constem na lista de não avaliados é falta ética, salvo em pesquisa amparada pela legislação e em situações de ensino com objetivo formativo e histórico.

Há ainda uma dimensão de justiça. A Resolução CFP nº 9/2018 (revogada pela Resolução CFP nº 31/2022) vedava produzir, validar, adaptar ou normatizar instrumentos para criar, manter ou reforçar preconceitos, estigmas ou estereótipos. Quando as normas não representam bem um grupo, interpretar escores sem cautela pode produzir exatamente esse efeito.

Caso fictício, criado para fins didáticos.

Renata, psicóloga clínica, recebe um pedido de avaliação de um homem de 68 anos, aposentado, com baixa escolaridade, encaminhado por queixas de memória. Ela tem em seu consultório um instrumento que costuma usar com adultos jovens e pensa em aplicá-lo.

Antes, abre o manual e confere a ficha síntese. Percebe que a amostra de normatização não incluiu pessoas acima de 60 anos nem com a escolaridade do avaliando. Consulta o SATEPSI e verifica o status e o prazo dos estudos. Conclui que, mesmo com parecer favorável, aquele teste não oferece referencial adequado para comparar o desempenho daquele senhor.

Renata então busca no SATEPSI instrumentos com evidências e normas para pessoas idosas, planeja entrevistas com o paciente e com um familiar e registra no prontuário as razões técnicas de cada escolha. No laudo, explica de forma clara o que cada fonte de informação permite afirmar e quais são os limites da avaliação.

O caso mostra que a psicometria não é uma etapa separada da clínica. Foi ela que evitou uma conclusão baseada num número sem referencial adequado.

• Tratar o parecer favorável como garantia de adequação: o SATEPSI atesta requisitos mínimos, não que o teste sirva para qualquer pessoa ou finalidade.
• Ignorar a amostra de normatização: comparar alguém a um grupo muito diferente distorce a interpretação.
• Confundir precisão com validade: um escore estável pode medir outra coisa.
• Adaptar a aplicação por conta própria: segundo o CFP (2022), isso compromete as qualidades psicométricas e é falta ética.
• Decidir com base em um único escore: a Cartilha do CFP desaconselha usar um só instrumento.
• Não conferir prazos: estudos de normas e validade vencem, e o teste pode deixar de ser favorável.
• Usar escalas encontradas na internet como se fossem testes aprovados: para fins do SATEPSI, escalas e inventários também são testes psicológicos.