TRATA-SE DE ANALISAR PROFICIÊNCIAS, E NÃO NOTAS

No meu texto inicial (^{Hoffmann, 2025}) não ressaltei que toda análise estatística deve ser feita utilizando as proficiências, obtidas a partir das respostas às questões das provas usando a Teoria da Resposta ao Item (TRI), e não as notas das provas. Pior: achei que podia usar “notas” como sinônimo de “proficiências”. Não usei o termo técnico apropriado, mas não tenho nenhuma dúvida de que devemos analisar as proficiências. A comparação de notas de provas distintas é inapropriada porque há, em geral, diferentes graus de dificuldade nas questões. O desenvolvimento e aplicação da TRI foi um progresso fundamental. Mas os comentários do Prof. ^{Delgado (2025}) chamaram minha atenção sobre uma outra questão: o fato de ser razoável admitir que as proficiências tenham as propriedades de uma escala intervalar (na qual é válido comparar grandezas de intervalos), mesmo que as notas das provas sejam apenas ordinais. Sendo válidos os princípios teóricos da TRI, as proficiências obedecerão, sim, a uma escala inter- valar. Mas isso torna ainda mais apropriado usar a média, o desvio padrão e o índice de Gini das proficiências como medidas de tendência central, dispersão e desigual- dade, respectivamente.

NÃO CONFUNDIR DISPERSÃO COM DESIGUALDADE

O índice de Gini, o T de Theil e o coeficiente de variação são medidas da desigualdade de uma distribuição, e não da sua dispersão. Considero relevante distinguir desigual-dade de dispersão. A variância, o desvio padrão e a diferença absoluta média são medidas de dispersão. Note-se que essas medidas mudam quando se altera a unidade de medida da variável. No caso do coeficiente de variação (a razão entre o desvio padrão e a média) e do índice de Gini (que pode ser definido como a razão entre a diferença absoluta média e o dobro da média), a medida de desigualdade se confunde com a medida da dispersão relativa. Uma medida de desigualdade deve ser insensível à mudança na unidade de medida, garantindo que a desigualdade da distribuição da renda em um país não dependa de a renda das pessoas ser medida em reais ou em dólares.

A divergência de Kullback-Leibler não é afetada pela unidade de medida da variável (x _i ), mas ela não é uma medida de desigualdade. Já ficou claro que tanto mudanças na média como mudanças positivas ou negativas na desigualdade levam a divergências de Kullback-Leibler positivas.

Consideremos uma distribuição normal com média 300 e desvio padrão 60 e uma outra distribuição normal com média 200 e desvio padrão 40. Uma vez que tanto a média como o desvio padrão da segunda distribuição são iguais a 2/3 do valor do parâmetro correspondente na primeira distribuição, a desigualdade é a mesma nas duas distribuições. Mas a divergência de Kullback-Leibler da segunda para a primeira distribuição é igual a 3,34, mostrando que essa divergência não pode ser usada para comparar a desigualdade de duas distribuições.

O T DE THEIL NÃO É UM CASO ESPECIAL DA DIVERGÊNCIA DE KULLBACK-LEIBLER

Considerem-se duas distribuições discretas de uma variável com valores x _i (i = 1, ... n) com probabilidades Q(  x _i ) e P(  x _i ) para cada um dos diferentes valores de x _i . Por definição, a divergência de Kullback-Leibler de Q para P, ou ganho de informação quando se passa da distribuição Q para a distribuição P, é dada por

É certo que Henry ^{Theil, no livro Economics and information theory, publicado em 1967}, mostra como se inspirou nessa fórmula para criar o que hoje é conhecido como a medida de desigualdade T de Theil. A fórmula matemática do T de Theil é muito semelhante a (1): se i = 1, ... n indica as pessoas de uma população, basta substituir P(  x _i ) pela participação de cada pessoa na renda total e Q(  x _i ) por 1/n, que é a participação de cada pessoa na população. Note-se que as variáveis envolvidas são outras. Então não cabe considerarmos o T de Theil um caso particular ou um caso especial de (1), como afirma e tenta demonstrar ^{Delgado (2025}). A expressão matemática da Lei de Coulomb é muito semelhante à expressão matemática da Lei de Gravitação de Newton: basta substituir, nesta última, as massas pelas cargas elétricas e ajustar a constante de proporcionalidade. Mas não me parece razoável concluir daí que a Lei de Coulomb seja um caso particular da Lei de Gravitação de Newton.

O T de Theil é, sim, um caso especial de uma medida geral de desigualdade derivada da teoria da informação. Para uma população com valores de uma variável x _i , com i = 1, 2, ..., n, sendo no μ a sua média e sendo ε um parâmetro, essa medida geral é

Pode-se demonstrar que o T de Theil é o caso especial dessa medida geral de desigualdade quando ε tende a zero (ver ^{Hoffmann et al., 2019}, seção 6.2). Se estamos avaliando a desigualdade de uma distribuição da renda, x _i é, em geral, a renda de uma pessoa. Sendo x _i a proficiência de um aluno em determinada disciplina, a expressão (2) fornece medidas da desigualdade educacional entre alunos. Se a população de alunos estiver dividida em grupos, a medida S pode ser dividida em uma medida da desigualdade entre os grupos e uma medida da desigualdade dentro dos grupos.

FUI DEMASIADAMENTE ENFÁTICO?

Sim, minha recomendação de abandonar o uso da divergência de Kullback-Leibler na análise de proficiências (^{Hoffmann, 2025}) é, certamente, um exagero. Fui levado a ela como reação à ideia de que não se deveriam usar, na análise das proficiências, medidas usuais de desigualdade e que o uso da medida de Kullback-Leibler seria uma ótima maneira de fazer as comparações necessárias com clareza.

Para, mais uma vez, tentar deixar clara minha opinião, considere-se a comparação entre Brasil e Sobral no desempenho em matemática apresentada na Figura 2 de ^{Delgado (2025}). Basta olhar a Figura 2-a para concluir que o desempenho é substancialmente melhor em Sobral. Imagine que não fosse apresentada a Figura 2 e fosse informado apenas o valor (0,058) da divergência de Kullback-Leibler. Não ficaríamos sabendo nem se havia diferença na proficiência média das duas distribuições e não poderíamos concluir nada sobre o desempenho em Sobral ser pior ou melhor do que no Brasil. Imagine, agora, ainda, que não fosse apresentada a Figura 2, mas fossem informados os valores da média, do desvio padrão e do índice de Gini das duas distribuições. O índice de Gini não é essencial, pois o coeficiente de variação já seria uma medida da desigualdade facilmente calculada. Não teríamos, então, as informações cruciais para comparar as duas distribuições, usando medidas amplamente conhecidas? No que ajudaria acrescentar a divergência de Kullback-Leibler?

É óbvio que a situação é diferente se o analista é um estatístico com experiência na obtenção e interpretação da densidade relativa e nesse caso certamente não tenho nenhuma objeção ao cálculo da divergência de Kullback-Leibler (usual nesse contexto).

DUAS ILUSTRAÇÕES

A Tabela 1 mostra a evolução de medidas de tendência central, dispersão e desigualdade da distribuição da proficiência em matemática de alunos do 5^o ano do ensino fundamental, conforme dados do Sistema de Avaliação da Educação Básica (Saeb) para 2019, 2021 e 2023.

A explicação óbvia para a queda da proficiência média de 2019 a 2021 é a pandemia de covid-19 e a consequente interrupção de aulas regulares. Note-se que, apesar da recuperação de 2021 a 2023, a média em 2023 ainda fica abaixo da média em 2019. As três medidas de desigualdade - o coeficiente de variação (CV), o índice de Gini e o T de Theil - mostram aumento da desigualdade de 2019 a 2023. É claro que há muita coisa para investigar. A proficiência em língua portuguesa mostra o mesmo tipo de evolução? Há diferenças entre regiões do país? Entre escolas públicas e privadas? O que quero deixar claro é que o uso de medidas usuais de tendência central, dispersão e desigualdade da distribuição das proficiências mostra claramente a evolução de aspectos fundamentais do desempenho dos alunos.

Como ilustração adicional, a Tabela 2 apresenta as características da distribuição da proficiência em matemática de alunos do 5^o ano do ensino fundamental, conforme dados do Saeb para 2023 em oito estratos de nível socioeconômico da família do aluno. Essa classificação conforme nível socioeconômico está disponível nos microdados do Saeb (Inep, 2023). Note-se como a proficiência média cresce sistematicamente com o nível socioeconômico, mostrando que parte da desigualdade nas proficiências se deve à desigualdade de oportunidades. As proficiências são condicionadas pelo nível socioeconômico da família, que não depende do próprio aluno. Pode-se verificar, também, que as quatro medidas de desigualdade apresentadas na Tabela 2 tendem a decrescer sistematicamente à medida que cresce o nível socioeconômico.

Vamos dar destaque às medidas T e L de Theil porque são as únicas medidas em que, quando a população é dividida em categorias, a desigualdade total pode ser decomposta em uma medida da desigualdade entre as categorias e uma medida da desigualdade dentro das categorias, que é uma média ponderada das medidas de desigualdade dentro de cada categoria. No caso da medida L, os fatores de ponderação são as participações das categorias na população e, para a medida T, esses fatores de ponderação são as participações das categorias no valor total da variável (total das proficiências). Para os oito estratos de nível socioeconômico considerados na Tabela 2, o T geral é 0,0286, com 0,0252 (88,0% do geral) referente à desigualdade dentro dos estratos e 0,0034 (12,0% do geral) referente à desigualdade entre estratos. O L geral é 0,0297, com 0,0263 (88,4% do geral) referente à desigualdade dentro dos estratos e 0,0034 (11,6% do geral) referente à desigualdade entre os estratos. Embora a parcela referente à desigualdade entre estratos seja relativamente pequena, ela merece atenção especial por ser parte evidente da desigualdade de oportunidades.

SÍNTESE E QUESTÕES PARALELAS

Defendo o uso de medidas bem conhecidas de tendência central, dispersão e desigualdade na comparação entre distribuições de proficiências. Não vejo vantagem em usar a divergência de Kullback-Leibler. O uso das curvas de densidade relativa pode ser útil, mas é claramente uma metodologia menos conhecida e há muitos outros tipos de gráficos interessantes, como, por exemplo, as curvas de quantis.

Quais são as comparações relevantes é outro problema. Comparações entre categorias socioeconômicas são fundamentais para avaliar a desigualdade de oportunidades.

Obviamente não contesto a relevância de ter uma distribuição de proficiências de referência (uma meta que direciona os esforços para melhorar).

Comentando as distribuições relativas e a medida de Kullback-Leibler, ^{Delgado (2025}, p. 12) afirma que “tal medida é suficiente no sentido estatístico, isto é, carrega toda a informação necessária para a obtenção dos parâmetros descritores de P e Q”. O assunto é complicado, mas essa afirmativa é falsa. A medida de Kullback-Leibler é suficiente apenas para um teste de razão de verossimilhança destinado a verificar se as duas distribuições são ou não diferentes, e nem mesmo o conhecimento da distribuição relativa permite determinar os parâmetros das duas distribuições.

Se soubermos que ambas são distribuições normais, o conhecimento da distribuição relativa permite estabelecer relações entre as médias e as variâncias de P e Q; contudo, nem mesmo nesse caso especial é possível determinar os valores numéricos das duas médias e das duas variâncias.