1 Introdução

O objetivo deste artigo é mostrar que, além de definir níveis com seus pontos de corte em uma escala de proficiências, e fazer julgamentos sobre que níveis são básicos, adequados, etc, é importante acrescentar metas, isto é, qual o percentual desejado da população considerada deve estar acima de cada nível. Uma questão sempre é se essas metas fazem sentido para a população. Neste artigo, procuramos responder a essa questão, definindo uma distribuição de referência que engloba algumas propostas de níveis justificando as metas. Mostra-se que essa distribuição de referência é desejável por ter uma correspondência com a distribuição empírica dos estudantes da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) no PISA (Programa Internacional de Avaliação de Estudantes). Verifica-se que é preciso haver um consenso no país acerca da terminologia do que é básico, adequado, avançado ou outros termos. Indica-se que as metas do IDEB (Índice de Desenvolvimento da Educação Básica) deveriam ser baseadas nas distribuições de referência e que deveriam ser maiores que as atuais.

2 Diferentes propostas de níveis para o SAEB

Recentemente, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP (^{INEP, 2018a}; ^2018b) divulgou os resultados do SAEB (Sistema de Avaliação da Educação Básica) com uma interpretação das escalas de Língua Portuguesa (Leitura) e Matemática para os 5º e 9º anos do Ensino Fundamental (EF) e para a 3ª série do Ensino Médio (EM) e uma classificação de níveis, sendo insuficiente (níveis 3 e abaixo), básico (níveis 4 a 6) e adequado (níveis de 7 em diante), tanto para Língua Portuguesa (Leitura) quanto para Matemática. Mas não divulgou metas.

A Tabela 1, abaixo, indica os níveis (intervalos), com seus pontos de corte, extremo inferior do intervalo que define o nível.

Por outro lado, temos a Meta 3 do Movimento Todos pela Educação definida no final de 2006 como: “70% ou mais dos alunos da série considerada devem estar acima do ponto considerado adequado na escala do SAEB”. A Tabela 2 exibe esses pontos para o 5º e 9º anos do EF, e 3ª série do EM. Aqui temos uma definição de nível com uma meta.

Pode-se ver que os pontos de corte do nível 7 divulgados pelo SAEB são 75 pontos maiores em Leitura que os pontos adequados do Todos pela Educação. Já em Matemática são 50 pontos a mais no 5º e 9º anos do EF e 25 pontos na 3ª série do EM. Isso reflete um julgamento muito mais exigente.

Causa estranheza que os pontos de corte do nível adequado (7) sejam iguais em Leitura e Matemática, o que implica estarem os alunos brasileiros melhor em Matemática do que em Leitura, como mostra a Tabela 3, o que contraria o que se conhece da educação brasileira. Quais valores deveriam ser as metas para a população? Na divulgação, não há nenhuma menção a metas. Daremos uma resposta no final do artigo e mostraremos, com a correspondência com a distribuição empírica dos estudantes da OCDE, que, de fato, em Leitura é necessário baixar os pontos de corte em 25 pontos.

A Tabela 4 exibe os percentuais de alunos brasileiros acima dos pontos adequados do Todos pela Educação para o ano de 2017.

Apesar de seus pontos adequados serem muito menos exigentes, somente em Leitura no 5º ano do EF o país está mais perto de atingir a meta dos 70%. A situação em Matemática é pior do que em Leitura em todas as séries. Houve uma preocupação do Comitê Técnico do Todos pela Educação, do qual fazemos parte, em procurar ter metas factíveis. Além da interpretação da escala, houve uma tentativa de ter pontos de corte na “média da OCDE” no PISA. No final do artigo, daremos outra interpretação, em relação à OCDE e ao PISA.

Em 2006, publicamos um artigo na revista Ensaio (^{Klein, 2006}), na qual, na Tabela 5, apresentamos os pontos de corte para os níveis básico e satisfatório (questão de terminologia) com as seguintes metas para Matemática: 75% dos alunos acima do nível satisfatório e 100% acima do nível básico.

Houve uma concordância no julgamento de adequado ou satisfatório e de básico no 9º ano entre ^{Klein (2006)}, e na divulgação do SAEB 2017. Mas a meta de ^{Klein (2006)} sobre o nível adequado é irreal, como será visto. No Todos para a Educação, para ter os 70% acima do nível foi necessário baixar a exigência no ponto de corte, mas chamou-se esse valor mais baixo também de nível adequado.

De fato, somente no ponto 350, os alunos do 9º ano têm um melhor domínio da Álgebra: sabem resolver uma equação de 2º grau, usar o teorema de Pitágoras e outros teoremas de Geometria. No ponto 275, os alunos teriam um nível básico para o 9º ano. É a partir desse ponto que mais de 65% dos alunos sabem determinar o valor numérico de uma expressão algébrica simples ou de 1º grau envolvendo números naturais e reconhecer números inteiros negativos e números racionais na forma decimal na reta numérica.

O ponto de corte do nível 7 do 5º ano, 275, em Matemática, encontram-se entre o satisfatório e o avançado de ^{Klein (2006)}. Lembra-se que a escala é comum entre os anos escolares (séries), adicionando-se para anos escolares mais avançados habilidades relativas a esse ano escolar. O nível 250 foi considerado satisfatório por ^{Klein, 2006}, pois a partir desse ponto, em geral, os alunos do 5º ano efetuam as 4 operações (divisões exatas) e calculam percentagens simples (50%, 25%), resolvem problemas simples em que utilizam a multiplicação, localizam na reta numérica números naturais e, em situações simples, números racionais representados na forma decimal.

Mas o ponto de corte do nível 7 da 3ª série do EM é baixo (375), na interpretação da escala, tem muito pouco do EM. ^{Klein (2006)} propõe 425 (muito exigente). Neste artigo, consideraremos o ponto 400, que corresponderia ao nível 8. A partir desse ponto, em geral, entre outras habilidades, os alunos reconhecem a proporcionalidade dos elementos lineares de figuras semelhantes, utilizam o teorema de Pitágoras em figuras tridimensionais, calculam áreas e volumes de figuras tridimensionais, reconhecem gráficos de funções trigonométricas, interpretam o significado dos coeficientes da equação de uma reta, a partir de sua forma reduzida.

3 Distribuição de referência

Usando os resultados do PISA 2015 e sua interpretação de escala, criaremos uma distribuição de referência para cada série/disciplina que relacionará os pontos de corte do Todos pela Educação com os pontos de corte dos níveis propostos na divulgação do SAEB 2017, com a correção para o nível 8 em Matemática, ficando com uma diferença de 50 pontos entre as propostas dos níveis adequados do 9º ano do EF e da 3ª série do EM. Para Leitura, temos que baixar 25 pontos, considerando os níveis 6 para o 5º e 9º anos e mantendo o nível 7 para a 3ª série do EM, ficando também com uma diferença de 50 pontos entre os adequados do 9º ano do EF e da 3ª série do EM.

Achamos que nos pontos adequados do Todos pela Educação, o ponto adequado para a 3ª série do EM em Leitura, deveria ser 325 e, não, 300, ficando com uma diferença de 50 pontos para o ponto 275 do 9º ano do EF.

Indicaremos que os IDEBs, utilizando as médias das distribuições de referência são os IDEBs relativos às metas do Todos pela Educação e aproximações relativas às médias dos estudantes da OCDE em Leitura e Matemática.

Supondo-se que a distribuição de proficiências de uma série tem distribuição normal com desvio padrão 50, pode se mostrar que para se ter a probabilidade acima do ponto adequado do Todos pela Educação igual a 0,7, a distribuição normal tem que ter uma média aproximadamente igual ao ponto adequado mais 25 (meio desvio padrão). Por exemplo, no 9º ano do EF, Matemática, o ponto adequado é 300. Logo a média é 325.

De fato, esse é um fato para qualquer distribuição normal, com média m e desvio padrão s. A Tabela 6 exibe algumas probabilidades.

Por exemplo, para o 9º ano EF, Matemática, a Tabela 7 ilustra os valores para m=325 e s = 50 e a Tabela 8 ilustra para o 9º ano EF Leitura, m- 300, s=50.

Faremos agora a comparação com os resultados do PISA. A interpretação das escalas do PISA e seus níveis encontram-se em OCDE (2016). As interpretações das escalas do SAEB encontram-se em INEP (2018b).

No PISA, em Matemática, o nível 2 é considerado básico e é dado pelo intervalo (420,482). Na interpretação desse nível está escrito: “alunos sabem empregar algoritmos básicos, fórmulas, procedimentos para resolver problemas envolvendo números inteiros”. Na escala SAEB essas habilidades são descritas no nível 275.

No nível 3 do PISA (482, 545), “alunos tipicamente mostram alguma habilidade para usar percentagens, frações e números decimais, e trabalhar com relações proporcionais”. No Saeb, essas habilidades do nível 3 são descritas nos níveis 300 e 325.

Essa descrição do nível 3 é insuficiente para ser considerada o nível adequado para alunos de 15 anos, que deveria ser o nível 4 (545, 607) do PISA. Ressaltamos que o PISA não define nível adequado. O nível correspondente do SAEB é 350.

Em OCDE, 2016, os estudantes no nível 5 ou acima são considerados “top performers”. Podemos considerar o ponto de corte do nível 5 como sendo o ponto de corte do nível avançado. Mais tarde definiremos um nível avançado e faremos a correspondência com o “nível avançado” do PISA.

A Tabela 9 exibe os percentuais de estudantes da OCDE de 15 anos que, em Matemática, estão no nível 2 (básico) ou acima, no nível 4 (adequado ou acima) e no nível 5 (avançado ou acima). Pode-se ver que são 76,6% no nível básico ou acima, 29,3% no nível adequado ou acima, e 10,7% no nível avançado ou acima.

Observa-se que a Tabela 7, para o 9º ano do EF Matemática mostra que para a distribuição de referência com média 325 e desvio padrão 50, a probabilidade de estar acima de 275 (nível básico na divulgação SAEB 2017 e nível básico Pisa) é 84%, acima de 300 é 69%, acima de 325, 50%, acima de 350 (nível adequado na divulgação SAEB 2017 e nível ‘adequado’ Pisa) é 31%, acima de 375 é 16% e acima de 400 é 7%. Logo o nível 300 definido pelo Todos pela Educação está acima do nível correspondente ao nível básico do PISA, e é razoável querer 70%. Da mesma maneira, é razoável querer somente 30% para o ponto 350 definido na divulgação do SAEB e por ^{Klein 2006}. Se quiséssemos um ponto para o qual teríamos probabilidade de 95% acima dele, esse deveria ser 225 ou 250, digamos 250, para ficar somente meio desvio padrão abaixo do ponto correspondente ao básico do PISA. O ponto de corte do nível avançado do PISA estaria entre os pontos 375 e 400. Podemos definir então o ponto de corte de um nível avançado como sendo 375 ou 400, digamos 375. Observamos que estamos considerando pontos de corte do tipo m ± k*dp, k=0, 0,5, 1, 1,5, etc. onde m e dp são respectivamente a média e o desvio padrão da distribuição de referência.

Teríamos então, em relação ao Todos pela Educação: nível básico 250, meta 95% ou acima, nível adequado 300 meta 70% ou acima e nível avançado 375, meta 15% ou acima.

A distribuição empírica dos estudantes da OCDE no PISA nos mostra que é irreal querer um percentual de estudantes de 70% acima do ponto 350.

Essa distribuição de referência é o mínimo que queremos, equivalente à média da OCDE. É claro que pode ser melhor. Por exemplo, o Japão tem cerca de 46% de seus estudantes de 15 anos no nível 4 ou acima, e a Finlândia, 35%. O melhor resultado em Matemática no PISA 2015 foi de Singapura, que tem cerca de 60% de seus estudantes de 15 anos no nível 4 ou acima.

As Tabelas 10, 11 e 12 mostram que, em relação ao PISA, o Brasil só tem cerca de 30% de seus alunos no nível básico ou acima, cerca de 4% no nível “adequado” ou acima, e cerca de 1% no nível avançado ou acima.

Em Leitura, ^{Morais (2017)}, indica que o nível adequado do PISA deve ser o nível 4 (553,626). Nesse nível que ele chama de literácia argumentativa, os alunos são capazes de em algumas tarefas, interpretar o significado de nuances da linguagem em uma parte do texto, levando-se em consideração o texto como um todo e, em outras tarefas, capazes de analisar criticamente um texto. Na interpretação da escala do SAEB do 9º ano do EF, a partir do ponto 325, os alunos são capazes de, por exemplo, identificar argumento em reportagens e crônicas, reconhecer a relação de causa e consequência em contos, reconhecer diferentes opiniões entre cartas de leitor que abordam o mesmo tema. Em outras palavras são capazes de desenvolver argumentos.

No nível 2 (407,480) do PISA, por exemplo, os alunos localizam um ou mais fragmentos de informação, que podem ter inferidos ou podem satisfazer diversas condições, reconhecem a ideia principal em um texto, o entendimento de relações ou a construção de significado dentro de uma parte específica do texto, quando a informação não é proeminente e deve fazer inferências de nível baixo. Já a partir do ponto 250 da escala do SAEB, os alunos são capazes de localizar informações explícitas em crônicas e fábulas, identificar os elementos da narrativa em letras de música e fábulas, inferir tema e ideia principal em notícias, crônicas e poemas.

Na escala SAEB, o ponto adotado pelo Todos pela Educação no 9º ano, 275, exige um pouco mais, por exemplo, os alunos devem ser capazes de localizar informações explícitas em artigos de opinião e crônicas, de identificar a finalidade e elementos da narrativa em fábulas e contos e, ainda, inferir tema, tese e ideia principal em contos, letras de música, editoriais, reportagens, crônicas e artigos.

Essas correspondências aproximadas são corroboradas pelas Tabelas 13, 14, 15 e 16 que mostram os resultados equivalentes das Tabelas 9, 10, 11 e 12 de Matemática para Leitura, 9º ano EF.

A Tabela 13 mostra que em Leitura, o percentual de estudantes da OCDE no nível 2, ou acima, é de cerca de 80%, no nível 4, ou acima, de cerca de 29% e, no nível 5, ou acima, 8,3%. Novamente, a Tabela 8 mostra que para a distribuição de referência com média 300 e desvio padrão 50, a probabilidade de estar acima de 250 (básico Pisa) é 84%, acima de 275 (Todos), 69%, acima de 300, 50%, acima de 325 (nível 6 da divulgação SAEB 2017 e nível ‘adequado’ Pisa) de 31%, acima de 350, 16% e acima de 375, 0,7%. Portanto, como em Matemática, o nível adequado do Todos pela Educação em Leitura é superior ao nível básico do PISA em Leitura. E de acordo com a distribuição de referência e a correspondência com o PISA, o ponto 325 (nível 6 na divulgação do SAEB 2017) é que deve ser considerado o nível adequado.

Com o mesmo raciocínio feito em Matemática, poderíamos definir em Leitura, em relação ao Todos pela Educação: nível básico 225, meta 95% ou acima, nível adequado 275 meta 70% ou acima e nível avançado 350, meta 15% ou acima.

A distribuição empírica dos estudantes da OCDE no PISA nos mostra que é irreal querer um percentual de estudantes de 70% acima do ponto 325.

Essa distribuição de referência é o mínimo que queremos, equivalente à média da OCDE. É claro que pode ser melhor. Por exemplo, o Japão tem cerca de 37% de seus estudantes de 15 anos no nível 4 ou acima, e a Finlândia, 42%. O melhor resultado em Leitura no PISA 2015 foi de Singapura, que tem cerca de 46% de seus estudantes de 15 anos no nível 4 ou acima.

As Tabelas 14, 15 e 16 mostram que o Brasil só tem cerca de 50% de seus alunos acima do nível básico, 8% acima do nível adequado e 1,5% acima do nível avançado do PISA. Essas Tabelas mostram que o desempenho dos alunos brasileiros em Leitura foi estável no PISA em relação a 2003 e 2015, mas muito ruim no SAEB 2003. Em 2015, temos resultados comparáveis. Em Matemática, as Tabelas 10, 11 e 12 mostram que houve evolução dos resultados tanto no PISA como no SAEB e que os resultados são comparáveis.

Em coerência com esses resultados e em conjunto com a interpretação das escalas, podemos considerar as seguintes distribuições de referências para Matemática, 5º e 9º anos do EF, e para a 3ª série do EM. Na 3ª série do EM fazemos as correções dos níveis básico e adequado dos níveis 4 e 7, respectivamente, para os níveis 5 e 8 na divulgação do SAEB 2017. As Tabelas 17, 18 e 19 mostram os percentuais de alunos brasileiros com proficiência acima dos pontos de corte dos diversos níveis por dependência administrativa, respectivamente, para os 5º e 9º anos do EF e para a 3ª série do EM em Matemática.

i) 5º ano EF Matemática: média 250; básico, 175; básico na divulgação SAEB 2017, 200 (nível 4); Todos pela Educação 225; adequado na divulgação SAEB 2017, 275 (nível 7); vançado 300 (nível 8 na divulgação do SAEB 2017).

ii) 9º ano EF Matemática: média 325; básico, 250; básico na divulgação SAEB 2017, 275 (nível 4) e o correspondente do básico no PISA; Todos pela Educação 300; adequado na divulgação SAEB 2017, 350 (nível 7); avançado 375 (nível 8 na divulgação do SAEB 2017).

iii) 3ª série do EM Matemática: média 375; básico, 300; básico corrigido na divulgação SAEB 2017, 325 (nível 5); Todos pela Educação 350; adequado, corrigido na divulgação SAEB 2017, 400 (nível 8) ; avançado 425 (nível 9 na divulgação do SAEB 2017).

Fazemos o mesmo para Leitura, com as correções dos níveis básico e adequado, respectivamente de 4 e 7 para 3 e 6, nos 5º e 9º anos do EF como mencionado anteriormente. As Tabelas 20, 21 e 22 mostram os percentuais de alunos brasileiros com proficiência acima dos pontos de corte dos diversos níveis por dependência administrativa, respectivamente, para os 5º e 9º anos do EF e para a 3ª série do EM em Língua Portuguesa.

iv) 5º ano EF Leitura: média 225; básico, 150; básico corrigido na divulgação SAEB 2017, 175 (nível 3); Todos pela Educação 200; adequado, corrigido na divulgação SAEB 2017, 250 (nível 6); avançado 275 (nível 7 na divulgação do SAEB 2017).

v) 9º ano EF Leitura: média 300; básico, 225; básico, corrigido na divulgação SAEB 2017, 250 (nível 3); Todos pela Educação 275; adequado, corrigido na divulgação SAEB 2017, 325 (nível 6); avançado 350 (nível 7 na divulgação do SAEB 2017).

vi) 3ª série do EM Leitura: média 350; básico, 275; básico, na divulgação SAEB 2017, 300 (nível 4); Todos pela Educação modificado 325; adequado, na divulgação SAEB 2017, 375 (nível 7); avançado, 400 (nível 8 na divulgação do SAEB 2017).

O nível 4, 300, da divulgação SAEB 2017 corresponde ao ponto adequado do Todos pela Educação.

Pode-se ver nessas tabelas que a situação é pior em Leitura que em Matemática em todos os anos escolares, e que a situação piora com o aumento da série. Os melhores resultados são os da rede federal, que é muito pequena. A rede privada só atinge a meta do Todos pela Educação no 5º ano do EF em Leitura.

4 IDEB

O IDEB (^{Fernandes, 2008a}), e suas metas têm, hoje, um papel muito importante na educação básica no Brasil. O IDEB reúne em um único índice, para cada segmento da Educação Básica, Anos Iniciais, Anos Finais e Ensino Médio, uma medida de movimentação escolar e da qualidade da educação. O IDEB é o produto da taxa de aprovação no segmento e de uma padronização das proficiências do SAEB, em Leitura e em Matemática, no final do segmento em uma escala de 0 a 10.

Para definir as metas do IDEB, ^{Fernandes (2008b)} fez uma comparação entre os resultados do 9º ano do SAEB e o PISA em 2003. A ideia de Fernandes foi obter o valor do IDEB que corresponderia à média dos países da OCDE supondo uma taxa de aprovação de 0,96. Para isso, Fernandes calculou, para cada disciplina, a proporção de alunos brasileiros na avaliação do PISA acima da média dos países da OCDE e encontrou o valor na escala de proficiências do SAEB que corresponde a essa proporção. Esse valor corresponderia à média da OCDE, na disciplina, na escala do SAEB.

Fernandes empregou as mesmas proporções obtidas para o 9º ano do EF para o 5º ano do EF e para a 3ª série do EM para obter os ‘valores correspondentes na escala SAEB’ às médias da OCDE.

Esses valores foram utilizados para definir as metas do IDEB iguais a 6 para 2022 nos Anos Iniciais, para 2026 nos Anos Finais e para 2029 no Ensino Médio.

Os IDEBs obtidos por Fernandes estão na Tabela 23.

Usando a mesma metodologia de Fernandes para os resultados do SAEB e PISA 2015, obtemos os IDEBs exibidos na Tabela 24. Observa-se que são maiores que os obtidos com os resultados de 2003, especialmente no 5º ano do EF. Isso indica que as metas do IDEB deveriam ser maiores que as atuais.

Tendo as distribuições de referência, faz sentido definir as metas do IDEB baseado nas médias dessas distribuições, que correspondem às metas do Todos pela Educação ou às metas associadas aos níveis corrigidos da divulgação do SAEB 2017 propostas nesse artigo. Dessa maneira teríamos equivalência entre as 3 metas. Além disso, a definição da meta dessa forma não depende do ano de comparação entre o SAEB e o PISA.

A média da distribuição de referência no 9º ano do SAEB é uma boa correspondência aproximada da média dos estudantes da OCDE. Em 2003, a média dos estudantes da OCDE foi de 489 em Matemática e de 488 em Leitura, portanto maior que a média dos pontos de corte dos níveis 2 e 4, que é o ponto de corte do nível 3, 482 em Matemática e 480 em Leitura.

No entanto, em 2015, se considerarmos somente os 30 países integrantes da OCDE em 2003, as médias caem para 479 em Matemática e permanecem estáveis em Leitura em 488. Se considerarmos todos os atuais países integrantes da OCDE em 2015, as médias são 478 e 487.

Como vemos essas médias não são fixas, dependem do ano.

Os pontos de corte dos níveis correspondente no SAEB em Matemática ao nível 2, básico, do PISA, e do nível 4 no 9º ano são, respectivamente, 275 e 350. Logo sua média é 312,5, que seria o “equivalente” ao ponto de corte do nível 3 do PISA. Em 2003. Esse valor seria menor que a “média correspondente” da OCDE e é ¼ de um desvio padrão do SAEB menor que a média de referência de 325 para o 9º ano em Matemática. Talvez essa média de referência seja um pouco maior que essa “média correspondente” da OCDE. Mas é um valor fixo, que não depende do ano.

O mesmo argumento se aplica a Leitura.

A Tabela 25 exibe os IDEBs para as médias das distribuições de referência. Como podem ser vistas, as metas do IDEB deveriam ser mais altas, pelo menos 6,5.

5 Conclusão

Mostramos a necessidade de junto com um julgamento de mérito (por exemplo, níveis básico e adequado) haver metas e uma distribuição de referência, se possível, ancorada a uma distribuição empírica de uma população alvo. No artigo utilizou-se a população dos estudantes dos países pertencentes a OCDE.

Mostramos que há necessidade de se construir um consenso sobre terminologia dos níveis, que as metas do Todos pela Educação são razoáveis e que só precisam de uma correção na 3ª série EM em Leitura, não havendo discordância com os níveis da divulgação do SAEB 2017, desde que se definam corretamente as metas para cada nível e de que sejam feitas as correções necessárias.

Indicamos que as metas do IDEB deveriam ser mais altas e consistentes em relação às metas do Todos pela Educação.

Mostramos uma correspondência aproximada entre as distribuições de referência com as distribuições empíricas do PISA.