SciELO - Scientific Electronic Library Online

 
vol.34EVALUACIONES DE LA EDUCACIÓN BÁSICA EN MUNICIPIOS DE CEARÁ: 30 AÑOS DE HISTORIADESCRIPCIÓN DE LA COMPETENCIA LECTORA EN LA EDUCACIÓN BÁSICA índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.34  São Paulo  2023  Epub 24-Abr-2023

https://doi.org/10.18222/eae.v34.9044 

Artigos

LETRAMENTO EM MATEMÁTICA DOS ALUNOS BRASILEIROS DO 2o ANO DO ENSINO FUNDAMENTAL

ALFABETIZACIÓN EN MATEMÁTICAS DE LOS ESTUDIANTES BRASILEÑOS DEL 2º AÑO DE LA EDUCACIÓN BÁSICA

MATHEMATICAL LITERACY OF BRAZILIAN 2ND GRADE STUDENTS

STELLA MARIS LEMOS NUNESI 
http://orcid.org/0000-0003-0920-1012

MARIA TERESA GONZAGA ALVESII 
http://orcid.org/0000-0001-5820-4311

IUniversidade Federal dos Vales do Jequitinhonha e Mucuri (UFVJM), Diamantina-MG, Brasil; stella.nunes@ufvjm.edu.br

IIUniversidade Federal de Minas Gerais (UFMG), Belo Horizonte-MG, Brasil; mtga@ufmg.br


RESUMO

O artigo analisa o modo como o Sistema de Avaliação da Educação Básica (Saeb) do 2o ano do ensino fundamental avaliou o componente matemática em 2019 a partir da adoção da Base Nacional Curricular Comum. Para isso, discutimos o conceito de letramento matemático e analisamos o alinhamento entre a matriz de referência do Saeb com sua escala de proficiência e os resultados dos alunos. Encontramos lacunas no teste em relação a algumas habilidades da matriz de referência que impedem uma avaliação mais completa do letramento matemático. Mostramos que há uma porcentagem alta de alunos nos níveis mais baixos da escala de proficiência, mas não existe uma interpretação pedagógica dessa escala que permita avaliar a partir de qual nível o letramento matemático pode ser considerado adequado.

PALAVRAS-CHAVE: AVALIAÇÃO DA EDUCAÇÃO; ENSINO DE MATEMÁTICA; MATRIZES DE REFERÊNCIA; PROFICIÊNCIA

RESUMEN

El artículo analiza el modo en el que el Sistema de Avaliação da Educação Básica [Sistema de Evaluación de Educación Básica] (Saeb), que corresponde al 2o año de la educación básica, evaluó el componente matemáticas en 2019 desde que se adoptó la Base Nacional Curricular Común. Para ello, discutimos el concepto de letramiento matemático y analizamos la alineación entre la matriz de referencia de Saeb con su escala de competencia y los resultados de los alumnos. Encontramos lagunas en la prueba y en lo que se refiere a algunas habilidades de la matriz de referencia que impiden una evaluación más completa del letramiento matemático. Mostramos que hay un alto porcentaje de estudiantes en los más bajos niveles de la escala de competencia, pero no existe una interpretación pedagógica de dicha escala que nos permita evaluar el nivel a partir de qué el letramiento matemático se puede considerar adecuado.

PALABRAS CLAVE: EVALUACIÓN EDUCATIVA; LETRAMIENTO MATEMÁTICO; MATRIZ DE REFERENCIA; PROFICIENCIA

ABSTRACT

The present article analyzes how the Sistema de Avaliação da Educação Básica [System for the Evaluation of Basic Education] (Saeb), with the 2nd grade of elementary school, evaluated mathematics component in 2019 following the adoption of the Base Nacional Curricular Comum [Common National Curricular Base]. To do this, we discussed the concept of mathematical literacy and analyzed the alignment between SAEB’s reference matrix with its proficiency scale and students’ results. We found gaps in the test regarding some skills of the reference matrix, that would hinder a more complete evaluation of mathematical literacy. We showed that there is a high percentage of students at the lower levels of the proficiency scale, but there is no pedagogical interpretation of this scale that allows us to assess at what level mathematical literacy can be considered adequate.

KEYWORDS: EDUCATIONAL EVALUATION; MATHEMATICAL LITERACY; REFERENCE MATRIX; PROFICIENCY

INTRODUÇÃO

As avaliações educacionais em larga escala desempenham um papel importante na análise da qualidade dos sistemas educacionais e na elaboração e avaliação das políticas públicas (Lockheed, 1996; König, 2007). Elas também são utilizadas para descrever e monitorar as tendências de aprendizado ao longo do tempo e explorar fatores escolares que podem estar relacionados ao desempenho dos alunos com vistas a promover sua melhoria (Castro, 2007; Soares, 2007).

O Brasil conta com um sistema diversificado de avaliação educacional, que se consolidou a partir dos anos 1990 (Bonamino & Franco, 1999). O Sistema de Avaliação da Educação Básica (Saeb), realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), é o mais abrangente e se tornou um parâmetro para outras avaliações no país (Brooke et al., 2015).

Desde 2007, o Saeb passou a ocupar um papel crucial para o monitoramento do Plano de Desenvolvimento da Educação (PDE), que estabeleceu como suas primeiras diretrizes “a aprendizagem, apontando resultados concretos a atingir” e “alfabetizar as crianças até, no máximo, os oito anos de idade, aferindo os resultados por exame periódico específico” (Decreto Presidencial n. 6.094, 2007, art. 2o, incisos I e II). Nesse sentido, em 2012, o governo federal instituiu o Pacto Nacional pela Alfabetização na Idade Certa (Pnaic) (Portaria n. 867, 2012). Na sequência, o Inep criou a Avaliação Nacional da Alfabetização (ANA) de estudantes do 3o ano do ensino fundamental (EF), vinculada ao Saeb, para monitorar os resultados da alfabetização. Os objetivos do PDE e do Pnaic foram posteriormente incorporados ao Plano Nacional da Educação (PNE) para o decênio 2014 a 2024 (Lei n. 13.005, 2014). A quinta meta do PNE objetiva “alfabetizar todas as crianças, no máximo, até o final do 3o ano do ensino fundamental” (Inep, 2020a, p. 127).

Essa meta foi inicialmente acompanhada pela ANA, aplicada em 2013, 2014 e 2016. O relatório do 3o ciclo de monitoramento das metas do PNE, elaborado pelo Inep, mostrou que 54,7% dos alunos que fizeram a ANA 2016 atingiram até o nível 2 da escala de leitura, que tem quatro níveis; em matemática, 55,5% atingiram até o nível 2 de uma escala também com quatro níveis; e, em escrita, 33,8% atingiram o nível 3 de uma escala com cinco níveis (Inep, 2020a).

Entretanto esse relatório não apresentou uma definição oficial do nível que o estudante deve estar na escala ANA para ser considerado alfabetizado de acordo com a meta do PNE. Alternativamente, o Anuário Brasileiro de Educação, publicado pela organização Todos pela Educação considera alfabetizada - ou nível suficiente de proficiência - a criança que atingiu o nível 3 em leitura e matemática e o nível 4 em escrita na ANA (Todos pela Educação, 2018). Por esse critério não oficial, a meta 5 do PNE estava distante em 2016, uma vez que cerca da metade dos estudantes do 3o ano do EF não estavam alfabetizados.

Em 2019, a avaliação da alfabetização no Saeb foi antecipada para o 2o ano, com a justificativa de que a Base Nacional Comum Curricular (BNCC), aprovada em 2017, passou a considerar esse ano escolar como o final do ciclo de alfabetização (Inep, 2019). A BNCC é um documento de caráter normativo que, em conformidade com o PNE, define o conjunto de aprendizagens essenciais que devem ser desenvolvidas durante a educação básica (Resolução CNE/CP n. 2, 2017).

Além de referência para a elaboração dos currículos, a BNCC tem o objetivo de alinhar as políticas educacionais para o desenvolvimento da educação, entre elas as avaliações educacionais. O Saeb do 2o ano do EF, além do diagnóstico mais precoce da alfabetização, utilizou uma matriz de referência preliminar baseada na BNCC para a construção de seus itens (Inep, 2019). Porém a adoção dessa matriz em 2019 pode ter sido um problema para alguns sistemas de ensino. Segundo o Observatório Movimento pela Base, em 2020 - ou seja, após a aplicação do Saeb -, 12% dos municípios ainda não tinham homologado o novo currículo para o EF (Movimento pela Base, 2023).

O alinhamento entre os vários componentes das avaliações em larga escala é uma das questões de validade que mais preocupam os gestores educacionais. Isso envolve compreender as conexões entre as matrizes de referência, a elaboração dos itens do teste, as escalas de proficiência, os padrões de desempenho e a interpretação de seus resultados (Forte, 2017). Esse alinhamento possibilita que as avaliações educacionais se tornem informações úteis que orientem as intervenções pedagógicas.

Tendo em vista que o conhecimento da matriz de referência é crucial para compreender o que é avaliado no Saeb, e que muitas escolas ainda não estavam seguindo o novo currículo pautado na BNCC, este artigo coloca as seguintes questões de pesquisa: como a matriz de referência se materializa nos testes cognitivos do Saeb em relação ao letramento em matemática? Qual a situação do letramento em matemática dos estudantes brasileiros do 2o ano do EF em relação à versão preliminar da matriz de referência baseada na BNCC?

Delimitamos o letramento em matemática por ser a área que vem apresentando menos avanços no aprendizado nas avaliações realizadas nos anos iniciais do EF (Fontanive et al., 2010; Alves & Ferrão, 2019; Alves & Marassi, 2019; Souza et al., 2019). A matemática é uma área de conhecimento bastante dependente da escola, cujo aprendizado começa de forma mais lenta, se acelerando depois e fazendo seu atraso mais difícil de ser recuperado posteriormente (Brooke et al., 2014; Ortigão & Oliveira, 2016).

Além desta introdução, neste artigo apresentamos uma síntese do conceito de letramento em matemática e seu uso nas avaliações em larga escala. Em seguida explicamos o desenho metodológico do Saeb do 2o ano do EF e comparamos as habilidades da matriz de referência de matemática com as sentenças descritoras associadas aos níveis da escala de proficiência. Depois, descrevemos os níveis de letramento em matemática dos alunos brasileiros e discutimos possíveis lacunas no teste quanto à avaliação de algumas habilidades da matriz de referência.

O LETRAMENTO EM MATEMÁTICA NAS AVALIAÇÕES EM LARGA ESCALA

O conceito de letramento

A inserção do indivíduo no mundo da escrita se dá por meio da aquisição de uma tecnologia - a alfabetização - e por meio do desenvolvimento de competências (habilidades, conhecimentos, atitudes) de uso efetivo dessa tecnologia em práticas sociais que envolvem a língua escrita - que se chama letramento (Soares, 2003a). Essa noção foi introduzida no campo educacional a partir de meados da década de 1980, quando simultaneamente ocorreu “a invenção do letramento no Brasil, do illettrisme, na França, da literacia, em Portugal, para nomear fenômenos distintos daquele denominado alfabetização” (Soares, 2003b, p. 6, grifos do autor). Na mesma época, nos Estados Unidos e na Inglaterra, a palavra literacy, embora dicionarizada anteriormente, ganhou atenção. Nessa concepção, uma pessoa “letrada” deve ter competência e/ou habilidade para fazer uso da alfabetização. Torna-se importante, portanto, compreender o significado da palavra competência. Na BNCC, “competência é definida como a mobilização de conhecimentos (conceitos e procedimentos), habilidades (práticas, cognitivas e socioemocionais), atitudes e valores para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania e do mundo do trabalho” (Ministério da Educação, 2018 , p. 8).

A BNCC tem o foco no desenvolvimento de competências. Isso significa que:

As decisões pedagógicas devem estar orientadas para o desenvolvimento de competências. Por meio da indicação clara do que os alunos devem “saber” (considerando a constituição de conhecimentos, habilidades, atitudes e valores) e, sobretudo, do que devem “saber fazer” (considerando a mobilização desses conhecimentos, habilidades, atitudes e valores para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania e do mundo do trabalho). (Ministério da Educação, 2018, p. 13).

A falta de consenso em torno das concepções de letramento, bem como a forma de avaliá-lo, não é recente (Bonamino et al., 2002; Soares, 1999; Soares, 2003a). Soares (2003b) defende a especificidade e indissociabilidade entre os processos de alfa- betização e letramento, além de destacar a importância do desenvolvimento da alfabetização em um contexto de letramento. Ressalta que no Brasil esses dois conceitos frequentemente se mesclam e se confundem, mas reconhece que eles têm dimensões ou “facetas” diferentes.

Transitando nesse cenário para o contexto da matemática, o que significa letramento matemático? Segundo Fonseca (2004) o uso do termo alfabetismo, ou daquele que tem sido utilizado com mais frequência no Brasil, letramento, é decorrente da nova realidade social do início do milênio, em que a tecnologia do saber ler ou escrever não mais é suficiente. É preciso, portanto, ser capaz de mobilizar essa tecnologia em práticas sociais que envolvem a língua escrita. A autora relaciona a matemática a essas demandas, no sentido em que as habilidades matemáticas têm sido cada vez mais incorporadas à concepção de alfabetismo, refletindo extensão, diversificação e sofisticação “das demandas de leitura e escrita a que o sujeito deve atender para ser considerado funcionalmente alfabetizado” (Fonseca, 2004, p. 13).

No Brasil, numeramento é o termo utilizado para fazer a distinção, na educação matemática, das dimensões de um fenômeno próprio da matemática, especialmente nas proposições, análises e avaliações de jovens e adultos (Fonseca, 2009; Ribeiro & Fonseca, 2010; Galvão & Nacarato, 2013). Dessa forma, as práticas de numeramento são consideradas práticas de letramento, e o conceito de numeramento é entendido como uma dimensão do letramento (Fonseca, 2009).

Uma das avaliações em larga escala de maior expressividade internacional - o Programa Internacional de Avaliação de Estudantes (em inglês: Programme for International Student Assessment - Pisa) - tem por base o conceito de letramento ou competência (utilizados como tradução do termo literacy) em cada um dos domínios avaliados (Organisation for Economic Co-operation and Development [OECD], 2019).1 Em relação à matemática, o letramento refere-se à:

. . . capacidade individual de formular, empregar e interpretar a matemática em uma variedade de contextos. Isso inclui raciocinar matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas matemáticos para descrever, explicar e prever fenômenos. Isso auxilia os indivíduos a reconhecer o papel que a matemática desempenha no mundo e faz com que cidadãos construtivos, engajados e reflexivos possam fazer julgamentos bem fundamentados e tomar as decisões necessárias. (OECD, 2017, p. 67, tradução nossa).2

O conceito de letramento do Pisa está relacionado a um uso abrangente da matemática que enfatiza competências necessárias à vida. Dessa forma, o letramento é avaliado em três dimensões: o conteúdo matemático, os processos e os contextos. O conteúdo é categorizado em quatro subáreas: espaço e forma; mudanças e relações; quantidade; e incerteza. Os processos referem-se a três grupos de competências matemáticas gerais que os alunos utilizam na resolução dos problemas: reprodução, conexão e reflexão. Por fim, os problemas apresentados pelo Pisa se relacionam de duas maneiras com o mundo real: eles existem em situações relevantes para o estudante; e cada situação, por sua vez, apresenta um problema que tem um contexto mais específico. Portanto os três componentes do domínio da matemática são de naturezas distintas. Enquanto as situações ou contextos definem onde e como os problemas se apresentam no mundo real, as subáreas do conteúdo matemático expressam um olhar matemático para a realidade e as competências matemáticas formam o núcleo do letramento matemático.

O Trends in International Mathematics and Science Study (TIMSS) é outra referência internacional importante na avaliação do letramento em matemática.3 A base conceitual do TIMMS está organizada em duas dimensões: as áreas do conteúdo e os processos cognitivos (que são de três tipos: conhecer, aplicar e raciocinar). Sinteticamente, o primeiro processo cognitivo envolve o conhecimento dos fatos, conceitos e procedimentos que os alunos precisam saber; o segundo refere-se à capacidade que o aluno tem de aplicar seu conhecimento para resolver problemas do dia a dia; e o terceiro cobre o raciocínio dedutivo ou indutivo, baseado em padrões ou regularidades que permitem responder aos problemas (Mullis & Martin, 2017).

A BNCC se inspira no Pisa para definir o letramento matemático nos seguintes termos:

O Ensino Fundamental deve ter compromisso com o desenvolvimento do letramento matemático,4 definido como as competências e habilidades de raciocinar, representar, comunicar e argumentar matematicamente, de modo a favorecer o estabelecimento de conjecturas, a formulação e a resolução de problemas em uma variedade de contextos, utilizando conceitos, procedimentos, fatos e ferramentas matemáticas. É também o letramento matemático que assegura aos alunos reconhecer que os conhecimentos matemáticos são fundamentais para a compreensão e a atuação no mundo e perceber o caráter de jogo intelectual da matemática, como aspecto que favorece o desenvolvimento do raciocínio lógico e crítico, estimula a investigação e pode ser prazeroso (fruição). (Ministério da Educação, 2018, p. 266).

Entretanto, o modo como o letramento matemático foi incorporado na BNCC gerou controvérsias. Arruda et al. (2020), por exemplo, destacam a importância da BNCC como um instrumento valioso na formação do letramento matemático no EF, mostrando a relação entre suas competências e a concepção de letramento adotada no Pisa (OECD, 2019). Porém Passos e Nacarato (2018) não acreditam que a BNCC terá impacto nas práticas docentes e tampouco resolverá os problemas do ensino e da aprendizagem da matemática. Parece haver pouco entendimento a respeito das competências gerais da matemática na BNCC, o que aponta a necessidade de uma análise mais minuciosa, que se desdobre sobre “as habilidades específicas das unidades temáticas e seus objetos de conhecimento” (Arruda et al., 2020, p. 205).

Uma vez que a BNCC deve também orientar as avaliações educacionais, a transposição dessa definição de letramento matemático para a avaliação educacional em larga escala é uma tarefa complexa. Na edição do Saeb 2019, a adequação do Saeb à BNCC foi realizada por meio de uma versão preliminar da matriz de referência de matemática testada somente no 2o ano do EF (Inep, 2019). A próxima seção descreve como foi essa avaliação.

A avaliação do letramento em matemática no Saeb - 2º ano do ensino fundamental

Para organizar uma avaliação externa do letramento matemático é necessário definir o que deve ser avaliado nessa competência. Nos documentos que orientam o Saeb, à luz da BNCC, o letramento matemático foi definido como a “compreensão e aplicação de conceitos e procedimentos matemáticos na resolução de problemas nos campos de Números, Álgebra, Geometria, Grandezas e Medidas e Probabilidade e Estatística, bem como na argumentação acerca da resolução de problemas” (Inep, 2019, p. 84).

No Saeb do 2o ano do EF, os itens dos testes foram elaborados de acordo com as matrizes de referência atualizadas e, de forma preliminar, alinhadas com a BNCC. A matriz de referência de matemática foi organizada em duas dimensões: dois eixos cognitivos e cinco eixos do conhecimento. Os eixos cognitivos são: compreender e aplicar conceitos e procedimentos; e resolver problemas e argumentar. Eles são resultado de uma síntese das dez competências gerais da BNCC e de sete das oito competências específicas da matemática (Inep, 2019, p. 77). Os eixos do conhecimento são números, álgebra, grandezas e medidas; geometria; e probabilidade e estatística, que correspondem às unidades temáticas da BNCC.

Cabe observar que a matriz constituída por apenas dois eixos cognitivos apresenta uma visão mais empobrecida do letramento matemático quando comparada aos modelos conceituais do Pisa e do TIMSS. No conceito de letramento do Saeb, o problema já se apresenta em termos matemáticos, portanto o aluno não passa pela etapa de formulação. No Pisa, a definição de letramento matemático apresenta uma etapa anterior, que se refere à formulação de um problema do mundo real em um problema matemático. Essa matriz preliminar deverá passar por várias etapas de validação, que são necessárias para garantir a qualidade técnica dos instrumentos da avaliação (Inep, 2020b).

Na matriz de referência de matemática estão descritas 33 habilidades. O eixo de conhecimento “números” tem oito habilidades no primeiro eixo cognitivo e três no segundo; o eixo “grandezas e medidas”, sete e três habilidades, respectivamente; “geometria” e “probabilidade e estatística” têm, cada, três e uma habilidade em cada eixo cognitivo, respectivamente; e “álgebra” tem apenas quatro habilidades no primeiro eixo cognitivo.

As habilidades têm rótulos que identificam o ano escolar, o eixo do conhecimento, o eixo cognitivo e uma identificação única numérica. Os eixos de conhecimento são identificados por letras: N (números), A (álgebra), G (geometria), M (grandezas e medidas) e E (probabilidade e estatística). Dessa forma, no rótulo 2N1.i, o primeiro número indica a etapa escolar (2o ano do EF), a primeira letra se refere ao eixo do conhecimento (números), o número que se segue indica o eixo cognitivo (no exemplo, o 1 indica “compreender e aplicar conceitos e procedimentos”), seguido por um número de identificação da habilidade (i). O rótulo 2N2.i significa uma habilidade do mesmo ano escolar e eixo do conhecimento, mas o número após a letra N indica o eixo cognitivo “resolver problemas e argumentar”. Na Tabela A (Apêndice), reproduzimos a matriz de referência de matemática para o 2o ano do EF.

A partir dessa matriz de referência do Saeb do 2o do EF, o teste de matemática foi composto por 70 itens, sendo 63 itens de múltipla escolha e sete itens de resposta construída (questões abertas). Em relação aos eixos do conhecimento, o teste foi composto proporcionalmente da seguinte maneira: 35% itens no eixo de números, 10% itens de álgebra, 20% de geometria, 20% de grandezas e medidas e 15% de probabilidade e estatística. Esses itens foram distribuídos em 21 cadernos de teste, de maneira que os estudantes de cada turma deveriam responder a um único caderno composto por 20 itens: 18 de múltipla escolha e dois de resposta construída.

O Saeb ocorreu entre 21 de outubro e 1o de novembro de 2019. Os estudantes tiveram uma hora e 15 minutos para concluir o teste de matemática. A aplicação foi mediada, isto é, cada aplicador efetuou a leitura dos enunciados das questões para a turma, permitindo que a proficiência em matemática pudesse ser medida mesmo que o estudante ainda estivesse aprendendo a ler.5

O desempenho dos alunos no teste gera as proficiências - ou uma evidência do aprendizado -, que são estimadas via Teoria de Resposta ao Item (TRI). As proficiências são calculadas em unidades de desvios-padrão. Para a interpretação, esses valores são transformados para uma escala arbitrada com o valor de 750 para a média e o desvio-padrão de 50, o que distingue a escala do 2o ano do EF da utilizada nas outras etapas avaliadas no Saeb.

Essa escala ordena as proficiências dos alunos em um continuum, do menor para o maior valor, e é cumulativa. Ou seja, os alunos situados em um nível da escala de proficiência demonstram as habilidades descritas para aquele nível e para os níveis anteriores. As pontuações na escala de proficiência matemática foram agrupadas em níveis associados aos conjuntos de tarefas de dificuldade crescente, categorizados da seguinte maneira:

  • nível abaixo de 1: desempenho menor que 650 pontos;

  • nível 1: desempenho maior ou igual a 650 e menor do que 675 pontos;

  • nível 2: desempenho maior ou igual a 675 e menor do que 700 pontos;

  • nível 3: desempenho maior ou igual a 700 e menor do que 725 pontos;

  • nível 4: desempenho maior ou igual a 725 e menor do que 750 pontos;

  • nível 5: desempenho maior ou igual a 750 e menor do que 775 pontos;

  • nível 6: desempenho maior ou igual a 775 e menor do que 800 pontos;

  • nível 7: desempenho maior ou igual a 800 e menor do que 825 pontos;

  • nível 8: desempenho maior ou igual a 825 pontos.

A interpretação da escala traduz os números relacionados às proficiências em informações sobre o que os estudantes são capazes de realizar em cada nível, em termos de habilidades matemáticas, de modo a subsidiar o trabalho dos educadores. Isso é feito por meio de análises realizadas por especialistas da área que analisam os itens e listam as habilidades necessárias para a resolução dos mesmos. Em cada um dos intervalos agrupados da escala, são produzidos enunciados verbais (sentenças descritoras) que agregam e descrevem as habilidades ou os desempenhos demonstrados pelos alunos em cada um desses níveis a partir dos itens situados no respectivo intervalo da escala (Inep, 2020b).

A escala de proficiência apresenta 68 sentenças descritoras relacionadas aos eixos de conhecimento e distribuídas em seus oito níveis. Por exemplo, no nível 1 há sete sentenças descritoras das habilidades demonstradas pelos alunos que alcançam proficiência até esse nível. Entre elas, duas são do eixo de conhecimento geometria, duas são grandezas e medidas e três, de probabilidade e estatística (Inep, 2020b).

Há estudos nacionais que apresentam e discutem o desempenho e/ou a proficiência dos alunos em matemática nas avaliações em larga escala, mas poucos abordam esse desempenho na perspectiva do letramento. Entre as exceções, destacamos o artigo de Aguiar e Ortigão (2012), que comparou o letramento em matemática dos alunos brasileiros e portugueses no Pisa 2003 e constataram que há ênfases curriculares diferenciadas entre os dois países. Em outro trabalho baseado nos dados nacionais do Pisa 2012, Ortigão et al. (2018) consideraram crítico o letramento em matemática no Brasil. Galvão e Nacarato (2013), por sua vez, analisaram as concepções de letramento presentes na Provinha Brasil de matemática do 2o ano do EF, dos anos 2011 e 2012. A matriz de referência do Indicador de Alfabetismo Funcional (Inaf), apresentada e discutida por Ribeiro e Fonseca (2010), se apropria do conceito de letramento matemático, mas essa avaliação é voltada para a população jovem e adulta. Dessa forma, não encontramos trabalhos que analisem o conceito de letramento em matemática em relação à matriz de referência do Saeb do 2o do EF, que é o enfoque deste trabalho.

Relação entre a matriz de referência e a escala de proficiência

A matriz de referência e a escala de proficiência são construídas de forma independente, porém a relação entre ambas é evidente. A TRI permite colocar na mesma escala os itens, desenvolvidos a partir da matriz de referência, e o desempenho dos alunos, que é uma evidência da eficácia do processo de ensino-aprendizagem à luz da BNCC.

Neste artigo, relacionamos esses dois instrumentos, a fim de verificar como as habilidades presentes na matriz estão distribuídas nos níveis da escala, que é a métrica para apresentar os resultados dos alunos. Uma vez que não tivemos acesso aos itens utilizados nos cadernos de provas (ou pelo menos uma amostra) para conduzir essa análise, fizemos uma comparação semântica de cada sentença descritora da escala com uma habilidade da matriz. Por exemplo, no nível 1 da escala de proficiência, uma das sentenças descritoras de geometria é: “Reconhecer um triângulo em posição usual (com a ‘ponta’ para cima e base na horizontal), dado o nome dessa figura geométrica”. No eixo de conhecimento geometria, da matriz de referência, encontramos a seguinte habilidade cujo enunciado é semelhante a esse descritor: “2G1.3 - reconhecer/nomear figuras geométricas planas (círculo, quadrado, retângulo e triângulo)”, do eixo cognitivo “compreender e aplicar conceitos e procedimentos”. Fizemos o mesmo com todas as sentenças descritoras.

Em seguida, registramos as relações observadas em tabelas organizadas por eixo de conhecimento. Em cada uma delas, a primeira coluna apresenta os níveis da escala de proficiência, e as colunas seguintes contêm os eixos cognitivos da matriz de referência, cuja identificação por número não tem uma interpretação valorativa de menor para maior dificuldade ou outro atributo quantitativo. Os números de 1 a 8 e de 1 a 3 representam apenas a identificação das habilidades descritas para cada um dos eixos cognitivos, cuja quantidade varia por eixo de conhecimento. As habilidades da matriz de referência não estão hierarquizadas, somente classificadas por eixos. O que se espera é que todos os estudantes tenham oportunidade de desenvolvê-las nos seus anos iniciais de escolarização. Já a escala de proficiência - como um termômetro - indicará, probabilisticamente, se esse objetivo foi alcançado, o que será evidenciado pela proficiência do aluno.

Um exemplo de tabela comparativa para um dos eixos de conhecimento está apresentado na Tabela B (Apêndice) e as tabelas completas estão disponíveis como material suplementar. Uma versão simplificada das tabelas comparativas está apresentada na Tabela 1. Em suas células estão registrados os rótulos das habilidades, de acordo com a matriz de referência (ver descrição na Tabela A do Apêndice), posicionados nas linhas de acordo com a sua compatibilidade semântica com as sentenças descritoras dos níveis da escala de proficiência.

A Tabela 1 nos ajuda a compreender algumas características da avaliação em larga escala. Observa-se que uma mesma habilidade presente na matriz de referência pode gerar itens com níveis de dificuldade distintos segundo a posição das sentenças descritoras na escala de proficiência. Por exemplo, o descritor 2N1.3 do eixo de conhecimento números (“escrever números naturais de até 3 ordens em sua representação por algarismos ou em língua materna ou associar o registro numérico de números naturais de até 3 ordens ao registro em língua materna”) é semelhante a sentenças descritoras que aparecem em três níveis da escala de proficiência: no nível 2 (“associar a denominação de um número de duas ordens à sua representação por algarismos”), no nível 3 (“associar a representação por algarismos de um número de duas ordens à sua escrita por extenso”) e no nível 4 (“associar a denominação de um número de três ordens que tem um zero intercalado à sua representação por algarismos”). Isso significa que, para avaliação da mesma habilidade, os alunos foram testados por meio de itens com níveis crescentes de dificuldade. Como os itens estão distribuídos em 21 cadernos de prova, é possível que esses itens estejam em cadernos distintos.

Uma habilidade de um eixo de conhecimento pode estar relacionada a mais de uma sentença descritora no mesmo nível da escala de proficiência. Por exemplo, a habilidade 2E1.2, do eixo de conhecimento probabilidade e estatística (“ler/identificar OU comparar dados estatísticos ou informações expressos em tabelas - simples ou de dupla entrada”), é compatível com duas as sentenças descritoras do nível 1 da escala (“identificar a categoria que apresenta uma frequência específica em uma tabela simples que envolve números de uma ordem” e “identificar a categoria que apresenta uma frequência específica em uma tabela simples que envolve números de uma ou duas ordens - menores que 20”). Nesses casos, incluímos letras a e b como complementos aos rótulos. É possível que algumas habilidades tenham sido testadas com itens semelhantes e com o mesmo nível de dificuldade, em diferentes cadernos de prova, mas receberam descritores próprios com sutis diferenças na escala de proficiência.

TABELA 1 Relação entre a matriz de referência e a escala de proficiência do Saeb do 2o ano do EF (2019) 

EIXOS DE CONHECIMENTO EIXOS COGNITIVOS DA MATRIZ DE REFERÊNCIA
COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS RESOLVER PROBLEMAS E ARGUMENTAR
ESCALA DE PROFICIÊNCIA 1 2 3 4 5 6 7 8 1 2 3
Nível 0
Nível 1 2M1.1 2G1.2 2G1.3                
2E1.2a 2M1.3
2E1.2b 2E1.3
Nível 2 2M1.1 2E1.2 2N1.3 2N1.4            
2E1.3a 2A1.4
2E1.3b 2M1.4
Nível 3   2N1.2 2N1.3 2N1.4   2M1.6 2M1.7   2N2.1 2N2.2  
2G1.3
2E1.3 2E2.1
Nível 4 2G1.1   2N1.3 2M1.4         2N2.1a    
2G1.3 2N2.1b
2E1.3 2E2.1
Nível 5 2E1.1 2G1.2         2N1.7   2E2.1 2N2.2a 2M2.3
2N2.2b
Nível 6 2N1.1   2A1.3 2A1.4   2N1.6a 2N1.7 2N1.8 2N2.1 2N2.2  
2G2.1
2M2.1a
2N1.6b 2M2.1b
2A1.1 2M1.6 2E2.1
Nível 7 2N1.1 2G1.2 2A1.3 2N1.4     2N1.7   2N2.1 2M2.2  
2A1.4a
2A1.4b 2M1.7 2G2.1
Nível 8   2M1.2                 2N2.3

Fonte: Elaboração própria com informações do Saeb do 2o ano do EF (Inep, 2020b).

A área de números (N), que responde por 35% dos itens aplicados na edição, não tem itens relacionados ao nível 1 da escala, no eixo cognitivo “compreender e aplicar conceitos e procedimentos”, nem itens nos níveis 1 e 2, no eixo “resolver problemas e argumentar”. O eixo de conhecimento sobre números é considerado básico no letramento matemático. Porém, em razão da inexistência de itens sobre essa competência nos níveis mais baixos da escala, provavelmente os alunos com habilidades mais incipientes - do ponto de vista escolar - não tiveram oportunidade de demonstrar o que sabem sobre números.

O nível 0 da escala de proficiência (primeira linha) não tem nenhuma sentença descritora. Isso ocorre porque todos os itens do teste tiveram grau de dificuldade acima de 650 pontos da escala. Porém, como veremos na próxima seção, há alunos no nível 0, sobretudo entre os que estudam nas escolas municipais, que correspondem à maioria da amostra.

Registramos algumas lacunas de habilidades que não tiveram itens desenvolvidos para a edição do Saeb 2019. As habilidades 2N1.5 (“comparar ou ordenar números naturais, de até 3 ordens, com ou sem suporte da reta numérica”), 2A1.2 (“inferir OU descrever atributos ou propriedades comuns que os elementos que constituem uma sequência de números naturais apresentam”) e 2M1.5 (“identificar sequência de acontecimentos relativos a um dia”) não foram encontradas nas sentenças descritoras em nenhum dos níveis da escala de proficiência. Provavelmente porque não houve itens para mensurá-las, razão pela qual há um vazio na coluna. No documento com a descrição da escala de proficiência consta do seguinte registro quando há essa ausência: “ainda não há itens nesse nível que sejam desse eixo do conhecimento”. Ou seja, ao que parece o preenchimento dessas lacunas ficou para as edições posteriores do Saeb.

A edição 2019 do Saeb do 2o ano do EF parece ter avaliado de forma mais completa o letramento matemático em relação ao eixo do conhecimento de grandezas e medidas, pois é o único eixo contemplado em todos os níveis da escala de proficiência. Seria esperado que o mesmo ocorresse com o eixo de números, dada a importância desses dois eixos no letramento matemático para os anos iniciais da escolarização. Essa hipótese poderia ser mais bem analisada se tivéssemos acesso aos itens do teste cognitivo e às estimativas de seus respectivos parâmetros. Até o nível 2 da escala de proficiência, poucas habilidades da matriz de referência foram avaliadas, o que prejudica a compreensão em torno do letramento matemático, uma vez que os alunos que estão nesses níveis tiveram menos oportunidade de mostrar o que sabem.

Como está o letramento matemático no 2º ano do EF?

Tendo em vista que o Saeb do 2o ano do EF teve a BNCC como referência, mas o novo currículo está em implantação, analisamos como os alunos se saíram no teste de matemática. De acordo com a BNCC, os alunos já deveriam estar alfabetizados ou próximos de conquistarem essa meta no final dessa etapa de ensino.

A Tabela 2 mostra os resultados do Saeb do 2o ano do EF, segundo os níveis da escala de proficiência. Note-se que cerca de 3% dos estudantes estão classificados abaixo do nível 1. Podemos inferir que esses alunos se mostraram incapazes de utilizar habilidades matemáticas nas situações que apresentaram as tarefas mais fáceis, mesmo diante de um teste mediado pelo aplicador, que fez a leitura em voz alta dos itens.

TABELA 2 Distribuição percentual de alunos do 2o ano do ensino fundamental, total, por rede de ensino e por níveis de proficiência 

PERC. (%) NÍVEL 0 [<650] NÍVEL 1 [≤650; >675] NÍVEL 2 [≤675; >700] NÍVEL 3 [≤700; >725] NÍVEL 4 [≤725; >750] NÍVEL 5 [≤750; >775] NÍVEL 6 [≤775; >8.00] NÍVEL 7 [≤800; >825] NÍVEL 8 [≥825]
TOTAL 100,0 2,8 4,5 8,6 14,4 19,8 18,2 14,5 10,1 7,0
Federal 0,1 0,8 1,2 2,2 7,8 14,6 18,5 21,6 18,3 15,0
Estadual 13,4 2,4 3,7 7,7 13,6 19,7 18,8 15,3 11,4 7,5
Municipal 65,8 3,7 5,6 10,4 16,2 21,0 17,5 12,7 7,6 5,2
Privada 20,8 0,4 1,3 3,6 9,3 16,2 19,7 19,9 17,3 12,3

Fonte: Elaboração própria com base nos microdados do Saeb (Inep, 2021).

Observa-se que 50,1% dos alunos alcançam até o nível 4 da escala de profi- ciência (proficiência até 750, que corresponde à média da escala). Esses estudantes provavelmente sabem, compreendem ou são capazes de fazer tarefas relacionadas às habilidades do eixo cognitivo de conhecer e aplicar conceitos e procedimentos, com mais descritores até esse nível. Porém esses resultados são bem diferentes entre as redes de ensino. Nas escolas municipais, que registram mais de 65% das matrículas, os percentuais de alunos entre os níveis 0 e 4 da escala são maiores. Isso significa que esses estudantes carecem de intervenções pedagógicas que lhes permitam consolidar as habilidades previstas para os níveis mais altos da escala. Os alunos que estão entre os níveis 0 e 2 requerem mais atenção, pois demonstraram não conseguir resolver itens muito fáceis ou ter aprendido apenas algumas habilidades mais básicas da escala. Uma vez que a BNCC estava sendo implantada quando essa avaliação ocorreu, é possível que parte dos alunos não teve oportunidade de demonstrar suas habilidades.

Tendo em vista as conhecidas diferenças entre as redes de ensino, que refletem as desigualdades nas condições da oferta educativa e no perfil socioeconômico dos alunos (Alves & Ferrão, 2019; Alves & Xavier, 2018; Vieira, 2019), na Tabela 3 descrevemos a distribuição dos alunos na escala de proficiência por região, localização e unidade da federação. Para essa análise, selecionamos somente as escolas públicas estaduais e municipais, que juntas respondem por quase 80% das matrículas.

Entre as escolas públicas, os percentuais de alunos nos níveis mais baixos da escala (entre 0 e 4) são maiores nas escolas rurais e nas regiões Norte e Nordeste. Esse resultado não é diferente do que foi observado na ANA, realizada pela última vez em 2016 (Almeida et al., 2017; Alves & Marassi, 2019; Souza et al., 2019; Soares & Bergmann, 2020; Machado et al., 2021). Entretanto, no nível oito, o percentual de alunos de escolas rurais é maior do que o de escolas urbanas, assim como no acontece no Nordeste em comparação com o Sul. As escolas rurais representam apenas 10,6% do total e essa tendência pode produzir resultados estatísticos atípicos devido ao pequeno número de casos na distribuição por níveis.

O resultado do Nordeste reflete o sucesso do Ceará, onde 31,5% dos alunos alcançaram os níveis 7 e 8 da escala. Esse percentual é quase 2,5 maior que a média nacional. O destaque do Ceará em letramento já era observado na avaliação da alfabetização ANA e nas outras etapas avaliadas pelo Saeb (Alves & Ferrão, 2019; Alves & Marassi, 2019).

TABELA 3 Distribuição percentual de alunos do 2o ano do EF de escolas públicas (estaduais e municipais), total, por região, localização, unidade da federação e por níveis de proficiência 

  PERC. (%) NÍVEL 0 [<650] NÍVEL 1 [≤650; >675] NÍVEL 2 [≤675; >700] NÍVEL 3 [≤700; >725] NÍVEL 4 [≤725; >750] NÍVEL 5 [≤750; >775] NÍVEL 6 [≤775; >800] NÍVEL 7 [≤800; >825] NÍVEL 8 [≥825]
TOTAL 100,0 3,5 5,3 9,9 15,8 20,8 17,8 13,1 8,3 5,6
Urbana 89,4 3,1 5,1 9,8 15,5 21,1 18,2 13,4 8,3 5,4
Rural 10,6 6,1 7,0 11,4 17,6 17,9 14,4 11,1 7,5 6,9
Norte 11,0 4,6 7,7 12,4 18,2 19,3 16,5 10,3 6,4 4,6
Nordeste 25,0 5,4 7,7 12,0 17,8 18,3 14,6 11,0 6,9 6,2
Sudeste 40,6 2,8 3,9 8,7 14,1 22,3 18,5 14,5 9,0 6,2
Sul 14,6 1,3 3,2 7,6 13,7 21,3 21,1 15,8 10,4 5,5
Centro- -Oeste 8,8 3,0 5,6 10,7 18,2 21,6 19,4 11,4 7,4 2,6
RO 1,1 4,2 6,7 13,8 21,4 20,5 17,8 9,6 4,3 1,7
AC 0,7 2,9 4,3 9,0 14,7 21,4 19,7 13,8 8,3 6,0
AM 2,7 3,5 6,6 10,2 16,5 18,3 16,9 12,8 9,4 5,8
RR 0,4 5,2 8,0 10,9 17,1 22,9 15,9 12,8 5,3 2,1
PA 4,7 4,7 8,9 13,3 18,3 18,7 16,6 8,9 5,4 5,2
AP 0,6 8,7 9,7 15,0 21,8 18,0 11,6 7,8 4,8 2,6
TO 0,9 6,2 7,9 14,8 19,4 21,2 14,3 9,0 4,8 2,3
MA 3,7 8,2 11,9 15,9 22,3 16,3 10,9 6,9 3,9 3,6
PI 1,6 3,6 6,4 10,4 17,1 21,7 17,3 12,5 7,1 4,0
CE 4,0 2,3 3,0 5,2 9,6 15,3 16,5 14,4 14,9 18,6
RN 1,5 6,7 12,4 14,5 21,4 20,6 14,1 6,9 2,4 1,1
PB 1,7 5,4 7,3 12,9 19,1 19,9 17,0 10,1 6,2 2,1
PE 3,9 4,6 8,2 11,7 14,5 16,0 14,0 13,1 7,8 10,1
  PERC. (%) NÍVEL 0 [<650] NÍVEL 1 [≤650; >675] NÍVEL 2 [≤675; >700] NÍVEL 3 [≤700; >725] NÍVEL 4 [≤725; >750] NÍVEL 5 [≤750; >775] NÍVEL 6 [≤775; >800] NÍVEL 7 [≤800; >825] NÍVEL 8 [≥825]
AL 1,6 6,0 7,2 14,4 19,8 19,5 15,0 10,2 5,3 2,6
SE 1,0 7,3 11,4 15,7 19,1 18,9 11,9 8,0 4,2 3,5
BA 6,1 6,0 6,9 12,5 20,9 20,9 14,9 11,6 4,9 1,5
MG 9,9 2,7 5,4 9,1 16,7 22,0 18,3 14,8 7,4 3,6
ES 2,1 2,9 3,2 9,7 17,7 19,3 19,1 12,9 10,0 5,2
RJ 6,4 3,3 5,4 10,6 18,6 23,2 17,6 10,5 5,4 5,5
SP 22,2 2,8 2,8 7,8 11,2 22,5 18,8 15,7 10,7 7,6
PR 5,9 0,9 3,7 8,8 13,4 23,6 22,2 14,5 9,8 3,2
SC 3,7 0,7 2,5 5,1 11,9 18,8 19,7 19,4 13,3 8,7
RS 5,0 2,3 3,1 8,2 15,5 20,4 20,8 14,9 9,0 5,8
MS 2,0 5,2 8,1 13,5 21,0 20,4 14,9 10,1 5,3 1,5
MT 2,0 3,3 6,9 12,7 18,0 19,2 19,6 10,8 7,2 2,4
GO 3,3 1,4 3,8 8,9 17,1 23,6 21,7 12,4 8,1 3,0
DF 1,3 2,9 3,9 8,2 17,0 22,5 20,3 12,0 9,5 3,8

Fonte: Elaboração própria com base nos microdados do Saeb (Inep, 2021).

Ainda que essa distribuição por níveis seja uma evidência importante, uma lacuna do Saeb é a inexistência de uma definição oficial do nível em que a criança deve estar na escala de proficiência para inferirmos se ela atingiu o estágio de letramento matemático adequado. Isso seria importante para orientar as intervenções pedagógicas. Por exemplo, o Pisa tem uma interpretação pedagógica de seus seis níveis (OECD, 2019). O nível 2 é considerado o mínimo de proficiência para demonstrar habilidades para o uso da matemática em situações simples da vida real. Consideram-se os alunos abaixo desse nível particularmente em risco, mas uma proficiência no nível 2 não denota que o aluno tenha adquirido habilidades suficientes para fazer julgamentos e decisões bem fundamentados em uma variedade de situações pessoais ou profissionais em que o letramento matemático é necessário.

Cabe ressaltar que a inexistência desses níveis normativos no Saeb é contraditória com o PNE. A estratégia 5.2 da quinta meta do PNE prevê “instituir instrumentos de avaliação nacional periódicos e específicos para aferir a alfabetização das crianças” (Inep, 2015, p. 86). Entretanto, sem uma interpretação pedagógica e normativa, não é possível afirmar a partir de qual nível da escala do Saeb esse objetivo foi alcançado. Além disso, a estratégia 7.3a, sobre o ensino fundamental, visa a

. . . assegurar que, no quinto ano de vigência deste PNE, pelo menos 70% dos alunos do Ensino Fundamental e do Ensino Médio tenham alcançado nível suficiente de aprendizado em relação aos direitos e objetivos de aprendizagem e desenvolvimento de seu ano de estudo e 50%, pelo menos, o nível desejável. (Lei n. 13.005, 2014).

O relatório de monitoramento do PNE, já em seu terceiro ciclo, não menciona essa estratégia (Inep, 2020a), que seria um parâmetro importante parar avaliar a qualidade do letramento matemático dos estudantes.

CONSIDERAÇÕES FINAIS

Neste artigo, destacamos quatro pontos críticos do Saeb do 2o ano do ensino fundamental. O primeiro foi a matriz de referência de matemática que, em sua versão preliminar, revelou-se uma simplificação das competências gerais e específicas da matemática previstas na BNCC. Evidentemente, há habilidades da BNCC que não são adaptáveis a um teste em larga escala. Contudo, na comparação com avaliações educacionais internacionais (Pisa e TIMSS), percebe-se que a matriz do Saeb apresenta uma visão mais empobrecida do letramento matemático. Portanto essa versão preliminar necessita passar por mais etapas de validação de forma que se aproxime mais da BNCC.

O segundo ponto crítico foi a inexistência de itens para avaliar de forma mais completa os eixos de conhecimento e os eixos cognitivos do letramento matemático. Há no Saeb uma predominância de itens de múltipla escolha que não possibilita avaliar a imaginação e criatividade dos alunos. Uma análise minuciosa das habilidades previstas na matriz de referência e descritas na escala de proficiência é imprescindível para que seja possível desenhar intervenções apropriadas no ensino de matemática brasileiro, considerando as diferentes dimensões que essas intervenções possam ter. Seja na capacitação docente, no que diz respeito a “o que e como ensinar”; seja para orientar a política de investimento educacional, referente à capacitação docente, à compra de materiais didáticos, entre outras; seja nos fóruns de discussões, especialmente naqueles em que se discute a implementação da BNCC; seja na reflexão que cada docente pode fazer entre as avaliações internas, que ele elabora e ocorrem no interior da sala de aula, em relação às habilidades aferidas pelo Saeb; seja na identificação das habilidades que podem ser consideradas básicas, por eixo do conhecimento da matemática, e que não estão sendo consolidadas pela maioria dos estudantes brasileiros. Portanto um modelo conceitual do letramento em matemática bem delimitado é de grande importância para que a avaliação em larga escala cumpra bem o seu papel. Este artigo aponta algumas fragilidades importantes no modelo conceitual do Saeb.

Reconhecemos que uma limitação da comparação entre a matriz de referência e a escala de proficiência feita neste artigo decorre da impossibilidade de acesso aos itens ou a exemplos de itens aplicados no teste. Nossas inferências sobre o teste foram baseadas nas sentenças descritoras, que traduzem uma interpretação dos itens. Talvez a leitura de exemplos de itens, situados em cada intervalo da escala, permitisse compreender melhor como as habilidades da BNCC foram “traduzidas” no Saeb e se tal pressuposto faz sentido quanto às habilidades mensuradas segundo dois eixos cognitivos.

O formato de aplicação do teste, com a mediação de um aplicador que fez a leitura em voz alta dos itens, pareceu às autoras deste artigo também um ponto crítico. Se o aluno está no final do processo de alfabetização, ele não deveria precisar de mediação. No estudo longitudinal Geres 2005, que acompanhou alunos de escolas públicas e privadas durante os anos iniciais do EF, o aplicador fez a leitura em voz alta dos itens somente para a primeira série enfocada na pesquisa (Brooke & Bonamino, 2011, p. 66). Cabe refletir, portanto, quais as implicações de se avaliar a “alfabetização” nesse formato e as consequências na interpretação dos resultados. Não é possível distinguir os estudantes que necessitam dessa mediação daqueles que já alcançaram a expectativa de alfabetização.

A inexistência de uma interpretação normativa da escala de proficiência do Saeb é o quarto ponto crítico. Nas avaliações educacionais é fundamental estabelecer parâmetros para interpretar os resultados. Isso está previsto no PNE. Em termos práticos, a interpretação normativa significa atribuir rótulos aos intervalos da escala - por exemplo, nível básico, suficiente, proficiente - a fim de orientar as decisões pedagógicas (Fontanive et al., 2007; Soares, 2009; Soares & Bergmann, 2020).

Portanto uma pesquisa necessária no campo da avaliação do letramento matemático é estabelecer uma interpretação normativa da escala de proficiência. Isso é diferente da separação empírica em intervalos fixos na escala. Há várias metodologias para isso e, em geral, elas envolvem a análise do mapa de itens e o juízo de especialistas em educação matemática, a fim de propor padrões de referência para os resultados (Cizek, 1996; Cizek et al., 2004; Zieky & Perie, 2006; Forte, 2017). No Brasil, Soares (2009) desenvolveu uma metodologia para atribuir níveis normativos para a escala do Saeb apresentados no portal Qedu.6 As informações para isso estão disponíveis no Brasil. Entretanto é necessário colocar essa tarefa como uma prioridade entre os avaliadores educacionais, sob a coordenação do Inep e à luz das estratégias do PNE, para que avaliações tenham mais relevância pedagógica nos sistemas de ensino e nas escolas.

REFERÊNCIAS

Aguiar, G. da S., & Ortigão, M. I. R. (2012). Letramento em matemática: Um estudo a partir dos dados do PISA 2003. Bolema, 26(42a), 1-22. https://doi.org/10.1590/S0103-636X2012000100002Links ]

Almeida, C. S., Carvalho, J. R., & Meneghel, J. B. (2017). Uma análise sobre a estagnação da aprendizagem nos anos iniciais do ensino fundamental no Brasil. Ensaios Pedagógicos, 1(2), 49-58. [ Links ]

Alves, F. de A., & Marassi, T. B. (2019). Panorama da alfabetização no Brasil. Cadernos de Estudos e Pesquisas em Políticas Educacionais, 3, 65-111. https://doi.org/10.24109/9786558010074.ceppe.v3a2Links ]

Alves, M. T. G., & Ferrão, M. E. (2019). Uma década da Prova Brasil: Evolução do desempenho e da aprovação. Estudos em Avaliação Educacional, 30(75), 688-720. https://doi.org/10.18222/eae.v0ix.6298Links ]

Alves, M. T. G., & Xavier, F. P. (2018). Indicadores multidimensionais para avaliação da infraestrutura escolar: O ensino fundamental. Cadernos de Pesquisa, 48(169), 708-746. https://doi.org/10.1590/198053145455Links ]

Arruda, F. S., Ferreira, R. dos S., & Lacerda, A. G. (2020). Letramento matemático: Um olhar a partir das competências matemáticas propostas na Base Nacional Comum Curricular do Ensino Fundamental. Ensino da Matemática em Debate, 7(2), 181-207. https://doi.org/10.23925/2358-4122.2020v7i2p156-179Links ]

Bonamino, A., Coscarelli, C., & Franco, C. (2002). Avaliação e letramento: Concepções de aluno letrado subjacentes ao Saeb e ao Pisa. Educação & Sociedade, 23(81), 91-113. https://doi.org/10.1590/S0101-73302002008100006Links ]

Bonamino, A., & Franco, C. (1999). Avaliação e política educacional: O processo de institucionalização do Saeb. Cadernos de Pesquisa, (108), 101-132. https://doi.org/10.1590/S0100-15741999000300005Links ]

Brooke, N., Alves, M. T. G., & Oliveira, L. K. M. (2015). As avaliações chegam à maioridade. In N. Brooke, M. T. G. Alves, & L. K. M. de Oliveira (Orgs.), A avaliação da educação básica: A experiência brasileira (pp. 85-101). Fino Traço. [ Links ]

Brooke, N., & Bonamino, A. (Orgs.). (2011). GERES 2005: Razões e resultados de uma pesquisa longitudinal sobre a eficácia escolar. Walprint. [ Links ]

Brooke, N., Fernandes, N. da S., Miranda, I. P. H. de, & Soares, T. M. (2014). Modelagem do crescimento da aprendizagem nos anos iniciais com dados longitudinais da pesquisa Geres. Educação e Pesquisa, 40(1), 77-94. https://doi.org/10.1590/S1517-97022014000100006Links ]

Castro, M. H. G. de. (2007). A árdua tarefa de estabelecer padrões de desempenho escolar. Cadernos Cenpec, 2(3), 7-15. http://dx.doi.org/10.18676/cadernoscenpec.v2i3.1Links ]

Cizek, G. J. (1996). Standard-setting guidelines. Educational Measurement: Issues and Practice, 15(1), 12-21. https://doi.org/10.1111/j.1745-3992.1996.tb00802.xLinks ]

Cizek, G. J., Bunch, M. B., & Koons, H. (2004). Setting performance standards: Contemporary methods. Educational Measurement: Issues and Practice, 23(4), 31-50. [ Links ]

Decreto Presidencial n. 6.094, de 24 de abril de 2007. (2007). Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a mobilização social pela melhoria da qualidade da educação básica. Diário Oficial da União, Brasília, DF. [ Links ]

Fonseca, M. C. F. R. (2004). A educação matemática e a ampliação das demandas de leitura e escrita da população brasileira. In M. C. F. R. Fonseca (Org.), Letramento no Brasil: Habilidades matemáticas (pp. 11-28). Global. [ Links ]

Fonseca, M. C. F. R. (2009). Conceito(s) de numeramento e relações com o letramento. In C. E. Lopes, & A. M. Nacarato (Orgs.), Educação matemática, leitura e escrita: Armadilhas, utopias e realidades (pp. 47-60). Mercado de Letras. [ Links ]

Fontanive, N., Elliot, L., & Klein, R. (2007). Os desafios da apresentação dos resultados da avaliação de sistemas escolares a diferentes públicos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5(2e), 262-273. [ Links ]

Fontanive, N., Klein, R., Marino, L., Abreu, M., & Bier, S. E. (2010). A alfabetização de crianças de 1o e 2o ano do Ensino Fundamental de 9 anos: Uma contribuição para a definição de uma Matriz de Competências e Habilidades de leitura, escrita e matemática. Ensaio: Avaliação e Políticas Públicas em Educação, 18(68), 527-548. https://doi.org/10.1590/S0104-40362010000300007Links ]

Forte, E. (2017). Evaluating alignment in large-scale standards-based assessment systems. Council of Chief State School Officers. [ Links ]

Galvão, E. da S., & Nacarato, A. M. (2013). O letramento matemático e a resolução de problemas na Provinha Brasil. Revista Eletrônica de Educação, 7(3), 81-96. https://doi.org/10.14244/19827199849Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2015). Plano Nacional de Educação PNE 2014-2024. Ministério da Educação. [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2019). Sistema de Avaliação da Educação Básica - Documentos de referência (versão preliminar). Ministério da Educação. [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2020a). Relatório do 3o ciclo de monitoramento das metas do Plano Nacional de Educação - 2020. Ministério da Educação. [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2020b). Matrizes de referência e escalas de proficiência do Saeb. Ministério da Educação. [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2021). Microdados do Saeb 2020. Inep. https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/saebLinks ]

König, E. H. (2007). A defesa da cultura avaliativa. Cadernos Cenpec, 2(3), 81-89. http://dx.doi.org/10.18676/cadernoscenpec.v2i3.2Links ]

Lei n. 13.005, de 25 de junho de 2014. (2014). Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União, Brasília, DF. [ Links ]

Lockheed, M. (1996). International context for assessments. In P. Murphy, V. Greany, M. E. Lockheed, & C. Rojas (Eds.), National assessments: Testing the system (pp. 9-19). World Bank. [ Links ]

Machado, A. A., Brandalise, M. Â. T., & Moraes, J. C. P. de. (2021). Avaliação Nacional da Alfabetização em Matemática (ANA): Relações com a formação de professores do Pnaic e o currículo dos anos iniciais do Ensino Fundamental. Revista Eletrônica da Matemática, 7(1), Artigo e2003. https://doi.org/10.35819/remat2021v7i1id4575Links ]

Ministério da Educação. (2018). Base Nacional Comum Curricular. Ministério da Educação. [ Links ]

Movimento pela Base. (2023). Panorama da implementação da BNCC para educação infantil e ensino fundamental. Observatório da implementação da BNCC e do Novo Ensino Médio. Recuperado em 2021 de https://observatorio.movimentopelabase.org.br/indicadores-curriculos-de-ei-ef/Links ]

Mullis, I. V. S., & Martin, M. O. (2017). TIMSS 2019 Assessment Framework. International Association for the Evaluation of Educational Achievement. [ Links ]

Organisation for Economic Co-operation and Development (OECD). (2017). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic, Financial Literacy and Collaborative Problem Solving, revised edition. OECD Publishing. http://dx.doi.org/10.1787/9789264281820-enLinks ]

Organisation for Economic Co-operation and Development (OECD). (2019). PISA 2018 Results: Volume I. What Students Know and Can Do. OECD Publishing. https://doi.org/10.1787/5f07c754-enLinks ]

Ortigão, M. I., & Oliveira, P. R. G. de. (2016). Habilidades matemáticas de estudantes dos anos iniciais do ensino fundamental: Uma leitura dos dados do Projeto Geres. Perspectivas da Educação Matemática, 9(21), 1111-1130. [ Links ]

Ortigão, M. I. R., Santos, M. J. C., & Lima, R. (2018). Letramento em matemática no Pisa: O que sabem e podem fazer os estudantes? Zetetiké, 26(2), 375-389. https://doi.org/10.20396/zet.v26i2.8650093Links ]

Passos, C. L. B., & Nacarato, A. M. (2018). Trajetória e perspectivas para o ensino de Matemática nos anos iniciais. Estudos Avançados, 94(32), 119-135. https://doi.org/10.1590/s0103-40142018.3294.0010Links ]

Portaria n. 867, de 4 de julho de 2012. (2012). Institui o Pacto pela Educação na Idade Certa e as ações do Pacto e define suas diretrizes gerais. Diário Oficial da União, Brasília, DF. [ Links ]

Resolução CNE/CP n. 2, de 22 de dezembro de 2017. (2017). Institui e orienta a implantação da Base Nacional Comum Curricular, a ser respeitada obrigatoriamente ao longo das etapas e respectivas modalidades no âmbito da Educação Básica. Ministério da Educação, Brasília, DF. [ Links ]

Ribeiro, V. M., & Fonseca, M. da C. F. (2010). Matriz de referência para a medição do alfabetismo nos domínios do letramento e do numeramento. Estudos em Avaliação Educacional, 21(45), 147-168. https://doi.org/10.18222/eae214520102031Links ]

Soares, J. F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa, 37(130), 135-160. https://doi.org/10.1590/S0100-15742007000100007Links ]

Soares, J. F. (2009). Índice de Desenvolvimento da Educação de São Paulo - Idesp: Bases metodológicas. São Paulo em Perspectiva, 23(1), 29-41. [ Links ]

Soares, J. F., & Bergmann, L. (2020). Avaliação Nacional da Alfabetização: síntese sobre os resultados das escolas associados a variáveis socioeducacionais. Em Aberto, 33(108), 83-99. https://doi.org/10.24109/emaberto.v33i108.4297Links ]

Soares, M. (1999). Letramento: Um tema em três gêneros. Autêntica. [ Links ]

Soares, M. (2003a) Letramento e escolarização. In V. M. Ribeiro (Org.), Letramento no Brasil (pp. 89-113). Global. [ Links ]

Soares, M. (2003b). Letramento e alfabetização: As muitas facetas. Revista Brasileira de Educação, (25), 5-17. [ Links ]

Souza, T. M., Chagas, A. M., & Dias, R. B. (2019). Avaliação nacional da alfabetização: Princípios, finalidades e resultados. Revista Com Censo: Estudos Educacionais do Distrito Federal, 6(4), 52-61. [ Links ]

Todos pela Educação. (2018). Anuário Brasileiro de Educação Básica 2018. Moderna. [ Links ]

Vieira, I. S. (2019). Oportunidades educacionais no Brasil: O que dizem os dados do Saeb. Estudos em Avaliação Educacional, 30(75), 748-778. https://doi.org/10.18222/eae.v30i75.6325Links ]

Zieky, M., & Perie, M. (2006). A primer on setting cut scores on tests of educational achievement (report). Educational Testing Service. [ Links ]

1O Pisa é um estudo comparativo internacional realizado a cada três anos pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), que avalia o desempenho dos estudantes na faixa etária dos 15 anos. Mais informações em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/pisa.

2No original: “Mathematical literacy is an individual’s capacity to formulate, employ and interpret mathematics in a variety of contexts. It includes reasoning mathematically and using mathematical concepts, procedures, facts and tools to describe, explain and predict phenomena. It assists individuals to recognise the role that mathematics plays in the world and to make the well-founded judgements and decisions needed by constructive, engaged and reflective citizens”.

3O TIMSS é uma avaliação comparativa entre os estudantes dos Estados Unidos, do 4º ao 8º ano, com estudantes de outros países, conduzida pela organização United States by the National Center for Education Statistics (NCES). Mais informações em: https://nces.ed.gov/timss/

4Nota presente na BNCC, de número 45, que apresenta a definição de letramento matemático no Pisa citada neste artigo.

5A mediação durante a aplicação do teste foi informada no seminário de apresentação dos resultados do Saeb 2019. https://download.inep.gov.br/educacao_basica/saeb/2020/documentos/Apresentacao_Resultados_Amostrais_Saeb_2019.pdf

6O documento de referência do QEdu está disponível em: https://academia.qedu.org.br/prova-brasil/aprendizado-adequado/

APÊNDICE

Tabela A Matriz de referência Saeb do 2o ano do ensino fundamental 

EIXO DO CONHECIMENTO: NÚMEROS
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS
2N1.1 Reconhecer o que os números naturais indicam em diferentes situações: quantidade, ordem, medida ou código de identificação.
2N1.2 Identificar a posição ordinal de um objeto ou termo em uma sequência (1o, 2o, etc.).
2N1.3 Escrever números naturais de até 3 ordens em sua representação por algarismos ou em língua materna OU Associar o registro numérico de números naturais de até 3 ordens ao registro em língua materna.
2N1.4 Comparar OU Ordenar quantidades de objetos (até 2 ordens).
2N1.5 Comparar OU Ordenar números naturais, de até 3 ordens, com ou sem suporte da reta numérica.
2N1.6 Identificar a ordem ocupada por um algarismo OU seu valor posicional (ou valor relativo) em um número natural de até 3 ordens.
2N1.7 Calcular o resultado de adições ou subtrações, envolvendo números naturais de até 3 ordens.
2N1.8 Compor OU Decompor números naturais de até 3 ordens por meio de diferentes adições.
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR
2N2.1 Resolver problemas de adição ou de subtração, envolvendo números naturais de até 3 ordens, com os significados de juntar, acrescentar, separar ou retirar.
2N2.2 Resolver problemas de multiplicação ou de divisão (por 2, 3, 4 ou 5), envolvendo números naturais, com os significados de formação de grupos iguais ou proporcionalidade (incluindo dobro, metade, triplo ou terça parte).
2N2.3 Analisar argumentações sobre a resolução de problemas de adição, subtração, multiplicação ou divisão envolvendo números naturais.
EIXO DO CONHECIMENTO: ÁLGEBRA
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS
2A1.1 Identificar a classificação OU Classificar objetos ou representações por figuras, por meio de atributos, tais como cor, forma e medida.
2A1.2 Inferir OU Descrever atributos ou propriedades comuns que os elementos que constituem uma apresentam.
2A1.3 Inferir o padrão ou a regularidade de uma sequência de números naturais ordenados, de objetos ou de figuras.
2A1.4 Inferir os elementos ausentes em uma sequência de números naturais ordenados, de objetos ou de figuras.
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR
EIXO DO CONHECIMENTO: GEOMETRIA
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS
2G1.1 Identificar a localização OU a descrição/esboço do deslocamento de pessoas e/ou de objetos em representações bidimensionais (mapas, croquis etc.).
2G1.2 Reconhecer/nomear figuras geométricas espaciais (cubo, bloco retangular, pirâmide, cone, cilindro e esfera), relacionando-as com objetos do mundo físico.
2G1.3 Reconhecer/nomear figuras planas (círculo, quadrado, retângulo e triângulo).
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR
2G2.1 Descrever OU Esboçar o deslocamento de pessoas e/ou objetos em representações bidimensionais (mapas, croquis etc.) ou plantas de ambientes, de acordo com condições dadas.
EIXO DO CONHECIMENTO: GRANDEZAS E MEDIDAS
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS
2M1.1 Comparar comprimentos, capacidades ou massas OU Ordenar imagens de objetos com base na comparação visual de seus comprimentos, capacidades ou massas.
2M1.2 Estimar/Inferir medida de comprimento, capacidade utilizando unidades de medida convencionais ou não OU Medir comprimento, capacidade ou massa de objetos.
2M1.3 Identificar a medida do comprimento, da capacidade ou da massa de objetos, dada a imagem de um instrumento de medida.
2M1.4 Reconhecer unidades de medida e/ou instrumentos utilizados para medir comprimento, tempo, massa ou capacidade.
2M1.5 Identificar sequência de acontecimentos relativos a um dia.
2M1.6 Identificar datas, dias da semana, ou meses do ano em calendário OU Escrever uma data, apresentando o dia, o mês e o ano.
2M1.7 Relacionar valores de moedas e/ou cédulas do sistema monetário brasileiro, com base nas imagens desses objetos.
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR
2M2.1 Determinar a data de início, a data de término ou a duração de um acontecimento entre duas datas.
2M2.2 Determinar o horário de início, o horário de término ou a duração de um acontecimento.
2M2.3 Resolver problemas que envolvam moedas e/ou cédulas do sistema monetário brasileiro.
EIXO DO CONHECIMENTO: PROBABILIDADE E ESTATÍSTICA
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS
2E1.1 Classificar resultados de eventos cotidianos aleatórios como “pouco prováveis”, “muito prováveis”, “certos” ou “impossíveis”.
2E1.2 Ler/Identificar OU Comparar dados estatísticos ou informações expressos em tabelas (simples ou de dupla entrada).
2E1.3 Ler/Identificar OU Comparar dados estatísticos expressos em gráficos (barras simples, colunas simples ou pictóricos).
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR
2E2.1 Representar os dados de uma pesquisa estatística ou de um levantamento em listas, tabelas (simples ou de dupla entrada) ou gráficos (barras simples, colunas simples ou pictóricos).

Fonte: Inep (2020b).

Tabela B Exemplo de tabela comparativa entre habilidades da matriz de referência e setenças descritoras da escala de proficiência - Saeb do 2o ano do ensino fundamental 

EIXO DO CONHECIMENTO: GEOMETRIA
  MATRIZ DE REFERÊNCIA   ESCALA DE PROFICIÊNCIA
EIXO COGNITIVO: COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS NÍVEL NA ESCALA SENTENÇAS DESCRITORAS
2G1.1 Identificar a localização OU a descrição/esboço do deslocamento de pessoas e/ou de objetos em representações bidimensionais (mapas, croquis etc.). Nível 4 Identificar o objeto que se encontra à direita em uma imagem, usando uma referência na mesma posição do estudante que vai responder a questão.
2G1.2 Reconhecer/nomear figuras geométricas espaciais (cubo, bloco retangular, pirâmide, cone, cilindro e esfera), relacionando-as com objetos do mundo físico. Nível 1 Reconhecer a imagem de um objeto do mundo físico que tem o formato parecido com o de uma pirâmide em posição usual (com a “ponta” para cima e a base na horizontal) ou de um cone também nessa posição usual, dado o nome dessas figuras geométricas.
  Idem Nível 5 Reconhecer a imagem de um objeto do mundo físico que tem o formato parecido com o de uma esfera, dado o nome dessa figura geométrica.
  Idem Nível 7 Reconhecer a imagem de um objeto do mundo físico que tem o formato parecido com o de um cilindro, dado o nome dessa figura geométrica.
2G1.3 Reconhecer/nomear figuras planas (círculo, quadrado, retângulo e triângulo). Nível 1 Reconhecer um triângulo em posição usual (com a “ponta” para cima e base na horizontal), dado o nome dessa figura geométrica.
  Idem Nível 3 Reconhecer um círculo em uma composição com outras figuras geométricas planas.
  Idem Nível 4 Reconhecer a figura geométrica plana (retângulo) que mais se parece com o formato da porta de um elevador, em uma composição com outras figuras.
EIXO COGNITIVO: RESOLVER PROBLEMAS E ARGUMENTAR NÍVEL NA ESCALA SENTENÇAS DESCRITORAS
2G2.1 Descrever OU Esboçar o deslocamento de pessoas e/ou objetos em representações bidimensionais (mapas, croquis, etc.) ou plantas de ambientes, de acordo com condições dadas. Nível 6 Identificar, em uma imagem, o local de chegada de um carro que percorre um trajeto descrito, que envolve duas informações: uma relativa à lateralidade (direita) e outra à ordem (segunda).
  Idem Nível 7 Desenhar o deslocamento de uma personagem em uma malha quadriculada, dada a descrição do deslocamento, em um item de resposta construída.

Fonte: Elaboração própria com dados do Inep (2020b).

Recebido: 30 de Setembro de 2021; Aceito: 13 de Dezembro de 2022

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons