INTRODUÇÃO
As avaliações educacionais em larga escala desempenham um papel importante na análise da qualidade dos sistemas educacionais e na elaboração e avaliação das políticas públicas (Lockheed, 1996; König, 2007). Elas também são utilizadas para descrever e monitorar as tendências de aprendizado ao longo do tempo e explorar fatores escolares que podem estar relacionados ao desempenho dos alunos com vistas a promover sua melhoria (Castro, 2007; Soares, 2007).
O Brasil conta com um sistema diversificado de avaliação educacional, que se consolidou a partir dos anos 1990 (Bonamino & Franco, 1999). O Sistema de Avaliação da Educação Básica (Saeb), realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), é o mais abrangente e se tornou um parâmetro para outras avaliações no país (Brooke et al., 2015).
Desde 2007, o Saeb passou a ocupar um papel crucial para o monitoramento do Plano de Desenvolvimento da Educação (PDE), que estabeleceu como suas primeiras diretrizes “a aprendizagem, apontando resultados concretos a atingir” e “alfabetizar as crianças até, no máximo, os oito anos de idade, aferindo os resultados por exame periódico específico” (Decreto Presidencial n. 6.094, 2007, art. 2o, incisos I e II). Nesse sentido, em 2012, o governo federal instituiu o Pacto Nacional pela Alfabetização na Idade Certa (Pnaic) (Portaria n. 867, 2012). Na sequência, o Inep criou a Avaliação Nacional da Alfabetização (ANA) de estudantes do 3o ano do ensino fundamental (EF), vinculada ao Saeb, para monitorar os resultados da alfabetização. Os objetivos do PDE e do Pnaic foram posteriormente incorporados ao Plano Nacional da Educação (PNE) para o decênio 2014 a 2024 (Lei n. 13.005, 2014). A quinta meta do PNE objetiva “alfabetizar todas as crianças, no máximo, até o final do 3o ano do ensino fundamental” (Inep, 2020a, p. 127).
Essa meta foi inicialmente acompanhada pela ANA, aplicada em 2013, 2014 e 2016. O relatório do 3o ciclo de monitoramento das metas do PNE, elaborado pelo Inep, mostrou que 54,7% dos alunos que fizeram a ANA 2016 atingiram até o nível 2 da escala de leitura, que tem quatro níveis; em matemática, 55,5% atingiram até o nível 2 de uma escala também com quatro níveis; e, em escrita, 33,8% atingiram o nível 3 de uma escala com cinco níveis (Inep, 2020a).
Entretanto esse relatório não apresentou uma definição oficial do nível que o estudante deve estar na escala ANA para ser considerado alfabetizado de acordo com a meta do PNE. Alternativamente, o Anuário Brasileiro de Educação, publicado pela organização Todos pela Educação considera alfabetizada - ou nível suficiente de proficiência - a criança que atingiu o nível 3 em leitura e matemática e o nível 4 em escrita na ANA (Todos pela Educação, 2018). Por esse critério não oficial, a meta 5 do PNE estava distante em 2016, uma vez que cerca da metade dos estudantes do 3o ano do EF não estavam alfabetizados.
Em 2019, a avaliação da alfabetização no Saeb foi antecipada para o 2o ano, com a justificativa de que a Base Nacional Comum Curricular (BNCC), aprovada em 2017, passou a considerar esse ano escolar como o final do ciclo de alfabetização (Inep, 2019). A BNCC é um documento de caráter normativo que, em conformidade com o PNE, define o conjunto de aprendizagens essenciais que devem ser desenvolvidas durante a educação básica (Resolução CNE/CP n. 2, 2017).
Além de referência para a elaboração dos currículos, a BNCC tem o objetivo de alinhar as políticas educacionais para o desenvolvimento da educação, entre elas as avaliações educacionais. O Saeb do 2o ano do EF, além do diagnóstico mais precoce da alfabetização, utilizou uma matriz de referência preliminar baseada na BNCC para a construção de seus itens (Inep, 2019). Porém a adoção dessa matriz em 2019 pode ter sido um problema para alguns sistemas de ensino. Segundo o Observatório Movimento pela Base, em 2020 - ou seja, após a aplicação do Saeb -, 12% dos municípios ainda não tinham homologado o novo currículo para o EF (Movimento pela Base, 2023).
O alinhamento entre os vários componentes das avaliações em larga escala é uma das questões de validade que mais preocupam os gestores educacionais. Isso envolve compreender as conexões entre as matrizes de referência, a elaboração dos itens do teste, as escalas de proficiência, os padrões de desempenho e a interpretação de seus resultados (Forte, 2017). Esse alinhamento possibilita que as avaliações educacionais se tornem informações úteis que orientem as intervenções pedagógicas.
Tendo em vista que o conhecimento da matriz de referência é crucial para compreender o que é avaliado no Saeb, e que muitas escolas ainda não estavam seguindo o novo currículo pautado na BNCC, este artigo coloca as seguintes questões de pesquisa: como a matriz de referência se materializa nos testes cognitivos do Saeb em relação ao letramento em matemática? Qual a situação do letramento em matemática dos estudantes brasileiros do 2o ano do EF em relação à versão preliminar da matriz de referência baseada na BNCC?
Delimitamos o letramento em matemática por ser a área que vem apresentando menos avanços no aprendizado nas avaliações realizadas nos anos iniciais do EF (Fontanive et al., 2010; Alves & Ferrão, 2019; Alves & Marassi, 2019; Souza et al., 2019). A matemática é uma área de conhecimento bastante dependente da escola, cujo aprendizado começa de forma mais lenta, se acelerando depois e fazendo seu atraso mais difícil de ser recuperado posteriormente (Brooke et al., 2014; Ortigão & Oliveira, 2016).
Além desta introdução, neste artigo apresentamos uma síntese do conceito de letramento em matemática e seu uso nas avaliações em larga escala. Em seguida explicamos o desenho metodológico do Saeb do 2o ano do EF e comparamos as habilidades da matriz de referência de matemática com as sentenças descritoras associadas aos níveis da escala de proficiência. Depois, descrevemos os níveis de letramento em matemática dos alunos brasileiros e discutimos possíveis lacunas no teste quanto à avaliação de algumas habilidades da matriz de referência.
O LETRAMENTO EM MATEMÁTICA NAS AVALIAÇÕES EM LARGA ESCALA
O conceito de letramento
A inserção do indivíduo no mundo da escrita se dá por meio da aquisição de uma tecnologia - a alfabetização - e por meio do desenvolvimento de competências (habilidades, conhecimentos, atitudes) de uso efetivo dessa tecnologia em práticas sociais que envolvem a língua escrita - que se chama letramento (Soares, 2003a). Essa noção foi introduzida no campo educacional a partir de meados da década de 1980, quando simultaneamente ocorreu “a invenção do letramento no Brasil, do illettrisme, na França, da literacia, em Portugal, para nomear fenômenos distintos daquele denominado alfabetização” (Soares, 2003b, p. 6, grifos do autor). Na mesma época, nos Estados Unidos e na Inglaterra, a palavra literacy, embora dicionarizada anteriormente, ganhou atenção. Nessa concepção, uma pessoa “letrada” deve ter competência e/ou habilidade para fazer uso da alfabetização. Torna-se importante, portanto, compreender o significado da palavra competência. Na BNCC, “competência é definida como a mobilização de conhecimentos (conceitos e procedimentos), habilidades (práticas, cognitivas e socioemocionais), atitudes e valores para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania e do mundo do trabalho” (Ministério da Educação, 2018 , p. 8).
A BNCC tem o foco no desenvolvimento de competências. Isso significa que:
As decisões pedagógicas devem estar orientadas para o desenvolvimento de competências. Por meio da indicação clara do que os alunos devem “saber” (considerando a constituição de conhecimentos, habilidades, atitudes e valores) e, sobretudo, do que devem “saber fazer” (considerando a mobilização desses conhecimentos, habilidades, atitudes e valores para resolver demandas complexas da vida cotidiana, do pleno exercício da cidadania e do mundo do trabalho). (Ministério da Educação, 2018, p. 13).
A falta de consenso em torno das concepções de letramento, bem como a forma de avaliá-lo, não é recente (Bonamino et al., 2002; Soares, 1999; Soares, 2003a). Soares (2003b) defende a especificidade e indissociabilidade entre os processos de alfa- betização e letramento, além de destacar a importância do desenvolvimento da alfabetização em um contexto de letramento. Ressalta que no Brasil esses dois conceitos frequentemente se mesclam e se confundem, mas reconhece que eles têm dimensões ou “facetas” diferentes.
Transitando nesse cenário para o contexto da matemática, o que significa letramento matemático? Segundo Fonseca (2004) o uso do termo alfabetismo, ou daquele que tem sido utilizado com mais frequência no Brasil, letramento, é decorrente da nova realidade social do início do milênio, em que a tecnologia do saber ler ou escrever não mais é suficiente. É preciso, portanto, ser capaz de mobilizar essa tecnologia em práticas sociais que envolvem a língua escrita. A autora relaciona a matemática a essas demandas, no sentido em que as habilidades matemáticas têm sido cada vez mais incorporadas à concepção de alfabetismo, refletindo extensão, diversificação e sofisticação “das demandas de leitura e escrita a que o sujeito deve atender para ser considerado funcionalmente alfabetizado” (Fonseca, 2004, p. 13).
No Brasil, numeramento é o termo utilizado para fazer a distinção, na educação matemática, das dimensões de um fenômeno próprio da matemática, especialmente nas proposições, análises e avaliações de jovens e adultos (Fonseca, 2009; Ribeiro & Fonseca, 2010; Galvão & Nacarato, 2013). Dessa forma, as práticas de numeramento são consideradas práticas de letramento, e o conceito de numeramento é entendido como uma dimensão do letramento (Fonseca, 2009).
Uma das avaliações em larga escala de maior expressividade internacional - o Programa Internacional de Avaliação de Estudantes (em inglês: Programme for International Student Assessment - Pisa) - tem por base o conceito de letramento ou competência (utilizados como tradução do termo literacy) em cada um dos domínios avaliados (Organisation for Economic Co-operation and Development [OECD], 2019).1 Em relação à matemática, o letramento refere-se à:
. . . capacidade individual de formular, empregar e interpretar a matemática em uma variedade de contextos. Isso inclui raciocinar matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas matemáticos para descrever, explicar e prever fenômenos. Isso auxilia os indivíduos a reconhecer o papel que a matemática desempenha no mundo e faz com que cidadãos construtivos, engajados e reflexivos possam fazer julgamentos bem fundamentados e tomar as decisões necessárias. (OECD, 2017, p. 67, tradução nossa).2
O conceito de letramento do Pisa está relacionado a um uso abrangente da matemática que enfatiza competências necessárias à vida. Dessa forma, o letramento é avaliado em três dimensões: o conteúdo matemático, os processos e os contextos. O conteúdo é categorizado em quatro subáreas: espaço e forma; mudanças e relações; quantidade; e incerteza. Os processos referem-se a três grupos de competências matemáticas gerais que os alunos utilizam na resolução dos problemas: reprodução, conexão e reflexão. Por fim, os problemas apresentados pelo Pisa se relacionam de duas maneiras com o mundo real: eles existem em situações relevantes para o estudante; e cada situação, por sua vez, apresenta um problema que tem um contexto mais específico. Portanto os três componentes do domínio da matemática são de naturezas distintas. Enquanto as situações ou contextos definem onde e como os problemas se apresentam no mundo real, as subáreas do conteúdo matemático expressam um olhar matemático para a realidade e as competências matemáticas formam o núcleo do letramento matemático.
O Trends in International Mathematics and Science Study (TIMSS) é outra referência internacional importante na avaliação do letramento em matemática.3 A base conceitual do TIMMS está organizada em duas dimensões: as áreas do conteúdo e os processos cognitivos (que são de três tipos: conhecer, aplicar e raciocinar). Sinteticamente, o primeiro processo cognitivo envolve o conhecimento dos fatos, conceitos e procedimentos que os alunos precisam saber; o segundo refere-se à capacidade que o aluno tem de aplicar seu conhecimento para resolver problemas do dia a dia; e o terceiro cobre o raciocínio dedutivo ou indutivo, baseado em padrões ou regularidades que permitem responder aos problemas (Mullis & Martin, 2017).
A BNCC se inspira no Pisa para definir o letramento matemático nos seguintes termos:
O Ensino Fundamental deve ter compromisso com o desenvolvimento do letramento matemático,4 definido como as competências e habilidades de raciocinar, representar, comunicar e argumentar matematicamente, de modo a favorecer o estabelecimento de conjecturas, a formulação e a resolução de problemas em uma variedade de contextos, utilizando conceitos, procedimentos, fatos e ferramentas matemáticas. É também o letramento matemático que assegura aos alunos reconhecer que os conhecimentos matemáticos são fundamentais para a compreensão e a atuação no mundo e perceber o caráter de jogo intelectual da matemática, como aspecto que favorece o desenvolvimento do raciocínio lógico e crítico, estimula a investigação e pode ser prazeroso (fruição). (Ministério da Educação, 2018, p. 266).
Entretanto, o modo como o letramento matemático foi incorporado na BNCC gerou controvérsias. Arruda et al. (2020), por exemplo, destacam a importância da BNCC como um instrumento valioso na formação do letramento matemático no EF, mostrando a relação entre suas competências e a concepção de letramento adotada no Pisa (OECD, 2019). Porém Passos e Nacarato (2018) não acreditam que a BNCC terá impacto nas práticas docentes e tampouco resolverá os problemas do ensino e da aprendizagem da matemática. Parece haver pouco entendimento a respeito das competências gerais da matemática na BNCC, o que aponta a necessidade de uma análise mais minuciosa, que se desdobre sobre “as habilidades específicas das unidades temáticas e seus objetos de conhecimento” (Arruda et al., 2020, p. 205).
Uma vez que a BNCC deve também orientar as avaliações educacionais, a transposição dessa definição de letramento matemático para a avaliação educacional em larga escala é uma tarefa complexa. Na edição do Saeb 2019, a adequação do Saeb à BNCC foi realizada por meio de uma versão preliminar da matriz de referência de matemática testada somente no 2o ano do EF (Inep, 2019). A próxima seção descreve como foi essa avaliação.
A avaliação do letramento em matemática no Saeb - 2º ano do ensino fundamental
Para organizar uma avaliação externa do letramento matemático é necessário definir o que deve ser avaliado nessa competência. Nos documentos que orientam o Saeb, à luz da BNCC, o letramento matemático foi definido como a “compreensão e aplicação de conceitos e procedimentos matemáticos na resolução de problemas nos campos de Números, Álgebra, Geometria, Grandezas e Medidas e Probabilidade e Estatística, bem como na argumentação acerca da resolução de problemas” (Inep, 2019, p. 84).
No Saeb do 2o ano do EF, os itens dos testes foram elaborados de acordo com as matrizes de referência atualizadas e, de forma preliminar, alinhadas com a BNCC. A matriz de referência de matemática foi organizada em duas dimensões: dois eixos cognitivos e cinco eixos do conhecimento. Os eixos cognitivos são: compreender e aplicar conceitos e procedimentos; e resolver problemas e argumentar. Eles são resultado de uma síntese das dez competências gerais da BNCC e de sete das oito competências específicas da matemática (Inep, 2019, p. 77). Os eixos do conhecimento são números, álgebra, grandezas e medidas; geometria; e probabilidade e estatística, que correspondem às unidades temáticas da BNCC.
Cabe observar que a matriz constituída por apenas dois eixos cognitivos apresenta uma visão mais empobrecida do letramento matemático quando comparada aos modelos conceituais do Pisa e do TIMSS. No conceito de letramento do Saeb, o problema já se apresenta em termos matemáticos, portanto o aluno não passa pela etapa de formulação. No Pisa, a definição de letramento matemático apresenta uma etapa anterior, que se refere à formulação de um problema do mundo real em um problema matemático. Essa matriz preliminar deverá passar por várias etapas de validação, que são necessárias para garantir a qualidade técnica dos instrumentos da avaliação (Inep, 2020b).
Na matriz de referência de matemática estão descritas 33 habilidades. O eixo de conhecimento “números” tem oito habilidades no primeiro eixo cognitivo e três no segundo; o eixo “grandezas e medidas”, sete e três habilidades, respectivamente; “geometria” e “probabilidade e estatística” têm, cada, três e uma habilidade em cada eixo cognitivo, respectivamente; e “álgebra” tem apenas quatro habilidades no primeiro eixo cognitivo.
As habilidades têm rótulos que identificam o ano escolar, o eixo do conhecimento, o eixo cognitivo e uma identificação única numérica. Os eixos de conhecimento são identificados por letras: N (números), A (álgebra), G (geometria), M (grandezas e medidas) e E (probabilidade e estatística). Dessa forma, no rótulo 2N1.i, o primeiro número indica a etapa escolar (2o ano do EF), a primeira letra se refere ao eixo do conhecimento (números), o número que se segue indica o eixo cognitivo (no exemplo, o 1 indica “compreender e aplicar conceitos e procedimentos”), seguido por um número de identificação da habilidade (i). O rótulo 2N2.i significa uma habilidade do mesmo ano escolar e eixo do conhecimento, mas o número após a letra N indica o eixo cognitivo “resolver problemas e argumentar”. Na Tabela A (Apêndice), reproduzimos a matriz de referência de matemática para o 2o ano do EF.
A partir dessa matriz de referência do Saeb do 2o do EF, o teste de matemática foi composto por 70 itens, sendo 63 itens de múltipla escolha e sete itens de resposta construída (questões abertas). Em relação aos eixos do conhecimento, o teste foi composto proporcionalmente da seguinte maneira: 35% itens no eixo de números, 10% itens de álgebra, 20% de geometria, 20% de grandezas e medidas e 15% de probabilidade e estatística. Esses itens foram distribuídos em 21 cadernos de teste, de maneira que os estudantes de cada turma deveriam responder a um único caderno composto por 20 itens: 18 de múltipla escolha e dois de resposta construída.
O Saeb ocorreu entre 21 de outubro e 1o de novembro de 2019. Os estudantes tiveram uma hora e 15 minutos para concluir o teste de matemática. A aplicação foi mediada, isto é, cada aplicador efetuou a leitura dos enunciados das questões para a turma, permitindo que a proficiência em matemática pudesse ser medida mesmo que o estudante ainda estivesse aprendendo a ler.5
O desempenho dos alunos no teste gera as proficiências - ou uma evidência do aprendizado -, que são estimadas via Teoria de Resposta ao Item (TRI). As proficiências são calculadas em unidades de desvios-padrão. Para a interpretação, esses valores são transformados para uma escala arbitrada com o valor de 750 para a média e o desvio-padrão de 50, o que distingue a escala do 2o ano do EF da utilizada nas outras etapas avaliadas no Saeb.
Essa escala ordena as proficiências dos alunos em um continuum, do menor para o maior valor, e é cumulativa. Ou seja, os alunos situados em um nível da escala de proficiência demonstram as habilidades descritas para aquele nível e para os níveis anteriores. As pontuações na escala de proficiência matemática foram agrupadas em níveis associados aos conjuntos de tarefas de dificuldade crescente, categorizados da seguinte maneira:
nível abaixo de 1: desempenho menor que 650 pontos;
nível 1: desempenho maior ou igual a 650 e menor do que 675 pontos;
nível 2: desempenho maior ou igual a 675 e menor do que 700 pontos;
nível 3: desempenho maior ou igual a 700 e menor do que 725 pontos;
nível 4: desempenho maior ou igual a 725 e menor do que 750 pontos;
nível 5: desempenho maior ou igual a 750 e menor do que 775 pontos;
nível 6: desempenho maior ou igual a 775 e menor do que 800 pontos;
nível 7: desempenho maior ou igual a 800 e menor do que 825 pontos;
nível 8: desempenho maior ou igual a 825 pontos.
A interpretação da escala traduz os números relacionados às proficiências em informações sobre o que os estudantes são capazes de realizar em cada nível, em termos de habilidades matemáticas, de modo a subsidiar o trabalho dos educadores. Isso é feito por meio de análises realizadas por especialistas da área que analisam os itens e listam as habilidades necessárias para a resolução dos mesmos. Em cada um dos intervalos agrupados da escala, são produzidos enunciados verbais (sentenças descritoras) que agregam e descrevem as habilidades ou os desempenhos demonstrados pelos alunos em cada um desses níveis a partir dos itens situados no respectivo intervalo da escala (Inep, 2020b).
A escala de proficiência apresenta 68 sentenças descritoras relacionadas aos eixos de conhecimento e distribuídas em seus oito níveis. Por exemplo, no nível 1 há sete sentenças descritoras das habilidades demonstradas pelos alunos que alcançam proficiência até esse nível. Entre elas, duas são do eixo de conhecimento geometria, duas são grandezas e medidas e três, de probabilidade e estatística (Inep, 2020b).
Há estudos nacionais que apresentam e discutem o desempenho e/ou a proficiência dos alunos em matemática nas avaliações em larga escala, mas poucos abordam esse desempenho na perspectiva do letramento. Entre as exceções, destacamos o artigo de Aguiar e Ortigão (2012), que comparou o letramento em matemática dos alunos brasileiros e portugueses no Pisa 2003 e constataram que há ênfases curriculares diferenciadas entre os dois países. Em outro trabalho baseado nos dados nacionais do Pisa 2012, Ortigão et al. (2018) consideraram crítico o letramento em matemática no Brasil. Galvão e Nacarato (2013), por sua vez, analisaram as concepções de letramento presentes na Provinha Brasil de matemática do 2o ano do EF, dos anos 2011 e 2012. A matriz de referência do Indicador de Alfabetismo Funcional (Inaf), apresentada e discutida por Ribeiro e Fonseca (2010), se apropria do conceito de letramento matemático, mas essa avaliação é voltada para a população jovem e adulta. Dessa forma, não encontramos trabalhos que analisem o conceito de letramento em matemática em relação à matriz de referência do Saeb do 2o do EF, que é o enfoque deste trabalho.
Relação entre a matriz de referência e a escala de proficiência
A matriz de referência e a escala de proficiência são construídas de forma independente, porém a relação entre ambas é evidente. A TRI permite colocar na mesma escala os itens, desenvolvidos a partir da matriz de referência, e o desempenho dos alunos, que é uma evidência da eficácia do processo de ensino-aprendizagem à luz da BNCC.
Neste artigo, relacionamos esses dois instrumentos, a fim de verificar como as habilidades presentes na matriz estão distribuídas nos níveis da escala, que é a métrica para apresentar os resultados dos alunos. Uma vez que não tivemos acesso aos itens utilizados nos cadernos de provas (ou pelo menos uma amostra) para conduzir essa análise, fizemos uma comparação semântica de cada sentença descritora da escala com uma habilidade da matriz. Por exemplo, no nível 1 da escala de proficiência, uma das sentenças descritoras de geometria é: “Reconhecer um triângulo em posição usual (com a ‘ponta’ para cima e base na horizontal), dado o nome dessa figura geométrica”. No eixo de conhecimento geometria, da matriz de referência, encontramos a seguinte habilidade cujo enunciado é semelhante a esse descritor: “2G1.3 - reconhecer/nomear figuras geométricas planas (círculo, quadrado, retângulo e triângulo)”, do eixo cognitivo “compreender e aplicar conceitos e procedimentos”. Fizemos o mesmo com todas as sentenças descritoras.
Em seguida, registramos as relações observadas em tabelas organizadas por eixo de conhecimento. Em cada uma delas, a primeira coluna apresenta os níveis da escala de proficiência, e as colunas seguintes contêm os eixos cognitivos da matriz de referência, cuja identificação por número não tem uma interpretação valorativa de menor para maior dificuldade ou outro atributo quantitativo. Os números de 1 a 8 e de 1 a 3 representam apenas a identificação das habilidades descritas para cada um dos eixos cognitivos, cuja quantidade varia por eixo de conhecimento. As habilidades da matriz de referência não estão hierarquizadas, somente classificadas por eixos. O que se espera é que todos os estudantes tenham oportunidade de desenvolvê-las nos seus anos iniciais de escolarização. Já a escala de proficiência - como um termômetro - indicará, probabilisticamente, se esse objetivo foi alcançado, o que será evidenciado pela proficiência do aluno.
Um exemplo de tabela comparativa para um dos eixos de conhecimento está apresentado na Tabela B (Apêndice) e as tabelas completas estão disponíveis como material suplementar. Uma versão simplificada das tabelas comparativas está apresentada na Tabela 1. Em suas células estão registrados os rótulos das habilidades, de acordo com a matriz de referência (ver descrição na Tabela A do Apêndice), posicionados nas linhas de acordo com a sua compatibilidade semântica com as sentenças descritoras dos níveis da escala de proficiência.
A Tabela 1 nos ajuda a compreender algumas características da avaliação em larga escala. Observa-se que uma mesma habilidade presente na matriz de referência pode gerar itens com níveis de dificuldade distintos segundo a posição das sentenças descritoras na escala de proficiência. Por exemplo, o descritor 2N1.3 do eixo de conhecimento números (“escrever números naturais de até 3 ordens em sua representação por algarismos ou em língua materna ou associar o registro numérico de números naturais de até 3 ordens ao registro em língua materna”) é semelhante a sentenças descritoras que aparecem em três níveis da escala de proficiência: no nível 2 (“associar a denominação de um número de duas ordens à sua representação por algarismos”), no nível 3 (“associar a representação por algarismos de um número de duas ordens à sua escrita por extenso”) e no nível 4 (“associar a denominação de um número de três ordens que tem um zero intercalado à sua representação por algarismos”). Isso significa que, para avaliação da mesma habilidade, os alunos foram testados por meio de itens com níveis crescentes de dificuldade. Como os itens estão distribuídos em 21 cadernos de prova, é possível que esses itens estejam em cadernos distintos.
Uma habilidade de um eixo de conhecimento pode estar relacionada a mais de uma sentença descritora no mesmo nível da escala de proficiência. Por exemplo, a habilidade 2E1.2, do eixo de conhecimento probabilidade e estatística (“ler/identificar OU comparar dados estatísticos ou informações expressos em tabelas - simples ou de dupla entrada”), é compatível com duas as sentenças descritoras do nível 1 da escala (“identificar a categoria que apresenta uma frequência específica em uma tabela simples que envolve números de uma ordem” e “identificar a categoria que apresenta uma frequência específica em uma tabela simples que envolve números de uma ou duas ordens - menores que 20”). Nesses casos, incluímos letras a e b como complementos aos rótulos. É possível que algumas habilidades tenham sido testadas com itens semelhantes e com o mesmo nível de dificuldade, em diferentes cadernos de prova, mas receberam descritores próprios com sutis diferenças na escala de proficiência.
EIXOS DE CONHECIMENTO | EIXOS COGNITIVOS DA MATRIZ DE REFERÊNCIA | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
COMPREENDER E APLICAR CONCEITOS E PROCEDIMENTOS | RESOLVER PROBLEMAS E ARGUMENTAR | |||||||||||
ESCALA DE PROFICIÊNCIA | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 1 | 2 | 3 | |
Nível 0 | ||||||||||||
Nível 1 | 2M1.1 | 2G1.2 | 2G1.3 | |||||||||
2E1.2a | 2M1.3 | |||||||||||
2E1.2b | 2E1.3 | |||||||||||
Nível 2 | 2M1.1 | 2E1.2 | 2N1.3 | 2N1.4 | ||||||||
2E1.3a | 2A1.4 | |||||||||||
2E1.3b | 2M1.4 | |||||||||||
Nível 3 | 2N1.2 | 2N1.3 | 2N1.4 | 2M1.6 | 2M1.7 | 2N2.1 | 2N2.2 | |||||
2G1.3 | ||||||||||||
2E1.3 | 2E2.1 | |||||||||||
Nível 4 | 2G1.1 | 2N1.3 | 2M1.4 | 2N2.1a | ||||||||
2G1.3 | 2N2.1b | |||||||||||
2E1.3 | 2E2.1 | |||||||||||
Nível 5 | 2E1.1 | 2G1.2 | 2N1.7 | 2E2.1 | 2N2.2a | 2M2.3 | ||||||
2N2.2b | ||||||||||||
Nível 6 | 2N1.1 | 2A1.3 | 2A1.4 | 2N1.6a | 2N1.7 | 2N1.8 | 2N2.1 | 2N2.2 | ||||
2G2.1 | ||||||||||||
2M2.1a | ||||||||||||
2N1.6b | 2M2.1b | |||||||||||
2A1.1 | 2M1.6 | 2E2.1 | ||||||||||
Nível 7 | 2N1.1 | 2G1.2 | 2A1.3 | 2N1.4 | 2N1.7 | 2N2.1 | 2M2.2 | |||||
2A1.4a | ||||||||||||
2A1.4b | 2M1.7 | 2G2.1 | ||||||||||
Nível 8 | 2M1.2 | 2N2.3 |
Fonte: Elaboração própria com informações do Saeb do 2o ano do EF (Inep, 2020b).
A área de números (N), que responde por 35% dos itens aplicados na edição, não tem itens relacionados ao nível 1 da escala, no eixo cognitivo “compreender e aplicar conceitos e procedimentos”, nem itens nos níveis 1 e 2, no eixo “resolver problemas e argumentar”. O eixo de conhecimento sobre números é considerado básico no letramento matemático. Porém, em razão da inexistência de itens sobre essa competência nos níveis mais baixos da escala, provavelmente os alunos com habilidades mais incipientes - do ponto de vista escolar - não tiveram oportunidade de demonstrar o que sabem sobre números.
O nível 0 da escala de proficiência (primeira linha) não tem nenhuma sentença descritora. Isso ocorre porque todos os itens do teste tiveram grau de dificuldade acima de 650 pontos da escala. Porém, como veremos na próxima seção, há alunos no nível 0, sobretudo entre os que estudam nas escolas municipais, que correspondem à maioria da amostra.
Registramos algumas lacunas de habilidades que não tiveram itens desenvolvidos para a edição do Saeb 2019. As habilidades 2N1.5 (“comparar ou ordenar números naturais, de até 3 ordens, com ou sem suporte da reta numérica”), 2A1.2 (“inferir OU descrever atributos ou propriedades comuns que os elementos que constituem uma sequência de números naturais apresentam”) e 2M1.5 (“identificar sequência de acontecimentos relativos a um dia”) não foram encontradas nas sentenças descritoras em nenhum dos níveis da escala de proficiência. Provavelmente porque não houve itens para mensurá-las, razão pela qual há um vazio na coluna. No documento com a descrição da escala de proficiência consta do seguinte registro quando há essa ausência: “ainda não há itens nesse nível que sejam desse eixo do conhecimento”. Ou seja, ao que parece o preenchimento dessas lacunas ficou para as edições posteriores do Saeb.
A edição 2019 do Saeb do 2o ano do EF parece ter avaliado de forma mais completa o letramento matemático em relação ao eixo do conhecimento de grandezas e medidas, pois é o único eixo contemplado em todos os níveis da escala de proficiência. Seria esperado que o mesmo ocorresse com o eixo de números, dada a importância desses dois eixos no letramento matemático para os anos iniciais da escolarização. Essa hipótese poderia ser mais bem analisada se tivéssemos acesso aos itens do teste cognitivo e às estimativas de seus respectivos parâmetros. Até o nível 2 da escala de proficiência, poucas habilidades da matriz de referência foram avaliadas, o que prejudica a compreensão em torno do letramento matemático, uma vez que os alunos que estão nesses níveis tiveram menos oportunidade de mostrar o que sabem.
Como está o letramento matemático no 2º ano do EF?
Tendo em vista que o Saeb do 2o ano do EF teve a BNCC como referência, mas o novo currículo está em implantação, analisamos como os alunos se saíram no teste de matemática. De acordo com a BNCC, os alunos já deveriam estar alfabetizados ou próximos de conquistarem essa meta no final dessa etapa de ensino.
A Tabela 2 mostra os resultados do Saeb do 2o ano do EF, segundo os níveis da escala de proficiência. Note-se que cerca de 3% dos estudantes estão classificados abaixo do nível 1. Podemos inferir que esses alunos se mostraram incapazes de utilizar habilidades matemáticas nas situações que apresentaram as tarefas mais fáceis, mesmo diante de um teste mediado pelo aplicador, que fez a leitura em voz alta dos itens.
PERC. (%) | NÍVEL 0 [<650] | NÍVEL 1 [≤650; >675] | NÍVEL 2 [≤675; >700] | NÍVEL 3 [≤700; >725] | NÍVEL 4 [≤725; >750] | NÍVEL 5 [≤750; >775] | NÍVEL 6 [≤775; >8.00] | NÍVEL 7 [≤800; >825] | NÍVEL 8 [≥825] | |
---|---|---|---|---|---|---|---|---|---|---|
TOTAL | 100,0 | 2,8 | 4,5 | 8,6 | 14,4 | 19,8 | 18,2 | 14,5 | 10,1 | 7,0 |
Federal | 0,1 | 0,8 | 1,2 | 2,2 | 7,8 | 14,6 | 18,5 | 21,6 | 18,3 | 15,0 |
Estadual | 13,4 | 2,4 | 3,7 | 7,7 | 13,6 | 19,7 | 18,8 | 15,3 | 11,4 | 7,5 |
Municipal | 65,8 | 3,7 | 5,6 | 10,4 | 16,2 | 21,0 | 17,5 | 12,7 | 7,6 | 5,2 |
Privada | 20,8 | 0,4 | 1,3 | 3,6 | 9,3 | 16,2 | 19,7 | 19,9 | 17,3 | 12,3 |
Fonte: Elaboração própria com base nos microdados do Saeb (Inep, 2021).
Observa-se que 50,1% dos alunos alcançam até o nível 4 da escala de profi- ciência (proficiência até 750, que corresponde à média da escala). Esses estudantes provavelmente sabem, compreendem ou são capazes de fazer tarefas relacionadas às habilidades do eixo cognitivo de conhecer e aplicar conceitos e procedimentos, com mais descritores até esse nível. Porém esses resultados são bem diferentes entre as redes de ensino. Nas escolas municipais, que registram mais de 65% das matrículas, os percentuais de alunos entre os níveis 0 e 4 da escala são maiores. Isso significa que esses estudantes carecem de intervenções pedagógicas que lhes permitam consolidar as habilidades previstas para os níveis mais altos da escala. Os alunos que estão entre os níveis 0 e 2 requerem mais atenção, pois demonstraram não conseguir resolver itens muito fáceis ou ter aprendido apenas algumas habilidades mais básicas da escala. Uma vez que a BNCC estava sendo implantada quando essa avaliação ocorreu, é possível que parte dos alunos não teve oportunidade de demonstrar suas habilidades.
Tendo em vista as conhecidas diferenças entre as redes de ensino, que refletem as desigualdades nas condições da oferta educativa e no perfil socioeconômico dos alunos (Alves & Ferrão, 2019; Alves & Xavier, 2018; Vieira, 2019), na Tabela 3 descrevemos a distribuição dos alunos na escala de proficiência por região, localização e unidade da federação. Para essa análise, selecionamos somente as escolas públicas estaduais e municipais, que juntas respondem por quase 80% das matrículas.
Entre as escolas públicas, os percentuais de alunos nos níveis mais baixos da escala (entre 0 e 4) são maiores nas escolas rurais e nas regiões Norte e Nordeste. Esse resultado não é diferente do que foi observado na ANA, realizada pela última vez em 2016 (Almeida et al., 2017; Alves & Marassi, 2019; Souza et al., 2019; Soares & Bergmann, 2020; Machado et al., 2021). Entretanto, no nível oito, o percentual de alunos de escolas rurais é maior do que o de escolas urbanas, assim como no acontece no Nordeste em comparação com o Sul. As escolas rurais representam apenas 10,6% do total e essa tendência pode produzir resultados estatísticos atípicos devido ao pequeno número de casos na distribuição por níveis.
O resultado do Nordeste reflete o sucesso do Ceará, onde 31,5% dos alunos alcançaram os níveis 7 e 8 da escala. Esse percentual é quase 2,5 maior que a média nacional. O destaque do Ceará em letramento já era observado na avaliação da alfabetização ANA e nas outras etapas avaliadas pelo Saeb (Alves & Ferrão, 2019; Alves & Marassi, 2019).
PERC. (%) | NÍVEL 0 [<650] | NÍVEL 1 [≤650; >675] | NÍVEL 2 [≤675; >700] | NÍVEL 3 [≤700; >725] | NÍVEL 4 [≤725; >750] | NÍVEL 5 [≤750; >775] | NÍVEL 6 [≤775; >800] | NÍVEL 7 [≤800; >825] | NÍVEL 8 [≥825] | |
---|---|---|---|---|---|---|---|---|---|---|
TOTAL | 100,0 | 3,5 | 5,3 | 9,9 | 15,8 | 20,8 | 17,8 | 13,1 | 8,3 | 5,6 |
Urbana | 89,4 | 3,1 | 5,1 | 9,8 | 15,5 | 21,1 | 18,2 | 13,4 | 8,3 | 5,4 |
Rural | 10,6 | 6,1 | 7,0 | 11,4 | 17,6 | 17,9 | 14,4 | 11,1 | 7,5 | 6,9 |
Norte | 11,0 | 4,6 | 7,7 | 12,4 | 18,2 | 19,3 | 16,5 | 10,3 | 6,4 | 4,6 |
Nordeste | 25,0 | 5,4 | 7,7 | 12,0 | 17,8 | 18,3 | 14,6 | 11,0 | 6,9 | 6,2 |
Sudeste | 40,6 | 2,8 | 3,9 | 8,7 | 14,1 | 22,3 | 18,5 | 14,5 | 9,0 | 6,2 |
Sul | 14,6 | 1,3 | 3,2 | 7,6 | 13,7 | 21,3 | 21,1 | 15,8 | 10,4 | 5,5 |
Centro- -Oeste | 8,8 | 3,0 | 5,6 | 10,7 | 18,2 | 21,6 | 19,4 | 11,4 | 7,4 | 2,6 |
RO | 1,1 | 4,2 | 6,7 | 13,8 | 21,4 | 20,5 | 17,8 | 9,6 | 4,3 | 1,7 |
AC | 0,7 | 2,9 | 4,3 | 9,0 | 14,7 | 21,4 | 19,7 | 13,8 | 8,3 | 6,0 |
AM | 2,7 | 3,5 | 6,6 | 10,2 | 16,5 | 18,3 | 16,9 | 12,8 | 9,4 | 5,8 |
RR | 0,4 | 5,2 | 8,0 | 10,9 | 17,1 | 22,9 | 15,9 | 12,8 | 5,3 | 2,1 |
PA | 4,7 | 4,7 | 8,9 | 13,3 | 18,3 | 18,7 | 16,6 | 8,9 | 5,4 | 5,2 |
AP | 0,6 | 8,7 | 9,7 | 15,0 | 21,8 | 18,0 | 11,6 | 7,8 | 4,8 | 2,6 |
TO | 0,9 | 6,2 | 7,9 | 14,8 | 19,4 | 21,2 | 14,3 | 9,0 | 4,8 | 2,3 |
MA | 3,7 | 8,2 | 11,9 | 15,9 | 22,3 | 16,3 | 10,9 | 6,9 | 3,9 | 3,6 |
PI | 1,6 | 3,6 | 6,4 | 10,4 | 17,1 | 21,7 | 17,3 | 12,5 | 7,1 | 4,0 |
CE | 4,0 | 2,3 | 3,0 | 5,2 | 9,6 | 15,3 | 16,5 | 14,4 | 14,9 | 18,6 |
RN | 1,5 | 6,7 | 12,4 | 14,5 | 21,4 | 20,6 | 14,1 | 6,9 | 2,4 | 1,1 |
PB | 1,7 | 5,4 | 7,3 | 12,9 | 19,1 | 19,9 | 17,0 | 10,1 | 6,2 | 2,1 |
PE | 3,9 | 4,6 | 8,2 | 11,7 | 14,5 | 16,0 | 14,0 | 13,1 | 7,8 | 10,1 |
PERC. (%) | NÍVEL 0 [<650] | NÍVEL 1 [≤650; >675] | NÍVEL 2 [≤675; >700] | NÍVEL 3 [≤700; >725] | NÍVEL 4 [≤725; >750] | NÍVEL 5 [≤750; >775] | NÍVEL 6 [≤775; >800] | NÍVEL 7 [≤800; >825] | NÍVEL 8 [≥825] | |
AL | 1,6 | 6,0 | 7,2 | 14,4 | 19,8 | 19,5 | 15,0 | 10,2 | 5,3 | 2,6 |
SE | 1,0 | 7,3 | 11,4 | 15,7 | 19,1 | 18,9 | 11,9 | 8,0 | 4,2 | 3,5 |
BA | 6,1 | 6,0 | 6,9 | 12,5 | 20,9 | 20,9 | 14,9 | 11,6 | 4,9 | 1,5 |
MG | 9,9 | 2,7 | 5,4 | 9,1 | 16,7 | 22,0 | 18,3 | 14,8 | 7,4 | 3,6 |
ES | 2,1 | 2,9 | 3,2 | 9,7 | 17,7 | 19,3 | 19,1 | 12,9 | 10,0 | 5,2 |
RJ | 6,4 | 3,3 | 5,4 | 10,6 | 18,6 | 23,2 | 17,6 | 10,5 | 5,4 | 5,5 |
SP | 22,2 | 2,8 | 2,8 | 7,8 | 11,2 | 22,5 | 18,8 | 15,7 | 10,7 | 7,6 |
PR | 5,9 | 0,9 | 3,7 | 8,8 | 13,4 | 23,6 | 22,2 | 14,5 | 9,8 | 3,2 |
SC | 3,7 | 0,7 | 2,5 | 5,1 | 11,9 | 18,8 | 19,7 | 19,4 | 13,3 | 8,7 |
RS | 5,0 | 2,3 | 3,1 | 8,2 | 15,5 | 20,4 | 20,8 | 14,9 | 9,0 | 5,8 |
MS | 2,0 | 5,2 | 8,1 | 13,5 | 21,0 | 20,4 | 14,9 | 10,1 | 5,3 | 1,5 |
MT | 2,0 | 3,3 | 6,9 | 12,7 | 18,0 | 19,2 | 19,6 | 10,8 | 7,2 | 2,4 |
GO | 3,3 | 1,4 | 3,8 | 8,9 | 17,1 | 23,6 | 21,7 | 12,4 | 8,1 | 3,0 |
DF | 1,3 | 2,9 | 3,9 | 8,2 | 17,0 | 22,5 | 20,3 | 12,0 | 9,5 | 3,8 |
Fonte: Elaboração própria com base nos microdados do Saeb (Inep, 2021).
Ainda que essa distribuição por níveis seja uma evidência importante, uma lacuna do Saeb é a inexistência de uma definição oficial do nível em que a criança deve estar na escala de proficiência para inferirmos se ela atingiu o estágio de letramento matemático adequado. Isso seria importante para orientar as intervenções pedagógicas. Por exemplo, o Pisa tem uma interpretação pedagógica de seus seis níveis (OECD, 2019). O nível 2 é considerado o mínimo de proficiência para demonstrar habilidades para o uso da matemática em situações simples da vida real. Consideram-se os alunos abaixo desse nível particularmente em risco, mas uma proficiência no nível 2 não denota que o aluno tenha adquirido habilidades suficientes para fazer julgamentos e decisões bem fundamentados em uma variedade de situações pessoais ou profissionais em que o letramento matemático é necessário.
Cabe ressaltar que a inexistência desses níveis normativos no Saeb é contraditória com o PNE. A estratégia 5.2 da quinta meta do PNE prevê “instituir instrumentos de avaliação nacional periódicos e específicos para aferir a alfabetização das crianças” (Inep, 2015, p. 86). Entretanto, sem uma interpretação pedagógica e normativa, não é possível afirmar a partir de qual nível da escala do Saeb esse objetivo foi alcançado. Além disso, a estratégia 7.3a, sobre o ensino fundamental, visa a
. . . assegurar que, no quinto ano de vigência deste PNE, pelo menos 70% dos alunos do Ensino Fundamental e do Ensino Médio tenham alcançado nível suficiente de aprendizado em relação aos direitos e objetivos de aprendizagem e desenvolvimento de seu ano de estudo e 50%, pelo menos, o nível desejável. (Lei n. 13.005, 2014).
O relatório de monitoramento do PNE, já em seu terceiro ciclo, não menciona essa estratégia (Inep, 2020a), que seria um parâmetro importante parar avaliar a qualidade do letramento matemático dos estudantes.
CONSIDERAÇÕES FINAIS
Neste artigo, destacamos quatro pontos críticos do Saeb do 2o ano do ensino fundamental. O primeiro foi a matriz de referência de matemática que, em sua versão preliminar, revelou-se uma simplificação das competências gerais e específicas da matemática previstas na BNCC. Evidentemente, há habilidades da BNCC que não são adaptáveis a um teste em larga escala. Contudo, na comparação com avaliações educacionais internacionais (Pisa e TIMSS), percebe-se que a matriz do Saeb apresenta uma visão mais empobrecida do letramento matemático. Portanto essa versão preliminar necessita passar por mais etapas de validação de forma que se aproxime mais da BNCC.
O segundo ponto crítico foi a inexistência de itens para avaliar de forma mais completa os eixos de conhecimento e os eixos cognitivos do letramento matemático. Há no Saeb uma predominância de itens de múltipla escolha que não possibilita avaliar a imaginação e criatividade dos alunos. Uma análise minuciosa das habilidades previstas na matriz de referência e descritas na escala de proficiência é imprescindível para que seja possível desenhar intervenções apropriadas no ensino de matemática brasileiro, considerando as diferentes dimensões que essas intervenções possam ter. Seja na capacitação docente, no que diz respeito a “o que e como ensinar”; seja para orientar a política de investimento educacional, referente à capacitação docente, à compra de materiais didáticos, entre outras; seja nos fóruns de discussões, especialmente naqueles em que se discute a implementação da BNCC; seja na reflexão que cada docente pode fazer entre as avaliações internas, que ele elabora e ocorrem no interior da sala de aula, em relação às habilidades aferidas pelo Saeb; seja na identificação das habilidades que podem ser consideradas básicas, por eixo do conhecimento da matemática, e que não estão sendo consolidadas pela maioria dos estudantes brasileiros. Portanto um modelo conceitual do letramento em matemática bem delimitado é de grande importância para que a avaliação em larga escala cumpra bem o seu papel. Este artigo aponta algumas fragilidades importantes no modelo conceitual do Saeb.
Reconhecemos que uma limitação da comparação entre a matriz de referência e a escala de proficiência feita neste artigo decorre da impossibilidade de acesso aos itens ou a exemplos de itens aplicados no teste. Nossas inferências sobre o teste foram baseadas nas sentenças descritoras, que traduzem uma interpretação dos itens. Talvez a leitura de exemplos de itens, situados em cada intervalo da escala, permitisse compreender melhor como as habilidades da BNCC foram “traduzidas” no Saeb e se tal pressuposto faz sentido quanto às habilidades mensuradas segundo dois eixos cognitivos.
O formato de aplicação do teste, com a mediação de um aplicador que fez a leitura em voz alta dos itens, pareceu às autoras deste artigo também um ponto crítico. Se o aluno está no final do processo de alfabetização, ele não deveria precisar de mediação. No estudo longitudinal Geres 2005, que acompanhou alunos de escolas públicas e privadas durante os anos iniciais do EF, o aplicador fez a leitura em voz alta dos itens somente para a primeira série enfocada na pesquisa (Brooke & Bonamino, 2011, p. 66). Cabe refletir, portanto, quais as implicações de se avaliar a “alfabetização” nesse formato e as consequências na interpretação dos resultados. Não é possível distinguir os estudantes que necessitam dessa mediação daqueles que já alcançaram a expectativa de alfabetização.
A inexistência de uma interpretação normativa da escala de proficiência do Saeb é o quarto ponto crítico. Nas avaliações educacionais é fundamental estabelecer parâmetros para interpretar os resultados. Isso está previsto no PNE. Em termos práticos, a interpretação normativa significa atribuir rótulos aos intervalos da escala - por exemplo, nível básico, suficiente, proficiente - a fim de orientar as decisões pedagógicas (Fontanive et al., 2007; Soares, 2009; Soares & Bergmann, 2020).
Portanto uma pesquisa necessária no campo da avaliação do letramento matemático é estabelecer uma interpretação normativa da escala de proficiência. Isso é diferente da separação empírica em intervalos fixos na escala. Há várias metodologias para isso e, em geral, elas envolvem a análise do mapa de itens e o juízo de especialistas em educação matemática, a fim de propor padrões de referência para os resultados (Cizek, 1996; Cizek et al., 2004; Zieky & Perie, 2006; Forte, 2017). No Brasil, Soares (2009) desenvolveu uma metodologia para atribuir níveis normativos para a escala do Saeb apresentados no portal Qedu.6 As informações para isso estão disponíveis no Brasil. Entretanto é necessário colocar essa tarefa como uma prioridade entre os avaliadores educacionais, sob a coordenação do Inep e à luz das estratégias do PNE, para que avaliações tenham mais relevância pedagógica nos sistemas de ensino e nas escolas.