PRESSUPOSTOS GERAIS ACERCA DO PISA

O Pisa é uma avaliação padronizada, aplicada a estudantes de países membros e parceiros econômicos da OCDE.¹ Trata-se de uma pesquisa internacional em larga escala, comparada, aplicada de forma amostral e realizada em ciclo trienal com foco em áreas cognitivas de Leitura, Matemática e Ciências. Em cada ciclo, dá-se ênfase a um domínio principal, que ocupa dois terços do tempo do teste e soma aproximadamente 54% dos itens; os outros dois domínios fornecem apenas um perfil básico das habilidades dos alunos e somam 23% dos itens cada. A maior quantidade de itens permite o exame mais detalhado, viabilizando a separação em subáreas e múltiplos aspectos em diferentes formas de abordagens (BRASIL, 2016a).

A população de referência é composta por estudantes matriculados a partir do 8º ano do ensino fundamental, com “idade entre 15 anos e 3 meses (completos) e 16 anos e 2 meses (completos) no início do período de aplicação”. O objetivo é aferir até que ponto esses estudantes próximos do término da educação obrigatória adquiriram conhecimentos e habilidades essenciais para a participação efetiva na sociedade (BRASIL, 2016b, p. 5).

Compõem instrumentos de aplicação do Pisa os Cadernos de Teste Cognitivo e os Questionários Contextuais. As questões do teste são de múltipla escolha, compostas de respostas fechadas e de respostas abertas, divididas em números iguais. Os questionários são aplicados ao estudante e à escola na qual está inserido, captando informações passíveis de análises e capazes de fornecer um perfil do desempenho dos estudantes em associação ao seu contexto social e educacional. Todos os instrumentos são comuns aos países participantes e fornecidos pelo comitê técnico do Pisa.

A avaliação aborda múltiplos aspectos dos resultados educacionais, buscando verificar o que é chamado de Letramento em Leitura, Letramento em Matemática e Letramento em Ciências.

Em um processo colaborativo, com base em interesses compartilhados e orientados para as políticas, o Pisa, por meio da OCDE, procura reunir conhecimentos científicos dos países participantes, conduzidos conjuntamente pelos seus governos. Os países trabalham juntos para produzir um método de avaliação de estudantes que seja válido em todos os países, forte na medição de habilidades relevantes e baseado em situações de experiências sociais reais.

São três tipos de indicadores que o Pisa produz: os Indicadores Básicos, que fornecem um perfil dos conhecimentos, habilidades e competências dos alunos; Indicadores Contextuais, que mostram como tais habilidades estão relacionadas a importantes variáveis demográficas, sociais, econômicas e educacionais; e Indicadores de Tendências, que emergirão a partir dos dados a serem coletados ao longo da próxima década (BRASIL, 2016b, p. 19).

A PARTICIPAÇÃO DO BRASIL NO PISA

A participação do Brasil no Pisa se dá desde 1997, quando foi convidado pela OCDE, sendo o único país da América Latina a participar de todos os ciclos de avaliação até o momento. O primeiro ciclo foi de 2000 a 2006; o segundo, de 2009 a 2015; e o terceiro seguirá de 2018 a 2024.

O Brasil, em 2000, participou da primeira aplicação do Pisa com o domínio principal em Leitura. Nesse ano, o desempenho dos estudantes brasileiros ficou 500 pontos abaixo da média da OCDE: 396 pontos em Leitura, 334 pontos em Matemática e 375 pontos em Ciências.

Em 2000, o teste foi aplicado em condições tradicionais, utilizando papel e lápis, com aproximadamente duas horas de duração. Os Cadernos de Teste continham itens de múltipla escolha e questões de resposta construída. Os itens apareciam agrupados em unidades definidas em função de um estímulo ou de uma situação da vida real (BRASIL, 2001, p. 11). Para o levantamento de informações, os Questionários Contextuais foram aplicados aos estudantes e professores sobre características socioeconômicas, história de vida e aspirações e atitudes com relação ao processo escolar (BRASIL, 2001, p. 11). No caso dos diretores, os questionários a eles aplicados buscavam investigar as características e experiências profissionais, bem como as características pessoais; no caso das escolas, levantavam informações sobre as características físicas, o processo pedagógico e os custos de cada um dos insumos consumidos na escola. Os instrumentos para as coletas dos dados são comuns a todos os países participantes, fornecidos pelo “Consórcio Internacional contratado pela OCDE para administrar o programa” (BRASIL, 2008, p. 23).

No ano de 2003, foram convidados mais países. O principal domínio medido foi Matemática, e, pela primeira vez, a resolução de problemas foi avaliada. A média da OCDE nesse ano foi de 497 pontos. Os estudantes brasileiros obtiveram, em Leitura, 403 pontos; em Matemática, 356 pontos; e, em Ciências, 390 pontos.

O Pisa 2006 teve como área principal Ciências, e as demais como áreas secundárias. A média da OCDE foi 497 pontos. Os estudantes brasileiros obtiveram, em Leitura, 393 pontos; em Matemática, 370 pontos; e, em Ciências, 390 pontos. Nesse ano completou-se o primeiro ciclo de avaliação das três áreas cognitivas: Leitura, Matemática e Ciências.

O segundo ciclo do Pisa teve início em 2009. Nesse ano, além de avaliar as competências dos estudantes, coletaram-se informações para a elaboração de indicadores contextuais que possibilitaram relacionar o desempenho dos estudantes a variáveis demográficas, socioeconômicas e educacionais, por meio de questionários específicos aplicados a estudantes e escolas. Nos questionários havia “itens que pesquisavam desde as características pessoais dos estudantes até a organização das escolas e dos sistemas” (BRASIL, 2012, p. 17). Nessa edição, o domínio principal avaliado foi novamente Leitura. A média da OCDE foi de 500 pontos, e os estudantes brasileiros obtiveram, em Leitura, 412 pontos; em Matemática, 386 pontos; e, em Ciências, 405 pontos.

Em 2012, a ênfase foi novamente em Matemática. As avaliações abrangeram os domínios de Leitura, Matemática, Ciências, Leitura Eletrônica e Resolução de Problemas, numa apreciação ampla dos conhecimentos, habilidades e competências inseridos em diversos contextos sociais. A média OCDE foi de 498 pontos, e os estudantes brasileiros obtiveram, em Leitura, 410 pontos; em Matemática, 391 pontos; e, em Ciências, 405 pontos. Os instrumentos utilizados para coleta dos dados no Pisa 2012 foram Cadernos de Teste, Questionários e uma Prova Eletrônica, que visavam a obter dados do desempenho acadêmico, socioeconômicos e culturais dos estudantes e das escolas (BRASIL, 2013).

Em 2015, a ênfase foi novamente em Ciências. O Pisa 2015 inovou e incluiu não apenas a avaliação de leitura, matemática e ciências, mas também de resolução colaborativa de problemas, letramento financeiro, bem como o questionário do aluno, questionário de familiaridade com computação e informática, questionário do professor e questionário da escola (BRASIL, 2016b). A média OCDE no Pisa 2015 foi de 493 pontos (comparativamente para Leitura e Ciências) e 490 pontos (comparativamente para Matemática). Os estudantes brasileiros obtiveram, em Leitura, 407 pontos; em Matemática, 377 pontos; e, em Ciências, 401 pontos. Completou-se em 2015 o segundo ciclo de avaliação do Pisa nas três áreas cognitivas, Leitura, Matemática e Ciências, e, em 2018, iniciou-se um novo ciclo de pesquisas.

Em 2017, houve a aplicação do pré-teste viabilizando a participação do Brasil no Pisa 2018 e dando início ao terceiro ciclo de avaliação, com foco em Leitura. Está prevista a aplicação do Pisa 2021 com foco em Matemática e do Pisa 2024 com foco em Ciência.

CONCEPÇÃO DE LETRAMENTO

Na literatura, para muitos estudiosos, letramento é usado para designar o processo de desenvolvimento das habilidades de leitura e de escrita nas práticas sociais e profissionais.

Mesmo que o termo tenha sido usado pela primeira vez por Mary Kato em 1986, no livro No mundo da escrita: uma perspectiva psicolinguística, foi com Magda ^{Soares (2004}) que tomou visibilidade no cenário nacional. Isso porque a autora foi quem mais desenvolveu estudos e pesquisas sobre letramento no Brasil, de forma a compor o referencial teórico atual.

^{Nunes (2013}, p. 42) assevera que “a inserção do indivíduo no mundo da escrita se dá por meio da aquisição de uma tecnologia - a que se chama alfabetização -, e por meio do desenvolvimento de competências (habilidades, conhecimentos, atitudes)”. Segundo Nunes, Magda Soares denominou letramento o “uso efetivo dessa tecnologia em práticas sociais que envolvem a língua escrita [...] entendido como o desenvolvimento de comportamentos e habilidades de uso competente da leitura e da escrita em práticas sociais” (2004, p. 97). Segundo ^{Moreira (2015}, p. 5), em 2010 a autora corroborou o “letramento intencionando compreender a leitura e a escrita como práticas sociais complexas”, ampliando o escopo das práticas sociais nas quais se aplicará intencionalmente o letramento.

O termo é bastante atual no campo da educação brasileira e continua em progressiva expansão do conceito. Como sugerem ^{Fernandes e Santos Junior (2015}, p. 125), o “letramento, em sua essência, ultrapassa o simples domínio do código da escrita, em distintas circunstâncias da vida prática dos sujeitos”, assumindo e incorporando o “papel e o sentido que a cultura escrita tem na sociedade” (^{GOULART, 2014}, p. 48) como prática social.

É abarcando uma multiplicidade de concepções que ^{Maia e Maranhão (2015}, p. 939) destacam letramento como sendo um “processo de aprendizagem e de uso da leitura e escrita com influências sociais, culturais, político-democrática, econômica, visando à libertação do homem” para exercício consciente da cidadania.

O termo letramento matemático se torna mais evidente no Brasil com a publicação, em 2004, do livro Letramento no Brasil: habilidades matemáticas (^{FONSECA, 2004}). Na concepção de Matemática como uma prática sociocultural, ^{Aguiar e Ortigão (2012}, p. 8) afirmam que o conceito de letramento “remete à capacidade de o aluno aplicar seus conhecimentos, analisar, raciocinar e se comunicar com eficiência, à medida que expõe, resolve e interpreta problemas, em diversas situações” escolares ou extraescolares.

Logo, entende-se que o ensino da Matemática, em uma perspectiva de letramento, deva se dar em bases conceituais que valorizem um ensino contextualizado, inovador, voltado para proporcionar um maior domínio e capacidade cognitiva ao estudante para fazer uso social de seu conhecimento matemático. Com esse escopo, ^{Moreira (2012}, 2015, 2016) afirma que a aprendizagem em matemática deve ser significativa e prazerosa, oportunizando ao estudante situações desafiadoras e contribuindo, assim, para o desenvolvimento de habilidades matemáticas.

Para Ortigão e ^{Aguiar (2012}), as concepções de letramento explicitadas nas edições do Pisa trazem a ideia de aprendizagem como um processo dinâmico, em que novos conhecimentos e habilidades devem ser continuamente adquiridos para uma adaptação bem-sucedida do sujeito em um mundo em constante transformação.

Assim, para a avaliação, a concepção de Letramento em Matemática no Pisa 2003 refere-se à

[...] capacidade do indivíduo de identificar e compreender o papel que a matemática desempenha no mundo, de fazer avaliações bem-fundamentadas, e de utilizar a matemática e envolver-se com ela de formas que atendam a suas necessidades de vida enquanto cidadão construtivo, engajado e reflexivo. (OCDE, 2005, p. 15)

Na edição do Pisa de 2012, a concepção de Letramento em Matemática que subsidiou a avaliação abordava

[...] a capacidade do indivíduo de formular, aplicar e interpretar a matemática em diferentes contextos, o que inclui o raciocínio matemático e a aplicação de conceitos, procedimentos, ferramentas e fatos matemáticos para descrever, explicar e prever fenômenos. Além disso, o letramento em matemática ajuda os indivíduos a reconhecer a importância da matemática no mundo, e agir de maneira consciente ao ponderar e tomar decisões necessárias a todos os cidadãos construtivos, engajados e reflexivos. (BRASIL, 2013, p. 18)

A concepção de letramento utilizada pelo Pisa vem sofrendo alterações ao longo do tempo, no sentido de aperfeiçoar-se para se adaptar à realidade contemporânea.

A MATEMÁTICA COMO DOMÍNIO PRINCIPAL NO PISA

Como primeira aplicação tendo como domínio principal a área de Matemática, as diretrizes para a avaliação do Pisa 2003 delineadas no documento da OCDE consideram fundamental que os alunos sejam ativos na resolução de problemas, trazendo a concepção de letramento coesa à modelagem matemática.²

Os domínios de avaliação cobertos pelo Pisa 2003 foram definidos em termos de (i) conteúdo ou estrutura de conhecimento que o estudante necessita adquirir em cada domínio da avaliação; (ii) situações em que os estudantes encontram problemas matemáticos e em que são aplicados os conhecimentos relevantes; e (iii) processos que têm de ser desempenhados, desenvolvendo certo argumento matemático (PORTUGAL, 2013).

A Dimensão do Conteúdo ou Estrutura de Conhecimento de Matemática contempla quatro subáreas e conceitos matemáticos relevantes: (1) Quantidade (abrange fenômenos numéricos, relações e padrões quantitativos); (2) Espaço e Forma (envolve o estudo de formas geométricas: diferentes relações, representações e dimensões); (3) Mudanças e Relações (caracterizam-se por manifestações matemáticas de mudança, relações funcionais e dependência entre variáveis); e (4) Incerteza e Dados Probabilísticos (incluem fenômenos e relações probabilísticas e estatísticas).

A Dimensão da Situação considera a familiaridade das situações em relação às vidas dos indivíduos. Os problemas são apresentados aos estudantes em (a) Situação Pessoal, relacionada diretamente a suas atividades cotidianas; ou (b) Situação de Trabalho e Lazer, que surge em suas vidas, no ambiente de trabalho ou social; ou (c) Situação Local e Sociedade, que envolve aspectos de uma situação externa que possa ter consequências relevantes para a vida coletiva; ou, ainda, (d) Situação Científica, que envolva situações matemáticas relativamente abstratas.

A Dimensão Processos considera as competências e define as capacidades necessárias para a resolução da matemática: Reprodução, operações matemáticas simples; Conexão, ligar ideias para resolver problemas de resolução direta; e Reflexão, pensamento matemático mais abrangente.

No Pisa 2012, parte do segundo ciclo trienal de aplicação teve como domínio principal a área de Matemática. As diretrizes para a avaliação foram modificadas ao longo das aplicações, de forma a abarcar as especificidades contemporâneas. No Relatório nacional Pisa 2012 (BRASIL, 2013), a concepção de letramento em matemática apresenta-se mais abrangente, credita ao “indivíduo a capacidade de formular, aplicar e interpretar a matemática em diferentes contextos, o que inclui o raciocínio matemático e a aplicação de conceitos, procedimentos, ferramentas e fatos matemáticos para descrever, explicar e prever fenômenos”. Assegura ainda que o letramento em matemática “ajuda os indivíduos a reconhecer a importância da matemática no mundo e agir de maneira consciente ao ponderar e tomar decisões necessárias a todos os cidadãos construtivos, engajados e reflexivos” (BRASIL, 2013, p. 18).

Se no ciclo anterior as orientações da avaliação eram relativas aos domínios, para o Pisa 2012 formam definidos os Contextos e Situações, os Processos Matemáticos e as Categorias de Conteúdos.

O Processo de Formular envolve a capacidade de identificar oportunidades de utilização da matemática, perceber que a matemática pode ser aplicada na compreensão e na resolução de problemas, providenciar estrutura matemática, representação e variáveis, e fazer suposições sobre como resolver o problema. O Processo de Empregar envolve aplicar a razão e utilizar conceitos matemáticos; analisar a informação em um modelo matemático, por meio do desenvolvimento de cálculos, procedimentos, equações e modelos; desenvolver descrições matemáticas e utilizar suas ferramentas para resolver problemas. E, por fim, o Processo de Interpretar matematicamente envolve refletir sobre soluções matemáticas e interpretá-las em um determinado contexto de problema, avaliar as soluções e os raciocínios matemáticos empregados, e verificar se os resultados são razoáveis e fazem sentido naquela situação específica.

Os problemas propostos devem estar situados em um mundo real, organizados em categorias de Conteúdos e de Contextos. O Contexto Pessoal está associado a questões da vida diária dos indivíduos e das famílias, o Contexto Social está relacionado às comunidades (local, nacional, global) onde os indivíduos vivem, o Contexto Ocupacional está relacionado ao mundo do trabalho, e o Contexto Científico está ligado à utilização da matemática nas ciências e tecnologias. As Categorias de Conteúdos apresentadas para o Pisa 2012 estão divididas em subáreas: “quantidade; indeterminação e dados ou probabilidade; mudanças e relações; espaço e forma” (BRASIL, 2013, p. 18).

Para medir o conhecimento dos estudantes, a métrica para a escala global de matemática é baseada na média de 500 pontos dos países da OCDE e no desvio-padrão de 100 pontos, definidos no Pisa 2003, ocasião em que a escala de matemática foi desenvolvida pela primeira vez (BRASIL, 2016a). A escala de matemática é dividida em níveis por meio de metodologia estatística, com descrição de conhecimentos e habilidades atribuídas a cada um deles.

O nível de dificuldade na realização de cada item do teste permite estabelecer os níveis de proficiência dos estudantes em Matemática, conforme descrito no Quadro 1.

ABORDAGEM METODOLÓGICA

A estratégia empírica adotada foi descritiva e comparativa. Inicialmente buscaram-se nos relatórios do Inep e da OCDE/Pisa os dados referentes às aplicações de 2003 e 2012, necessários para compor a base de análise comparativa. Foram levantados dados sobre a população em idade de 15 anos, a quantidade de participantes, a proficiência dos estudantes nos testes cognitivos e a distribuição por nível, e, na sequência, foram feitas as comparações entre as edições de 2003 e 2012. Foram coletadas informações relativas ao nível de proficiência dos estudantes brasileiros em Matemática distribuídos entre as séries do ensino fundamental e ensino médio. Em seguida, foram tabuladas e comparadas as proficiências dos estudantes brasileiros em Matemática, distribuídos por níveis na escala, e descritas as habilidades desempenhadas por eles. Na sequência, foram feitas as distribuições comparativas entre os percentuais dos estudantes, segundo nível de proficiência, por subárea do conteúdo matemático nas duas edições de aplicação do Pisa (2003 e 2012).

Para a análise sobre o desenho da avaliação, a idade, faixa etária e série dos estudantes participantes e o desempenho nas avaliações Pisa 2003 e 2012, foram consultados ^{Klein (2011}), ^{Soares e Nascimento (2011}, 2012), ^{Aguiar e Ortigão (2012}), ^{Nunes (2013}), Nunes, Aguiar e Elliot (2015), ^{Carnoy et al. (2015}), ^{Araújo e Tenório (2017}), ^{Pinto, Carvalho Silva e Bixirão Neto (2016}) e ^{Alves (2018}).

Para efeito de análise, foram considerados somente os dados que compõem os indicadores básicos, especificamente para a área de conhecimento em Matemática, por fornecerem a proficiência dos estudantes.

RESULTADOS E DISCUSSÕES

Os resultados do Pisa são apresentados segundo a escala de proficiência dos estudantes brasileiros, e nela estão descritos os conhecimentos associados. As pontuações nas escalas de Matemática foram agrupadas em seis níveis de proficiência que representam conjuntos de tarefas de dificuldade crescente, sendo o nível 1 o mais baixo, e o nível 6, o mais elevado. A proficiência em cada um desses níveis pode ser compreendida pela descrição das competências matemáticas requeridas para atingi-los.

No Pisa 2003, a média da OCDE em Matemática foi de 497 pontos, e a média dos estudantes brasileiros foi de 356 pontos. No Pisa 2012, a média OCDE foi de 498 pontos, e a média dos estudantes brasileiros foi de 391 pontos (BRASIL, 2013). Para que os resultados de um ano e de outro sejam comparáveis, há nos testes itens comuns entre os ciclos 2003 e 2012 que permitem estabelecer as comparações necessárias sobre a evolução do desempenho dos estudantes brasileiros em Matemática.

No Pisa de 2003, participaram 4.452 estudantes de 229 escolas das cinco regiões, distribuídas entre localidades das zonas urbana e rural, das redes pública e privada (BRASIL, 2003). Na aplicação do Pisa 2012, participaram da avaliação escrita 18.589 estudantes de 767 escolas, e, da avaliação eletrônica, cuja aplicação em escala nacional seria pioneira no Brasil, optou-se por uma amostra reduzida de apenas 247 escolas (BRASIL, 2013). Com mais de 2,25 milhões de estudantes inscritos, o Brasil teve uma maior participação na edição de 2012, cujo aumento foi de “mais de 480 mil estudantes em relação à edição de 2003” (BRASIL, 2013, p. 12), aumentando em 317,54% o número de participantes de 2003 para 2012.

O avanço na representatividade de estudantes brasileiros participantes pode estar relacionado à expansão de matrículas nas escolas brasileiras, que passou de 65% em 2003 para 78% em 2012 (^{MANGUEIRA; GUARESI, 2014}). No Relatório nacional Pisa 2012, há o registro de que a representatividade de estudantes poderia ter sido maior “caso elementos externos à aplicação não tivessem tido interferência na aplicação, um desses foi a greve de professores” (BRASIL, 2013, p. 14).

O Pisa é aplicado a uma população de estudantes de 15 anos de idade. No Brasil, a distribuição dos estudantes dessa faixa etária se dá em várias séries (^{CARNOY et al., 2015}; ^{ALVES, 2018}), o que significa que eles podem estar ainda no início do ensino fundamental II, na modalidade regular, ou, para aqueles com atraso escolar, cursando programas específicos para a Educação de Jovens e Adultos (^{ARAÚJO; TENÓRIO, 2017}), sendo, portanto, avaliados em habilidades e competências que ainda não lhes foram ensinadas nas escolas (NUNES; AGUIAR; ELLIOT, 2015).

Em 2003, a idade de referência foi de 15 anos (BRASIL, 2003). Para 2012, o Brasil também utilizou a idade de 15 anos como referência; entretanto, devido ao tempo de escolaridade no qual os estudantes se encontram, o intervalo deveria ser entre 15 anos e 3 meses a 16 anos e 2 meses na data de aplicação (BRASIL, 2013; ^{ALVES, 2018}). Assim, para a aplicação do Pisa 2012, foram feitos ajustes na idade e série, regularizando o fluxo em comparação a 2003 (^{SOARES; NASCIMENTO, 2011}).

^{Klein (2011}), em seu estudo, identificou problemas relacionados à mudança do mês da aplicação, que interferiu no tempo de escolaridade e na idade dos estudantes participantes, e, como recomendação para a aplicação do Pisa 2012, indicou ser mais apropriado selecionar os estudantes pela idade escolar e realizar a aplicação em um número fixo de meses após o início do ano letivo.

O Pisa é aplicado em maio. No Brasil, em maio os estudantes ainda estão no 1º semestre do ano letivo, com pouco conhecimento relativo ao conteúdo da série em que se encontram. No entanto, em boa parte dos outros países que participam do Pisa, em maio, seus estudantes encontram-se ao final do ano letivo, tendo garantido, pelo menos hipoteticamente, as competências daquela série (^{PINTO; CARVALHO SILVA; BIXIRÃO NETO, 2016}; ^{ARAÚJO; TENÓRIO, 2017}).

É ilustrativo apresentar o comparativo do desempenho dos estudantes brasileiros alocados na escala nos níveis de proficiência em Matemática, segundo as quatro categorias estruturantes do conteúdo matemático proposto³ no Pisa 2003 e Pisa 2012, subáreas: Espaço e Forma, Mudanças e Relações, Quantidade e Incerteza e Dados Probabilísticos/Indeterminação e Dados ou Probabilidade.

Entre as quatro áreas de conteúdo matemático do Pisa 2003, os estudantes brasileiros apresentaram melhor desempenho em Incerteza/Indeterminação, com 43,5% abaixo do Nível 1, e em Quantidade, com 51,1%. Apresentaram baixo desempenho em Espaço e Forma, com 54,8%, e Mudança e Relações, com 59,7%. Em 2012, os estudantes brasileiros apresentaram melhor desempenho em Incerteza/Indeterminação, com 26,5%, e em Quantidade, com 36,5%. Em Espaço e Forma, com 40,3%, e Mudança e Relações, com 46,3%, os estudantes apresentaram baixo desempenho.

^{Soares e Nascimento (2012}), em sua pesquisa sobre a evolução do desempenho cognitivo dos jovens brasileiros no Pisa 2000, encontraram melhora no desempenho dos estudantes brasileiros, particularmente forte, entre os que mostram baixas habilidades cognitivas, similar ao resultado de melhora no desempenho dos estudantes dos níveis inferiores da escala, encontrado nas aplicações de 2003 e 2012 (ORTIGÃO; ^{AGUIAR, 2012}; ^{NUNES, 2013}; ^{MANGUEIRA; GUARESI, 2014}). Os resultados permanecem semelhantes ao observado por ^{Carnoy et al. (2015}) nas primeiras aplicações do Pisa em 2000 e 2003, ocasião em que os estudantes brasileiros obtiveram uma das mais baixas pontuações em Matemática na América Latina.

Ainda que a OCDE não especifique as habilidades desenvolvidas para os estudantes que pontuaram abaixo do nível 1, os estudantes alocados nesse nível não chegam a 358 pontos (BRASIL, 2013), o que significa que não foram capazes de utilizar as capacidades matemáticas requeridas pelas tarefas mais simples do Pisa (ORTIGÃO; ^{AGUIAR, 2012}).

Em Espaço e Forma, 54,8% e 40,3% dos estudantes brasileiros não foram capazes de utilizar as capacidades matemáticas requeridas pelas tarefas mais simples do Pisa, em 2003 e 2012, respectivamente, o que os colocou abaixo do nível elementar, ou seja, abaixo do nível 1 da escala (^{NUNES, 2013}). A melhora no desempenho dos estudantes brasileiros encontrada na aplicação do Pisa de 2003 para 2012 foi de 14,5% em Espaço e Forma.

O baixo desempenho dos estudantes brasileiros em Mudanças e Relações, 59,7% em 2003 e 46,3% em 2012, significa que não atingiram o nível 1 da escala, mostrando que não são capazes de localizar informações relevantes numa tabela ou gráfico simples, de seguir instruções diretas e simples para ler informações diretamente a partir de uma tabela ou gráfico simples, de forma padronizada ou familiar, e de executar cálculos simples, que impliquem relações entre duas variáveis familiares (^{NUNES, 2013}). O menor percentual de melhora no desempenho dos estudantes brasileiros encontrado na aplicação do Pisa de 2003 para 2012 foi em Mudanças e Relações, com 13,4%.

O desempenho de 51,1% e 36,5% dos estudantes brasileiros em 2003 e 2012, respectivamente, em Quantidade, mostrou que não atingiram o nível 1 da escala, significando que não são capazes de resolver problemas simples do cotidiano, de operar com números inteiros e decimais finitos, de operar com frações e com porcentagens (ORTIGÃO; ^{AGUIAR, 2012}). Em Quantidade, a melhora foi de 14,6% no desempenho dos estudantes brasileiros.

Em Incerteza está alocado o menor percentual de estudantes brasileiros, tanto no Pisa 2003, com 43,5%, quanto no Pisa 2012, com 26,5%, abaixo do nível 1 da escala, mostrando uma melhora de 17%. Os resultados do Pisa 2003, com 29%, e do Pisa 2012, com 35,1%, mostram os maiores percentuais de estudantes brasileiros que foram classificados no nível 1 de desempenho. Isso significa, segundo a escala de proficiência de Incerteza do Pisa, que esses estudantes são capazes de compreender e usar ideias simples de probabilidades em contextos experimentais familiares, de compreender conceitos básicos de probabilidade no contexto de uma experiência simples e familiar (por exemplo, no lançamento de dados ou moedas), de fazer listagens e contagens sistemáticas de resultados combinatórios numa situação de jogo limitada e bem-definida (^{NUNES, 2013}).

A proficiência dos estudantes brasileiros no conteúdo matemático da subárea Espaço e Forma é apresentada na escala em uma distribuição percentual por nível.

Fonte: Elaboração dos autores.

GRÁFICO 1 DISTRIBUIÇÃO PERCENTUAL DOS ESTUDANTES POR NÍVEL DE PROFICIÊNCIA NO CONTEÚDO MATEMÁTICO, SUBÁREA ESPAÇO E FORMA NO PISA 2003 E PISA 2012 

Observa-se para o conteúdo matemático, subárea Espaço e Forma, uma diminuição de 14,5% de estudantes brasileiros que estavam abaixo do nível 1. No nível 1, a proporção foi de 7,9%; no nível 2, o crescimento foi de 5,2%; o aumento no nível 3 foi de 1,1%; no nível 4, a variação foi de 0,4%; e, para os níveis mais elevados da escala, as diferenças foram de 0,6% e 0,1% de estudantes que estavam nos níveis 5 e 6, respectivamente.

Os resultados mostram uma pequena melhora na distribuição percentual de estudantes nos quatros primeiros níveis da escala. Com relação aos níveis mais elevados, 5 e 6, houve paridade entre os anos comparados.

Apesar do conteúdo Espaço e Forma⁴ aparecer com frequência em todas as séries do ensino fundamental, o desempenho dos estudantes brasileiros não foi satisfatório (^{NUNES, 2013}). A concentração de estudantes nos níveis mais baixos da escala mostra que eles têm dificuldades em resolver itens referentes a esse conteúdo matemático. ^{Ortigão, Santos e Lima (2018}), no estudo acerca de itens da subárea Espaço e Forma, apontam que uma das principais dificuldades encontradas pelos estudantes brasileiros em lidar com a matemática está em situações que exijam raciocínio, criatividade e argumentação.

^{Fonseca et al. (2005}) comprovaram que há pouco tempo dedicado ao trabalho com Geometria nas salas de aulas (^{BACCHETTO; PINTO JUNIOR, 2017}), por exemplo, com visualização, representação e identificação das propriedades das figuras, percepção das relações existentes entre os objetos e de suas posições relativas, dentre outros conceitos, e que falta clareza aos professores sobre o que ensinar, bem como acerca de que habilidade desenvolver. As prioridades curriculares eleitas pelos professores podem refletir no desempenho dos estudantes (^{MANGUEIRA; GUARESI, 2014}).

A proficiência dos estudantes brasileiros no conteúdo matemático da subárea Mudança e Relações é apresentada na distribuição percentual por nível.

Fonte: Elaboração dos autores.

GRÁFICO 2 DISTRIBUIÇÃO PERCENTUAL DOS ESTUDANTES POR NÍVEL DE PROFICIÊNCIA NO CONTEÚDO MATEMÁTICO SUBÁREA MUDANÇA E RELAÇÕES NO PISA 2003 E PISA 2012 

No conteúdo matemático Mudança e Relações, houve uma diminuição de 13,4% de estudantes que estavam abaixo do nível 1 no Pisa. Para o nível 1, a proporção foi de 7,1%; no nível 2, o crescimento foi de 5,1%; o aumento no nível 3 foi de 1,8%; no nível 4 não houve variação, permanecendo em 3,3%; e, para os níveis mais elevados da escala, houve perda percentual de 0,1% e 0,4% de estudantes que estavam nos níveis 5 e 6, respectivamente.

Os resultados indicam que houve uma melhora na distribuição percentual de estudantes nos três primeiros níveis da escala. No nível 4, houve paridade percentual de estudantes de um ano de aplicação para o outro. Com relação aos níveis 5 e 6, houve decréscimo de estudantes entre os anos comparados.

O conteúdo Mudança e Relações⁵ aparece com maior frequência no sétimo e no oitavo ano do ensino fundamental (^{NUNES, 2013}). Entretanto, a concentração de estudantes brasileiros nos níveis mais baixos da escala mostra que eles têm dificuldades em resolver itens dessa subárea. O baixo desempenho pode estar relacionado ao fato desse conteúdo ser mais ligado à álgebra e ao estudo de funções matemáticas, como equações e inequações, consideradas pelos estudantes um conhecimento difícil e complexo (^{MANGUEIRA; GUARESI, 2014}).

A proficiência dos estudantes brasileiros no conteúdo matemático da subárea Quantidade é apresentada na distribuição percentual por nível.

Fonte: Elaboração dos autores.

GRÁFICO 3 DISTRIBUIÇÃO PERCENTUAL DOS ESTUDANTES POR NÍVEL DE PROFICIÊNCIA NO CONTEÚDO MATEMÁTICO DA SUBÁREA QUANTIDADE NO PISA 2003 E PISA 2012 

Em relação ao conteúdo matemático Quantidade, a diminuição dos estudantes que estavam abaixo do nível 1 foi de 14,6%. Para o nível 1, o aumento foi de 7,7; no nível 2, o crescimento foi de 5,2%; no nível 3, aumentou 2,2%; no nível 4, a variação foi de 0,9%; para o nível 5, a proporção foi de 0,1%; e, no nível mais elevado da escala, houve perda percentual de 0,2%.

Os resultados mostram uma melhora na distribuição percentual de estudantes nos cincos primeiros níveis da escala. Com relação ao nível 6, houve decréscimo no percentual de estudantes entre os anos comparados.

A concentração de estudantes brasileiros nos níveis mais baixos da escala mostra que eles têm dificuldades em resolver itens do conteúdo matemático subárea Quantidade.⁶ Isso pode ser devido ao fato de estar muito relacionada à aritmética.

A forma como os currículos são organizados, e a ênfase com que se explora um determinado conteúdo em sala de aula pode resultar que tal conteúdo ainda não tenha sido apresentado ao estudante (^{AGUIAR; ORTIGÃO, 2012}). Ainda que Quantidade seja um conteúdo mais enfatizado na quinta e sexta séries do ensino fundamental das escolas brasileiras, os professores têm como suporte para o ensino os livros didáticos, e eles trazem propostas de atividades com estruturas e elaboração, por vezes, muito diferente dos itens do Pisa, com os quais os estudantes não têm familiaridade (^{NUNES, 2013}).

A proficiência dos estudantes brasileiros no conteúdo matemático da subárea Incerteza e Dados Probabilísticos no Pisa 2003 e Indeterminação e Dados ou Probabilidade no Pisa 2012 é apresentada na distribuição percentual por nível.

Fonte: Elaboração dos autores.

GRÁFICO 4 DISTRIBUIÇÃO PERCENTUAL DOS ESTUDANTES POR NÍVEL DE PROFICIÊNCIA NO CONTEÚDO MATEMÁTICO, SUBÁREA INCERTEZA E DADOS PROBABILÍSTICOS NO PISA 2003 E INDETERMINAÇÃO E DADOS OU PROBABILIDADE NO PISA 2012 

Observa-se para o conteúdo matemático da subárea Incerteza e Dados Probabilísticos/Indeterminação e Dados ou Probabilidade uma diminuição de 17% dos estudantes que estavam abaixo do nível 1; no nível 1, a proporção foi de 6,1%; no nível 2, o aumento foi de 8,5%; a variação no nível 3 foi de 3,0%; e, no nível 4 e nos níveis mais elevados da escala, houve perda percentual de 0,1%, 0,4% e 0,2% de estudantes que estavam nos níveis 4, 5 e 6, respectivamente.

Os resultados mostram uma melhoria na distribuição percentual de estudantes nos três primeiros níveis da escala. Com relação aos níveis 4, 5 e 6, houve decréscimo de estudantes entre os anos comparados.

A concentração de estudantes brasileiros nos níveis mais baixos da escala mostra que eles têm dificuldades em resolver itens relacionados ao conteúdo matemático da subárea Incerteza e Dados Probabilísticos/Indeterminação e Dados ou Probabilidade.⁷ Os temas relacionados a esses conteúdos são pouco citados pelos professores do ensino fundamental, e uma oferta desigual, associada ao nível socioeconômico da rede de ensino, sugere aumento positivo da seleção desse conteúdo em salas de aulas brasileiras de ensino médio em favor de estudantes mais abastados (^{NUNES, 2013}).

Segundo ^{Carnoy et al. (2015}, p. 483), a melhora pode ter relação com o aumento significativo de anos de escolaridade dos estudantes, cuja média é de 15 anos de idade, e não tanto com uma melhor eficácia do ensino de Matemática em cada série. No entanto, o fato de se estar trabalhando esse conteúdo em salas de aulas do ensino médio pode ter contribuído para um melhor desempenho do estudante.

O QUE DIZEM OS DADOS?

O desempenho dos estudantes brasileiros tem melhorado em matemática, aponta a OCDE: “While Brazil performs below the OECD average, its mean performance in mathematics has improved since 2003 from 356 to 391 score points, making Brazil the country with the largest performance gains since 2003” (OCDE, s.d., p. 1).

Desde a segunda edição do Pisa, os estudantes situados na camada inferior da escala vêm apresentando avanços, uma sinalização de que o sistema educacional brasileiro vem paulatinamente reduzindo suas históricas desigualdades, afirmam ^{Soares e Nascimento (2012}).

No entanto, o presente estudo mostra que, no Pisa 2012, estudantes brasileiros ainda se encontram no nível 1 (de 358 a 420 pontos) da escala, ou abaixo dele, indicando que os estudantes são capazes de responder apenas a questões que envolvam contextos familiares, em que toda a informação relevante esteja presente e as questões sejam claramente definidas (ORTIGÃO; ^{AGUIAR, 2012}).

No Pisa 2012, apenas 20% dos estudantes brasileiros estavam no nível 2, considerado pela OCDE como o mínimo aceitável de proficiência, o que significa dizer que eles poderiam desenvolver e trabalhar com modelos de situações complexas e trabalhar estrategicamente usando habilidades variadas de pensamento e de raciocínio bem desenvolvidos, habilidades que compõem os níveis mais elevados da escala do Pisa (^{MANGUEIRA; GUARESI, 2014}).

Retornando à indagação no início deste estudo, em qual conteúdo matemático medido nos testes do Pisa de 2003 e 2012 os estudantes brasileiros apresentam melhor desempenho e dispersão positiva na escala, o estudo mostra que a mais significativa distribuição de estudantes na escala do Pisa se deu no conteúdo matemático da subárea Incerteza e Dados Probabilísticos/Indeterminação e Dados ou Probabilidade. Isso sugere que os estudantes melhoraram seu desempenho nesse domínio, o que representa um resultado positivo.

Os resultados sugerem, de modo geral, que a formação básica dos estudantes brasileiros prossegue deficitária (^{SOARES; NASCIMENTO, 2011}), necessitando de um ensino que lhes possa proporcionar o desenvolvimento de habilidades e competências relacionadas à área de Matemática, habilitando-os a alçarem níveis mais elevados da escala de desempenho nas quatro subáreas do conteúdo (Espaço e Forma, Mudanças e Relações, Quantidades, e Indeterminação e Dados ou Probabilidades).

A comparação de resultados obtidos em Matemática no Pisa 2003 e 2012 indica que houve ligeira melhora no desempenho dos estudantes brasileiros (NUNES; AGUIAR; ELLIOT, 2015; ^{ALVES, 2018}; ^{ORTIGÃO; SANTOS; LIMA, 2018}). Entretanto, o Brasil ainda está longe de atingir os níveis da OCDE.

Quanto ao propósito inicial de verificar por que os estudantes brasileiros não sobressaem no teste cognitivo de Matemática do Pisa, ^{Pinto, Carvalho Silva e Bixirão Neto (2016}) afirmam haver uma multiplicidade de fatores que afetam o desempenho dos estudantes no Pisa. Fatores complexos que estão intimamente interligados, a saber, o sistema educativo (retenção, equidade/desigualdade educacional), o contexto socioeconômico e cultural familiar e características das escolas (cultura da escola).

A repetência, ainda muito expressiva no Brasil, contribui para a distorção da relação entre idade e série, incorrendo em defasagem escolar dos estudantes, associada negativamente ao desempenho em Matemática, mais prevalente entre os estudantes desfavorecidos (^{KLEIN, 2011}; ^{NUNES, 2013}; ^{MANGUEIRA; GUARESI, 2014}; ^{PINTO; CARVALHO SILVA; BIXIRÃO NETO, 2016}; ^{ARAÚJO; TENÓRIO, 2017}; ^{ALVES, 2018}).

O período de aplicação do Pisa pode influenciar no desempenho e resultado dos estudantes brasileiros, visto que, aplicado no primeiro semestre do ano letivo, os estudantes ainda têm pouco conhecimento das competências da série (^{PINTO; CARVALHO SILVA; BIXIRÃO NETO, 2016}; ^{ARAÚJO; TENÓRIO, 2017}). No Brasil, muitos estudantes com 15 anos estão cursando séries ainda do ensino fundamental, sendo avaliados no Pisa em competências que ainda não lhes foram ensinadas (NUNES; AGUIAR; ELLIOT, 2015).

Em consequência da repetência e da defasagem escolar idade-série, o nível de escolaridade dos estudantes brasileiros está abaixo do que deveria estar, e isso lhes traz consequências negativas no desempenho do Pisa (^{PINTO; CARVALHO SILVA; BIXIRÃO NETO, 2016}).

O fato de o Pisa ser um teste relativamente novo, cuja primeira edição foi realizada em 2000, com sete aplicações até 2019, e ter uma estrutura desenhada a partir de um modelo dinâmico de aprendizagem, pode ter dificultado o desempenho dos estudantes brasileiros (ORTIGÃO; ^{AGUIAR, 2012}) e também pode ser que os estudantes estejam presos à aprendizagens escolares sistemáticas, assimilada de forma automática e sem conexão com o mundo real, tendo como modelo o livro didático e a sua replicação pelo professor. Ao contrário desse modelo, o Pisa testa aplicações práticas do conhecimento das habilidades e das competências desenvolvidas ao longo da vida escolar (^{SOARES; NASCIMENTO, 2012}).

CONSIDERAÇÕES FINAIS

Após anos de aplicação do Pisa, os resultados dos estudantes brasileiros continuam sendo apenas notícias negativas, como comprovação de que a educação brasileira vai mal. A qualidade da educação ofertada aos estudantes brasileiros precisa mudar. São necessárias ações que promovam melhorias na qualidade da educação, firmando compromissos entre gestores públicos, escolas, pais, professores e sociedade em geral.

Nesse sentido, discussões acerca dos problemas que possam contribuir para o baixo desempenho dos estudantes brasileiros não se esgotam e continuam em pauta, incitando estudos.

Dentre várias linhas de ação, uma considerada fundamental diz respeito ao investimento na formação de professores, visto que uma prática docente de atendimento qualificado aos estudantes no ensino da Matemática contribui para mudanças eficientes nos resultados de desempenho dos estudantes brasileiros no Pisa (^{TEIXEIRA; PAIVA; MOREIRA, 2018}; ^{VIEIRA; MOREIRA, 2018}).

Portanto os resultados deste estudo comparativo apontam a necessidade de mais pesquisas quanto às possíveis causas do baixo desempenho e de indicativos de superação, visto que o desempenho dos estudantes brasileiros nas avaliações do Pisa não foi suficiente para promover saltos significativos e que os dados continuam preocupantes.

Assim, conclui-se que o Brasil precisa buscar formas mais eficazes para trabalhar com os alunos de baixo desempenho, uma vez que esses estudantes estão concentrados nos níveis mais baixos da escala de avaliação do Pisa.