A necessidade de se discutir a respeito das avaliações em larga escala e os impactos do Pisa

Oficialmente criado no final da década de 1990, o Programa Internacional de Avaliação de Estudantes - Pisa -, da Organização para a Cooperação e o Desenvolvimento Econômico - OCDE -, surgiu com a vontade de os países integrantes sistematizarem, com legitimidade de informações, as competências e habilidades dos estudantes no seu processo de escolarização, bem como mensurar o desempenho dos sistemas relativos à educação.

Segundo ^{Lima e Moreira (2021}), o Pisa tem por objetivo “investigar as habilidades e competências dos estudantes, ao final da sua escolarização básica, de modo a avaliar o nível de preparo dos jovens estudantes para a sua vida adulta”, e, ainda, “compreender os avanços dos sistemas educacionais quando postos em comparação a outros países participantes” (p. 191).

Após 22 anos² a realização de sua primeira edição, em 2000, e com a consumação de mais seis edições - 2003, 2006, 2009, 2012, 2015 e 2018 -, o Pisa tem seguimento com a intenção de “avaliar as habilidades e competências necessárias ao final de sua escolarização básica, verificando o nível de preparação dos jovens para o mundo contemporâneo e a eficiência dos sistemas educacionais de ensino comparados com os demais países participantes” (^{Lima et al., 2020}, p. 6). Com a colaboração de um vasto grupo de especialistas, sob coordenação da OCDE, o Pisa tem buscado contribuir para mudanças significativas na elaboração de políticas capazes de proporcionar ao governo instrumentos que os guiem para uma educação transformadora.

^{Moura, Fraz e Santos (2021}) destacam que as avaliações, sobretudo as de larga escala, têm sido adotada pelo governo “para a implantação e a elaboração de políticas públicas dos sistemas de ensino, fazendo com que escola e comunidade alterem suas ações e, muitas vezes, redirecionem seu modo de trabalho” (p. 34).

Se o elemento ininterrupto da realização do Programa reflete os efeitos da concepção do Pisa, expressiva é a ampliação quantitativa de países participantes e a extensão geopolítica alcançada por essa avaliação internacional de larga escala: em sua primeira edição, em 2000, contou com a participação de 43 países - 13 não membros da OCDE - e, em sua edição mais recente, realizada no ano de 2015, participaram 70 países, dos quais 35 não são membros da OCDE. Entre os países participantes, o Brasil vem contribuindo para o Programa desde a sua primeira edição.

Mais significativo que a relevância quantitativa da participação das instituições governamentais, é o reconhecimento de que, independente das características particulares e socioculturais das circunstâncias pelas quais as informações e os dados fornecidos no domínio do Pisa incidem diretamente no impacto nas políticas nacionais, os seus resultados têm provocado análises a respeito dos problemas educacionais e a relação sobre como enfrentá-los.

As características pesquisadas nas propriedades de movimentação - e nas decorrências desse movimento - de publicações e de produtos empreendidos no domínio do Pisa, em conjuntura cultural e politicamente variada, precisam ser compreendidas como uma linguagem do deslumbramento contemplado por essa avaliação internacional de larga escala. Por certo, o seu bom resultado se torna concreto e real na atuação de sujeitos de diferentes meios sociais - políticos, especialistas, administradores, professores - na elaboração, na propagação, na utilização e no dispêndio dos seus produtos.

Em conformidade com esse extenso e diversificado conjunto de propriedades, o Pisa representa um componente nos processos políticos e nos atos públicos na esfera da educação, por conseguinte, um importante instrumento para investigação educacional. Segundo ^{Lima e Moreira (2021}), “estabelece-se como um importante parâmetro indicador da avaliação educacional em esfera internacional, de maneira a propiciar, por intermédio de uma escala, as diferenças e semelhanças nos níveis de conhecimentos atingidos em cada país” (1991).

O debate em torno de políticas públicas de avaliação em larga escala requer a necessidade de observá-las no conjunto das políticas educacionais e nas relações nas quais elas se abrigam. A esse respeito, ^{Gatti, Barreto e André (2011}) afirmam que

o caráter histórico das políticas educacionais remete, por sua vez, à necessidade de analisá-las com base no contexto nacional e internacional em que se inserem, das demandas de diferentes âmbitos a que procuram responder e da própria evolução das tradições educativas em que elas são desenhadas e postas em prática. (p. 31)

Os parâmetros curriculares nacionais - PCN - e o Plano Nacional de Educação - PNE - foram decorrentes da implantação das avaliações externas dos sistemas educacionais, as quais têm origem em meados dos anos de 1990 e, mesmo advindo tarde nas políticas de governo em referência às recomendações já implantadas de avaliação em larga escala, não retratam a atribuição que conduz com uma concepção de política complementar para uma educação escolar.

A proposta dessas avaliações e dos PCN surgiram despertada pela indispensabilidade de ampliar o domínio da educação nacional por parte do governo central, por meio de sistemas avaliativos, como ocorre na maior parte dos países desenvolvidos e em toda a América Latina (^{Afonso, 2000}; ^{Ravela, 2000}; ^{Gatti; Barreto; André, 2011}).

Tais avaliações se transformaram no elemento de destaque, principalmente no âmbito federal. No entanto, podemos afirmar que assinala uma compreensão produtivista em educação, que veio se tornando mais intensa e, por outro lado, transparece sua relação com as imposições de órgãos internacionais.

De acordo com os autores anteriormente citados, na estrutura gerencialista que passou a orientar as transformações educacionais no mundo contemporâneo, o ponto central centra-se nos resultados do rendimento escolar dos estudantes, avaliados por provas em larga escala, com destaque para a eficácia e competência dos sistemas educacionais no exercício do currículo.

No cenário brasileiro, a procura por um ensino de qualidade decorreu, com maior relevância, no interior dos sistemas públicos de ensino, encarregados pelas matrículas da educação básica no país, e a direção dessas práticas implantadas é a de se apropriar de uma qualidade específica supletiva e compensatória.

Pelos motivos expostos, a pesquisa realizada teve por objetivo caracterizar a avaliação do Pisa sobre o campo de conhecimento da Matemática, aprofundando suas análises sobre os resultados dos estudantes brasileiros no período de 2003-2018.

O Programa Internacional de Avaliação de Estudantes - Pisa

Na tentativa de se estimar o que é importante que os cidadãos saibam e o que sejam capazes de fazer, tem se criado a indispensabilidade de ampliar amostras uniformes entre países com base no progresso dos seus estudantes. Com isso, a Organização para a Cooperação e Desenvolvimento Económico - OCDE, no ano de 1997, implementou o Pisa. Pelo Programa examinam-se os estudantes de 15 anos, ao final de sua escolarização obrigatória, em correspondência à bagagem de conhecimentos e competências primordiais para uma participação ativa na sociedade moderna:

O Pisa focaliza a capacidade de o jovem utilizar seus conhecimentos e habilidades para enfrentar os desafios da vida real. Esta orientação reflete uma mudança nas metas e nos objetivos dos próprios currículos, que se preocupam cada vez mais com os estudantes conseguem fazer com aquilo que aprendem na escola, e não apenas com o domínio que têm sobre um conteúdo curricular específico. (^{OCDE, 2011}, p. 17)

Com ênfase em três áreas do conhecimento, Ciências, Leitura e Matemática, a avaliação ocorre a cada três anos, mediante a aplicação de questionários realizados por estudantes, diretores de escola, professores e pais. No ano de 2015, a avaliação contou com a competência da resolução de problemas. O Pisa não fornece apenas o que os estudantes apresentam sobre o domínio de conhecimentos desenvolvidos durante sua alfabetização, mas avalia o quanto eles conseguem lidar com situações cotidianas, aplicando os seus conhecimentos não só no contexto escolar. Esse ponto de vista tem despontado devido ao fato de economias contemporâneas condecorarem os indivíduos não pelos conhecimentos, mas pelo o que eles podem fazer com esse conhecimento (^{OCDE, 2016}).

Composto por um conjunto de avaliações e provas nacionais e internacionais, o Pisa é administrado pela Diretoria de Avaliação da Educação Básica - Daeb - do Inep. Atualmente, estudantes brasileiros colaboram com as avaliações nacionais, das pesquisas regionais dirigidas pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação - Llece - e do Pisa, conduzido pela OCDE.

De modo semelhante às outras avaliações, o aprendizado proposto pelo Pisa fornece dados para o Brasil estimar saberes e competências dos estudantes de 15 anos nas áreas de Ciências, Leitura e Matemática, contrapondo com a performance de estudantes dos países parceiros da OCDE, que conta com a participação de 35 países e economias parceiras. Sendo um programa regular, o Pisa, sob um olhar prolongado, tem como objetivo o aprimoramento de um campo de dados para o acompanhamento de saberes e competências dos estudantes em diferentes países, tais como distintas divisões demográficas de cada país (^{OCDE, 2016}).

Em síntese, os mecanismos do Pisa viabilizam três fundamentais padrões de seguimentos: dados que oferecem um retrato base das competências e aptidões dos estudantes; parâmetros decorrentes de questionários que apresentam como tais competências são associadas às dimensões demográficas, sociais, econômicas e pedagógicas; modelos de linhas de pesquisa que observam a atuação dos estudantes e acompanham as estruturas pedagógicas no decorrer do período (^{OCDE, 2016}).

Em cada edição, uma das áreas de conhecimento é eixo fundamental da avaliação, com uma maior porcentagem de questões com foco nessa área de conhecimento - cerca de dois terços do total de itens da prova - e as demais direcionadas para as outras áreas do conhecimento. Nessa alternância de áreas de conhecimentos em cada edição, a cada nove anos apresenta-se uma investigação das linhas com o menor desempenho em área de conhecimento (^{OCDE, 2016}).

Por intermédio das avaliações desenvolvidas com os estudantes, pais, diretores de escolas e docentes, o Pisa tem coletado dados referentes ao histórico familiar dos estudantes, suas possibilidades e suas condições de aprendizagem. As avaliações com assuntos diversos e dos estudantes e da escola são obrigatórios a todos os países integrantes.

Caracterizado por ser uma avaliação amostral externa de grande proporção, o Pisa propicia a coleta de dados importantes a respeito dos sistemas educacionais dos países integrantes. Para atingir tal finalidade, o requinte dos efeitos da avaliação decorre da variedade da investigação populacional, bem como da descrição das etapas de amostragem. Existem três fundamentos relevantes na definição de uma amostra: a escolha da população-alvo, o processo de correspondência a ser empregado e a exposição do plano amostral.

O objetivo da amostragem da população-alvo é confrontar diversos sistemas educacionais, pois os estudantes participantes do Pisa apresentam idade igual durante a aplicação em todos os países participantes. A escolha da idade foi definida em parceria com a OCDE e os países componentes, para a execução da primeira prova realizada em 2000. Pela facilidade de se implantar e pela verificação de que 15 anos é o período razoável em que os adolescentes, na maioria dos países que integram a OCDE, estão próximos da finalização da educação obrigatória, definiu-se no mês de abril que a população a ser investigada seria os estudantes nascidos em 1984 (^{OCDE, 2015}). O Brasil é o país sul-americano que mais coparticipou, estando presente em todas as edições do Programa, sendo a sua primeira participação em outubro de 2000.

Cada país integrante é incumbido de ceder à associação internacional um processo de correspondência, também denominado de registro e, exceto para casos raros, os elementos desse processo aplicam-se às escolas. Esses mesmos elementos são empregados no pré-teste, tal como na execução final (OCDE, 2015). No Brasil, o processo de correspondência do Pisa é o Censo Escolar. Uma listagem com prováveis estudantes elegíveis³ é entregue à associação internacional a cada edição para a triagem da amostra. Na edição de 2015, o Pisa teve como parâmetro o Censo Escolar de 2013.

Com a escolha da população-alvo e do processo de correspondência dos mecanismos de parâmetros dos países partícipes, o plano amostral do Programa é estabelecido pela OCDE de maneira a possibilitar a comparação dos desempenhos entre os países participantes. Investigações na área da educação, em especial as internacionais, dificilmente escolhem estudantes por um processo de amostra simples. Pelo contrário, no plano amostral admitido como eixo, em seu primeiro processo, são definidas as escolas e, a partir de então, suas respectivas turmas e estudantes selecionados de forma aleatória. Tal plano de amostragem é composto como demonstração por partes em duas fases.

A sua primeira fase foi constituída pela escolha da amostra das escolas com prováveis estudantes elegíveis. Dessa forma, consideram-se fatores de segmentação - evidente e velado - para a triagem da amostra brasileira. Como categorias evidentes, utilizam-se as unidades da Federação e modelo de escola, com ou sem ensino médio, proposta pela associação internacional para a realização dos questionários dos professores.

Como categorias veladas, adota-se a esfera administrativa - federal, estadual, municipal e privada -, um percentual do Índice de Desenvolvimento Humano Municipal, o local - urbano ou privado -, a região - capital ou interior - e os padrões de ensino ofertados: fundamental I, fundamental II, ensino médio e ensino médio profissionalizante. Para o Pisa, adota-se um número mínimo de 150 escolas, o que é exigido para cada país integrante. Desde a sua participação, o Brasil tem contado com uma amostra grande a fim de atingir informações mais puras por unidades de Federação, com qualidades de presteza admissíveis.

Definido o espaço amostral, as escolas e os fatores evidentes, se inicia a ação de planejar os fatores velados e contingentemente escolhidos pela associação internacional, com exequibilidade harmônica a dimensão, tendo como proporção de dimensão o número previsto de estudantes elegíveis. Com fundamento nesse esboço, os fatores para os quais são viáveis gerar suposições com exatidão segura - os fatores evidentes, ainda que empreguem uma destinação simétrica à amostra.

A participação do Brasil possibilita conhecer as práticas internacionais dentro da área de avaliação educacional, propiciando a construção de novos conhecimentos e metodologias beneficiadas nessa área do conhecimento. Similarmente, permite comparar o desempenho dos estudantes e do âmbito educacional de diferentes lugares do mundo. Nisso, a participação do Brasil tem buscado promover o feedback da educação nacional com um olhar diferente do apresentado pelos órgãos governamentais, viabilizando medidas externas para investigar o desempenho dos estudantes brasileiros. Além disso, a atuação brasileira no Programa nos oportuniza investigar o que se tem evoluído e o que temos que melhorar diante do cenário internacional, favorecendo a criação de novas estratégias de políticas públicas educacionais.

Confrontando esses resultados das avaliações brasileiras com o da Prova Brasil e o Sistema de Avaliação da Educação Básica - Saeb - com os resultados internacionais do Pisa, pode-se atribuir novas metas com a finalidade de melhoria do ensino da educação nacional, com ênfase no mais elevado grau de qualidade de ensino. O Pisa fomenta, também, a contribuição com a participação de diversos especialistas de cada país participante em encontros internacionais de discussão (^{Soares, 2005}), o que possibilita uma oportunidade de ganhos de aprendizagem para todos os especialistas da área da educação do Brasil.

Como o conteúdo em Matemática é medido

O Pisa avalia o desempenho em Matemática em três dimensões: conteúdo matemático, os métodos envolvidos e as situações nas quais os problemas são apresentados. Os saberes e as competências dos estudantes em Matemática são analisados segundo três aspectos relacionados: o conteúdo matemático ao qual se vinculam inúmeras situações problemas; os métodos que devem ser utilizados para determinar a ligação entre os acontecimentos observados e a Matemática para, assim, solucionar problemas diversos e os acontecimentos e as circunstâncias empregadas como instrumentos de motivação, e, ainda, como esses problemas são demonstrados.

De acordo com ^{Portugual (2013}), os campos de domínio abarcados pelo Pisa são definidos em termos de: a) conteúdo com os domínios de conhecimentos matemáticos que o estudante precisa adquirir; b) situações em que os estudantes são confrontados com problemas matemáticos e posteriormente são empregues aos domínios relevantes; c) processos que são desenvolvidos com a proposição de argumentos matemáticos.

O Pisa tem como base seu conteúdo de Matemática de campos de conhecimentos integrados (^{OCDE, 2003e}). Considerando-se a literatura sobre esse conhecimento e carregando um método planejado da construção de acordo entre os países integrantes da OCDE a respeito de quais noções elementares apropriadas para assemelhar o desempenho em matemática internacionalmente, a avaliação foi elaborada em torno de quatro domínios de conteúdo.

Em suma, esses quatros domínios de conteúdo envolvem a esfera Matemática indispensável para determinar de modo preciso um conjunto de conhecimentos iniciais seguros e contínuos para os estudantes de 15 anos de idade, e para tornar possível o desenvolvimento futuro no campo da matemática. De acordo com ^{Ortigão, Santos e Lima (2018}), “para os organizadores da avaliação, as três primeiras constituem a essência de qualquer currículo de Matemática da educação básica. A quarta (Incerteza) atende ao caráter mais abrangente da competência matemática e se conecta com as necessidades da vida diária do cidadão” (p. 380).

Os princípios podem estar correlacionados a uma diretriz de conteúdos clássicos, como aritmética, álgebra ou geometria e seus tópicos secundários, que retratam tradicionalmente áreas bem determinadas do raciocínio matemático, de modo a facilitar o progresso para um currículo de ensino planejado detalhadamente (^{OCDE, 2005f}). A sua primeira aplicação, que teve como foco a área de Matemática, ocorreu em 2003: “As diretrizes para a avaliação do Pisa 2003 delineadas no documento da OCDE consideram fundamental que os alunos sejam ativos na resolução de problemas, trazendo a concepção de letramento coesa à modelagem matemática” (^{Pereira; Moreira, 2020}, p. 481).

A avaliação sobre a área da Matemática no Pisa procura comparar níveis de desempenho dos estudantes em quatro domínios de conteúdo, cada um deles elaborado por uma base de uma escala. Ao relatar particularmente o desempenho dos estudantes em cada um dos quatros campos da matemática, o Pisa explora detalhadamente que variados sistemas de ensino manifestam preferência em atribuir destaque no planejamento de seus currículos nacionais.

Nesse panorama, ^{Lima e Moreira (2021}) salientam que, “ao longo dos últimos anos, os processos e as iniciativas, em avaliação educacional, aumentaram de modo expressivo, em especial, as avaliações de larga escala têm favorecido a comparação entre os resultados dos desempenhos de estudantes em diversos países” (p. 195). Esta elaboração de relatório possibilita que variados sistemas de ensino sinalizem suas prioridades nacionais em semelhança às opções apresentadas por outros países. Proporciona, também, que diferentes sistemas de ensino analisem se a competência e o desenvolvimento contínuo de saberes matemáticos encaminhados de modo homogêneo por meio de campos de avaliação teoricamente distintos.

A avaliação de Matemática do Pisa propõe que os estudantes confrontem situações problemas do campo da Matemática que estejam interligados a situações cotidianas, encaminhando estes a reconhecer elementos da resolução de problemas pertinentes a um estudo rigoroso, e pôr em funcionamento as habilidades necessárias para a solução desses problemas. Nesse mesmo raciocínio ^{Ortigão (2020}) relata que, “no âmbito do Pisa, o conceito de letramento está associado à capacidade do aluno de aplicar seus conhecimentos, analisar, raciocinar e se comunicar com eficiência, à medida que expõe, resolve e interpreta problemas em diversas situações” (p. 180).

Para tal, estes estudantes devem construir um desenvolvimento gradativo de matematização⁴ que abrange algumas fases, iniciando por um problema assentado em uma situação real, em que os estudantes são desafiados a constituí-las de acordo com princípios matemáticos.

Devem reconhecer os princípios matemáticos de maior importância, para assim, se desenvolver, de modo progressivo, e distanciá-lo da concepção tradicional e transformar esse saber em algo que seja passível de solução Matemática direta, por meio de conjecturas resumidas, os conhecimentos que levem à universalização e à formalização; a indicação de possibilidades viáveis para a solução de determinados problemas; a assimilação das correspondências entre a linguagem matemática do problema e a linguagem representativa e formal fundamental para compreendê-lo matematicamente; a identidade da continuidade e dos métodos, e da relação desses problemas com situações associadas, ou outras produções matemáticas familiares e identificação ou definição de um padrão matemático apropriado (^{OCDE, 2005e}).

Tornando-se o problema proposto numa forma habitual, suscetível de ser solucionado continuamente por intermédio da matemática, o conjunto de saberes, capacidades e habilidades matemáticas características que o estudante desfruta pode ser empregue para resolvê-lo. Tal ação pode abranger um cálculo simples, o uso ou aplicação de linguagem e operações simbólicas, formais e técnicas, alternando de uma representação a outra, a aplicação de fundamentos matemáticos lógicos e generalização.

Para a ^{OCDE (2003e}), as fases finais no processo de desenvolvimento de matematização circundam alguma estrutura de interpretação do resultado matemático numa situação que vivencie o contexto original do problema, uma observação sobre as resoluções e a apresentação destes resultados, que pode compreender uma interpretação, explicação ou exame.

São fundamentais inúmeras habilidades para que esse processo de matematização seja efetivado. Essas envolvem reflexão e raciocínio; abstração; entendimento; modelagem; proposição e resolução de situações problemas; interpretação e aplicação de linguagem e operações fundamentais e técnicas. Na medida em que essas habilidades agem em conjunto, e estando-se informado de que há certa imposição em suas delimitações, às atividades de Matemática do Pisa, usualmente, foram elaboradas de maneira a fazer o uso de uma ou mais dessas capacidades de maneira característica.

Os exercícios relativos à cognição circundados nos conhecimentos reportados acima foram organizados em três grupos de habilidades, apresentados como grupo de reprodução, conexões e reflexão (^{OCDE, 2003c}). Observou-se que esses grupos proporcionavam uma estrutura adequada para o debate dos meios pelos quais os variados conhecimentos são postos em solução às respostas das diferentes demandas cognitivas colocadas por inúmeros problemas matemáticos.

O grupo de reprodução é usado em ocasiões que envolvam questões familiares, e que implicam particularmente a representação deste conhecimento elaborado na prática, como o saber e caso de interpretações de situações problemas, o ato de reconhecer equivalências, memorização de caráter matemático e instrumentos aparentados, prática de estratégias habituais, utilização de competências, métodos e algoritmos padronizados, o uso de expressões que contenham símbolos e fórmulas em um modelo familiar e a resolução de cálculos diretos (^{OCDE, 2005e}).

O grupo de conexões tem foco na reprodução para a solução de situações problemas que não são unicamente rotineiras, mas que englobem um cenário de certo modo habitual, ou que propicie o desenvolvimento além de circunstâncias conhecidas em um nível menor. De forma habitual, o progresso do resultado de uma determinada solução requer um maior entendimento sobre a interpretação e elaboração nas relações entre as variadas apresentações da situação, ou de implicações entre os amplos elementos de uma situação problema (^{OCDE, 2005e}).

O grupo de reflexão generaliza-se conforme o grupo de conexões. Estas habilidades são primordiais em atividades que requerem certo insight e observação por parte dos estudantes, bem como o uso da criatividade para reconhecer princípios matemáticos importantes ou para estabelecer uma conexão com conhecimentos significativos para originar soluções. As situações problemas que requerem a utilização dos grupos de habilidades englobam mais elementos do que outros e especificamente surgem discussões para que os estudantes desenvolvam seu raciocínio e justifiquem seus resultados (^{OCDE, 2005e}).

A avaliação do Pisa sobre o campo matemático: das análises à escala

A avaliação do Pisa na área de Matemática conta com um total de 85 questões no decorrer de suas edições. Essas questões, e as da área de leitura, ciências e resolução de problemas, foram compostas por categorias com meia hora de duração. Cada estudante participante recebeu um folheto de testes com quatro grupos de questões, ocasionando um tempo de avaliação individual de duas horas. Esses grupos se subdividiram numa associação de elementos e fatores, de maneira a favorecer que cada questão se encaminhasse no mesmo folheto do teste e que cada grupo se remetesse a cada um dos quatros grupos nos possíveis folhetos.

Esse modelo favorece a elaboração de uma escala de desempenho em Matemática, para estabelecer relações com cada questão da avaliação a um ponto nessa escala, em conformidade com sua dificuldade, e para distribuir a cada estudante um ponto na mesma escala, de modo a representar o seu conhecimento processual aceito. Em outras palavras, é mediante a aplicação de métodos de modelagem de respostas que se tornam possíveis bons resultados em avaliações como o Pisa (^{OCDE, 2003}).

O conhecimento relativo dos estudantes subjugados a exames característicos pode ser medido por intermédio da dimensão de questões do teste que eles solucionam corretamente. As dificuldades relacionadas às questões do exame podem ser admitidas, classificando a proporção dos estudantes que respondem corretamente cada questão. O padrão matemático utilizado na interpretação de conhecimentos do Pisa foi desenvolvido por meio de processos interativos, que fazem a estimativa de modo simultâneo de medir a probabilidade de um indivíduo ser capaz de resolver corretamente um grupo de questões de teste, e a possibilidade de que ao menos uma questão em particular seja resolvida sem erros por um determinado grupo de estudantes.

O desfecho desses experimentos nos leva a um campo extenso de conjecturas que propicia o desenvolvimento de uma escala constante, retratado o letramento em matemática. Nesse seguimento, é possível avaliar particularmente a categoria que se encontra cada estudante, analisando, de modo preciso, o nível de letramento matemático que apresentam, e é viável fazer a estimativa da configuração de questões do exame em particular, comprovando a veracidade, assim, o nível de letramento em matemática que cada um deles representa.

Uma vez categorizadas as dificuldades das questões individuais, o desempenho do estudante pode ser determinado por meio da atribuição de escores, conforme a realização da atividade prevista mais complexa. Posto isto, não denota que os estudantes estejam sempre aptos a solucionar as questões consideradas no nível de dificuldade relacionada à sua própria categoria na escala, e que nunca consigam dar solução às questões mais complexas.

Segundo ^{Pereira e Moreira (2020}), para verificar os conhecimentos dos estudantes, “a métrica para a escala global de matemática é baseada na média de 500 pontos dos países da OCDE e no desvio-padrão de 100 pontos” (p. 482). A escala aotada para a área da Matemática é composta por uma divisão de níveis distribuídos numa metodologia estatística em que é possível descrever os saberes atríbuídos por cada estudante.

A fim de tornar mais fácil a compreensão dos escores concedidos aos estudantes, a escala foi desenvolvida de maneira a fornecer um escore médio de 500 pontos entre todos os países da OCDE, do qual, aproximadamente, dois terços dos estudantes integrantes desses países estão entre 400 e 600 pontos.

Da mesma maneira que no relatório de avaliação em Leitura no Pisa 2000, que retratou os resultados em níveis de competências, os escores dos estudantes no desempenho de Matemática, na edição de 2003, foram agrupados em seis níveis de competências, que descrevem grupos de atividades de dificuldade crescente: o nível seis é o de maior dificuldade, o nível um de menor. A ordenação em grupos de níveis de dificuldade foi assentada em reflexões acerca da estrutura dos conhecimentos pressupostos. Estudantes que obtiveram menos de 358 pontos em qualquer escala Matemática foram considerados abaixo do nível um.

Esses estudantes retratam 11% da média dos países da OCDE, tendo claro que não eram absolutamente incapacitados de solucionar uma operação matemática, mas apresentaram ser inaptos a fazer o uso do conhecimento matemático em situações sociais aplicadas às atividades mais compreensíveis.

A proficiência nesses níveis de desempenho pode ser compreendida em correspondência à representação do tipo de conhecimento em Matemática indispensável para que um estudante alcance outros níveis, e que estão sintetizados na figura 2. Essas informações retratam um resumo dos panoramas da proficiência para cada campo da Matemática, acompanhado dos resultados de cada uma delas. O desenvolvimento progressivo por entre esses níveis, em conteúdos pelos quais os métodos matemáticos intrínsecos se modificam ao passo que aumentam os níveis.

A elaboração dos seis níveis de proficiência colabora para uma circunstância em que os estudantes categorizados em variados escores numa escala constante são agrupados em cada um dos níveis estabelecidos. O Pisa faz o uso de um parâmetro de fácil entendimento para organizar os estudantes em níveis: cada estudante é agrupado no nível mais elevado no qual seria capaz esperar que solucionasse de modo exato todas as questões propostas na avaliação.

A título de exemplo, numa avaliação organizada por questões organizadas de modo uniforme pelo nível três - com complexidade divergindo entre 483 e 544 pontos -, seria presumível que os estudantes considerados neste nível conseguissem solucionar pelo menos 50% das questões, e um estudante localizado no centro ou próximo da parte superior no nível registraria uma porcentagem de soluções corretas mais elevadas.

Para que isso ocorra, um estudante com 483 pontos necessita dispor de uma chance de 50% de concluir uma questão localizada na parte central do nível três - de 513 pontos -, para, assim, ter uma probabilidade com nível de exigência superior a 50% de solucionar corretamente uma questão agrupada na sua própria posição - 483 pontos. Com o propósito de que tais situações sejam aceitas, esta última probabilidade deve ser de 62%.

O quadro anterior apresenta a descrição dos níveis de proficiência da escala de Matemática do Pisa. A constituição desses níveis proporciona identificar os estudantes que apresentam pontuações similares em um mesmo campo de proficiência, e a distância entre esses níveis é calculada mediante a escala de Matemática já apresentada anteriormente. Os estudantes que não estiveram aptos a desenvolver as competências matemáticas indispensáveis para a resolução de atividades mais simples do estudo do Pisa foram considerados abaixo do nível 1, e alcançaram uma média inferior a 358 pontos (^{OCDE, 2015}). Eles representam cerca de 11% do total de estudantes dos países da OCDE. Em tal caso, o Brasil abrange uma realidade inquietante, uma vez que 53,3% dos estudantes brasileiros foram considerados abaixo do nível 1 na escala de Matemática na edição de 2003.

O Pisa e a Matemática: os resultados brasileiros

O ano de 2003 foi caracterizado como a primeira edição em que tivemos a área de Matemática como foco principal. Embora não haja a publicação de um relatório detalhado da edição do Programa, o conhecimento matemático analisado nessa edição foi medido de acordo com os dados disponibilizados no site da OCDE, em que o Brasil alcançou uma média de 346 pontos. Vale ressaltar que nessa edição o espaço amostral foi estimado levando-se em consideração a estratificação por unidades federativas e, por isso, esse resultado apresenta um erro-padrão elevado (^{Nunes, 2013}).

Ainda para os autores, o progresso positivo do Brasil no Pisa ainda não é suficiente se comparado com a evolução dos demais países em posição à frente que integram o Pisa. Conforme a tabela a seguir, percebe-se uma adesão maior em relação ao número de países participantes em cada edição, o que viabiliza a importância atribuída ao Programa. De maneira abrangente, os resultados apontam que a formação básica de nossos estudantes prossegue rumo a um nível baixo de qualidade.

No que diz respeito aos itens utilizados em cada edição, tem se percebido uma diminuição se comparados com sua primeira edição, conforme apresentado na tabela 1. Os testes propostos no decorrer das edições já realizadas pelo Pisa têm se preocupado na utilização de itens que possibilitem aos estudantes a utilização de práticas do conhecimento, das competências e habilidades construídas no decorrer de suas trajetórias escolares. Isso contribui para uma perspectiva mais aprofundada sobre o quanto estão preparados e como se encontram para os desafios futuros ao qual se defrontarão no decorrer de sua formação, em especial no mundo do trabalho (^{Nunes, 2013}).

As conjunturas apresentadas pelo Brasil em suas participações ao longo das cinco edições já realizadas nos fornecem informações preciosas em relação ao sistema educacional brasileiro, possibilitando uma interpretação de seu progresso em relação ao cenário internacional. Segundo ^{Nunes (2013}), o progresso científico e tecnológico depende de uma boa base Matemática para se alicerçar. O Pisa, por sua vez, nos oportuniza elaborar conhecimentos e compará-los com os países mais desenvolvidos numa perspectiva científica e tecnológica, em que a área de Matemática é priorizada em suas escolas.

A proficiência dos estudantes e os níveis de dificuldade dos itens abordados na avaliação do Pisa são estruturados em níveis, que podem ser analisados em condições em que possam ser debatidos em que tipo de competências os estudantes apresentam. Deste modo, a pontuação atribuída a cada nível nos possibilita enxergar o que os estudantes são capazes de fazer, conforme demonstrado na tabela a seguir.

Na pesquisa desenvolvida por ^{Nunes (2013}), percebeu-se um aumento gradativo no universo amostrado do Pisa, o que não contribuiu para uma diminuição em relação ao desempenho dos estudos brasileiros na esfera da Matemática no decorrer de todas as edições já realizadas. Longe disso, o que se tem percebido é uma evolução média no desempenho dos estudantes brasileiros, dando indícios da melhoria do ensino de Matemática no Brasil.

De modo contrário às ideias anteriormente tratadas, ^{Somavilla et al. (2017}) relatam que, no atual cenário brasileiro, os parâmetros de indicadores do Pisa nas edições decorrentes no período de 2012 a 2015 não apresentaram melhorias significativas, em especial, quando comparados aos países integrantes da OCDE. Ainda segundo os autores, ainda que se percebam as limitações dessas avaliações em larga escala, o cenário apresentado pela OCDE é claro quando se trata dos baixos níveis de desempenho alcançados pelos estudantes brasileiros na área de Matemática, em que as competências e habilidades necessárias para o exercício da cidadania não estão sendo alcançadas.

As informações apontadas pelo Pisa ao longo de suas edições revelam que a competência de Matemática dos estudantes brasileiros, embora apresente uma melhora moderada, precisa caminhar muito para que alcancem o patamar dos níveis desejados apresentados pelos países da OCDE. O ensino ofertado na rede pública federal aparenta ser o que o Brasil tem de melhor na educação básica. Por outro lado, o ensino público ofertado nas dependências estaduais e municipais tem deixado muito a conquistar. A unidade federativa também tem sido um fator essencial influenciador do desempenho em Matemática e o que se observa são variações no desempenho de outras áreas avaliadas no Pisa, demonstrando o quão desproporcional é a educação básica no Brasil (^{Nunes; Vieira, 2011}).

A participação do Brasil no Pisa tem ocorrido desde a sua primeira edição em 2000, e desde então tem apresentado um considerável aumento no quantitativo de participantes, conforme podemos observar na tabela abaixo.

Como pode ser observado na tabela 4, a avaliação do Pisa tem contado com o crescimento expressivo de participantes ao longo de todas as edições já realizadas (372%). Em sua última edição participaram do exame 23.141 estudantes referentes a 841 escolas, contando também com a participação de 8.287 professores. A esse respeito, ^{Soares e Nascimento (2012}) afirmam que,

no que tange ao Pisa, isso significa que, a cada nova aplicação do exame, os jovens brasileiros nele envolvidos apresentam escolarização cada vez maior. No gráfico 1 vê-se que o nível de instrução dos jovens que integram o universo amostral do Pisa no Brasil tem-se tornado cada vez mais elevado. (p. 72)

Apesar disso, os resultados dos estudantes brasileiros se mostram muito distantes dos apresentados pelos países da OCDE, percebe-se um crescimento em algumas edições e um decaimento em outras, sobretudo sobre a esfera de conhecimento da Matemática. Com relação a essa área, houve aumento de 334 pontos para 356, aumento de 12 pontos, ou 6,5%; de 356 para 370, aumento de 14 pontos, o que representa 3,9%; de 370 para 386, aumento de 16 pontos ou 4,3%; de 386 para 391, aumento de cinco pontos, cerca de 1,2%, e de 391 para 377, queda de 14 pontos, o que representa 3,58%.

Refletir sobre os desempenhos brasileiros do Pisa frente a outros países,

fornece também uma noção de como evolui o desempenho desses jovens ao longo do tempo, e permite sua comparação com o desempenho de jovens de outros países. Dessa maneira, pode-se verificar a evolução brasileira no Pisa, tanto na sequência temporal quanto diante da performance de outros países. (^{Soares; Nascimento, 2012}, p. 70)

De acordo com ^{Inep (2015}), na última edição, a aplicação ocorreu no mês de maio para os estudantes selecionados em sua amostragem, distribuídos em um total de 70 países e territórios. A avaliação abarcou, aproximadamente, 500 mil estudantes nascidos no ano de 1999. Na América Latina, os sete países analisados e que participaram da avaliação foram Argentina, Brasil, Chile, Colômbia, México, Peru e Uruguai.

De acordo com ^{Bussab e Morettin (2010}), o teste permite determinar quais fatores são determinantes para o desempenho do Pisa na amostra selecionada e, assim, comparar a relação entre as variáveis e resultados por país.

Fonte: OCDE (2019)

Gráfico 1  Resultados do Brasil em Matemática no decorrer das edições. 

Pelo gráfico 1, é possível perceber alguns avanços, mesmo que pequenos nas edições do Pisa até o ano de 2012. Sobretudo, é preocupante o cenário apresentado na edição de 2015, quando o Brasil apresentou seu pior desempenho ao longo de todas as edições, caindo no ranking comparado com outros países. Para ^{Soares e Nascimento (2012}), a nota média do Brasil nos exames do Pisa tem subido sem parar desde 2000, data da primeira avaliação, refletindo melhoria da qualidade educacional no Brasil.

Para ^{Dias, Mariano e Cunha (2017}),

os resultados em matemática indicam um cenário ainda pior para os países analisados. Apesar da melhoria relativa em alguns países e a redução dos desvios, e consequentemente das desigualdades, o desempenho nesta área de conhecimento nas avaliações do Pisa mostram que os estudantes desses países se encontram, em média, nos primeiros níveis de conhecimento neste campo. Isto é, apenas no Chile os estudantes conseguem interpretar literalmente certos modelos matemáticos, e para os demais, a capacidade está limitada a entender questões relativas ao seu cotidiano. (p. 20)

O gráfico 2 expõe, minuciosamente, uma comparação entre as médias brasileiras alcançadas em Matemática em cada edição em relação à média apresentada pelos países da OCDE.

Fonte: (^{OCDE, 2019}

Gráfico 2  Médias alcançadas pelo Brasil e OCDE. 

Pelo gráfico 2, é possível inferir que o Brasil, ao longo de todas as edições do Pisa, não alcançou a média dos países integrantes da OCDE. Em sua primeira edição, no ano de 2000, a média alcançada em Matemática pelo Brasil foi de 334 pontos, comparada à média da OCDE, de 496 pontos, o que representa um percentual de 67,33% e uma diferença de 162 pontos. Na edição seguinte, no ano de 2003, a média da Brasil alcançou um total de 356 pontos e os países da OCDE 498 pontos, representando um percentual de 71,48% e uma diferença de 142 pontos.

Por sua vez, na edição de 2006 o Brasil alcançou uma média de 370 pontos, enquanto os países da OCDE 493, atingindo um percentual de 75,05% e uma diferença de 123 pontos. Posteriormente, na edição de 2009, Brasil teve como média 386 pontos, e os países da OCDE, 496 pontos, totalizando 77,82%, e uma diferença de 110 pontos. Subsequente a isso, a edição de 2015, o Brasil obteve como média 391 pontos, enquanto os países da OCDE 494 pontos, representando um percentual de 79,14%, e uma diferença de 103 pontos. Na edição de 2015, o Brasil obteve como média 377 pontos, seguido dos países da OCDE com 490 pontos, um percentual de 76,93% e uma diferença de 113 pontos, e, por fim, em sua última edição, os resultados brasileiros foram de 384 pontos, enquanto os países da OCDE apresentam uma média de 492 pontos, abrangendo uma diferença de 108 pontos, o que representa 78,04%.

Para ^{Soares e Nascimento (2012}), para que se avalie quanto o Brasil tem melhorado ou não, é necessário um painel que contenha os dados dos mesmos países e observar a variação de suas notas. Nesse sentido, se faz necessário não somente comparar os resultados do Brasil obtidos sobre a área de Matemática e confrontá-los com os dos países integrantes da OCDE, devemos também situá-los frente aos resultados obtidos ao nível dos países da América Latina que colaboram com o exame.

Considerações finais

Ainda que seja aplicado como domínio de pesquisa em avaliação em larga escala recentemente, o Pisa tem se consolidado a cada triênio com a divulgação dos seus respectivos resultados, tendo o Brasil já participado de todas as edições. O Programa tem se fortificando e tornado assunto de grande interesse no cenário educacional, principalmente por desvelar o enorme abismo entre governos que priorizam a educação e aqueles que a tratam com descaso e omissão, como o governo brasileiro. Sobre esse mesmo olhar, podemos destacar que o Pisa causa grande repercussão sobre as atividades acadêmicas, de gestão pública e educacional e, para além disso, por trazer à tona a necessidade de investimentos em educação. Neste artigo, procuramos caracterizar a avaliação do Pisa sobre o campo de conhecimento da Matemática, aprofundando suas análises sobre os resultados dos estudantes brasileiros no período de 2003-2018.

Embora o Pisa se estabeleça na política educacional brasileira, contribuindo para um amplo campo de pesquisa com dados confiáveis e como uma ferramenta de extrema importância capaz de dialogar com uma avaliação que seja capaz de medir as competências e habilidades dos estudantes participantes, o seu impacto na esfera pedagógica ainda é incipiente. Os resultados apresentados mostraram que a apropriação dos resultados em cada edição é insatisfatória. Dessa forma, os parâmetros abarcados pelo Pisa têm se efetivado vagarosamente, devido à carência de investigações de caráter pedagógico, econômico e político, capazes de produzir efeitos de disseminação entre os professores.

Não é recente o baixo desempenho alcançado pelos estudantes brasileiros em Matemática no Pisa. Em sua edição mais recente, realizada em 2018, o Brasil obteve 388 pontos na prova. Em contrapartida, a média da OCDE foi de 492 pontos, o que requer um maior desenvolvimento de práticas que amenizem essas sequelas apontadas a cada nova edição: “O campo de domínio sobre a área de Matemática é um aspecto importantíssimo para o ingresso dos jovens na sociedade contemporânea, em especial para a sua prática enquanto sujeito ativo disposto a provocar ações em sua vida profissional, social e científica” (^{Lima, 2020}, p. 117).

Com a convicção de que o Pisa, como avaliação em larga escala, refere-se a um programa de ampla proporção nacional e internacional, compreendendo variados grupos sociais, depreendemos que, quanto mais investigarmos, debatermos e explorarmos essa temática, melhores contribuições poderão ser dadas para uma educação de equidade.