INTRODUÇÃO

No sistema educacional, a avaliação pode ser tomada como um processo social que envolve diversos fatores, mas que se torna indispensável para subsidiar, por exemplo, a prática docente. Em relação ao contexto escolar, existem dois tipos de avaliação desenvolvidos: a avaliação interna e a avaliação externa. As avaliações externas, ou em larga escala, geralmente são aquelas de responsabilidade de entidades externas à escola/sala de aula, tendo como propósito primeiro a “medição” pontual do que os alunos sabem em relação a domínios do currículo (^{Fernandes, 2019}). Nesse sentido, esse tipo de avaliação não se relaciona, diretamente, com as ações realizadas dentro de sala de aula pelo(a) professor(a).

No estado do Paraná, implementaram-se diversos programas de avaliação em larga escala, tanto no plano nacional quanto no estadual. Entre os programas nacionais aderidos, está presente o Sistema de Avaliação da Educação Básica (Saeb), uma das primeiras ações brasileiras voltadas à identificação dos resultados de aprendizagem dos estudantes. Concomitantemente às ações educacionais nacionais, no ano de 2012, a esfera estadual implementou o Sistema de Avaliação da Educação Básica do Paraná (Saep), alinhado com o Saeb. Contudo a aplicação do Saep foi interrompida em 2018 para uma mudança na estruturação do sistema de avaliação paranaense. Como partes dessa reestruturação, em 2019, a Prova Paraná, a Prova Paraná Mais e a Prova Paraná de Fluência surgiram enquanto ações planejadas pela Secretaria de Estado da Educação do Paraná (Seed-PR) para melhorar o Índice de Desenvolvimento da Educação Básica (Ideb) do estado (^{Costa, 2022}; ^{Savaris, 2022}).

De acordo com a Seed-PR (^2023b), a Prova Paraná, enquanto instrumento de avaliação, objetiva identificar as dificuldades apresentadas pelos estudantes, assim como as habilidades já “apropriadas” por eles durante os processos de ensino e de aprendizagem (Secretaria de Estado da Educação do Paraná [Seed-PR], ^2023b). Nesse sentido, com a aplicação da Prova Paraná, a Seed-PR espera obter dados relevantes sobre a aprendizagem dos alunos e, com isso, definir ações para apoiar pedagogicamente os núcleos regionais, as secretarias municipais de educação e as escolas.

Em consonância com o objetivo pretendido com a Prova Paraná, em uma publicação feita pela Secretaria da Comunicação do Paraná (Secom) do estado do Paraná após a divulgação dos resultados da 1ª edição, em 2019, o secretário da educação vigente, Renato Feder, afirmou que:

O grande diferencial da Prova Paraná é que ela tem o caráter de diagnóstico, com uma proposta de pautar as ações pedagógicas em evidências sobre o aprendizado. Se o professor consegue identificar detalhadamente qual é a dificuldade dos seus alunos, quais são as dúvidas que eles têm, ele tem mais facilidade para definir quais ações adotar para ensinar de uma forma diferente para que os alunos aprendam. (Prova Paraná contribui para definir melhorias da aprendizagem, ²⁰¹⁹).

Para além das decisões pedagógicas relacionadas às ações do(a) professor(a), a Prova Paraná também se coloca como instrumento cujos resultados oportunizam a construção de planos de aula coletivos e a elaboração de estratégias pedagógicas. Parte dos materiais disponibilizados aos(às) professores(as) pela Seed-PR são módulos de planejamento que apresentam planos de aulas específicos para disciplinas e séries, organizados por tema, conteúdo, conhecimentos prévios e objetivos (^{Seed-PR, 2022}).

Nesses módulos de planejamento, fornecidos por meio de apresentações gráficas, são apresentados destaques informativos em cada slide sobre a relevância do conteúdo abordado naquela determinada aula para a resolução da Prova Paraná. Como exemplificado na Figura 1, é pontuado ao(à) professor(a), utilizando um quadro vermelho com a indicação “importante”, que os conteúdos abordados na aula estão presentes nos descritores que serão requeridos na prova.

Fonte: ^{Seed-PR (2023a)}.

FIGURA 1 Slide 3 da aula 2 de Matemática da 1ª série do Ensino Médio, denominada “Sistema Internacional de Unidades (SI) - II”, no ano de 2023 

Ainda, os materiais disponibilizados pela Seed-PR propõem a resolução de algumas questões que correspondem aos descritores considerados na Prova, salientando a importância desse “momento preparatório”. Levando em consideração que a aplicação da Prova Paraná conta com tempo limitado, os slides também indicam o tempo esperado para a resolução da questão pelos estudantes (Figura 2).

Fonte: ^{Seed-PR (2023a)}.

FIGURA 2 Slide 11 da aula 2 de Matemática da 1ª série do Ensino Médio, denominada “Sistema Internacional de Unidades (SI) - II”, no ano de 2023 

Tais slides da “Aula Paraná” têm substituído os livros didáticos e se tornado os principais (quando não os únicos) recursos utilizados por professores(as) em sala de aula. Isso se dá não necessariamente por vontade própria dos(as) professores(as), mas por imposições da gestão escolar e da Secretaria da Educação.

Com base no que foi apresentado, é evidente que os resultados da Prova Paraná influenciam e direcionam o ambiente escolar paranaense - e, principalmente, a dinâmica e o planejamento das aulas ministradas nas redes de ensino públicas. Diante dessas circunstâncias, este artigo tem como objetivo analisar as questões presentes nas três edições da Prova Paraná aplicadas no ano letivo de 2023, visto que ela é reconhecida como um instrumento significativo para os órgãos públicos, uma vez que impacta diretamente o planejamento e a formulação de projetos educacionais no estado do Paraná.

CLASSIFICAÇÕES DE QUESTÕES DE MATEMÁTICA

O presente trabalho tem como objeto de análise os enunciados das questões de Matemática que compõem as três edições da Prova Paraná de 2023. Diante disso, faz-se necessário explicitar os significados tomados para os termos “enunciado” e “contexto” para este artigo, uma vez que eles podem ser entendidos de diferentes formas a depender do ponto de vista do locutor. Entende-se por enunciado o conjunto de elementos apresentados em uma questão que formam a sua proposição. No caso da Prova Paraná, os enunciados analisados são constituídos por elementos escritos ou gráficos. A partir dos enunciados, é possível identificar o contexto da questão, ou seja, o conjunto de características e circunstâncias apresentado aos estudantes que os ajuda na sua compreensão e forma seu significado.

^{Díaz e Poblete (2005)} utilizam os contextos como ponto de partida para classificar as questões de Matemática, distinguindo entre problemas de contexto real, realista, fantasioso ou puramente matemático. Segundo esses autores, os problemas de contexto real são aqueles que refletem situações genuínas da realidade, que de fato aconteceram, ao passo que os problemas de contexto realista, embora possam ocorrer, são simulações da realidade ou de partes dela. Em contraste, os problemas de contexto fantasioso não têm fundamento na realidade, e tais questões se referem a elementos puramente imaginários. Por fim, os problemas de contexto puramente matemático referem-se exclusivamente a objetos matemáticos, sem a presença de outros elementos concretos (^{Díaz & Poblete, 2005}).

Segundo ^{Van den Heuvel-Panhuizen (2005)}, diferentes contextos desempenham múltiplas funções em problemas de avaliação em Matemática, como possibilitar aos estudantes, ao menos, refletir sobre os temas matemáticos neles contidos. Contudo algumas questões de Matemática não apresentam contexto algum, sendo chamadas de bare problem (problemas “crus” ou “despidos”).

Alguns aspectos de contextos de questões de Matemática também estão associados às oportunidades de matematização oferecidas aos estudantes. De acordo com ^{De Lange (1999)}, a matematização se trata da organização de assuntos matemáticos ou da realidade por meio de ideias e conceitos matemáticos. Dessa forma, os estudantes são confrontados com situações em que buscam por regularidades, relações ou estruturas desconhecidas e desenvolvem ferramentas matemáticas e estratégias ligadas a esse contexto. Esse mesmo autor aponta que algumas atividades mentais envolvidas na matematização podem ser, por exemplo:

Em relação às possibilidades de matematização, ^{De Lange (1999)} qualifica os usos dos contextos em quatro classificações: contexto de ordem zero, contexto de primeira ordem, contexto de segunda ordem e contexto de terceira ordem. Quando o contexto não tem relevância alguma para a resolução da questão e é utilizado apenas para forjar uma situação da vida real, classifica-se a questão como contexto de ordem zero.

Apesar de irrelevantes para as questões de contexto de ordem zero, as características e circunstâncias apresentadas no enunciado são necessárias para a resolução das questões de contexto de primeira ordem, bem como para a análise ou a validação das respostas encontradas. Essas questões classificadas como de contexto de primeira ordem requerem uma simples tradução do enunciado para uma linguagem matemática - e, nesses casos, os problemas já estão pré-matematizados.

Já as questões de contexto de segunda ordem envolvem certo nível de matematização, de forma que os resolvedores precisam encontrar ferramentas matemáticas para organizar, estruturar e resolver a questão.

E os contextos de terceira ordem são aqueles usados para introduzir e desenvolver um conceito ou um modelo matemático; as questões com contextos dessa ordem são as consideradas mais significativas para o processo de matematização conceitual.

Outra classificação apresentada por ^{De Lange (1999)} é em relação aos níveis de demanda cognitiva exigida dos estudantes: nível I (reprodução), nível II (conexão) e nível III (reflexão). O autor classifica como questões de reprodução aquelas em que o estudante reconhece fatos, identificando os que são equivalentes, recorda objetos e procedimentos matemáticos, realiza procedimentos de rotina, lida e opera algoritmos padrão.

Já as questões de conexão envolvem demandas relacionadas a lidar com diferentes representações e domínios da matemática, distinguir e relacionar informações diversas, decodificar e interpretar a linguagem simbólica e formal, compreendendo suas relações com a linguagem natural, desenvolver estratégias, resoluções, previsões e verificações e tomar decisões matemáticas.

Nas questões de reflexão, os estudantes analisam, interpretam e desenvolvem modelos, estratégias e argumentações relativas à questão. Para esse uso dos contextos das questões, há a presença da componente crítica e analítica no processo, e os alunos também podem propor outros problemas. Nas questões de reflexão, os estudantes devem reconhecer e compreender a utilização da Matemática em outras disciplinas.

^{De Lange (1999)} aponta que a classificação das questões de acordo com esses três níveis de pensamento pode ser uma atividade arbitrária e que, muitas vezes, as demandas desse último nível englobam também as dos dois primeiros níveis.

PROCEDIMENTOS METODOLÓGICOS

Esta é uma pesquisa qualitativa de cunho interpretativo, efetuada com base em orientações da Análise de Conteúdo (^{Bardin, 2016}). As informações coletadas são provenientes dos arquivos da Prova Paraná aplicada do 5º ano do Ensino Fundamental à 3ª série do Ensino Médio no ano de 2023.

Cada uma das diferentes turmas teve três provas durante o ano de 2023, denominadas 1ª, 2ª e 3ª edição. Entretanto, nesse mesmo ano, a 2ª e 3ª edições do 8º ano foram digitais, e estavam disponíveis apenas as questões da 3ª edição para essa série. Além disso, na 3ª edição, as provas da 3ª série do Ensino Médio foram impressas em dois modelos, denominados “Modelo A” (MA) e “Modelo B” (MB). As questões do MA e do MB eram iguais, mas foram apresentadas em ordens diferentes. Por conveniência, optou-se por analisar, neste estudo, as questões na ordem apresentada no Modelo A.

A Tabela 1 apresenta a quantidade de questões e sua numeração nas provas.

Inicialmente, fez-se uma leitura flutuante (^{Bardin, 2016}) das 456 questões das provas, a fim de conhecê-las e decidir quais autores seriam utilizados para categorizar as questões. Observou-se que todas as questões eram de múltipla escolha, sendo que, no Ensino Fundamental, cada questão tem quatro alternativas, enquanto no Ensino Médio, cinco alternativas. Optou-se, então, por categorizar os enunciados das questões, buscando identificar sua demanda cognitiva (reprodução, conexão, reflexão), segundo ^{De Lange (1999)}; seu tipo de contexto (puramente matemático, realista, real, fantasioso), segundo ^{Díaz e Poblete (2005)}; e sua ordem do contexto (bare problem, ordem zero, primeira ordem, segunda ordem, terceira ordem), segundo ^{De Lange (1999)} e ^{Van den Heuvel-Panhuizen (2005)}.

Cada questão, então, recebeu um código formado por três sequências de caracteres: a primeira refere-se ao ano ou série (7A, por exemplo, representa o 7º ano do Ensino Fundamental, enquanto 1S representa a 1ª série do Ensino Médio); a segunda sequência refere-se à edição da prova, sendo 1E, 2E e 3E para a 1ª, 2ª e 3ª edição, respectivamente; a terceira sequência de caracteres, por fim, refere-se ao número da questão, sendo representado pela letra Q e pelo número da questão com dois algarismos. Por exemplo, 3S2EQ44 refere-se à 3ª série do Ensino Médio, 2ª edição, questão 44.

Neste estudo, um dos autores ficou responsável por categorizar todas as questões das provas da 1ª e 2ª edições; outro autor ficou responsável pelas da 2ª e 3ª edições; o terceiro, pelas questões da 1ª e 3ª edições. Cada um o fez sem consultar os demais e, em seguida, as categorizações foram cotejadas. Em relação àquelas em que houve divergências, fez-se uma discussão entre os três autores até que se chegasse a um consenso. Assim, todas as questões puderam ser categorizadas. Na Tabela 2, apresentam-se as quantidades de questões em relação à demanda cognitiva.

Na Tabela 3, são apresentadas as quantidades de questões em relação ao tipo de contexto.

Na Tabela 4, apresentam-se as quantidades de questões em relação à ordem do contexto.

A partir das categorias elegidas, buscou-se identificar as unidades de análise (^{Bardin, 2016}). Nessa etapa, foi feita uma leitura das três categorias de cada uma das 456 questões a fim de buscar um padrão. Observou-se que cada uma das questões tinha apenas alguma das oito descrições seguintes: (i) “reprodução, puramente matemático, bare problem”; (ii) “reprodução, realista, ordem zero”; (iii) “reprodução, realista, primeira ordem”; (iv) “reprodução, real, primeira ordem”; (v) “conexão, puramente matemático, segunda ordem”; (vi) “conexão, realista, primeira ordem”; (vii) “conexão, realista, segunda ordem”; (viii) “conexão, real, primeira ordem”. Então, optou-se por trabalhar com cada uma dessas descrições como unidades de análise desta pesquisa. Na Tabela 5, são apresentadas as quantidades de questões em cada unidade de análise.

Na seção de análise e discussão, será apresentada uma questão para cada unidade de análise. Para cada questão, far-se-á uma discussão acerca de suas principais características com base nos autores estudados nesta pesquisa.

ANÁLISE E DISCUSSÃO DE QUESTÕES DA PROVA PARANÁ

Nesta seção, são apresentadas as unidades de análise constituídas a partir das orientações de ^{Bardin (2016)}. Em cada subseção, serão apresentadas as principais características de cada unidade de análise, seguidas de uma análise mais detalhada de uma de suas questões. Buscando a diversidade das questões no que se refere aos anos e séries, foi selecionada uma questão de cada ano ou série para ser empregada como exemplo nas análises. Começou-se a escolha pelas descrições com menos questões, para que todos os anos e séries fossem contemplados.

Unidade (i): “reprodução, puramente matemático, bare problem”

Essa primeira unidade de análise conta com 124 questões (27,2% do total de questões), o que representa uma média de 15,5 questões por ano/série ou uma média de aproximadamente 5,4 questões por edição.¹ Tais questões são classificadas como “reprodução” em relação à demanda cognitiva e tratam de contextos “puramente matemáticos”. Por conta desse tipo de contexto, as questões foram classificadas como bare problem, uma vez que não há, nem mesmo na própria matemática, uma situação na qual a questão esteja envolvida (^{Van den Heuvel-Panhuizen, 2005}).

A questão 8A1EQ21, escolhida para representar a primeira unidade de análise, é apresentada na Figura 3.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 3 Questão 8A1EQ21 

Observa-se que o procedimento que 8A1EQ21 demanda é o de comparação de frações. Tal procedimento é rotineiro e é suficiente que os estudantes o reproduzam para encontrar a alternativa correta. Em diversas questões dessa unidade, sobretudo nas provas do Ensino Fundamental, são apresentados números ou operações em quadros, como no exemplo da Figura 3, solicitando aos estudantes que comparem os números ou que efetuem a operação anunciada no quadro. Desse modo, a demanda cognitiva da questão é classificada como “reprodução”.

Em relação ao contexto ser “puramente matemático”, não se observa na questão 8A1EQ21 alguma outra interferência na realidade a não ser a da própria matemática. Trata-se de um bare problem, por não estar “vestido” de algum contexto ou situação além das frações apresentadas.

Como esse tipo de questão representa mais de um quarto do total de questões, entende-se que há um grande foco em atividades como memorização e reprodução.

Comparados com bare problems, os contextos oferecem aos alunos mais liberdade para exibir o que sabem. A razão para isso é que os problemas contextuais proporcionam aos alunos maior liberdade em suas soluções. Isso contribui para a transparência da avaliação. Se forem adequadamente selecionados, os contextos permitirão uma ampla gama de estratégias de solução - e, às vezes, também respostas - em diferentes níveis. Em um bare problem, a operação a ser realizada é, na maioria das vezes, fixa. Tais problemas têm apenas a possibilidade de avaliar se um aluno consegue ou não realizar os procedimentos que foram ensinados. Por essa razão, os bare problems não são muito adequados para uma avaliação prévia que forneça indicações para o ensino. (^{Van den Heuvel-Panhuizen, 1994}, p. 346, tradução nossa).

Isso significa que optar por trabalhar com uma grande quantidade de questões que são classificadas como bare problems, em um contexto de avaliação, não possibilita aos estudantes que aprendam a partir de suas próprias produções, além de limitar a quantidade de informações oferecidas por suas resoluções.

Unidade (ii): “reprodução, realista, ordem zero”

Nesta segunda unidade de análise, foram categorizadas 47 questões (10,3% do total de questões), o que representa uma média de 5,875 questões por ano/série e uma média de 2 questões por edição. Tais questões contêm contextualizações “forçadas”, que poderiam ser descartadas para que o contexto da questão fosse classificado como “puramente matemático”. Entretanto, entende-se que tais contextos “realistas” foram utilizados para fazer alguma referência à realidade, para além da própria matemática.

Um exemplo de questão, escolhida para ilustrar a Unidade (ii), é a 6A1EQ26, apresentada na Figura 4.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 4 Questão 6A1EQ26 

Entende-se que os procedimentos envolvidos na questão em tela são os mesmos dos da Unidade (i) e, desse modo, podem ser classificados como “reprodução”. Em relação ao fato de o contexto ser “realista”, toma-se como ponto de partida que, a partir do momento em que se apresenta a personagem Laíse e se insere uma imagem sua segurando um cartaz, o contexto deixa de ser “puramente matemático”. Entretanto a presença da personagem não influencia nas operações a serem realizadas pelos estudantes, nem contém algo que necessite ser matematizado. Sendo assim, a ordem do contexto de tal questão é classificada como “ordem zero”.

Observa-se, na questão 6A1EQ26, que a única distinção entre ela e uma questão da Unidade (i) é a presença de um personagem. Há, nesse grupo, também, questões em que se apresenta a imagem de uma lousa escolar com alguma operação e pede-se que os estudantes efetuem os cálculos apresentados.

Como a presença de tais contextos nas questões não apresenta nenhuma relevância para sua compreensão ou resolução, ^{De Lange (1999)} considera que esse tipo de questão deveria ser evitado.

Unidade (iii): “reprodução, realista, primeira ordem”

As questões da terceira unidade de análise constituem a maioria das questões encontradas nas provas analisadas, somando um total de 243 questões (53,4% do total), o que representa uma média de 30,375 questões por ano/série e uma média de 10,56 questões por edição. São questões que trabalham os mais diversos conteúdos e que recorrem a um simulacro da realidade para que os estudantes decodifiquem o enunciado e encontrem uma solução para a questão.

Tais questões aparecem em grande quantidade em todos os anos/séries. Em particular, na prova digital do 8º ano, 3ª edição, 9 das 10 questões estão nessa unidade de análise. Além disso, na 3ª série, 1ª edição, 19 das 22 questões estão nessa unidade de análise.

Para essa unidade, apresenta-se a questão 1S2EQ23 na Figura 5.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 5 Questão 1S2EQ23 

A questão 1S2EQ23 demanda que os estudantes calculem um desconto sobre o valor de um produto. Trata-se de um procedimento rotineiro e, portanto, a questão é categorizada como de “reprodução”. Trata-se de um contexto “realista”, por ser uma simulação da realidade, situada no contexto de venda de produtos. E é de “primeira ordem”, pois basta uma tradução das informações da questão em linguagem matemática para sua resolução.

Chama-se a atenção, nesta unidade de análise, para a alta quantidade de questões que a compõem. São questões que “exigem baixa demanda de matematização, sendo resolvidas com procedimentos matemáticos simples e, possivelmente, já conhecidos dos estudantes” (^{Ferreira, 2013}, p. 78). Ou seja, isso indica que a Prova Paraná é composta majoritariamente por questões que não demandam dos estudantes conexão, reflexão, generalização, busca de padrões ou outras atividades por meio das quais se reconhece a matematização. Entende-se, portanto, que esse instrumento de avaliação prioriza que os estudantes reproduzam procedimentos padronizados em vez de que matematizem.

Unidade (iv): “reprodução, real, primeira ordem”

A quarta unidade de análise é constituída por 12 questões (2,7% do total). Isso resulta em uma média de 1,5 questão por ano/série e uma média de 0,52 questão por edição. As questões desta unidade apresentam situações que, embora produzidas efetivamente na realidade, não oportunizam matematização, sendo necessário apenas realizar uma simples tradução para uma linguagem matemática.

As questões desse tipo estão presentes em todos os anos/séries de escolaridade, ainda que em pequena quantidade; e, a cargo de exemplificação, escolheu-se a questão 7A2EQ35 (Figura 6), presente na 2ª edição da prova aplicada à 3ª série.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 6 Questão 7A2EQ35 

Com a questão 7A2EQ35, é esperado que o estudante analise o gráfico e identifique os meses em que houve valores negativos. Dessa forma, por demandar a realização de procedimentos rotineiros, trata-se de uma questão de “reprodução”. Como as informações do enunciado são provenientes de dados obtidos da realidade, disponíveis em páginas que contêm informações meteorológicas, a questão é categorizada como “real”. Além disso, por ter contexto relevante para o cálculo realizado, bem como para a apresentação da resposta final, trata-se de uma questão de “primeira ordem”.

Pode-se observar que há uma pequena quantidade de questões com contextos reais nas provas analisadas. Isso indica que a realidade tem sido pouco utilizada como fonte de informações para a construção das questões. ^{Freudenthal (1981)}, por outro lado, aponta que tal exploração dos contextos possibilita aos estudantes que matematizem e, consequentemente, aprendam. Afinal,

. . . realidade e o que uma pessoa percebe como o senso comum não são estáticos, mas crescem, e são afetados pelo processo de aprendizagem do indivíduo. O objetivo da Educação Matemática . . ., então, é apoiar os estudantes na criação de uma nova realidade matemática. (^{Gravemeijer & Cobb, 2006}, p. 63, tradução nossa).

Nesta unidade de análise, existem outras questões reais, que consideram o caráter verídico das informações enunciadas, mas que inibem uma reflexão sobre o contexto, uma vez que direcionam o estudante a uma resolução específica, com base nos dados apresentados.

Unidade (v): “conexão, puramente matemático, segunda ordem”

As questões da quinta unidade de análise são identificadas apenas nas provas aplicadas ao 9º ano e à 3ª série. Com um total de 4 questões (0,9% do total), representa uma média de 0,5 questão por ano/série e uma média de 0,17 questão por edição. Essas questões demandam que os estudantes lidem com diferentes formas de representação relacionadas a objetos exclusivamente matemáticos.

Para essa unidade, apresenta-se a questão 9A2EQ39 na Figura 7.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 7 Questão 9A2EQ39 

Embora essa questão seja caracterizada como “puramente matemática” por apresentar um enunciado com informações relacionadas apenas a objetos matemáticos, ela demanda que os estudantes estabeleçam uma relação entre a linguagem natural e a linguagem simbólica, o que caracteriza uma questão de “conexão”. Em relação à ordem do contexto, entende-se que, nesse tipo de tarefa, é requerido dos estudantes “descobrir relações e regularidades” (^{De Lange, 1999}, p. 18, tradução nossa), o que se caracteriza como uma atividade na qual se reconhece a matematização. Desse modo, entende-se que a questão é de “segunda ordem”.

As demais questões dessa unidade de análise apresentam sequências numéricas ou de figuras geométricas para que os estudantes identifiquem o padrão e expressem algebricamente tal sequência. Para ^{De Lange (1999)}, questões como essas deveriam estar na base do trabalho com matemática, uma vez que proporcionam matematização.

Unidade (vi): “conexão, realista, primeira ordem”

A sexta unidade de análise contém 20 questões (4,4% do total), o que representa uma média de 2,5 questões por ano/série e uma média de aproximadamente 0,87 questão por edição. Essa unidade contém questões que, em geral, solicitam aos estudantes que conectem diferentes informações para a resolução dos problemas. Não foram encontradas questões que envolviam a conexão de diferentes domínios da matemática; em geral, as conexões feitas referiam-se a um mesmo domínio.

Apresenta-se a questão 5A3EQ30 na Figura 8 para ilustrar a unidade.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 8 Questão 5A3EQ30 

Para resolver a questão 5A3EQ30, deve-se fazer as leituras das horas nos relógios e, em seguida, efetuar operações com as medidas de tempo encontradas. Como é uma questão do 5º ano do Ensino Fundamental, entende-se que a leitura de horas é um dos procedimentos que compõem parte dos estudos de matemática nessa etapa de escolaridade. Nesse sentido, é necessário integrar os dois procedimentos (de leitura e de cálculo) para a resolução, configurando a questão como de “conexão”. Além disso, o contexto é “realista”, uma vez que se refere a uma situação que simula a realidade por meio da personagem Mariana.

Como o contexto contém informações suficientes para a resolução da questão, e ele é necessário para obtê-las, entende-se que é de “primeira ordem”. Entretanto cabe ressaltar que isso se dá devido ao fato de a questão apresentar alternativas, ou seja, ser uma questão fechada. Caso não houvesse alternativas, ao fazer a leitura dos relógios, os horários do primeiro relógio poderiam ser interpretados como 8h20 ou 20h20, e os do segundo relógio, como 8h55 ou 20h55. Nesse sentido, Mariana poderia gastar 35 minutos ou 12 horas e 35 minutos para efetuar o trajeto. Assim, caberia aos estudantes uma análise da plausibilidade das respostas produzidas, investigando a distância entre Campo Largo e Curitiba e outras informações presentes no contexto para, então, concluir que a resposta mais plausível é 35 minutos. Isso elevaria a ordem do contexto para “segunda ordem”.

^{De Lange (1995)} aponta que itens de múltipla escolha são muito populares em avaliações externas, uma vez que possibilitam uma correção mais barata e supostamente eficiente, por ser realizada por computadores. Contudo, além de limitar a ordem do contexto (^{De Lange, 1999}), elas ainda podem levar a crenças inverídicas acerca das aprendizagens dos estudantes que resolvem tal prova.

No caso da questão 5A3EQ30, ao assinalar a alternativa correta, pode-se apressadamente afirmar que os estudantes sabem que é necessário dirigir 35 minutos para ir de Curitiba a Campo Largo. Porém o formato da questão possibilita que algum estudante tenha assinalado a alternativa correta por “chute” ou simplesmente porque as condições impostas pelo contexto e pelas alternativas o levaram a tal resultado. Portanto eles não precisam, nesse caso, desenvolver algum raciocínio matemático diferente de operações rotineiras envolvendo medidas e leituras de horas em relógios.

Unidade (vii): “conexão, realista, segunda ordem”

Nesta sétima unidade de análise, tem-se apenas 4 questões (0,9% do total) propostas em provas da 2ª edição. Essa quantidade representa uma média de 0,5 questão por ano/série e uma média de 0,17 questão por edição.

Essas questões demandam que os estudantes lidem, integrem e relacionem diferentes informações, utilizando ferramentas matemáticas para organizar e resolver a tarefa. Para efeito de análise, apresenta-se a questão 2S2EQ30, aplicada à 2ª série na 2ª edição (Figura 9).

Fonte: ^{Seed-PR (2023b)}.

FIGURA 9 Questão 2S2EQ30 

A questão 2S2EQ30 demanda que os estudantes lidem e relacionem a linguagem matemática simbólica, a representação geométrica do terreno e as descrições escritas usadas nas alternativas de resposta. Nesse sentido, ao requerer atividades mentais, como lidar com diferentes formas de representação, integrar informações, diferenciar e relacionar diferentes declarações, essa questão pode ser classificada como de “conexão”. Por se tratar de um enunciado que simula algo possível de acontecer, como a divisão de bens materiais, a questão é classificada como “realista”. O contexto da questão é classificado como de “segunda ordem”, visto que exige a busca por ferramentas e ideias matemáticas a fim de organizar a situação e justificar a tomada de decisão.

^{Gravemeijer e Terwel (2000)} consideram a justificação como uma das atividades em que se reconhece matematização, na qual os estudantes podem elaborar e testar pressupostos. De maneira geral, observa-se que a Prova Paraná enfatiza fortemente a busca por resultados matemáticos exatos, como uma quantidade ou uma expressão. Não é recorrente a apresentação de questões como a 2S2EQ30, em que há a exploração das justificativas matemáticas que embasam tais respostas. Esses autores apresentam outras atividades reconhecidas no processo de matematização, como a generalização, a simbolização e a esquematização, que podem ser mais facilmente identificadas nas questões dispostas em outras unidades de análise.

Unidade (viii): “conexão, real, primeira ordem”

A última unidade identificada contém apenas 1 questão (0,2% do total), representando uma média de 0,125 questão por ano/série ou, aproximadamente, 0,04 questão por edição da prova. Essa questão (3S3EQ23), que compõe a 3ª edição da prova de 2023 aplicada para a 3ª série do Ensino Médio (e que será utilizada para exemplificar esta unidade), é apresentada na Figura 10.

Fonte: ^{Seed-PR (2023b)}.

FIGURA 10 Questão 3S3EQ23 

A questão 3S3EQ23 requer que os estudantes analisem as informações presentes no gráfico sobre as emissões do mercado de capital em dois anos, relacionando-as com as tabelas sugeridas nas alternativas de múltipla escolha. Para isso, o estudante vai além da reprodução de procedimentos matemáticos, tendo que lidar com e integrar diferentes formas de representação de uma mesma situação, caracterizando a demanda cognitiva da questão como “conexão”.

Por apresentar informações fundadas na realidade, publicadas inclusive por uma associação que representa instituições brasileiras de mercado de capital, pode- -se classificar o contexto da questão como “real”. Para a resolução da questão, o contexto se faz necessário, visto que as informações do gráfico são cruciais para a identificação da tabela; contudo, ainda que a situação apresentada seja efetivamente produzida na realidade, esse contexto serve como invólucro para o procedimento matemático requerido. Além disso, por já apresentar os modelos matemáticos esquematizados, considera-se que as situações já estão pré-matematizadas, caracterizando a ordem do contexto da questão como “primeira ordem”.

No caso dessa questão, como já são apresentados os modelos pré-matematizados nas alternativas, não é necessário um processo de matematização muito sofisticado. Assim como na Unidade (vi), que também apresenta como exemplo uma questão de conexão e de primeira ordem, a exclusão das alternativas elevaria a questão 3S3EQ23 para “segunda ordem”, já que exigiria dos alunos algumas atividades mentais consideradas por ^{De Lange (1999)} partes do processo de matematização, como refinamento, ajuste, combinação e integração de modelos matemáticos. Assim, dependendo da presença ou não de alguns elementos na construção da questão, as possibilidades de matematização oferecidas podem ser alteradas.

ALGUMAS CONSIDERAÇÕES

O objetivo deste artigo foi analisar as questões de Matemática presentes na Prova Paraná aplicadas durante o ano letivo de 2023. Para tanto, foram inventariadas as provas cujos arquivos estavam disponíveis eletronicamente. Com exceção da prova da 2ª edição do 8º ano, todas as outras puderam ser recolhidas para este estudo. Então, categorizaram-se as questões de acordo com seu nível de demanda cognitiva, com o tipo de contexto e com a ordem do contexto.

Observou-se, na análise feita, que a maior parte das questões é de reprodução (93,4%), enquanto todas as demais (6,6%) são de conexão. O fato de se ter uma grande quantidade de questões de reprodução em detrimento das demais revela que o que a Prova Paraná busca avaliar nos estudantes são atividades de baixa demanda cognitiva, como memorização, reprodução e reconhecimento. Não são valorizadas atividades de demandas cognitivas superiores, como reflexão, análise, avaliação e criatividade (^{De Lange, 1999}).

Além disso, observa-se que não houve registros de questões de reflexão nas provas analisadas. Uma das hipóteses para tal acontecimento é que

O Nível 3, que vai ao cerne da matemática e da literacia matemática, é difícil de ser testado. Utilizar questão de múltipla escolha definitivamente não é o formato adequado no Nível 3. Perguntas de resposta estendida com múltiplas respostas (com itens [superiores] ou sem aumento no nível de complexidade) são formatos mais promissores. No entanto, tanto o design quanto a avaliação das respostas dos alunos são muito, se não extremamente, difíceis. Como o Nível 3 está no cerne de nosso estudo, devemos tentar, à medida que a prática permitir, operacionalizar essas competências em itens de teste apropriados. (^{De Lange, 1999}, p. 16, tradução nossa).

Isso indica que trabalhar apenas com questões de múltipla escolha pode ser uma decisão que dificulta que as questões tenham níveis superiores de demanda cognitiva.

Em relação aos tipos de contexto, predominam os contextos realistas (68,8%), em que há uma simulação da realidade, seguidos dos contextos puramente matemáticos (28,3%) e dos contextos reais (2,9%). Em relação ao último tipo, há pouco aproveitamento dos contextos reais, sendo criadas questões de baixo nível de demanda cognitiva a partir deles, tendo em vista que todas as 13 questões com contexto real foram categorizadas como de primeira ordem. Tais contextos poderiam ter sido mais bem explorados, bem como outros eventos e situações reais poderiam ter sido utilizados para propor questões de alta demanda cognitiva.

Além disso, observa-se uma ausência de questões de contexto fantasioso. Ainda que esse tipo de contexto seja cada vez menos comum ao longo dos níveis de escolaridade, hipotetizou-se, neste estudo, que haveria alguma incidência no 5º ano ou nos primeiros anos do Ensino Fundamental. Isso porque tais questões podem trabalhar com a criatividade dos estudantes e auxiliá-los na construção de uma nova realidade matemática (^{Gravemeijer & Cobb, 2006}).

No que se refere à ordem dos contextos, questões de primeira ordem apareceram com maior frequência (60,5%), seguidas de bare problems (27,2%), ordem zero (10,3%) e segunda ordem (2%). O fato de haver tantas questões de primeira ordem indica que os contextos, sejam eles reais ou realistas, foram utilizados de forma pré-matematizada (^{De Lange, 1999}). Pouca atenção foi dada a contextos em que se requeria que os estudantes os matematizassem para resolver as questões.

Por sua vez, as questões categorizadas como de ordem zero deveriam ter sido evitadas, uma vez que tiveram apenas o papel de dar a falsa sensação de que as questões não são puramente matemáticas, mas realistas. Além de tais contextos não terem um papel relevante na resolução da questão, distanciam ainda mais os estudantes das relações entre matemática e realidade. Observou-se, também, uma ausência de contextos de terceira ordem - o que, segundo ^{Ferreira (2013)}, seriam de fato as boas questões.

Chama a atenção, também, o papel que a Prova Paraná desempenha na condução das aulas no estado do Paraná. Como já apresentado na introdução deste artigo por meio das figuras 1 e 2, cada um dos slides preparados para as “Aulas Paraná” contém um descritor da Prova Paraná e um alerta para que os estudantes estudem para essa prova. Esse tipo de ação coloca a prova como o fim do processo de aprendizagem, como se, desde o 5º ano do Ensino Fundamental, o motivo de os estudantes aprenderem fosse o bom rendimento na Prova Paraná.

Apesar disso, a fala do ex-secretário de educação do Paraná, apresentada na introdução deste artigo, revela que a concepção da secretaria era/é de que os resultados da Prova Paraná auxiliam os(as) professores(as) nas tomadas de decisão educacionais em favor da aprendizagem dos estudantes durante suas aulas, com fins diagnósticos. Entretanto, como já relatado, as aulas já estão todas preparadas e não há mudanças significativas que os(as) professores(as) possam fazer em relação a isso.

Isso corrobora o apontamento de ^{Fernandes (2019)} sobre o “estreitamento” do currículo como um dos efeitos nocivos das avaliações externas nas escolas. Segundo o autor, as avaliações externas podem levar os(as) professores(as) a ensinarem aquilo que pode ser perguntado nos exames, tratando outros conteúdos de forma superficial. A depender da significação e do foco depositado em avaliações externas, é possível que o uso de tarefas rotineiras seja intensificado e que seja suprimido o uso de tarefas que envolvam o processo de recolha, organização, tratamento e análise de informações.

Além disso, o formato da prova limita o recolhimento de informações de aprendizagem.

Acreditamos que . . . os testes padronizados atuais, compostos principalmente por itens de múltipla escolha, são muito limitados, de pelo menos duas maneiras: eles são limitados tanto em sua abordagem matemática quanto nas oportunidades que podem oferecer aos professores para avaliar a compreensão dos alunos. Essa crença advém de um ponto de vista teórico. Atualmente, os testes padronizados são baseados em um modelo psicométrico de design de avaliação em educação matemática, e esse modelo difere significativamente de um modelo de design de avaliação mais diretamente relacionado a uma teoria de educação específica do domínio, ou o que chamamos de modelo “didático”. (^{Van den Heuvel-Panhuizen & Becker, 2003}, p. 693, tradução nossa).

Ou seja, de acordo com ^{Van den Heuvel-Panhuizen e Becker (2003)}, há de se repensar a Prova Paraná, bem como outras provas que se baseiam apenas em itens de múltipla escolha, visando a utilizar como base abordagens propostas por teorias específicas de domínio.²