INTRODUÇÃO
Um ponto importante em qualquer área do conhecimento é o tempo destinado ao ensino e à aprendizagem em sala de aula. A pesquisa Teaching and Learning International Survey (TALIS) realizada pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE, ou, em inglês, OECD) em 2013 mostrou que os professores gastam, em média, 79% do seu tempo nessa missão, percentual que varia de 87%, na Bulgária, a 67%, no Brasil (OECD, 2015, p. 419), onde tarefas administrativas e de manutenção da ordem ocupam maior parcela do tempo em sala de aula.
Sem a intenção de se chegar a uma distribuição percentual minuciosa de como seria o uso do tempo nas aulas de Matemática, surgem questões de interesse. Em qual prática educativa os professores investem mais tempo: exposição do conteúdo no quadro, atividades de investigação, projetos de modelagem, aplicação de testes? Quais conceitos são ensinados com mais frequência aos estudantes? A qual tipo de tarefas eles são mais expostos: as que mobilizam a Matemática em seu próprio contexto - como resolver uma equação ou demonstrar um teorema - ou as que demandam a aplicação de conhecimentos matemáticos em uma situação - como avaliar a melhor proposta de financiamento de um carro?
No presente estudo, pretende-se focalizar algumas dessas questões, trazendo à tona informações obtidas por meio dos questionários aplicados aos estudantes que participaram do Programa Internacional de Avaliação de Estudantes 2012 (Pisa 2012). Particularmente, será explorado o conceito de Oportunidade de Aprendizagem (Opportunity to Learn - OTL) referente ao conteúdo matemático. O objetivo principal é buscar compreender como as médias obtidas pelos participantes do Pisa no teste cognitivo de Matemática se relacionam com a frequência com que são expostos a diferentes conceitos e atividades matemáticas em sala de aula. Um objetivo secundário é explorar o potencial dos questionários do Pisa em fornecer dados inéditos sobre o cenário educacional brasileiro, tendo em vista que alguns deles ainda não são obtidos por meio das avaliações em larga escala nacionais.
O Pisa e seus Instrumentos
O Pisa tem como finalidade medir quão bem os estudantes de 15 anos de idade estão preparados para enfrentar os desafios das sociedades do conhecimento de hoje, focalizando a avaliação na capacidade do estudante em usar seus conhecimentos e habilidades para enfrentar os desafios da vida real, diferenciando-se de outras avaliações que tenham foco no conteúdo. Com início em 2000, trienalmente são avaliadas as áreas1 de Leitura, Matemática e Ciências, com foco em uma delas.2 No caso da avaliação de 2012, o foco foi Matemática. Outras áreas podem ser incluídas esporadicamente a cada edição, como Resolução de Problemas em 2003 e 2012, ou ser opcionais, como o Letramento Financeiro, desde 2009.
Em relação à amostra do Pisa, em 2012 foram cerca de 510 mil respondentes, os quais representaram os cerca de 28 milhões de estudantes de 15 anos de idade em escolas dos 65 países e economias3 participantes. No Brasil, cerca de 20 mil estudantes participaram da avaliação.
A aplicação dos testes cognitivos aos estudantes foi feita em papel, com duração total de duas horas e um intervalo no meio do período. Dois tipos de itens compuseram o teste - múltipla escolha e resposta construída - e eles foram organizados em grupos, cada um deles referindo-se a uma situação da vida real. Diferentes combinações desses itens foram administradas aos participantes. Como o objetivo do presente estudo envolve especificamente a área de Matemática, foi feita uma breve descrição sobre o constructo medido pelo teste e sobre a Matriz de Referência que o estrutura. No Pisa 2012 foi utilizada a seguinte definição de letramento matemático:
[...] a capacidade individual de formular, empregar e interpretar a matemática em uma variedade de contextos. Isso inclui raciocinar matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas matemáticas para descrever, explicar e prever fenômenos. Isso auxilia os indivíduos a reconhecer o papel que a matemática exerce no mundo e para que cidadãos construtivos, engajados e reflexivos possam fazer julgamentos bem fundamentados e tomar as decisões necessárias. (BRASIL, 2012, p. 1)
A Matriz de Referência do teste de Matemática pode ser resumida na Figura 1 a seguir. Esse teste centra-se nos processos de resolução de problemas, representados na figura como Formular (transformar problemas reais em problemas matemáticos utilizando os conceitos da área), Empregar (resolver problemas utilizando ferramentas matemáticas disponíveis para isso) e Interpretar (observar se os resultados obtidos são plausíveis e adequados dentro de uma realidade matemática).
O Pisa também aplicou questionários com o objetivo de “colher dados que possam ajudar formuladores de políticas e educadores a entender por que e como os alunos alcançam determinados níveis de desempenho” (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD, 2014b, p. 48, tradução nossa).4 O questionário do estudante coletou informações sobre aspectos do contexto familiar e escolar, tendo sido aplicado após o teste cognitivo, por cerca de 30 minutos. O questionário da escola, preenchido pelos diretores, levantou dados sobre o sistema escolar e o ambiente de aprendizagem; e o questionário dos pais, aplicado em 11 países, coletou informações acerca da participação na escola, do apoio à aprendizagem e das expectativas sobre a carreira do filho, particularmente em Matemática.
Matriz de Questionário e Design Rotacionado
O Pisa possui uma Matriz de Questionário que procura garantir a comparabilidade das características contextuais essenciais ao longo das edições, mas também permite a inclusão de novos tópicos. Os aspectos que influenciam no ensino são divididos em níveis (Sociedade, Escola, Sala de Aula e Estudante) e em etapas (Insumos, Processos e Resultados). O Quadro 1 apresenta uma visão geral dessa Matriz, na qual se observa que não há um nível avaliativo que comporte o Professor, uma vez que esse ator educacional não fez parte da avaliação do Pisa 2012, sendo incluído somente na edição de 2015.
A constituição dessa Matriz foi realizada com base em ampla revisão da bibliografia internacional, sucedida pela elaboração de itens que passaram por pré-teste para definição daqueles que forneceriam a medida mais adequada. Por fim, os tópicos da Matriz foram definidos pelo conselho do Pisa Governing Board. No questionário do Pisa 2012, foram incluídos tópicos sobre o ensino e a aprendizagem da área foco de Matemática, como o currículo implementado, tarefas desenvolvidas em sala de aula e atitudes e crenças matemáticas.5 Este artigo abordará especificamente o tópico Oportunidade de Aprendizagem de Conteúdo na próxima seção. Para ampliar a cobertura dos tópicos da Matriz de Questionário para o estudante, utilizou-se um design rotacionado,6 com três diferentes formulários, nos quais os resultados produzidos pudessem ser representativos nacionalmente. O Quadro 2 fornece uma visão geral sobre o conteúdo de cada um dos formulários.
Oportunidade de Aprendizagem de Conteúdo
O conceito de Oportunidade de Aprendizagem de Conteúdo é baseado na noção do senso comum, na qual o tempo que um estudante passa aprendendo algo está relacionado com o que o estudante aprende. O conceito se originou nos anos 1960 com o trabalho de John B. Carroll, que desenvolveu um modelo teórico para a aprendizagem escolar usando o tempo como métrica. Em seu modelo, a aprendizagem de um estudante é função tanto de fatores do estudante (aptidão, habilidade e perseverança) como de fatores essencialmente controlados pelo professor (o tempo alocado para a aprendizagem e a qualidade do ensino). Trabalhos mais recentes definiram a Oportunidade de Aprendizagem em termos dos conteúdos específicos cobertos nas salas de aula e da quantidade de tempo gasto para cobrir esses tópicos (SCHMIDT; ZOIDO, 2013).
No âmbito do Pisa, a Oportunidade de Aprendizagem de Conteúdo foi definida como a exposição dos estudantes, na escola, ao conteúdo de uma área do conhecimento. Com base em medidas anteriores desse conceito (CARROLL, 1963; WILEY; HARNISCHFEGER, 1974; SYKES; SCHNEIDER; PLANCK, 2009; SCHMIDT et al., 2001), foram incluídas seis questões nos questionários dos estudantes sobre o conteúdo matemático aos quais eles foram expostos, e sobre a quantidade de tempo gasto em sala estudando esses conteúdos.
A questão ST61 (ver tabelas 1 e 3) solicitou que os estudantes indicassem, em uma escala de quatro pontos (variando de “frequentemente” a “nunca”), com que frequência eles encontravam alguns tipos de tarefas matemáticas durante o seu tempo na escola. Das nove tarefas listadas nas alternativas, seis se referiam à Matemática Aplicada (a, b, c, d, f, h) e as demais à Matemática Pura (e, g, i).
Na questão ST62 (ver Tabela 5), averiguou-se a familiaridade dos estudantes com 16 conteúdos matemáticos (p. ex.: função exponencial, radicais, probabilidade) em uma escala gradativa de cinco pontos, que variou de “nunca escutei o termo” a “conheço o termo muito bem, compreendo o conceito”. Três dos conceitos listados (número próprio, escala subjuntiva e fração declarativa) não existem e foram usados para fornecer uma verificação de viés nas respostas (OECD, 2013a, p. 234).
As outras quatro questões focalizaram o grau com que os estudantes encontraram alguns tipos de problemas ou tarefas matemáticas durante sua vida escolar. A questão ST737 apresentava dois problemas curtos e bem definidos, como aqueles geralmente encontrados em livros didáticos. As tarefas na questão ST74 envolviam conhecimento procedimental (resolver uma equação; calcular o volume de uma caixa). As tarefas na questão ST75 envolviam o uso da Matemática em seu próprio contexto (usar teoremas de Geometria para determinar a altura de uma pirâmide; argumentar se (n+1)² pode ser um número primo, onde n é um número qualquer). Por fim, a questão ST76 envolvia o uso da Matemática Aplicada a um contexto do mundo real, apresentando dois problemas do próprio teste de Matemática do Pisa.
As seis questões foram utilizadas para criar diferentes índices e escalas sobre a Oportunidade de Aprendizagem de Conteúdo. Neste estudo, o foco está direcionado aos três índices presentes no Pisa 2012 Technical Report (OECD, 2014b), elaborados com base nas questões ST61 e ST62, conforme mostra o Quadro 3, do qual também consta o nome da variável que compõe a base de dados. Não serão tratados aqui os demais índices presentes nesse mesmo relatório - Oportunidade de Aprendizagem Práticas de Ensino e Oportunidade de Aprendizagem Qualidade do Ensino - nem aqueles presentes no relatório Pisa 2012 Results - Volume 1 (OECD, 2014a) - Índice de exposição a problemas, Índice de exposição à Matemática Aplicada e Índice de exposição à Matemática Formal.
Para Schmidt e Zoido, as respostas obtidas por meio de questionários aplicados a estudantes podem ser bastante fiéis à sua experiência em sala de aula e permitiram uma comparação dos índices de Oportunidade de Aprendizagem do Trends in International Mathematics and Science Study (TIMSS) e do Pisa:
Alguns podem questionar a confiabilidade de tais informações relatadas por estudantes, contudo, nessa idade e estágio de desenvolvimento podem ser considerados informantes confiáveis sobre o que eles vivenciam de instrução e aprendizagem em sua sala de aula. De fato, do ponto de vista fenomenológico, se um estudante de 15 anos de idade não se recorda de algo na instrução que recebeu em sua sala de aula, seria surpreendente descobrir que o estudante sabe bastante sobre aquele tópico. O TIMSS (1995) coletou muitos dados de professores de crianças de 12 a 14 anos sobre a Oportunidade de Aprendizagem. Utilizando dados consolidados de 28 países que participaram do Pisa (2012), os pesquisadores obtiveram uma correlação de 0,59 entre as duas medidas de Oportunidade de Aprendizagem. Reconhecendo o largo intervalo temporal entre as duas aplicações e a diferença de idade entre os grupos, esta correlação tende a evidenciar a confiabilidade para as taxas obtidas por intermédio dos estudantes. (SCHMIDT; ZOIDO, 2014, p. 7, tradução nossa)8
Uma breve descrição sobre a metodologia de cálculo dos índices é apresentada no Anexo ao final deste artigo.
O Índice de Experiência com Tarefas de Matemática Pura na Escola (EXPUREM)
Conforme explicado na seção anterior, na questão ST61 foi solicitado aos estudantes que indicassem com que frequência eles eram submetidos a algumas tarefas matemáticas durante o seu período na escola. Das nove tarefas listadas, as três que compuseram o Índice EXPUREM foram e, g e i.
A Tabela 1 mostra que aproximadamente dois terços dos estudantes brasileiros responderam ter contato frequente ou por algumas vezes com a resolução de equações (sendo duas polinomiais de segundo grau e uma polinomial de primeiro grau).
Para efeito de análise do Índice EXPUREM foram selecionados alguns países participantes do Pisa: Argentina, Brasil, Coreia, Espanha, Estados Unidos, Finlândia e Portugal.9 O Gráfico 1 reúne as informações sobre a média em Matemática e o Índice EXPUREM.
Aparentemente, os países com as médias mais altas em Matemática no Pisa 2012 obtiveram os índices EXPUREM mais altos. O Brasil obteve o pior Índice EXPUREM, não somente entre os selecionados, mas entre todos os países participantes (OECD, 2013a, p. 356).
A Tabela 2 mostra o coeficiente de correlação interno a cada país entre o resultado em Matemática e o Índice EXPUREM. Nota-se que a correlação obtida foi positiva em todos os países. No Brasil, na Argentina e na Espanha, a correlação pode ser considerada fraca, e nos outros países, moderada (FIGUEIREDO FILHO; SILVA JÚNIOR, 2009). Isso significa que, para os sete países, há uma relação linear entre as médias em Matemática e a experiência com tarefas de Matemática Pura na escola, sendo essa relação menos expressiva para o Brasil e mais expressiva para a Coreia.
O Índice de Experiência com Tarefas de Matemática Aplicada na Escola (EXA PPLM)
Das nove tarefas listadas na questão ST61, as que compuseram o Índice EXAPPLM foram a, b, c, d, f e h. Dependendo do contexto, cada estudante pode se deparar com essas tarefas com maior ou menor frequência fora do ambiente escolar, porém era solicitado que respondessem à questão ST61 considerando especificamente a abordagem dessas tarefas na escola. A Tabela 3 apresenta os percentuais de respostas para cada ponto da escala.
Com base na soma dos percentuais de respostas para “Frequentemente” e “Algumas vezes”, os resultados indicam que os estudantes brasileiros se deparam com as tarefas a e d com maior frequência em sala de aula, enquanto as menos frequentes seriam c e h. Essas informações são importantes, por exemplo, para professores, pesquisadores e formuladores de currículos sobre quais tarefas poderiam ter sua exploração ampliada nas aulas de Matemática.
Ainda sobre essa última tabela, observa-se que 28,6% dos respondentes disseram nunca encontrar a tarefa c. Tal resultado surpreende porque o cálculo da medida de área é uma tarefa geralmente apresentada em grande parte dos currículos escolares,10 livros didáticos11 e matrizes de avaliações externas.12 Inclusive, há recomendações de que, desde os 4º e 5º anos do ensino fundamental, os estudantes sejam apresentados a tarefas similares a essa, permitindo que construam progressivamente os conceitos e procedimentos matemáticos a elas subjacentes. Então, cabem as perguntas: será que os termos ladrilho e pavimento eram amplamente conhecidos pelos participantes do Pisa 2012? Ou será que eles compreenderam os termos, mas de fato não encontravam esse tipo de tarefa em suas aulas?
Comparativamente, o Índice EXAPPLM do Brasil ficou superior ao de outros países que possuem média em Matemática superior à nacional, como pode ser observado no Gráfico 2. Nota-se também que Coreia e Finlândia obtiveram as maiores médias e os maiores índices EXAPPLM.
Ao se calcular o coeficiente de correlação de cada país (Tabela 4), verifica-se que Coreia, Finlândia e Estados Unidos apresentaram uma correlação considerada fraca, enquanto nos outros países do grupo selecionado a correlação está próxima a zero. Ou seja, possivelmente não há relação linear entre as médias e a experiência com tarefas de Matemática Aplicada na escola.
O Índice de Familiaridade com Conceitos Matemáticos (FAMCONC)
A questão ST62 abordou a familiaridade com 13 conceitos matemáticos que deveriam ser abordados na vida escolar dos estudantes e 3 falsos conceitos (marcados em negrito e itálico) que serviram para ajustar a resposta dos estudantes no cálculo do Índice FAMCONC. A distribuição das respostas dos estudantes brasileiros pode ser observada na Tabela 5.
Considerando a soma dos percentuais de respostas para “Conheço o termo muito bem e compreendo seu conceito” e “Escutei o termo com frequência”, tem-se na Tabela 6 os resultados para o Brasil e demais países do grupo selecionado.
Uma primeira análise da Tabela 6 utiliza o mesmo critério de classificação de familiaridade presente no Relatório do Pisa (alta, média e baixa) e centra-se nos percentuais brasileiros, como se verifica a seguir.
Alta familiaridade (> 60% de respostas “Escutei o termo com frequência” e “Conheço o termo muito bem e compreendo o conceito”): nenhum dos conceitos listados.
Média familiaridade (de 40% a 60%): Número racional, Divisor, Radicais, Cosseno, Probabilidade, Polígono.
Baixa familiaridade (< 40%): Média aritmética, Equação linear, Função quadrática, Função exponencial, Vetores, Número complexo, Figura congruente.
De certa forma, esses resultados refletem uma realidade sobre as tendências dos currículos e do ensino de Matemática no país. O conceito número racional é geralmente ensinado a partir do 4º ano do ensino fundamental, enquanto divisor e radicais são geralmente ensinados a partir do 6º ano do ensino fundamental; logo, é possível que os participantes brasileiros tenham indicado maior familiaridade com esses termos em razão do maior tempo de exposição. Por sua vez, os conceitos função quadrática, função exponencial, vetores e número complexo são geralmente ensinados no decorrer do ensino médio, consequentemente era esperada menor familiaridade, tendo em vista a idade dos participantes ao realizar o teste, que corresponde à de iniciantes no ensino médio. Apesar disso, nota-se que os percentuais ficaram entre 25% e 29%, ou seja, aproximadamente um quarto dos participantes afirmou ter sido submetido a esses termos com frequência em suas aulas.
Em relação aos conceitos geométricos, observa-se que os estudantes indicaram maior familiaridade com cosseno do que com polígono e figura congruente, sendo este último o conceito com menor familiaridade entre os 13 listados. Nesse caso, o tempo de exposição parece não implicar maior familiaridade com o conceito, pois polígono costuma ser ensinado desde os anos iniciais do ensino fundamental, figura congruente é normalmente ensinada no decorrer dos anos finais e cosseno, apenas a partir do 9º ano. É possível que a formação precária recebida pelos docentes para trabalhar os conteúdos geométricos e o pequeno espaço ocupado pela Geometria nas práticas educativas sejam fatores explicativos desse resultado que vêm sendo investigado por pesquisadores há bastante tempo (PAVANELLO, 1993; GOMES, 2007).
Ao se compararem os percentuais dos países selecionados, numa segunda análise da Tabela 6, verifica-se uma expressiva diversidade em relação à familiaridade dos estudantes de cada país com os conceitos matemáticos. Em uma contagem dos conceitos com mais de 60% de marcações, nota-se que os estudantes da Coreia indicaram ter alta familiaridade com todos os conceitos listados, com exceção de função exponencial, vetores e média aritmética. Os percentuais superam 80% para seis dos conceitos listados. Por sua vez, os estudantes da Espanha, de Portugal e dos Estados Unidos indicaram ter alta familiaridade com seis conceitos (não são os mesmos), enquanto os da Finlândia indicaram ter alta familiaridade com cinco conceitos. Os estudantes da Argentina indicaram alta familiaridade apenas com o conceito de divisor e, no caso do Brasil, conforme mencionado, não houve conceito que atingisse 60% de marcações.
Os estudantes brasileiros indicaram maior familiaridade com função exponencial, vetores e média aritmética do que os estudantes coreanos e finlandeses, sendo os percentuais brasileiros de 10% a 15% maiores. A situação se inverte para os conceitos divisor, função quadrática, equação linear, polígono, figura congruente, cosseno e probabilidade, sendo os percentuais do Brasil de 7% a 30% menores. Para os conceitos número complexo, número racional e radicais, os percentuais do Brasil superam os da Finlândia. Seria interessante uma investigação sobre a baixa familiaridade dos estudantes finlandeses com número racional e radicais, pois não parece razoável que eles tenham apresentado um alto desempenho em Matemática no Pisa sem ter domínio desses conceitos.
Em relação aos falsos conceitos, nota-se que os percentuais do Brasil estão próximos dos percentuais da Argentina, Portugal e Estados Unidos. Sinaliza-se que número próprio obteve mais de 40% de respostas “Conheço o termo muito bem e compreendo seu conceito” e “Escutei o termo com frequência” nesses países. Espanha, Finlândia e Coreia apresentaram baixos percentuais de familiaridade em relação aos falsos conceitos (exceto número próprio, no caso da Finlândia). Ao se observar no Gráfico 3 a distribuição do Índice ajustado FAMCONC, é possível verificar que os países com médias baixas, como Brasil e Argentina, também foram aqueles que apresentaram os menores índices, estando a Coreia em posição oposta.
A técnica psicométrica mais sofisticada utilizada para o cálculo do Índice FAMCONC, em que os excessos de preenchimento dos estudantes detectados pelos falsos conceitos são considerados na composição do índice, talvez tenha aumentado a correlação entre a média de Matemática e o Índice FAMCONC, a qual se apresentou predominantemente moderada para os países, exceção feita apenas para a Argentina, conforme verificado na Tabela 7.
Considerações Finais
Neste artigo, foram apresentados alguns resultados obtidos por meio dos questionários do Pisa 2012, os quais podem iluminar aspectos nem sempre conhecidos sobre a exposição a tarefas e conceitos matemáticos em sala de aula e a relação com o desempenho dos estudantes. Para isso, decidiu-se explorar três índices de Oportunidade de Aprendizagem de Conteúdo, a saber, Índice de Experiência com Tarefas de Matemática Pura na Escola (EXPUREM), Índice de Experiência com Tarefas de Matemática Aplicada na Escola (EXAPPLM) e Índice de Familiaridade com Conceitos Matemáticos (FAMCONC).
Os resultados sugerem uma relação entre os índices EXPUREM e FAMCONC com as médias em Matemática no Pisa 2012, sendo essa relação mais fraca para o Índice EXAPPLM, apesar de a própria OECD afirmar não ser possível estabelecer uma relação causal. Observou-se que em alguns países com médias relativamente próximas, como Estados Unidos, Espanha e Portugal, nem sempre esses índices caminharam próximos.
A influência do elemento socioeconômico e cultural nos resultados e nos índices de Oportunidade de Aprendizagem foi estudada por Schmidt e outros (2015). Esse estudo sugere que a Oportunidade de Aprendizagem tem relação direta com o aprendizado do estudante, sendo que os estudantes com maior nível socioeconômico também apresentam maiores Oportunidades de Aprendizagem. Por outro lado, os autores ressaltam que os elementos constituintes da Oportunidade de Aprendizagem são passíveis de políticas educacionais, enquanto alterar o nível socioeconômico dos estudantes é algo externo à área da Educação.
No caso brasileiro, os três índices de Oportunidade de Aprendizagem se mostraram baixos e, como mencionado acima, isso também pode ter relação com o nível socioeconômico e cultural dos estudantes. Há uma série de hipóteses que poderiam explicar esses resultados, mas destacamos três, na intenção de provocar futuros estudos: i) o tempo de aula dedicado a atividades de ensino e aprendizagem (67%, conforme pesquisa TALIS mencionada na introdução deste artigo. Os resultados dessa pesquisa também apontam que, no Brasil, 19,8% do tempo é gasto para manter a ordem em sala de aula); ii) o atraso escolar de alguns participantes da avaliação, uma vez que cerca de 20% da amostra ainda se encontravam no ensino fundamental - lembrando que os participantes são escolhidos de acordo com a idade (15 anos); ou ainda iii) a implementação de currículos de Matemática que atendem a outros objetivos, mas que não promovem o letramento matemático avaliado pelo Pisa.
Por fim, espera-se que este artigo se adicione a outras investigações sobre os resultados do Pisa e de avaliações nacionais e que, com o tempo, componham um conjunto bastante consistente de informações para subsidiar a definição de políticas educacionais no Brasil.