SciELO - Scientific Electronic Library Online

 
vol.28 número68Indisciplina en el PISA: entre lo intra y lo extraescolarOportunidades de aprender matemáticas em Brasil, Chile y Estados Unidos índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.28 no.68 São Paulo mayo/agosto 2017  Epub 01-Mayo-2017

https://doi.org/10.18222/eae.v0ix.3905 

Artigos

Oportunidade de Aprendizagem de Conteúdo em Matemática no Pisa 2012

Oportunidad de Aprendizaje de Contenido en Matemáticas en el Pisa 2012

Opportunity to Learn the Content of Mathematics in Pisa 2012

João Galvão BacchettoI 

Wallace Nascimento Pinto JuniorII 

IPesquisador do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Gerente Nacional do Programa Internacional de Avaliação de Estudantes (Pisa) 2012, Brasília, Brasil, joao.bacchetto@inep.gov.br

IIPesquisador do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), Brasília, Brasil, wallace.pinto@inep.gov.br


Resumo:

O Programa Internacional de Avaliação de Estudantes (Pisa) 2012 avaliou, por meio do questionário do estudante, a Oportunidade de Aprendizagem de Conteúdo, definida como a exposição dos estudantes ao conteúdo de uma determinada área do conhecimento na escola - nesse caso, especificamente a área de Matemática. Com base nos resultados dos questionários, foram gerados três índices que, neste artigo, foram relacionados com o desempenho dos estudantes de um grupo de países no teste cognitivo de Matemática. O estudo sugere que há uma relação entre dois desses índices e as médias do teste de Matemática, sendo essa relação fraca para o terceiro índice. Esses resultados podem iluminar aspectos nem sempre conhecidos sobre a exposição a tarefas e conceitos matemáticos em sala de aula.

Palavras-chave: Pisa; Oportunidade de Aprendizagem de Conteúdo; Questionário; Matemática

Resumen:

El Programa Internacional de Evaluación de Estudiantes (Pisa) 2012 evaluó, por medio del cuestionario del estudiante, la Oportunidad de Aprendizaje de Contenido, definida como la exposición de los estudiantes al contenido de una determinada área del conocimiento en la escuela -en dicho caso específico, el área de Matemáticas. En base a los resultados de los cuestionarios se generaron tres índices que, en este artículo, se relacionaron con el desempeño de los estudiantes de un grupo de países en la prueba cognitiva de Matemáticas. El estudio sugiere que hay una relación entre dos de estos índices y los promedios de la prueba de Matemáticas, pero tal relación es muy baja en lo que concierne al tercer índice. Dichos resultados pueden iluminar aspectos no siempre conocidos sobre la exposición a tareas y conceptos matemáticos en el aula.

Palabras clave: Pisa; Oportunidad de Aprendizaje de Contenido; Cuestionario; Matemáticas

Abstract:

The Programme for International Student Assessment (Pisa) 2012 used student-level questionnaires to evaluate the Opportunity to Learn Content defined as students’ exposure to subject content in school - in this case, specifically in the area of Mathematics. Based on the results of the questionnaires, three indexes related to students’ performance in a group of countries were generated. The study suggests that there is a relationship between two of the indexes and the mean scores in the Mathematics test, but this relationship is weak for the third index. These results can elucidate aspects about exposure to mathematical tasks and concepts in the classroom which are not always well known.

Keywords: Pisa; Opportunity to Learn Content; Questionnaire; Mathematics

INTRODUÇÃO

Um ponto importante em qualquer área do conhecimento é o tempo destinado ao ensino e à aprendizagem em sala de aula. A pesquisa Teaching and Learning International Survey (TALIS) realizada pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE, ou, em inglês, OECD) em 2013 mostrou que os professores gastam, em média, 79% do seu tempo nessa missão, percentual que varia de 87%, na Bulgária, a 67%, no Brasil (OECD, 2015, p. 419), onde tarefas administrativas e de manutenção da ordem ocupam maior parcela do tempo em sala de aula.

Sem a intenção de se chegar a uma distribuição percentual minuciosa de como seria o uso do tempo nas aulas de Matemática, surgem questões de interesse. Em qual prática educativa os professores investem mais tempo: exposição do conteúdo no quadro, atividades de investigação, projetos de modelagem, aplicação de testes? Quais conceitos são ensinados com mais frequência aos estudantes? A qual tipo de tarefas eles são mais expostos: as que mobilizam a Matemática em seu próprio contexto - como resolver uma equação ou demonstrar um teorema - ou as que demandam a aplicação de conhecimentos matemáticos em uma situação - como avaliar a melhor proposta de financiamento de um carro?

No presente estudo, pretende-se focalizar algumas dessas questões, trazendo à tona informações obtidas por meio dos questionários aplicados aos estudantes que participaram do Programa Internacional de Avaliação de Estudantes 2012 (Pisa 2012). Particularmente, será explorado o conceito de Oportunidade de Aprendizagem (Opportunity to Learn - OTL) referente ao conteúdo matemático. O objetivo principal é buscar compreender como as médias obtidas pelos participantes do Pisa no teste cognitivo de Matemática se relacionam com a frequência com que são expostos a diferentes conceitos e atividades matemáticas em sala de aula. Um objetivo secundário é explorar o potencial dos questionários do Pisa em fornecer dados inéditos sobre o cenário educacional brasileiro, tendo em vista que alguns deles ainda não são obtidos por meio das avaliações em larga escala nacionais.

O Pisa e seus Instrumentos

O Pisa tem como finalidade medir quão bem os estudantes de 15 anos de idade estão preparados para enfrentar os desafios das sociedades do conhecimento de hoje, focalizando a avaliação na capacidade do estudante em usar seus conhecimentos e habilidades para enfrentar os desafios da vida real, diferenciando-se de outras avaliações que tenham foco no conteúdo. Com início em 2000, trienalmente são avaliadas as áreas1 de Leitura, Matemática e Ciências, com foco em uma delas.2 No caso da avaliação de 2012, o foco foi Matemática. Outras áreas podem ser incluídas esporadicamente a cada edição, como Resolução de Problemas em 2003 e 2012, ou ser opcionais, como o Letramento Financeiro, desde 2009.

Em relação à amostra do Pisa, em 2012 foram cerca de 510 mil respondentes, os quais representaram os cerca de 28 milhões de estudantes de 15 anos de idade em escolas dos 65 países e economias3 participantes. No Brasil, cerca de 20 mil estudantes participaram da avaliação.

A aplicação dos testes cognitivos aos estudantes foi feita em papel, com duração total de duas horas e um intervalo no meio do período. Dois tipos de itens compuseram o teste - múltipla escolha e resposta construída - e eles foram organizados em grupos, cada um deles referindo-se a uma situação da vida real. Diferentes combinações desses itens foram administradas aos participantes. Como o objetivo do presente estudo envolve especificamente a área de Matemática, foi feita uma breve descrição sobre o constructo medido pelo teste e sobre a Matriz de Referência que o estrutura. No Pisa 2012 foi utilizada a seguinte definição de letramento matemático:

[...] a capacidade individual de formular, empregar e interpretar a matemática em uma variedade de contextos. Isso inclui raciocinar matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas matemáticas para descrever, explicar e prever fenômenos. Isso auxilia os indivíduos a reconhecer o papel que a matemática exerce no mundo e para que cidadãos construtivos, engajados e reflexivos possam fazer julgamentos bem fundamentados e tomar as decisões necessárias. (BRASIL, 2012, p. 1)

A Matriz de Referência do teste de Matemática pode ser resumida na Figura 1 a seguir. Esse teste centra-se nos processos de resolução de problemas, representados na figura como Formular (transformar problemas reais em problemas matemáticos utilizando os conceitos da área), Empregar (resolver problemas utilizando ferramentas matemáticas disponíveis para isso) e Interpretar (observar se os resultados obtidos são plausíveis e adequados dentro de uma realidade matemática).

Figura 1: Esquema da Matriz de Referência do teste de Matemática do Pisa 2012 

O Pisa também aplicou questionários com o objetivo de “colher dados que possam ajudar formuladores de políticas e educadores a entender por que e como os alunos alcançam determinados níveis de desempenho” (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD, 2014b, p. 48, tradução nossa).4 O questionário do estudante coletou informações sobre aspectos do contexto familiar e escolar, tendo sido aplicado após o teste cognitivo, por cerca de 30 minutos. O questionário da escola, preenchido pelos diretores, levantou dados sobre o sistema escolar e o ambiente de aprendizagem; e o questionário dos pais, aplicado em 11 países, coletou informações acerca da participação na escola, do apoio à aprendizagem e das expectativas sobre a carreira do filho, particularmente em Matemática.

Matriz de Questionário e Design Rotacionado

O Pisa possui uma Matriz de Questionário que procura garantir a comparabilidade das características contextuais essenciais ao longo das edições, mas também permite a inclusão de novos tópicos. Os aspectos que influenciam no ensino são divididos em níveis (Sociedade, Escola, Sala de Aula e Estudante) e em etapas (Insumos, Processos e Resultados). O Quadro 1 apresenta uma visão geral dessa Matriz, na qual se observa que não há um nível avaliativo que comporte o Professor, uma vez que esse ator educacional não fez parte da avaliação do Pisa 2012, sendo incluído somente na edição de 2015.

Quadro 1: Visão geral da Matriz de Questionário 

A constituição dessa Matriz foi realizada com base em ampla revisão da bibliografia internacional, sucedida pela elaboração de itens que passaram por pré-teste para definição daqueles que forneceriam a medida mais adequada. Por fim, os tópicos da Matriz foram definidos pelo conselho do Pisa Governing Board. No questionário do Pisa 2012, foram incluídos tópicos sobre o ensino e a aprendizagem da área foco de Matemática, como o currículo implementado, tarefas desenvolvidas em sala de aula e atitudes e crenças matemáticas.5 Este artigo abordará especificamente o tópico Oportunidade de Aprendizagem de Conteúdo na próxima seção. Para ampliar a cobertura dos tópicos da Matriz de Questionário para o estudante, utilizou-se um design rotacionado,6 com três diferentes formulários, nos quais os resultados produzidos pudessem ser representativos nacionalmente. O Quadro 2 fornece uma visão geral sobre o conteúdo de cada um dos formulários.

Quadro 2: Design rotacionado do questionário do estudante 

Oportunidade de Aprendizagem de Conteúdo

O conceito de Oportunidade de Aprendizagem de Conteúdo é baseado na noção do senso comum, na qual o tempo que um estudante passa aprendendo algo está relacionado com o que o estudante aprende. O conceito se originou nos anos 1960 com o trabalho de John B. Carroll, que desenvolveu um modelo teórico para a aprendizagem escolar usando o tempo como métrica. Em seu modelo, a aprendizagem de um estudante é função tanto de fatores do estudante (aptidão, habilidade e perseverança) como de fatores essencialmente controlados pelo professor (o tempo alocado para a aprendizagem e a qualidade do ensino). Trabalhos mais recentes definiram a Oportunidade de Aprendizagem em termos dos conteúdos específicos cobertos nas salas de aula e da quantidade de tempo gasto para cobrir esses tópicos (SCHMIDT; ZOIDO, 2013).

No âmbito do Pisa, a Oportunidade de Aprendizagem de Conteúdo foi definida como a exposição dos estudantes, na escola, ao conteúdo de uma área do conhecimento. Com base em medidas anteriores desse conceito (CARROLL, 1963; WILEY; HARNISCHFEGER, 1974; SYKES; SCHNEIDER; PLANCK, 2009; SCHMIDT et al., 2001), foram incluídas seis questões nos questionários dos estudantes sobre o conteúdo matemático aos quais eles foram expostos, e sobre a quantidade de tempo gasto em sala estudando esses conteúdos.

A questão ST61 (ver tabelas 1 e 3) solicitou que os estudantes indicassem, em uma escala de quatro pontos (variando de “frequentemente” a “nunca”), com que frequência eles encontravam alguns tipos de tarefas matemáticas durante o seu tempo na escola. Das nove tarefas listadas nas alternativas, seis se referiam à Matemática Aplicada (a, b, c, d, f, h) e as demais à Matemática Pura (e, g, i).

Na questão ST62 (ver Tabela 5), averiguou-se a familiaridade dos estudantes com 16 conteúdos matemáticos (p. ex.: função exponencial, radicais, probabilidade) em uma escala gradativa de cinco pontos, que variou de “nunca escutei o termo” a “conheço o termo muito bem, compreendo o conceito”. Três dos conceitos listados (número próprio, escala subjuntiva e fração declarativa) não existem e foram usados para fornecer uma verificação de viés nas respostas (OECD, 2013a, p. 234).

As outras quatro questões focalizaram o grau com que os estudantes encontraram alguns tipos de problemas ou tarefas matemáticas durante sua vida escolar. A questão ST737 apresentava dois problemas curtos e bem definidos, como aqueles geralmente encontrados em livros didáticos. As tarefas na questão ST74 envolviam conhecimento procedimental (resolver uma equação; calcular o volume de uma caixa). As tarefas na questão ST75 envolviam o uso da Matemática em seu próprio contexto (usar teoremas de Geometria para determinar a altura de uma pirâmide; argumentar se (n+1)² pode ser um número primo, onde n é um número qualquer). Por fim, a questão ST76 envolvia o uso da Matemática Aplicada a um contexto do mundo real, apresentando dois problemas do próprio teste de Matemática do Pisa.

As seis questões foram utilizadas para criar diferentes índices e escalas sobre a Oportunidade de Aprendizagem de Conteúdo. Neste estudo, o foco está direcionado aos três índices presentes no Pisa 2012 Technical Report (OECD, 2014b), elaborados com base nas questões ST61 e ST62, conforme mostra o Quadro 3, do qual também consta o nome da variável que compõe a base de dados. Não serão tratados aqui os demais índices presentes nesse mesmo relatório - Oportunidade de Aprendizagem Práticas de Ensino e Oportunidade de Aprendizagem Qualidade do Ensino - nem aqueles presentes no relatório Pisa 2012 Results - Volume 1 (OECD, 2014a) - Índice de exposição a problemas, Índice de exposição à Matemática Aplicada e Índice de exposição à Matemática Formal.

Quadro 3: Índices de Oportunidade de Aprendizagem de Conteúdo 

Para Schmidt e Zoido, as respostas obtidas por meio de questionários aplicados a estudantes podem ser bastante fiéis à sua experiência em sala de aula e permitiram uma comparação dos índices de Oportunidade de Aprendizagem do Trends in International Mathematics and Science Study (TIMSS) e do Pisa:

Alguns podem questionar a confiabilidade de tais informações relatadas por estudantes, contudo, nessa idade e estágio de desenvolvimento podem ser considerados informantes confiáveis sobre o que eles vivenciam de instrução e aprendizagem em sua sala de aula. De fato, do ponto de vista fenomenológico, se um estudante de 15 anos de idade não se recorda de algo na instrução que recebeu em sua sala de aula, seria surpreendente descobrir que o estudante sabe bastante sobre aquele tópico. O TIMSS (1995) coletou muitos dados de professores de crianças de 12 a 14 anos sobre a Oportunidade de Aprendizagem. Utilizando dados consolidados de 28 países que participaram do Pisa (2012), os pesquisadores obtiveram uma correlação de 0,59 entre as duas medidas de Oportunidade de Aprendizagem. Reconhecendo o largo intervalo temporal entre as duas aplicações e a diferença de idade entre os grupos, esta correlação tende a evidenciar a confiabilidade para as taxas obtidas por intermédio dos estudantes. (SCHMIDT; ZOIDO, 2014, p. 7, tradução nossa)8

Uma breve descrição sobre a metodologia de cálculo dos índices é apresentada no Anexo ao final deste artigo.

O Índice de Experiência com Tarefas de Matemática Pura na Escola (EXPUREM)

Conforme explicado na seção anterior, na questão ST61 foi solicitado aos estudantes que indicassem com que frequência eles eram submetidos a algumas tarefas matemáticas durante o seu período na escola. Das nove tarefas listadas, as três que compuseram o Índice EXPUREM foram e, g e i.

A Tabela 1 mostra que aproximadamente dois terços dos estudantes brasileiros responderam ter contato frequente ou por algumas vezes com a resolução de equações (sendo duas polinomiais de segundo grau e uma polinomial de primeiro grau).

Tabela 1: Frequência de respostas dos estudantes brasileiros às tarefas relacionadas à Matemática Pura 

Para efeito de análise do Índice EXPUREM foram selecionados alguns países participantes do Pisa: Argentina, Brasil, Coreia, Espanha, Estados Unidos, Finlândia e Portugal.9 O Gráfico 1 reúne as informações sobre a média em Matemática e o Índice EXPUREM.

Gráfico 1: Relação entre a Média em Matemática e EXPUREM no Pisa 2012 

Aparentemente, os países com as médias mais altas em Matemática no Pisa 2012 obtiveram os índices EXPUREM mais altos. O Brasil obteve o pior Índice EXPUREM, não somente entre os selecionados, mas entre todos os países participantes (OECD, 2013a, p. 356).

A Tabela 2 mostra o coeficiente de correlação interno a cada país entre o resultado em Matemática e o Índice EXPUREM. Nota-se que a correlação obtida foi positiva em todos os países. No Brasil, na Argentina e na Espanha, a correlação pode ser considerada fraca, e nos outros países, moderada (FIGUEIREDO FILHO; SILVA JÚNIOR, 2009). Isso significa que, para os sete países, há uma relação linear entre as médias em Matemática e a experiência com tarefas de Matemática Pura na escola, sendo essa relação menos expressiva para o Brasil e mais expressiva para a Coreia.

Tabela 2: Coeficiente de Correlação entre a Média em Matemática no Pisa 2012 e o Índice EXPUREM 

O Índice de Experiência com Tarefas de Matemática Aplicada na Escola (EXA PPLM)

Das nove tarefas listadas na questão ST61, as que compuseram o Índice EXAPPLM foram a, b, c, d, f e h. Dependendo do contexto, cada estudante pode se deparar com essas tarefas com maior ou menor frequência fora do ambiente escolar, porém era solicitado que respondessem à questão ST61 considerando especificamente a abordagem dessas tarefas na escola. A Tabela 3 apresenta os percentuais de respostas para cada ponto da escala.

Tabela 3: Frequência de respostas dos estudantes brasileiros às tarefas relacionadas à Matemática Aplicada 

Com base na soma dos percentuais de respostas para “Frequentemente” e “Algumas vezes”, os resultados indicam que os estudantes brasileiros se deparam com as tarefas a e d com maior frequência em sala de aula, enquanto as menos frequentes seriam c e h. Essas informações são importantes, por exemplo, para professores, pesquisadores e formuladores de currículos sobre quais tarefas poderiam ter sua exploração ampliada nas aulas de Matemática.

Ainda sobre essa última tabela, observa-se que 28,6% dos respondentes disseram nunca encontrar a tarefa c. Tal resultado surpreende porque o cálculo da medida de área é uma tarefa geralmente apresentada em grande parte dos currículos escolares,10 livros didáticos11 e matrizes de avaliações externas.12 Inclusive, há recomendações de que, desde os 4º e 5º anos do ensino fundamental, os estudantes sejam apresentados a tarefas similares a essa, permitindo que construam progressivamente os conceitos e procedimentos matemáticos a elas subjacentes. Então, cabem as perguntas: será que os termos ladrilho e pavimento eram amplamente conhecidos pelos participantes do Pisa 2012? Ou será que eles compreenderam os termos, mas de fato não encontravam esse tipo de tarefa em suas aulas?

Comparativamente, o Índice EXAPPLM do Brasil ficou superior ao de outros países que possuem média em Matemática superior à nacional, como pode ser observado no Gráfico 2. Nota-se também que Coreia e Finlândia obtiveram as maiores médias e os maiores índices EXAPPLM.

Gráfico 2: Relação entre a Média em Matemática e o EXAPPLM no Pisa 2012 

Ao se calcular o coeficiente de correlação de cada país (Tabela 4), verifica-se que Coreia, Finlândia e Estados Unidos apresentaram uma correlação considerada fraca, enquanto nos outros países do grupo selecionado a correlação está próxima a zero. Ou seja, possivelmente não há relação linear entre as médias e a experiência com tarefas de Matemática Aplicada na escola.

Tabela 4: Coeficiente de Correlação entre a Média em Matemática no Pisa 2012 e o Índice EXAPPLM 

O Índice de Familiaridade com Conceitos Matemáticos (FAMCONC)

A questão ST62 abordou a familiaridade com 13 conceitos matemáticos que deveriam ser abordados na vida escolar dos estudantes e 3 falsos conceitos (marcados em negrito e itálico) que serviram para ajustar a resposta dos estudantes no cálculo do Índice FAMCONC. A distribuição das respostas dos estudantes brasileiros pode ser observada na Tabela 5.

Tabela 5: Frequência de respostas dos estudantes brasileiros na questão relacionada à familiaridade com conceitos matemáticos 

Considerando a soma dos percentuais de respostas para “Conheço o termo muito bem e compreendo seu conceito” e “Escutei o termo com frequência”, tem-se na Tabela 6 os resultados para o Brasil e demais países do grupo selecionado.

Tabela 6: Frequência de respostas “Escutei o termo com frequência” e “Conheço o termo muito bem e compreendo o conceito” para a questão ST 62 em cada país do grupo selecionado 

Uma primeira análise da Tabela 6 utiliza o mesmo critério de classificação de familiaridade presente no Relatório do Pisa (alta, média e baixa) e centra-se nos percentuais brasileiros, como se verifica a seguir.

  • Alta familiaridade (> 60% de respostas “Escutei o termo com frequência” e “Conheço o termo muito bem e compreendo o conceito”): nenhum dos conceitos listados.

  • Média familiaridade (de 40% a 60%): Número racional, Divisor, Radicais, Cosseno, Probabilidade, Polígono.

  • Baixa familiaridade (< 40%): Média aritmética, Equação linear, Função quadrática, Função exponencial, Vetores, Número complexo, Figura congruente.

De certa forma, esses resultados refletem uma realidade sobre as tendências dos currículos e do ensino de Matemática no país. O conceito número racional é geralmente ensinado a partir do 4º ano do ensino fundamental, enquanto divisor e radicais são geralmente ensinados a partir do 6º ano do ensino fundamental; logo, é possível que os participantes brasileiros tenham indicado maior familiaridade com esses termos em razão do maior tempo de exposição. Por sua vez, os conceitos função quadrática, função exponencial, vetores e número complexo são geralmente ensinados no decorrer do ensino médio, consequentemente era esperada menor familiaridade, tendo em vista a idade dos participantes ao realizar o teste, que corresponde à de iniciantes no ensino médio. Apesar disso, nota-se que os percentuais ficaram entre 25% e 29%, ou seja, aproximadamente um quarto dos participantes afirmou ter sido submetido a esses termos com frequência em suas aulas.

Em relação aos conceitos geométricos, observa-se que os estudantes indicaram maior familiaridade com cosseno do que com polígono e figura congruente, sendo este último o conceito com menor familiaridade entre os 13 listados. Nesse caso, o tempo de exposição parece não implicar maior familiaridade com o conceito, pois polígono costuma ser ensinado desde os anos iniciais do ensino fundamental, figura congruente é normalmente ensinada no decorrer dos anos finais e cosseno, apenas a partir do 9º ano. É possível que a formação precária recebida pelos docentes para trabalhar os conteúdos geométricos e o pequeno espaço ocupado pela Geometria nas práticas educativas sejam fatores explicativos desse resultado que vêm sendo investigado por pesquisadores há bastante tempo (PAVANELLO, 1993; GOMES, 2007).

Ao se compararem os percentuais dos países selecionados, numa segunda análise da Tabela 6, verifica-se uma expressiva diversidade em relação à familiaridade dos estudantes de cada país com os conceitos matemáticos. Em uma contagem dos conceitos com mais de 60% de marcações, nota-se que os estudantes da Coreia indicaram ter alta familiaridade com todos os conceitos listados, com exceção de função exponencial, vetores e média aritmética. Os percentuais superam 80% para seis dos conceitos listados. Por sua vez, os estudantes da Espanha, de Portugal e dos Estados Unidos indicaram ter alta familiaridade com seis conceitos (não são os mesmos), enquanto os da Finlândia indicaram ter alta familiaridade com cinco conceitos. Os estudantes da Argentina indicaram alta familiaridade apenas com o conceito de divisor e, no caso do Brasil, conforme mencionado, não houve conceito que atingisse 60% de marcações.

Os estudantes brasileiros indicaram maior familiaridade com função exponencial, vetores e média aritmética do que os estudantes coreanos e finlandeses, sendo os percentuais brasileiros de 10% a 15% maiores. A situação se inverte para os conceitos divisor, função quadrática, equação linear, polígono, figura congruente, cosseno e probabilidade, sendo os percentuais do Brasil de 7% a 30% menores. Para os conceitos número complexo, número racional e radicais, os percentuais do Brasil superam os da Finlândia. Seria interessante uma investigação sobre a baixa familiaridade dos estudantes finlandeses com número racional e radicais, pois não parece razoável que eles tenham apresentado um alto desempenho em Matemática no Pisa sem ter domínio desses conceitos.

Em relação aos falsos conceitos, nota-se que os percentuais do Brasil estão próximos dos percentuais da Argentina, Portugal e Estados Unidos. Sinaliza-se que número próprio obteve mais de 40% de respostas “Conheço o termo muito bem e compreendo seu conceito” e “Escutei o termo com frequência” nesses países. Espanha, Finlândia e Coreia apresentaram baixos percentuais de familiaridade em relação aos falsos conceitos (exceto número próprio, no caso da Finlândia). Ao se observar no Gráfico 3 a distribuição do Índice ajustado FAMCONC, é possível verificar que os países com médias baixas, como Brasil e Argentina, também foram aqueles que apresentaram os menores índices, estando a Coreia em posição oposta.

Gráfico 3: Relação entre a Média em Matemática e o FAMCONC no Pisa 2012 

A técnica psicométrica mais sofisticada utilizada para o cálculo do Índice FAMCONC, em que os excessos de preenchimento dos estudantes detectados pelos falsos conceitos são considerados na composição do índice, talvez tenha aumentado a correlação entre a média de Matemática e o Índice FAMCONC, a qual se apresentou predominantemente moderada para os países, exceção feita apenas para a Argentina, conforme verificado na Tabela 7.

Tabela 7: Coeficiente de Correlação entre a Média em Matemática no Pisa 2012 e o Índice Ajustado FAMCONC 

Considerações Finais

Neste artigo, foram apresentados alguns resultados obtidos por meio dos questionários do Pisa 2012, os quais podem iluminar aspectos nem sempre conhecidos sobre a exposição a tarefas e conceitos matemáticos em sala de aula e a relação com o desempenho dos estudantes. Para isso, decidiu-se explorar três índices de Oportunidade de Aprendizagem de Conteúdo, a saber, Índice de Experiência com Tarefas de Matemática Pura na Escola (EXPUREM), Índice de Experiência com Tarefas de Matemática Aplicada na Escola (EXAPPLM) e Índice de Familiaridade com Conceitos Matemáticos (FAMCONC).

Os resultados sugerem uma relação entre os índices EXPUREM e FAMCONC com as médias em Matemática no Pisa 2012, sendo essa relação mais fraca para o Índice EXAPPLM, apesar de a própria OECD afirmar não ser possível estabelecer uma relação causal. Observou-se que em alguns países com médias relativamente próximas, como Estados Unidos, Espanha e Portugal, nem sempre esses índices caminharam próximos.

A influência do elemento socioeconômico e cultural nos resultados e nos índices de Oportunidade de Aprendizagem foi estudada por Schmidt e outros (2015). Esse estudo sugere que a Oportunidade de Aprendizagem tem relação direta com o aprendizado do estudante, sendo que os estudantes com maior nível socioeconômico também apresentam maiores Oportunidades de Aprendizagem. Por outro lado, os autores ressaltam que os elementos constituintes da Oportunidade de Aprendizagem são passíveis de políticas educacionais, enquanto alterar o nível socioeconômico dos estudantes é algo externo à área da Educação.

No caso brasileiro, os três índices de Oportunidade de Aprendizagem se mostraram baixos e, como mencionado acima, isso também pode ter relação com o nível socioeconômico e cultural dos estudantes. Há uma série de hipóteses que poderiam explicar esses resultados, mas destacamos três, na intenção de provocar futuros estudos: i) o tempo de aula dedicado a atividades de ensino e aprendizagem (67%, conforme pesquisa TALIS mencionada na introdução deste artigo. Os resultados dessa pesquisa também apontam que, no Brasil, 19,8% do tempo é gasto para manter a ordem em sala de aula); ii) o atraso escolar de alguns participantes da avaliação, uma vez que cerca de 20% da amostra ainda se encontravam no ensino fundamental - lembrando que os participantes são escolhidos de acordo com a idade (15 anos); ou ainda iii) a implementação de currículos de Matemática que atendem a outros objetivos, mas que não promovem o letramento matemático avaliado pelo Pisa.

Por fim, espera-se que este artigo se adicione a outras investigações sobre os resultados do Pisa e de avaliações nacionais e que, com o tempo, componham um conjunto bastante consistente de informações para subsidiar a definição de políticas educacionais no Brasil.

Referências

CARROLL, J. B. A model of school learning. Teachers College Record, v. 64, n. 8, p. 723-733, 1963. [ Links ]

FIGUEIREDO FILHO, D. B.; SILVA JÚNIOR, J. A. Desvendando os Mistérios do Coeficiente de Correlação de Pearson (r). Revista Política Hoje, v. 18, n. 1, 2009. Disponível em: <Disponível em: http://www.revista.ufpe.br/politicahoje/index.php/politica/article/viewFile/6/6 >. Acesso em: 14/11/2016. [ Links ]

PAVANELLO, R. M. O abandono do ensino da Geometria no Brasil: causas e consequências. Zetetiké, Campinas, v 1, n. 1, p. 7-17, mar. 1993. [ Links ]

SCHMIDT, W. H. et al. The role of schooling in perpetuating educational inequality: an international perspective. Educational Researcher, v. 44, n. 7, p. 371-386, 2015. Disponível em: <Disponível em: http://edr.sagepub.com/content/early/2015/08/27/0013189X15603982 >. Acesso em: 14/11/2016. [ Links ]

WILEY, D. E.; HARNISCHFEGER, A. Explosion of a myth: quantity of schooling and exposure to instruction, major educational vehicles. Educational Researcher , v. 3, n. 4, p. 7-12, 1974. [ Links ]

1A nomenclatura utilizada em alguns documentos do Pisa é “domínio”.

2Esse foco significa que dois terços do tempo de teste são dedicados à área específica, além de os questionários contextuais contemplarem itens adicionais sobre o ensino e a aprendizagem da área.

3O termo economia é utilizado pela OECD para designar cidades ou regiões de países que têm sua própria amostra de participantes na avaliação e cujos resultados são calculados à parte. Por exemplo, Shangai, Macao, Taipei, Hong Kong, dentre outros.

4No texto original: “The goal of the PISA background instruments is to gather data that can help policy makers and educators understand why and how students achieve certain levels of performance”.

5De acordo com o Pisa, atitudes e crenças matemáticas são resultados não cognitivos que os participantes da avaliação detêm sobre si mesmos enquanto aprendizes dessa área do conhecimento. Esses resultados são detalhadamente analisados no volume III da obra Ready to Learn: Students’ Engagement, Drive and Self-Beliefs.

6No design rotacionado, cada um dos três formulários do questionário continha uma parte comum, administrada a todos os participantes do Pisa e estimada para ser concluída em oito minutos, e uma parte rotacionada, administrada a um terço dos participantes e estimada para ser concluída em 22 minutos. Dessa forma, cada participante teve o mesmo tempo para concluir o questionário (cerca de 30 minutos) e buscou-se um balanceamento na possibilidade de falta de dados decorrida da fadiga ao responder a última parte do questionário. Um maior detalhamento pode ser encontrado no Pisa 2012 Technical Report (OECD, 2014b).

7As questões ST73, 74, 75 e 76 estão disponíveis nas páginas 37 a 41 do Questionário do Aluno – Modelo A, disponível em: <http://download.inep. gov.br/acoes_internacionais/pisa/ itens/2013/questionario_a_estudante. pdf>. Acesso em: 11 nov. 2016.

8No texto original: “Some may question the reliability of such student-reported information but students at this age and stage of development can be expected to be fairly reliable informants on what they have experienced in their classroom instruction and learning. Indeed, from a phenomenological viewpoint, if a 15-year-old student doesn’t recall having encountered something in their classroom instruction, it would be surprising to find that the student actually knew much about that topic. TIMSS (1995) collected extensive OTL data from teachers of 12-14 year olds. Using those country-level data on the 28 countries that also participated in Pisa (2012), there was a correlation of .59 between the two OTL measures. Recognizing the large time lapse and the difference in age groups, this still tends to add credence to the student ratings”.

9Coreia e Finlândia foram escolhidos por serem dois países que apresentam maiores médias de desempenho ao longo dos ciclos do Pisa; Estados Unidos, por possuir dimensões continentais como o Brasil; Espanha e Portugal, representando a Península Ibérica, a qual possui elementos culturais próximos aos da nossa região; e Argentina, por apresentar características próximas ao Brasil.

10Ver, por exemplo, nos Parâmetros Curriculares Nacionais (PCN) de Matemática do 1º e 2º ciclos, p. 61; nos PCN de Matemática do 3º e 4º ciclos, p. 74 e 89.

11Ver Guia Programa Nacional do Livro Didático (PNLD) 2016, p. 44-45.

12Ver Matrizes de Referência de Matemática do Sistema de Avaliação da Educação Básica (Saeb).

Anexo

Metodologia de Cálculo dos Índices Utilizados no Artigo

A metodologia de codificação e de cálculo dos itens de questionário, bem como os parâmetros de cada um deles, é descrita no Pisa 2012 Technical Report (OECD, 2014b). Para a composição dos índices EXAMPPL e EXPUREM, os itens passaram por uma codificação reversa, com a atribuição dos seguintes valores: Nunca = 0; Raramente = 1; Algumas vezes = 2; e Frequentemente = 3. Para o Índice FAMCONC, a codificação realizada foi a seguinte: Nunca escutei o termo = 0; Escutei o termo uma ou duas vezes = 1; Escutei o termo algumas vezes = 2; Escutei o termo com frequência = 3; Conheço muito bem e compreendo seu conceito = 4. No caso desse último índice ajustado, ele consiste em uma subtração entre o índice feito com base nas respostas referentes aos conceitos reais (FAMCON) e o índice feito com base nos conceitos falsos (Foil Familiarity).

Para o cálculo dos índices, foi utilizada a Teoria de Resposta ao Item com modelo de crédito parcial adequada aos itens de tipo Likert (MASTERS; WRIGHT, 1997), dado pela seguinte fórmula:

onde Pxi (θn) é a probabilidade da pessoa n marcar x no item i dentro de mi possibilidades de marcação do item, θn indica o traço latente da pessoa, o parâmetro do item δi indica a posição do item na escala contínua e τij seria um parâmetro adicional do item.

A definição dos parâmetros dos itens se deu com a aplicação em até 48 mil estudantes dos diversos países participantes. Após a calibração, foram estimados escores individuais por estudante (utilizado o método de WLE - Weighted Likelihood Estimate), definindo uma escala para cada índice, na qual a média dos estudantes dos países afiliados à OECD seria igual a zero e cerca de dois terços da população de estudantes da OECD estaria entre os valores de -1 e 1 (ou seja, o índice tem um desvio padrão de 1). Valores negativos no índice, portanto, não implicam que os estudantes daquele país responderam negativamente à questão subjacente, mas sim que eles responderam menos positivamente do que a média das respostas dos estudantes dos países da OECD. Da mesma forma, países que tiveram valores positivos são aqueles em que os estudantes responderam mais positivamente do que a média dos estudantes dos países da OECD

Com índices calculados individualmente a partir dos itens respondidos por cada estudante, passou a ser possível o estabelecimento de médias nacionais e por estratos definidos em cada um dos países.

Na Tabela 8 encontram-se os índices utilizados no artigo.

Tabela 8: Índices utilizados no artigo 

Recebido: Maio de 2016; Aceito: Novembro de 2016

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons