O que são o PISA e o TERCE?

O PISA é um estudo idealizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) (em inglês, Organisation for Economic Co-operation and Development, OECD) para avaliar os sistemas de educação de vários países e economias ao redor do mundo (72 em 2015²). O objetivo principal, segundo essa agência multilateral, é fornecer informações que apontem caminhos para a construção de sistemas educacionais mais inclusivos e justos. São avaliados os conhecimentos e habilidades considerados essenciais para a plena participação nas sociedades modernas, adquiridos por estudantes com 15 anos (idade que equivale ao que se pressupõe ser o término da escolaridade básica obrigatória na maioria dos países participantes). A avaliação ocorre a cada três anos, abrangendo três áreas cognitivas principais (também referidas como domínios) - Ciências, Leitura e Matemática - e outros domínios que foram abordados pontualmente nas últimas edições (por exemplo, Letramento Financeiro e Resolução Colaborativa de Problemas). Adicionalmente, são produzidos dados sobre o contexto de aprendizagem dos estudantes, obtidos a partir de questionários respondidos por alunos, professores, diretores das escolas e pais (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OECD, 2016). Em 2015 o teste e os questionários foram aplicados em computador. Cada ciclo trienal da avaliação focaliza um dos domínios principais. Ciências foi o domínio foco nos ciclos de 2006 e 2015.

O TERCE, por sua vez, refere-se à terceira edição dos estudos conduzidos pelo LLECE, uma rede de avaliação educacional da Oficina Regional para a América Latina e o Caribe (OREALC) da Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco). O objetivo principal dessa rede é produzir informações e conhecimentos sobre a qualidade da educação nessa região, gerando subsídios para orientar decisões relativas a políticas públicas e práticas na área educacional. O primeiro estudo do Laboratório (PERCE)³ foi realizado em 1997 e o segundo (SERCE), em 2006. O terceiro estudo (TERCE) foi realizado em 2013, contando com a participação de 15 países da região e um estado mexicano. No Brasil, foi avaliado o desempenho nas áreas de Matemática e Linguagem (leitura e escrita) de alunos do quarto e sétimo anos do ensino fundamental e na área de Ciências, de alunos do sétimo ano. Além dos testes para medir o aprendizado, os estudos contam com questionários que produzem informações que permitem compreender o contexto e as circunstâncias em que ocorrem tais aprendizagens (OFICINA REGIONAL DE EDUCACIÓN PARA AMÉRICA LATINA Y EL CARIBE/ORGANIZACIÓN DE LAS NACIONES UNIDAS PARA LA EDUCACIÓN, LA CIENCIA Y LA CULTURA - OREALC/ UNESCO, 2016b). O Quadro 1 apresenta, de forma resumida, as características gerais dos dois estudos.

QUADRO 1: Características das avaliações internacionais das quais o Brasil participa 

Como é a avaliação de ciências no PISA e no TERCE?

O PISA se intitula uma avaliação única, dentre outras razões, por desenvolver testes que não são exclusivamente ligados ao currículo escolar dos países participantes. Essa avaliação

busca conectar dados relativos à aprendizagem dos estudantes com fatores extraescolares, o que seria capaz de identificar as caraterísticas das instituições e sistemas de ensino que reconhecidamente promovem a apresentação do que se considera uma “boa” performance (OECD, 2016). Ainda que seja importante a valorização dos fatores extraescolares para a produção das análises que compõem essa avaliação, no presente trabalho buscamos considerar o papel que os conhecimentos escolarizados, especialmente aqueles relativos aos domínios avaliados (Leitura, Matemática e Ciências), desempenham na produção dessas informações.

A escolha dessa via de análise decorre, em parte, da aproximação que temos realizado de perspectivas que buscam dar visibilidade aos processos pelos quais as políticas, com especial ênfase nas políticas educacionais, são elaboradas. Nesse sentido, alguns autores, tais como Ball e Bowe (1992), propõem que pensemos o processo de produção dos textos das políticas como associado a um ciclo contínuo produtor de políticas. Essa proposição considera a existência de, pelo menos, três⁴ contextos que participam na produção e na circulação das políticas e das noções por elas veiculadas. O ciclo contínuo produtor de políticas busca romper com uma visão hierarquizada e verticalizada do processo de produção desses artefatos. Ainda assim, os autores consideram que haveria um lócus de iniciação dessas políticas, sendo ele o contexto de produção, no qual figuraria o poder central, que no caso podem ser os ministérios e as secretarias, nas diferentes esferas governamentais. É nesse contexto que circulariam os sujeitos e discursos responsáveis pela elaboração dos textos das políticas. Tal contexto estaria em íntima relação com outros dois: o contexto de influência e o contexto da prática. No primeiro atuariam as agências multilaterais, governos nacionais e de países com os quais se têm relações, enfim, uma gama de atores que servem como referência em uma dada área e que possuem o poder de influenciar a definição dos textos das políticas. Finalmente, o contexto da prática reuniria as instituições para as quais as políticas são endereçadas. Nos casos aqui apresentados, compreendemos as duas instâncias formuladoras dessas políticas de avaliação - a OCDE e o LLECE - como participantes, em cada um dos processos - no PISA e no TERCE -, do contexto de produção dos textos. Nesse sentido, ainda que o PISA mostre-se, retoricamente, afastado do que têm se constituído as tradições curriculares nos diferentes contextos nacionais a que chega, não podemos deixar de considerar que o processo de formulação dos textos que compõem essa política envolve a circulação de sujeitos que atuam em variados contextos educacionais; essa circulação, por sua vez, faz com que enunciados advindos dos contextos da prática (e por que não, do contexto de influência) passem a circular também nesse âmbito. Isso não significa, contudo, que tais enunciados sejam encontrados nos textos do PISA tal qual eles se expressam nos contextos dos quais seriam supostamente originários. Ao contrário, nesses textos eles encontram-se hibridizados com uma série de outros enunciados, assumindo novos significados que contribuem justamente para que se tenha a ideia de que essa avaliação é “inovadora”.

Nesse jogo, em que as tradições negociam com as inovações, é interessante tentar perceber o que se constituem regularidades no discurso sobre a avaliação e o ensino-aprendizagem nas áreas foco das avaliações aqui discutidas. Na avaliação de Ciências, por exemplo, o construto definido pelo PISA é o letramento científico, cujo conceito foi elaborado no primeiro ciclo (aplicado em 2000), sendo revisado e ampliado nas edições subsequentes. O conceito envolve a ideia de que os objetivos da educação em Ciências devem ser amplos e aplicados, abarcando não apenas conhecimentos científicos, mas também tecnologias embasadas nesses conhecimentos. Postula-se que indivíduos cientificamente letrados são capazes de participar ativamente de discussões críticas sobre as questões que envolvem ciência e tecnologia (OECD, 2016). Dessa forma, ainda que aparentemente tal abordagem não seja, digamos, escolarizada, é na relação com os conhecimentos escolares que o PISA se constitui, lançando mão, inclusive, de recursos altamente escolarizados ou que foram, pelo menos, significados na relação com a educação escolar, como é o caso da noção de letramento científico.

Para o ciclo de 2015, a matriz de referência da avaliação de Ciências elenca três competências que compõem o processo de letramento científico. Para demonstrar tais competências, assume-se a necessidade de conhecimentos amplos de Ciências que não se restringem aos conteúdos (conhecimentos de Ciências), mas abarcam conhecimentos sobre os procedimentos e práticas comuns associados à investigação científica (conhecimentos sobre Ciências), bem como seu papel no avanço científico, considerando, ainda, uma gama de contextos pessoais, locais, nacionais e globais (OECD, 2016).

O marco referencial dos estudos do LLECE, por sua vez, é construído com base na análise prévia dos documentos curriculares oficiais dos países participantes, na busca de convergências que fundamentem a definição da matriz da avaliação (OREALC/UNESCO, 2013, 2015a). Para a construção do TERCE, a análise apontou que, nos países participantes, o ensino de Ciências na educação básica está orientado ao desenvolvimento de competências científicas básicas que possam fomentar a formação de indivíduos críticos. A partir dos relatos sobre o enfoque pedagógico dado ao ensino de Ciências nesses países, observou-se a tendência de enfatizar o aprendizado significativo de conceitos mediante participação mais ativa dos estudantes na construção do conhecimento (OREALC/UNESCO, 2013, 2016a). Aqui, como já apontamos, fica evidente como os enunciados gestados nos diferentes contextos nacionais, ao circularem pelo contexto de produção do TERCE, passam a assumir novos sentidos. Isso decorre tanto do trabalho de síntese resultante da análise dos documentos curriculares oficiais promovida pelo LLECE, buscando identificar o que se constituem as regularidades nos diferentes currículos em foco, como do poder exercido por algumas noções caras aos processos avaliativos contemporâneos, como é o caso das ideias de competências e habilidades e mesmo das técnicas de cálculo dos desempenhos dos participantes. Tais noções atuam como dispositivos que regulam tanto a forma pela qual conhecimento é concebido por essas avaliações, ou seja, permitindo conceber o conhecimento nessa relação com as competências, como o que tem sido considerado um “aprendizado significativo”. Assim, com base nas convergências encontradas, a matriz de referência dos testes de desempenho em Ciências no TERCE foi estruturada levando em conta cinco domínios ou eixos temáticos (saúde; seres vivos; ambiente; Terra e sistema solar; matéria e energia) e três processos cognitivos (reconhecimento de informações e conceitos; compreensão e aplicação de conceitos; e pensamento científico e resolução de problemas).

O Quadro 2 mostra um resumo dos componentes (ou dimensões) das matrizes de referência que embasam a construção dos testes cognitivos das duas avaliações. Observa-se que, embora construídas a partir de processos e enfoques distintos, tais avaliações apresentam pontos comuns, em relação tanto aos conhecimentos (conteúdos, domínios ou eixos temáticos) quanto às competências e processos cognitivos avaliados. Os processos cognitivos do TERCE “reconhecimento de informação e conceitos” e “compreensão e aplicação de conceitos” estão contemplados, em certa medida, na competência do PISA “explicar fenômenos cientificamente”, sobretudo na identificação de fatos e fenômenos da natureza, embora no PISA não haja qualquer referência textual ao reconhecimento/compreensão de conceitos. As duas outras competências definidas no PISA (“interpretar” e “avaliar”) encontram algum eco no processo cognitivo do TERCE “pensamento científico e resolução de problemas”.

Os eixos estruturantes propostos no TERCE apresentam convergências com os sistemas de conhecimento de conteúdo (conhecimento de ciências) elencados pelo PISA. Embora não sejam explicitados os conhecimentos sobre ciências (procedimental e epistemológico), tal como na matriz do PISA, pode-se inferir que estes são tratados de alguma forma nos itens construídos para avaliar o processo cognitivo “pensamento científico e resolução de problemas”. A descrição do que se espera que o estudante demonstre nos itens desse processo aponta habilidades que fazem referência ao reconhecimento e uso de informações que remetem a procedimentos relacionados à construção e validação do conhecimento científico:

[...] como reconocer la pregunta que se busca responder em una investigación, identificar las condiciones que influyen em los resultados de un experimento, proponer explicaciones a fenómenos específicos a partir de evidencia, seleccionar información pertinente para resolver un problema y establecer conclusiones a partir de los resultados de un experimento. (OREALC/UNESCO, 2016a, p. 22)

Os documentos curriculares de Ciências têm dado destaque, por exemplo, às noções de contexto e contextualização, termos reconhecidamente polissêmicos na literatura da área (^{GILBERT, 2006}; ^{KATO; KAWASAKI, 2011}; MARTINS, 2013). Os sentidos que circulam no ensino de Ciências sobre contexto e contextualização relacionam o conhecimento científico, por exemplo, com a noção de cotidiano (como a aplicação direta do conhecimento científico ou de um saber- -fazer em um contexto), com diferentes aspectos do próprio conhecimento científico (como aspectos epistemológicos de sua produção) e com o conhecimento pedagógico (como a referência a interações entre diferentes disciplinas escolares). Neste trabalho, não pretendemos contribuir para os estudos que abordam tal polissemia e partimos do suposto de que há uma relação entre o conhecimento científico e o contexto no processo de contextualização no ensino. Ou seja, entendemos que os documentos que orientam a produção dos instrumentos de avaliação, ao tratarem das formas como o processo de significação do conhecimento científico se dão, podem fazer referência à noção tanto de contexto quanto de contextualização.

Nesse sentido, tanto o documento do TERCE quanto o do PISA apontam para a importância de um ensino de ciências vinculado a situações da vida dos estudantes. No PISA tais situações são demarcadas em uma matriz que combina cinco tópicos referentes à ciência e à tecnologia com contextos de ordens pessoal (relacionados com o indivíduo, família e grupos de amigos), local e nacional (relacionados com a comunidade) e global (para a vida em todo o mundo). Embora não sejam delimitados os contextos na matriz do TERCE, há clara referência, nos documentos que embasam a metodologia de construção da avaliação (OREALC/UNESCO, 2016a, 2016b), à importância de se privilegiarem situações ou problemas que tenham utilidade e relevância para a vida real - os problemas autênticos (GUERRA; JIMENEZ, 2011). O Quadro 2 mostra os conhecimentos, as competências e os contextos abordados no PISA e os processos cognitivos e os domínios avaliados no TERCE, bem como a forma como o documento base desse último faz referência à contextualização.

QUADRO 2: Resumo dos componentes das matrizes de referência de Ciências, que embasam os testes cognitivos do PIS A e do TERCE PISA - Letramento científico 

Um diferencial da matriz do PISA refere-se à avaliação de atitudes, uma forma de enfatizar a influência de elementos afetivos que interferem nas competências mostradas pelo estudante. As atitudes são avaliadas por meio de um questionário respondido pelos estudantes para o domínio foco do ciclo em questão. Em 2015, a matriz de avaliação das atitudes partiu do seguinte pressuposto:

[...] a pessoa letrada cientificamente demonstra interesse por assuntos científicos; envolve-se com questões relacionadas à ciência; tem preocupação com questões tecnológicas, com recursos e com o ambiente e reflete sobre a importância da ciência a partir de uma perspectiva pessoal e social [...] tais indivíduos reconhecem que a ciência, a tecnologia e a pesquisa nesse domínio são um elemento essencial da cultura contemporânea que molda muito do nosso pensamento.⁵ (OECD, 2016, p. 20, tradução nossa)

O Quadro 3 mostra os três componentes que embasaram a avaliação de atitudes em relação às ciências na edição de 2015 do PISA. O TERCE não inclui a avaliação de atitudes na matriz de referência.

QUADRO 3: Resumo dos componentes da matriz de avaliação das atitudes em relação às ciências no PISA 2015 

Além dos resultados provenientes dos testes cognitivos, as duas avaliações enfatizam a importância da compreensão dos fatores associados à aprendizagem dos estudantes; os dados referentes a esses fatores são produzidos a partir de questionários aplicados à comunidade escolar. No TERCE foi aplicado, para os estudantes do 7º ano, um questionário que incluiu perguntas sobre suas caraterísticas pessoais, de suas famílias, escola, relação com os professores, participação em atividades acadêmicas e recreativas fora da escola e sobre o uso das tecnologias de informação e comunicação (OREALC/ UNESCO, 2015a). No PISA 2015, o questionário de contexto para os estudantes incluiu perguntas sobre absenteísmo, defasagem e repetência, histórico familiar, oportunidades de aprendizagem e ambiente escolar (ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO - OCDE, 2016). Informações sobre outros fatores relativos às condições de aprendizagem (por exemplo, estrutura e recursos da escola, clima escolar, formação de professores, ambiente familiar) foram obtidas, em ambas as avaliações, a partir de questionários adicionais, respondidos por professores, diretores e familiares.

O que os resultados informam

O objetivo das duas avaliações não é gerar resultados individuais, mas sim estimar a proficiência⁶ da população de estudantes representada pelas amostras, a partir do uso de modelos estatísticos. Ambas as avaliações fazem uso da Teoria de Resposta ao Item (TRI) na análise das respostas dos estudantes aos itens dos testes cognitivos. Os resultados são divulgados de duas formas: as médias das proficiências (e seus respectivos erros padrão) dos países participantes dos estudos; e a distribuição do percentual de seus estudantes nos níveis das escalas de proficiência descritas. O resultado das médias, se analisado de forma isolada, é pouco revelador. De modo geral, tais resultados são explorados de forma comparativa a partir de ordenamentos (rankings) que expõem as fragilidades dos países que ocupam as posições mais baixas sem, entretanto, aprofundar as análises. Já o resultado referente à distribuição percentual nos níveis de proficiência das escalas descritas fornece mais subsídios para se entenderem, sobretudo do ponto de vista pedagógico, as proficiências demonstradas pelos participantes do teste. Os textos das interpretações pedagógicas das escalas descrevem os conhecimentos e as habilidades demonstradas pelos estudantes em cada nível definido.

A metodologia empregada na interpretação pedagógica das escalas de proficiência difere nas duas avaliações. Para a escala de Ciências do PISA foi formulada uma descrição preliminar dos níveis com base nas dimensões “conhecimento” e “competência” da matriz de referência, a qual foi utilizada para orientar a confecção dos itens do teste cognitivo. Após a aplicação, foram realizadas novas análises dos itens com base nos parâmetros estatísticos calculados, a fim de identificar as características relevantes que explicassem sua posição na escala de proficiência. Os itens foram, então, ordenados com base no nível de dificuldade (dos mais fáceis para os mais difíceis) e descritos de forma a explicitar as habilidades exigidas na sua resolução para a construção do que se denomina mapa de itens, que serviu para rever e consolidar as descrições formuladas inicialmente (OECD, 2016). A escala apresenta sete níveis, ordenados pelo grau de dificuldade, cuja descrição e o percentual de estudantes brasileiros alocados em cada um deles estão apresentados no Quadro 4.

QUADRO 4: Níveis da escala de proficiência de ciências, pontuação mínima de cada nível, descrição dos conhecimentos e habilidades demonstrados e percentual de estudantes brasileiros em cada nível, no PIS A 2015 

No TERCE, os níveis da escala foram primeiramente determinados a partir do método Bookmark, que, em linhas gerais, consiste na determinação de pontos de corte que definem a transição de um nível de dificuldade para outro. Especialistas na área analisam os itens que compõem o teste, ordenados do menor para o maior nível de dificuldade, e definem aquele que representa o limite que diferencia um nível de seu subsequente (OREALC/UNESCO, 2016b). Foram determinados quatro níveis de proficiência que informam os conhecimentos e habilidades demonstrados pelos estudantes, também ordenados em relação ao grau de dificuldade, do nível I, mais fácil, até o nível IV, mais difícil. A descrição dos níveis e o percentual de estudantes brasileiros alocados em cada um deles são apresentados no Quadro 5.

QUADRO 5: Níveis da escala de proficiência de Ciências Naturais, pontuação mínima de cada nível, descrição dos conhecimentos e habilidades demonstrados pelos estudantes brasileiros em cada nível no TERCE e percentual de estudantes em cada nível  

No PISA, perto de 57% dos estudantes brasileiros demonstraram capacidade de executar tarefas classificadas nos níveis abaixo do nível 2, considerado pela OCDE como o mínimo para que os jovens tenham condições de exercer plenamente sua cidadania. No TERCE, aproximadamente 70% dos estudantes brasileiros estão alocados nos níveis I e II da escala. Analisar esses números com base na descrição pedagógica dos níveis da escala permite ampliar a compreensão do significado das medidas de proficiência dos estudantes e, assim, oferecer um sentido qualitativo e pedagógico às estimativas quantitativas.

Analisamos as descrições das escalas partindo do pressuposto de que as proficiências observadas na escala do TERCE estão em diálogo com aquelas presentes na do PISA, já que, por mais distintas que sejam as descrições dos construtos medidos, ambas as avaliações focalizam também conhecimentos referentes à disciplina escolar Ciências. Nesse sentido, comparamos as descrições dos níveis da escala do PISA com as dos níveis da escala do TERCE em busca de convergências entre os textos de suas interpretações pedagógicas.

A partir da observação dos quadros 4 e 5, pode-se notar que nos níveis I e II do TERCE e 1a e 1b do PISA são elencadas tarefas que demandam reconhecimento ou identificação de informações que abordam conhecimentos básicos de Ciências (fenômenos, termos científicos) apresentados em contextos ou situações cotidianas (familiares, usuais, bem conhecidas). Um exemplo é a menção a contextos cotidianos no nível I do TERCE e a fenômenos simples e conhecidos no nível 1b do PISA. Estudantes alocados no nível II do TERCE, em geral, são capazes de “interpretar informações simples, apresentadas em diferentes formatos (tabelas, gráficos e esquemas)”, assim como os alocados no nível 1a do PISA são capazes de “interpretar dados em gráficos e em imagens que exigem baixo nível de demanda cognitiva”. Algumas operações cognitivas e conhecimentos descritos nos níveis III e IV da escala do TERCE também convergem com tarefas elencadas nos níveis 2, 3 e 4 da escala do PISA. No nível III do TERCE, a habilidade de “interpretar informação variada apresentada em gráficos de diferentes formatos e/ou com uma ou mais séries de dados para fazer comparações e tirar conclusões” converge com a tarefa “interpretar dados provenientes de conjuntos de dados moderadamente complexos ou de contexto pouco conhecido”, descrita no nível 4 da escala do PISA. A habilidade “discriminar, entre diferentes perguntas, aquelas que podem ser respondidas cientificamente”, incluída no nível IV da escala do TERCE, dialoga com a tarefa “fazer a distinção entre questões científicas e não científicas”, elencada no nível 3 da escala do PISA.

Por outro lado, não há evidências textuais de convergências entre as operações cognitivas descritas na escala do TERCE e as tarefas elencadas nos níveis 5 e 6 da escala do PISA. De fato, nesses dois níveis figuram tarefas que demandam o uso de conhecimento científico mais abstrato (incluindo conhecimento externo ao currículo escolar) e a execução de análises, inferências, suposições e conclusões. Além disso, é importante lembrar que alguns novos itens criados para aplicação em computador envolviam a execução de simulações, agregando, assim, mais dificuldade na resolução. Acreditamos que essas razões determinam a não correspondência entre habilidades e conhecimentos elencados na descrição da escala do TERCE com as tarefas descritas nos dois níveis mais elevados da escala do PISA.

Subsídios das avaliações internacionais: reflexões sobre o ensino de ciências

À guisa de concluir este texto, gostaríamos de recuperar alguns aspectos que parecem importantes nas análises que nos propusemos a realizar. Buscamos, assim, capturar alguns sentidos que permitem pensar como tais avaliações contribuem para problematizar aspectos caros à comunidade educacional, como a qualidade da educação, por exemplo. Um desses está ligado à forma como a disciplina escolar Ciências, tradicionalmente presente nos currículos do ensino fundamental brasileiro, tem sido abordada em avaliações de larga escala. Destacamos aqui como o PISA e os estudos do LLECE têm dirigido suas atenções a esse componente curricular por meio do que essas avaliações convencionaram chamar como áreas. Ainda que possam estar próximas e muitas vezes interligadas à disciplina escolar Ciências, tais áreas configuram-se como atos de criação específicos nessas e para essas políticas de avaliação. Isso se dá por diferentes motivos, mas especialmente pelo recurso que essas avaliações têm realizado algumas noções que, embora circulem nos mais variados espaços educativos, têm se configurado como enunciados específicos da avaliação educacional, como, por exemplo, os conceitos de competência, contexto/contextualização e a própria forma como se calculam os desempenhos dos estudantes. Assim, é interessante pensar como tais artefatos acabam por regular sentidos que nos informam o que é esperado do ensino de Ciências, ou que passos devem ser dados para que alcancemos os objetivos postos para os níveis educacionais que constituem foco dessas avaliações.

Ao longo deste texto, buscamos também abordar a forma como as avaliações de larga escala têm historicamente se constituído em um movimento que, simultaneamente, parece querer se distanciar do que é escolar ou curricular, mas a todo momento faz recurso justamente a essas especificidades. Isso é mais evidente no caso do PISA, que, ao se intitular como uma avaliação com características únicas, que não se constitui exclusivamente a partir dos currículos escolares, reivindica para si uma retórica inovadora. Ao mesmo tempo, tanto a análise das competências e dos conhecimentos que são objetos de avaliação dessa proposta quanto a própria interpretação pedagógica da escala de proficiência revelam as aproximações existentes entre essa política de avaliação supranacional e os currículos escolares, em especial os que vêm sendo praticados no Brasil. Se é verdade que tal avaliação se aproxima dos currículos escolares, não podemos afirmar que ela seja uma mera transposição de algo propriamente escolar para o contexto das avaliações internacionais. Ao contrário, como tivemos a oportunidade de argumentar, mesmo em propostas como o TERCE, que lançam mão de uma consulta aos documentos curriculares oficiais dos países participantes para a definição dos domínios ou eixos temáticos a serem avaliados, tais conhecimentos são ressignificados e assumem novos contornos relacionados ao desenho e objetivo dessa avaliação. Ainda assim, mesmo não sendo o escopo deste trabalho uma análise cruzada do que vem sendo avaliado por essas ações - PISA e TERCE - com o que tem se constituído a tradição no ensino de Ciências no Brasil, não podemos deixar de sinalizar as convergências que tais avaliações têm com determinados artefatos que vêm informando o ensino, tais como os livros didáticos, as propostas curriculares gestadas na década de 1990 e, mais contemporaneamente, os pressupostos que têm orientado a formulação da BNCC.

Mas se essa convergência é tão evidente, também salta aos olhos o que diferencia, ainda que sutilmente, tais avaliações do que vem acontecendo nos contextos de prática, ou seja, nas escolas brasileiras. Como sinalizamos ao comparar a interpretação pedagógica da escala de proficiência do PISA com a do TERCE, ambas as avaliações têm se mostrado instrumentos potentes no que diz respeito à geração de informações acerca do desempenho dos estudantes e das proficiências por eles apresentados. Considerando os estudantes brasileiros, destacamos a concentração de um maior percentual de desempenhos nos níveis mais baixos de ambas as escalas. Isso pode ser devido a um conjunto de fatores, entre eles o fato de as próprias descrições desses níveis mais basais das escalas de proficiência fazerem referência a conhecimentos mais escolarizados e a ações cognitivas mais familiares ao universo escolar. Ainda que o “conhecimento” não apareça de forma tão evidente nas descrições de níveis da escala de proficiência do PISA quanto nas do TERCE, mostramos que as convergências refletem aproximações de ambas escalas com os currículos escolares.

O que nos parece especialmente potente nas análises empreendidas é a forma como os princípios que organizam essas avaliações - as competências, no PISA, e os processos cognitivos, no TERCE - adquirem uma centralidade não apenas na definição do conhecimento a ser avaliado, mas também na própria interpretação das escalas. Essas duas categorias, compreendidas como as operações cognitivas a serem demonstradas pelos estudantes no momento dos testes, têm configurado o que diferencia esse conhecimento a ser avaliado daquele que se constituiu como tradição no ensino de Ciências no Brasil. Ainda que não concebamos uma distinção entre o conhecimento em si e o conhecimento para fazer algo (^{MACEDO, 2016}), as descrições dos níveis mais altos de ambas as escalas de proficiência, especialmente a do PISA, revelam que o que está em xeque não é exatamente a apropriação do conhecimento ou dos domínios/eixos temáticos, mas sim a complexidade das ações a serem desenvolvidas e as expectativas de demonstração de determinados desempenhos.

Nesse sentido, ambas as avaliações indicam alguns caminhos para o ensino de Ciências no Brasil, de modo que possamos ocupar outros níveis nessas escalas de proficiências. Sem qualquer julgamento de valor se estes caminhos são coerentes com o que queremos ou com o que devemos seguir - ainda que tenhamos sinalizado ao longo deste texto a forma pela qual os discursos dessas avaliações convergem com os discursos curriculares que circulam nos contextos de prática -, julgamos interessante pensarmos na pertinência dessas sinalizações. Elas indicam, pelo menos, a dificuldade de nossos estudantes em lidar com informações científicas apresentadas de forma abstrata, o que resulta, algumas vezes, na impossibilidade de manipularem tais dados para a construção de uma resposta que os levem a demonstrar suas habilidades em um determinado teste; o mesmo ocorre para situações experimentais. Tal dificuldade revela que, a despeito de todo o movimento de renovação do ensino de Ciências ocorrido nas décadas de 1950, 1960 e 1970, esse ainda parece ser um aspecto a ser perseguido pela área, o que requer investimentos na formação inicial e continuada de professores, bem como na estruturação de espaços próprios nas instituições escolares. Por fim, outro ponto que nos chama a atenção está relacionado à dificuldade que os estudantes demonstram ter com os aspectos epistemológicos da produção do conhecimento científico.

Nesse momento que vivemos uma ampla reforma curricular na educação básica, com consequências ainda imprevisíveis tanto para o ensino médio (por meio da Lei n. 13.415/2017) como para o ensino fundamental (com a iminência da publicação da BNCC), nos parece crucial compreender as sinalizações que as avaliações internacionais têm fornecido para analisarmos as políticas educacionais vigentes e o desenho das que estão por vir.

Em que pesem os usos que as avaliações em larga escala têm tido em variados contextos, alguns deles com efeitos negativos sobre as práticas pedagógicas, defendemos que tais ações têm potencial explicativo bastante importante para a análise do desempenho dos estudantes, o que pode contribuir não apenas para a elaboração das políticas públicas em educação, mas também para os planejamentos pedagógicos das instituições de ensino e dos docentes que atuam no âmbito da disciplina Ciências. Tais potenciais são explicitados em alguns documentos dessas avaliações, como é o caso, por exemplo, da publicação Aportes para la enseñanza de Ciencias Naturales (OREALC/UNESCO, 2016a), dirigida aos docentes, com a intenção de subsidiar a prática pedagógica a partir dos pressupostos (conceituais e práticos) dessa avaliação. O PISA, por sua vez, ainda que não tenha uma publicação dirigida declaradamente aos docentes, também fornece subsídios à pratica pedagógica. Em adição aos aspectos conceituais e práticos, o estudo dispõe de informações sobre a associação entre a proficiência obtida nos testes cognitivos e aspectos contextuais, como interesse e motivação; atitudes; crenças; suporte e outras percepções dos estudantes em relação à ciência (OCDE, 2016), possibilitando aos docentes e aos formuladores de políticas a reflexão sobre a miríade de fatores que podem influenciar o aprendizado e desempenho dos estudantes.

É nesse sentido que julgamos fértil a realização de investigações que ampliem as possibilidades interpretativas dessas políticas, defendendo, assim, uma via que, em vez de valorizar novos surveys e diagnósticos, aposte na utilização desse rico conjunto de dados para o desenho de políticas efetivas para o ensino de Ciências em nosso país.