INTRODUÇÃO

O surgimento do Programme for International Student Assessment (Pisa) - no Brasil, Programa de Avaliação Internacional de Estudantes -, conforme indicado por ^{Morgan (2007)}, deu-se em razão da necessidade de um comparativo entre sistemas educacionais de diferentes países. Embora os estudos internacionais de avaliação comparada de desempenhos escolares já fossem produzidos desde meados da década de 1950 (^{Husén & Postlethwaite, 1996}; ^{Postlethwaite, 1999}; ^{Morgan, 2007}; ^{Carvalho, 2009}), a ausência de um programa com ampla cobertura geográfica (política e cultural), que ocorresse periodicamente, impulsionou o seu desenvolvimento.

Nesse sentido, a International Association for the Evaluation of Educational Achievement (IEA) realiza estudos comparativos de desempenho educacional em larga escala desde sua criação, em 1958, com destaque para o First International Mathematics Study (Fims), realizado em 1964, e o First International Science Study (Fiss), em 1970. Esses projetos foram precursores do Trends in International Mathematics and Science Study (Timms), aplicado pela primeira vez em 1995, que, por sua vez, influenciou os componentes avaliativos do Pisa para as avaliações de matemática e ciências, respectivamente. Já para o componente avaliativo de leitura, um precursor foi o Reading Literacy Study, atual Progress in International Reading Literacy Study (Pirls), criado em 1970 pelo IEA (^{Carvalho, 2009}).

A Organisation for Economic Co-Operation and Development (OECD), em português Organização para Cooperação e Desenvolvimento Econômico, responsável pelo gerenciamento do Pisa, já havia experimentado projetos de avaliação comparada a nível internacional, como o OECD’s Green Book, na década de 1970, e o International Indicators of Educational Systems (Ines), na década de 1980. De certa maneira, isso trouxe subsídios para o desenvolvimento do Pisa, influenciando na estrutura e na metodologia do programa que foi lançado, oficialmente, em 1997 pelos ministros de educação dos países membros da OECD (^{Lundgren, 2011}).

A primeira aplicação do Pisa aconteceu no ano de 2000, a qual envolveu mais de 200 mil alunos de 32 países, dos quais 28 eram membros da OECD e 4 países/economias parceiras. Desde então, com sua popularização e consagração expressiva no cenário educacional internacional, novos países passaram a participar do programa a cada edição. Em 2018, ele alcançou mais de 600 mil alunos de 79 países, sendo 37 deles membros da OECD e 42 países/economias parceiras (^{Lundgren, 2011}).

Realizado a cada 3 anos pela OECD, o Pisa é um programa de avaliação de desempenho escolar que compreende testes de leitura, matemática e ciências. Ele é destinado a estudantes de 15 anos de idade, período que frequentemente coincide com o término da escolaridade básica obrigatória em muitos países. Essa característica o diferencia de outras avaliações que costumam se concentrar em etapas específicas da escolaridade.

A cada edição uma das áreas é assumida como foco, o que significa que há um quantitativo maior de itens no teste referente a essa área do conhecimento. A pesquisa também avalia domínios chamados inovadores, como Resolução de Problemas, Letramento Financeiro e Competência Global (^{OECD, 2019a}, ^2019b, ^2020a, ^2020b).

Desde a primeira edição do Pisa, juntamente com as provas, são aplicados questionários contextuais aos estudantes, pais/responsáveis, professores e escolas (respondido pelos diretores). Essa aplicação pode ocorrer de forma online ou presencial (material impresso), a depender das necessidades e dos recursos disponibilizados por cada país participante, e em diferentes momentos, antes ou depois da aplicação das provas. O objetivo declarado pela OECD para a aplicação desses instrumentos refere-se às suas potencialidades para a identificação de áreas de melhoria, busca pela equidade na educação e para o desenvolvimento de políticas educacionais mais eficazes (^{OECD, 2019a}, ^2019b, ^2020a, ²⁰²¹).

É importante ressaltar que os questionários contextuais do Pisa são adaptados transculturalmente para cada país. Assim, para garantir sua precisão e confiabilidade, é realizada a validação do instrumento antes da utilização de seus resultados. Para tanto, a amostra de estudantes participantes é selecionada de forma aleatória e representativa em cada universo investigado, permitindo, ainda, que os resultados obtidos possam ser generalizados. A cada edição o formato é atualizado, podendo incluir novos itens e instrumentos, refletindo mudanças nas políticas e nas tecnologias de aprendizagem (^{OECD, 2019a}).

Até o momento, foram aplicados oito tipos de questionários contextuais para os alunos, que coletam informações sobre os componentes: geral;¹ familiaridade com tecnologia da informação e comunicação (TIC); carreira educacional; bem-estar; letramento financeiro; baixo desempenho; leitura para a escola; e competências curriculares. Dentre eles, os três primeiros são os mais recorrentes nas avaliações do programa, ao passo que os demais foram aplicados em apenas uma edição. Essa inclinação sugere que temáticas relacionadas às TICs e à carreira educacional ocupam uma posição de destaque no Pisa.

Quanto aos questionários contextuais destinados aos professores, além do geral, existe um tipo específico para os docentes da língua utilizada no teste.² No entanto, para os pais/responsáveis³ e para as escolas,⁴ são aplicados apenas os questionários do tipo geral. Vale ressaltar que a inclusão de questionários dirigidos aos pais/responsáveis é uma característica distintiva do Pisa em relação a outros programas de avaliação, os quais geralmente não coletam essas informações ou, quando o fazem, é por meio de pesquisas com os alunos. Essa abordagem mais abrangente do Pisa possibilita uma melhor compreensão dos sistemas educacionais e dos fatores intra e extraescolares que podem influenciar o sucesso dos estudantes.

Atualmente, o programa configura-se como o maior levantamento de dados de desempenho escolar do mundo, podendo ser utilizado para a tomada de decisões políticas em âmbito nacional e internacional. Considerando sua influência no campo educacional, compreendemos que é necessário investigar os estudos desenvolvidos que consideram o Pisa como objeto de análise, a fim de contribuir para o estado do conhecimento inerente ao tema.

Nesse sentido, indagamos: como as produções acadêmicas internacionais incorporam as informações adquiridas por meio do questionário contextual do Pisa? Quais questionários contextuais são mais frequentemente empregados em análises? Quais critérios foram utilizados para a seleção das edições e dos questionários contextuais do Pisa que foram analisados?

Diante do exposto, o presente artigo tem como objetivo analisar as produções acadêmicas internacionais, vinculadas a periódicos acadêmicos, que utilizam os questionários contextuais do Pisa, com o propósito de identificar quais questões têm sido problematizadas e apontar lacunas existentes, indicando possibilidades de pesquisa no campo da avaliação educacional. Para tanto, inicialmente é apresentada uma seção dedicada a descrever, de forma geral, a metodologia empregada. Em seguida, há as seções de resultados e discussão. O artigo se encerra com as considerações finais obtidas.

METODOLOGIA

Neste artigo, de natureza qualitativa do tipo exploratória, realizamos uma revisão sistemática da literatura em periódicos para analisar produções acadêmicas que empregam questionários contextuais do Pisa. No Apêndice, encontram-se os questionários aplicados durante o período de 2000 a 2018, juntamente com suas principais características. É possível perceber que, com exceção dos questionários para pais/responsáveis, os caracterizados como geral foram aplicados obrigatoriamente em todas as edições. Quanto aos demais, sua aplicação foi opcional, determinada pelos órgãos responsáveis de cada país participante do Pisa, de acordo com suas necessidades e especificidades.

Concordamos com ^{Catani e Sousa (1999}, p. 241) que “a produção de pesquisas-instrumentos que gerem catálogos, banco de dados, repertórios, etc. adquire relevância especial ao evitar a duplicação de investimentos dos estudiosos e potencializar o uso de materiais trabalhados”. Destacamos, portanto, a relevância dos artigos publicados em periódicos⁵ científicos para o reconhecimento da área de estudo e para o seu fortalecimento na comunidade acadêmica.

. . . torna-se um guia prático do cotidiano educacional e escolar, permitindo ao pesquisador estudar o pensamento pedagógico de um determinado setor ou de um grupo social a partir da análise do discurso veiculado e da ressonância dos temas debatidos, dentro e fora do universo escolar. (^{Catani & Bastos, 1997}, p. 5).

Para seleção dos artigos, foram utilizadas as diretrizes de elegibilidade e análise do modelo Prisma (Preferred Reporting Items for Systematic Reviews and Meta-Analyses). Elaborado como ponto de partida para o desenvolvimento de uma revisão de literatura, o Prisma auxilia, por meio de seus métodos sistemáticos, a identificação, seleção e avaliação crítica a respeito das pesquisas mais relevantes relacionadas ao tema em estudo (^{Moher et al., 2009}). Trata-se de um checklist que direciona o processo disposto em quatro fases: identificação, triagem, elegibilidade e inclusão.

Para compor esta revisão, a busca por artigos foi conduzida em três bases de dados eletrônicos: SciELO (Scientific Electronic Library Online), Scopus e Web of Science (WoS). A seleção dessas bases foi feita considerando seu significativo impacto no cenário da literatura acadêmica internacional, abrangendo diferentes áreas do conhecimento e indexando periódicos de todo o mundo. O prazo final adotado para a seleção dos artigos nas bases consideradas foi o ano de 2022, não havendo delimitação inicial. Além disso, utilizamos como descritores “Programme for International Student Assessment” e “Questionnaire”, combinados por meio do operador booleano “AND”.

Como critérios de inclusão, optamos por periódicos disponíveis em qualquer idioma e de acesso aberto, excluindo os artigos duplicados. Em seguida, realizamos uma leitura dos resumos dos artigos previamente selecionados, excluindo aqueles cuja temática principal não era o objeto desta pesquisa.

Os textos pré-selecionados foram lidos integralmente e agrupados para fins de organização de acordo com a discussão acerca dos seus conteúdos, que são apresentados neste artigo. Também é realizada uma análise sobre seus autores, que abarca o vínculo institucional, os parceiros e os referenciais bibliográficos adotados nas publicações. Para isso, recorremos à plataforma Orcid como fonte, cujas informações foram obtidas em agosto de 2023.

Como ferramenta de auxílio para as análises lexicais, usamos o software Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires (Iramuteq), que tem como principal objetivo a análise da estrutura e da organização de textos, possibilitando informar as relações entre os mundos lexicais que são mais frequentemente enunciados nos objetos analisados (^{Camargo & Justo, 2013}). Inicialmente foram construídas nuvens de palavras, a fim de agrupá-las e organizá-las graficamente em função de sua relevância, sendo as maiores aquelas que possuíam maior regularidade, considerando palavras com frequência igual ou superior a 10. Depois, foram realizadas análises de similitude das expressões presentes nos textos, o que possibilitou identificar as ocorrências entre elas, trazendo indicações de conexidade e facilitando a compreensão do corpus textual analisado.

Por fim, foi realizada a Classificação Hierárquica Descendente (CHD) para o reconhecimento do dendrograma com classes emergentes, no qual quanto maior o χ², mais associada está a palavra com a classe, desconsiderando as palavras com χ² < 3,80 (p < 0,05). A partir desse movimento, fizemos uso da Análise Temática,⁶ proposta por ^{Braun e Clarke (2006)}, para identificar, analisar, interpretar e relatar padrões (temas) presentes em cada produção a partir dos dados qualitativos, contribuindo para estreitar o campo de visão analítico do pesquisador.

RESULTADOS

Mediante as estratégias de pesquisa, foram identificados, inicialmente, 213 artigos indexados nas bases de dados eletrônicos definidas (SciELO, Scopus e WoS). Destes, 64 eram artigos de acesso aberto, tendo como prazo final o ano de 2022. Com a leitura dos resumos, optamos pela exclusão daqueles que não utilizaram os questionários contextuais do Pisa como fonte.

Entre os artigos excluídos, destacamos a presença de discussões desvinculadas à educação, como climáticas, econômicas e de estudos relacionados à saúde da população respondente, restando 22 artigos para as análises propostas neste estudo.

A Figura 1 apresenta um fluxograma da seleção dos artigos analisados, que foi elaborado de acordo com as diretrizes do método Prisma.

Fonte: Elaboração dos autores.

FIGURA 1 Fluxograma da seleção dos artigos de acordo com o método Prisma 

No âmbito da estrutura teórica de investigação, os resumos dos artigos representam apontamentos temáticos essenciais, facilitando a compreensão do seu conteúdo. Assim, após a seleção dos artigos para compor esta revisão, os resumos foram utilizados como corpus textual para as análises lexicais, por meio do software Iramuteq. O corpus analisado foi constituído por 22 textos, os quais foram separados em 125 segmentos de texto (ST), com aproveitamento de 97 STs (77,6%). Emergiram 4.334 ocorrências (palavras, formas ou vocábulos), sendo 3.238 palavras distintas e 1.096 com uma única ocorrência. Para a construção da imagem, consideramos as palavras com frequência maior do que 10 (Figura 2).

Fonte: Elaboração dos autores.

FIGURA 2 Nuvem de palavras gerada com base nos resumos dos artigos 

A Figura 2 apresenta os principais tópicos abordados nos textos selecionados, sinalizando a diversidade de pesquisas desenvolvidas em torno do Pisa. De acordo com a nuvem de palavras, destacam-se discussões sobre o estudante e seu desempenho escolar (“student” (f = 105), “achievement” (f = 34), “result” (f = 29)); a escola e o ensino por ela ofertado (“school” (f = 72), “teacher” (f = 25), “academic” (f = 22)); o estudo e a meta-avaliação do Pisa (“study” (f = 43), “Pisa” (f = 41)); e os dados referentes aos questionários (“questionnaire” (f = 26), “datum” (f = 22)).

Também foi realizado um estudo de similitude. Por meio da análise baseada na teoria dos grafos, é possível visualizar as ocorrências textuais entre as palavras e as indicações da conexidade entre elas, auxiliando na identificação da estrutura do conteúdo de um corpus textual. Dessa forma, a aresta não apenas indica as conexões, mas também reflete a similitude, sendo que sua espessura aumenta proporcionalmente à intensidade dessa semelhança, conforme ilustra a Figura 3.

Fonte: Elaboração dos autores.

FIGURA 3 Árvore de similitude das palavras gerada com base nos resumos dos artigos 

Na análise de similitude retratada na Figura 3, observamos a centralidade da palavra “student”, em contraste com a ênfase menos destacada do próprio programa. A partir dela, quatro outras se sobressaem, conforme evidenciado pelo tamanho das arestas: “school”, “study”, “Pisa” e “achievement”. Dessas, emergem outras palavras que sugerem significados mais detalhados.

A centralidade e o destaque da palavra “student” nas figuras 2 e 3 revelam que os estudantes são o objeto central das discussões realizadas por meio dos questionários contextuais do Pisa. Contudo, a análise de similitude apresenta três agrupamentos específicos, nos quais podemos observar indícios dos conteúdos dos artigos mapeados.

No primeiro agrupamento, relacionado à palavra “student”, destacamos as áreas predominantemente analisadas (“mathematics” e “science”) e o desempenho obtido pelos estudantes (“result”, “performance”, “achievement”) no programa. No segundo, associado à palavra “school”, observamos a presença de fatores ambientais explicativos, sinalizando as possíveis ramificações dos estudos desenvolvidos no nível da escola (“background”, “parent”, “teacher”). Já no terceiro, o “Pisa” está fortemente associado à palavra “datum”, na qual se pode compreender a existência de um movimento voltado à análise e à avaliação da qualidade psicométrica do questionário contextual do programa e os seus resultados.

Os artigos que utilizam os questionários contextuais do Pisa foram submetidos à Classificação Hierárquica Descendente (CHD), resultando na identificação de três categorias textuais distintas. Essa constatação está alinhada com os achados da análise de similitude. Para auxiliar nesse processo de categorização, após a leitura completa dos artigos, utilizamos a Análise Temática (^{Braun & Clarke, 2006}) como referencial teórico implícito, o que possibilitou agrupá-los e analisá-los em conjunto.

Esses agrupamentos foram denominados da seguinte forma: Classe 1 - “Análise do desempenho educacional de estudantes no Pisa”; Classe 2 - “Análise de fatores ambientais, socioemocionais e políticos a partir de dados do questionário do Pisa”; e Classe 3 - “Análise da qualidade psicométrica dos questionários contextuais do Pisa”. A Figura 4 apresenta a classificação e as nuvens de palavras elaboradas com base na frequência de cada vocábulo em cada classe.

Fonte: Elaboração dos autores.

FIGURA 4 Classificação dos artigos mapeados de acordo com a CHD 

A análise da Figura 4 permitiu identificar que, apesar da correlação entre as três classes, há uma notável convergência no desenho de pesquisa dos artigos pertencentes às duas primeiras. Essas categorias dizem respeito a pesquisas correlacionais e foram analisadas utilizando métodos quantitativos, os quais permitem investigar a existência de relação entre um conjunto de variáveis. Dessa forma, há indícios de que os estudos mapeados correlacionam o desempenho educacional dos estudantes com fatores ambientais,⁷ socioemocionais e políticos, cujas informações são coletadas por meio de dados do questionário contextual do Pisa.

Essa correlação entre o desempenho escolar e os fatores ambientais não é exclusiva do Pisa, sendo objeto de diversas pesquisas na atualidade, que consideram várias avaliações globais e internacionais, como o National Assessment of Educational Progress (Naep) nos Estados Unidos (^{Wu et al., 2020}; ^{Solem, 2022}; ^{LaFave et al., 2022}; ^{Forzani et al., 2022}), o Sistema de Medición de la Calidad de la Educación (Simce) no Chile (^{Muñoz-Jorquera & Mendoza-Lira, 2023}; ^{Proenza Garrido et al., 2020}) e o Sistema de Avaliação da Educação Básica (Saeb) no Brasil (^{Bassetto, 2019}; D. J. M. ^{Soares et al., 2020}; T. E. A. ^{Soares et al., 2021}; D. J. M. ^{Soares, 2023}).

Pode-se notar que, apesar da primeira aplicação do Pisa datar do ano de 2000, a publicação de artigos que utilizam os questionários contextuais do programa, no âmbito da educação, acontece mais de uma década depois. Isso pode ser atribuído à atenção tardia do público ou da comunidade acadêmica ao avanço de novas tecnologias e/ou métodos de pesquisa, à transformação de perspectivas em relação ao papel desempenhado pela avaliação ao longo do tempo, ou ainda à acumulação gradual de evidências que demandou um intervalo de tempo significativo.

Dos estudos mapeados, a maioria utilizou dados referentes às edições de 2012 (n = 7) e 2015 (n = 7) do Pisa, seguido de estudos longitudinais⁸ (n = 4) e das edições de 2018 (n = 3) e 2006 (n = 1). Observamos que a escolha das edições analisadas pode ser fundamentada pelo componente curricular em destaque, uma vez que apresenta um maior número de itens e os questionários se concentram na coleta de informações relacionadas à aprendizagem nesse domínio.

Quanto aos autores, somente a professora Natalia Krüger, do Instituto de Investigaciones Económicas y Sociales da Universidad Nacional del Sur (UNS), contribui com mais de uma (co)autoria nos estudos mapeados, totalizando duas participações. Ambos os trabalhos analisam os dados da Argentina, sendo um por meio de um estudo longitudinal e o outro a partir do Pisa 2012. Este último foi realizado em colaboração com a professora María Marta Formichella, também da UNS.

Além dos estudos previamente mencionados, que envolvem autores sul-americanos, identificamos apenas mais um trabalho da Colômbia. Esse trabalho foi realizado em colaboração pelos professores Luis Fernando Gamboa, do Departamento de Economía da Pontificia Universidad Javeriana, Mauricio Rodríguez Acosta e Andrés Felipe García-Suaza, do Departamento de Economía da Universidad del Rosario. Trata-se de um estudo multicêntrico⁹ que utiliza dados da edição do Pisa 2006.

Em relação aos países das instituições dos estudos mapeados neste artigo, observamos uma predominância de trabalhos da Turquia (n = 4), seguido pela Espanha (n = 3), China (n = 3) e Argentina (n = 2). Outros países, como Colômbia, México, Austrália, Rússia, Itália, Bélgica, Alemanha, Estados Unidos, Inglaterra e Coreia do Sul, são representados por apenas um estudo cada.

No que se refere aos países analisados individualmente, a Turquia se sobressai, pois os autores turcos discutem os dados provenientes do próprio país em que suas universidades estão inseridas. Da Ankara University, analisando a edição do Pisa 2012, encontramos um estudo de autoria individual do professor PhD Ergül Demir, do Department of Measurement and Evaluation, além de colaborações entre Şerife Zeybekoğlu e Hakan Koğar e entre Ezel Tavşancıl, Özge Altıntaş e Cansu Ayan. Já da Bolu Abant İzzet Baysal University, analisando a edição do Pisa 2015, temos o estudo de Selda Yildirim e Hüseyin Hüsnü Yildirim.

Todos os artigos dos autores localizados na Espanha realizam uma análise multicêntrica dos dados e são de universidades distintas. Dentre esses, dois são (co)autorias e analisam a edição do Pisa 2015: a) Elena Govorova e José Muñiz, do Department of Psychology da University of Oviedo, com Isabel Benítez, do Department of Methodology of Behavioural Sciences da University of Granada; e b) Gregorio Gimenez e Beatriz Barrado, do Departamento de Economía da University of Zaragoza, em parceria com Liuvob Tkacheva, do Department of Pedagogy and Pedagogical Psychology da Saint-Petersburg State University, da Rússia. Além disso, o trabalho de Antoni Verger, Lluís Parcerisa e Clara Fontdevila, vinculados à Universitat Autònoma de Barcelona, realiza um estudo longitudinal.

Dentre as instituições chinesas, situa-se o estudo longitudinal e multicêntrico escrito em parceria por Mark Bray e Magda Nutsa Kobakhidze, da University of Hong Kong. Além desse, dois estudos analisando dados do próprio país são conduzidos por Yun-Bo Liu e Xiao-Yu Hou, da Beijing Normal University, com Bin-Bin Chen, da Fudan University; e Li Wang, professora no Materials Research Institute, da People’s Education Press.

As demais instituições acadêmicas, assim como os países analisados, são representadas uma única vez. Destaca-se o estudo longitudinal dos dados do Pisa da Noruega, conduzido pelas professoras Therese N. Hopfenbeck, da University of Melbourne, na Austrália, e Marit Kjærnsli, da University of Oslo, na Noruega.

O artigo das autoras Tatiana Chirkina e Tatiana Khavenson, membros do Laboratório Internacional de Análise de Políticas Educacionais da National Research University, localizado na Rússia, analisa os dados do Pisa 2012 do próprio país. Além disso, também sobre essa edição, há o estudo multicêntrico dos professores Orhan Agirdag e Gudrun Vanlaar, do Centro de Eficácia e Avaliação Educacional da Universidade Católica de Leuven (KU), na Bélgica.

O artigo de Barbara Barbier, Isabella Sulis e Mariano Porcu, da University of Cagliari, na Itália, com Michael D. Toland, da University of Toledo, nos Estados Unidos, analisa os dados italianos do Pisa 2015. Já os professores Mario Alberto González Medina e Diana Carolina Treviño Villarreal, da Universidad Autónoma de Nuevo León (UANL), conduzem uma análise dos resultados do Pisa 2018 do México, país em que a universidade está situada.

A (co)autoria de Nurullah Erylmaz e Andrés Sandoval Hernández, da University of Bath, e Mauricio Rivera Gutiérrez, da University of Brighton, ambas localizadas na Inglaterra, conduziu um estudo multicêntrico do Pisa 2015. Além disso, a colaboração de Yi-Jhen Wu, da Technical Unversity of Dortmund, na Alemanha, e Jihyun Lee, da University of New South Wales (UNSW), na Austrália, também resultou em um estudo multicêntrico do mesmo período.

Ademais, o artigo das professoras Margarita Pivovarova e Jeanne M. Powers, da Mary Lou Fulton Teachers College, nos Estados Unidos, examina a edição do Pisa 2012 do país em questão. O estudo de Jeehye Hong e Hyunjung Kim, da National University in Seoul, juntamente com Hyunjung Kim, da Kongju National University, ambas localizadas na Coreia do Sul, examina a edição de 2015, também do próprio país.

Para uma melhor descrição do conteúdo dos artigos, apresentamos a seguir uma discussão para cada categoria identificada, com base na Análise Temática (^{Braun & Clarke, 2006}), segundo os fatores analisados e os principais resultados obtidos pelos autores.

DISCUSSÃO

Na Classe 1, encontram-se sete artigos voltados a explicar o desempenho educacional de estudantes no Pisa a partir de variáveis contextuais. Desse total, apenas dois consideraram as três áreas avaliadas pelo programa: leitura, matemática e ciências (^{González Medina & Treviño Villarreal, 2020}; ^{Liu et al., 2022}) e um abordou leitura e matemática (^{Agirdag & Vanlaar, 2018}). Os demais se concentraram na investigação de uma área específica, sendo dois em matemática (^{Yildirim & Yildirim, 2019}; ^{Pivovarova & Powers, 2019}) e dois em ciências (^{Gamboa et al., 2013}; ^{Govorova et al., 2020}). Não houve análise individual da área de leitura.

Os artigos que discutem os resultados da avaliação de matemática no Pisa utilizaram dados da edição de 2012, na qual ela foi avaliada como área-foco (^{Yildirim & Yildirim, 2019}; ^{Pivovarova & Powers, 2019}). O mesmo padrão é observado para ciências, que foi foco da edição do Pisa 2015 (^{Gamboa et al., 2013}; ^{Govorova et al., 2020}). Por sua vez, os estudos que abordam as três áreas consideram a edição de 2018 do Pisa, cujo domínio principal foi a leitura (^{González Medina & Treviño Villarreal, 2020}; ^{Liu et al., 2022}).

Cada estudo analisa uma variável contextual distinta, com destaque para aspectos socioemocionais, como automotivação (^{Gamboa et al., 2013}) e bem-estar do estudante (^{Govorova et al., 2020}), além do apoio emocional dos pais/responsáveis e do clima de cooperação escolar (^{Liu et al., 2022}). Também são considerados fatores relacionados ao contexto social, como o nível socioeconômico (NSE) e a escolaridade dos pais (^{Pivovarova & Powers, 2019}), além de fatores linguísticos, como falar a mesma língua de instrução que os colegas (^{Agirdag & Vanlaar, 2018}).

Encontram-se também estudos associados ao processo de ensino-aprendizagem, como receber feedback do professor sobre o aprendizado em matemática (^{Yildirim & Yildirim, 2019}) e fatores relacionados à promoção, ao comportamento e à compreensão da leitura (^{González Medina & Treviño Villarreal, 2020}).

Na Classe 2, situam-se oito artigos que utilizam os microdados dos questionários contextuais do Pisa para analisar fatores ambientais, socioemocionais e políticos no contexto educacional (^{Verger et al., 2019}; ^{Tavşancil et al., 2017}; ^{Barbieri et al., 2019}; ^{Gimenez et al., 2021}; ^{Krüger, 2014}; ^{Wang, 2021}; ^{Hong et al., 2022}; ^{Zeybekoğlu & Koğar, 2022}). Inclusive, há uma discussão que alerta os leitores sobre os usos que podem ser feitos por meio de estudos como os da Classe 1 (^{Verger et al., 2019}). Enquanto os dados gerados pelas avaliações externas aplicadas em larga escala são uma ferramenta de análise formativa, ou seja, de apoio à melhoria educacional, também podem ser utilizados como mecanismo para desencadear competição entre as instituições e para controlar e sancionar os atores escolares (^{Verger et al., 2019}).

No contexto da prática docente, são discutidos o ensino orientado, a avaliação formativa e o apoio do professor como preditores significativos para uma relação eficaz entre docente e estudante (^{Tavşancil et al., 2017}). Além disso, um estudo revela que professores que aspiram a seguir carreira docente estão, em média, mais satisfeitos com sua profissão (^{Barbieri et al., 2019}).

No âmbito do contexto social, em um dos artigos dessa categoria, os autores combinaram informações sobre taxas de criminalidade e características socioeconômicas no nível do distrito com dados sobre vitimização física por colegas, clima escolar e características das relações aluno-professor obtidas pelo questionário contextual do Pisa. Os resultados indicaram que frequentar escolas situadas em bairros com maiores índices de homicídios e apreensões de cocaína aumenta a probabilidade de sofrer vitimização por agressões físicas entre colegas na escola (^{Gimenez et al., 2021}). Assim, os estudos destacam a importância de ações e políticas públicas que auxiliem na diminuição do impacto que esse fator possa causar na vida dos estudantes de menor NSE. Por exemplo, promover a integração social nas escolas e garantir a qualidade dos serviços públicos para reduzir a segregação (^{Krüger, 2014}).

No contexto socioemocional dessa categoria, foi analisada a ansiedade matemática dos alunos e os fatores que a influenciam. Para isso, os autores correlacionaram dados sobre saúde mental, obtidos por meio do questionário contextual dos alunos, com informações sobre o letramento matemático, que se referem à habilidade de compreender informações numéricas, espaciais e de forma. Os achados revelaram que a carga acadêmica excessiva de matemática não só reduz o tempo de sono e de atividade extracurricular dos estudantes, mas também pode afetar seriamente sua saúde física e mental (^{Wang, 2021}).

Em relação às atividades científicas anteriores dos estudantes, um artigo destaca a leitura de livros sobre ciências, o interesse em assistir, ler ou ouvir ficção científica, métodos de aprendizagem científica e consciência ambiental (^{Hong et al., 2022}). Outro estudo identifica o número de livros em casa como uma variável significativa (^{Zeybekoğlu & Koğar, 2022}).

Por último, na Classe 3, encontram-se sete artigos voltados à análise da qualidade psicométrica dos questionários contextuais do Pisa, aplicados aos estudantes (^{Chirkina & Khavenson, 2018}; ^{Demir, 2017}; ^{Formichella & Krüger, 2017}; ^{Bray & Kobakhidze, 2014}; ^{Hopfenbeck & Kjærnsl, 2016}; ^{Erylmaz et al., 2020}; ^{Wu & Lee, 2022}). ^{Chirkina e Khavenson (2018)} identificam seis conjuntos de perguntas relacionadas ao clima escolar presentes nos questionários dos alunos do Pisa 2012 e, a partir disso, conduzem uma análise psicométrica, utilizando métodos de análise fatorial confirmatória e teoria moderna de testes. Os autores identificam problemas na estrutura interna do questionário e sugerem passos para a melhoria da qualidade de medição do instrumento.

O artigo de ^{Demir (2017)} foi desenvolvido com o objetivo de testar hierarquicamente as invariâncias de medição das características afetivas em relação à matemática entre subgrupos de gênero de estudantes turcos, utilizando dados da edição de 2012 do programa. Como resultados, o autor observou uma forte invariância entre os subgrupos de gênero, indicando que a possibilidade de viés ou preconceito nas características afetivas dos alunos em relação à matemática não é alta.

Considerando, ainda, os dados do Pisa 2012, ^{Formichella e Krüger (2017)} estimaram um modelo de regressão multinível que analisa, simultaneamente, os determinantes de dois resultados alcançados pelos estudantes argentinos: um cognitivo (nota obtida no teste de matemática) e um não cognitivo (abertura para resolução de problemas). A análise das autoras sugere que o gênero é um determinante relevante para ambos os tipos de resultados, uma vez que as mulheres, em média, atingiram níveis mais baixos nas competências relacionadas à matemática. Além disso, o NSE dos estudantes e o da escola afetam mais os resultados cognitivos do que os não cognitivos.

^{Bray e Kobakhidze (2014)}, por meio de um estudo longitudinal e multicêntrico, analisam os itens sobre aulas extras e particulares, respondidos pelos estudantes. No que se refere à metodologia, identificaram impasses na adaptação e tradução dos itens do questionário contextual do Pisa, alertando que essas ambiguidades agravadas podem gerar sérios problemas na interpretação dos resultados.

Já ^{Hopfenbeck e Kjærnsl (2016)} examinam a correlação entre a motivação do teste e o desempenho dos estudantes no Pisa. Além de analisarem os dados dos questionários contextuais, as autoras entrevistaram 40 alunos de 8 escolas que participaram do estudo nas edições de 2006, 2009 e 2012 e combinaram essas informações. Observou-se que, apesar dos testes serem de baixo risco, ou seja, não terem impacto na nota dos estudantes ou no ingresso futuro na escola, em geral, eles foram motivados pelas escolas a dar o seu melhor na avaliação do programa.

^{Erylmaz et al. (2020)} consideraram a edição de 2015 do programa e dividiram os países participantes em três grupos (latino-americanos, europeus e asiáticos) para verificar como o questionário contextual mede o background socioeconômico dos respondentes. Como resultado, identificaram que o instrumento não se mostrou totalmente invariante na análise envolvendo todos os países e sinalizaram as possíveis implicações desses achados para os formuladores de políticas educacionais.

Por fim, o estudo de ^{Wu e Lee (2022)} examinou os preditores relevantes do bem-estar subjetivo dos estudantes por meio dos questionários contextuais do Pisa 2015. Nove variáveis foram selecionadas e submetidas a um procedimento estatístico de modelagem de árvore de decisão (DTM). Os resultados revelaram que o apoio dos pais e dos colegas foram os fatores mais significativos em todas as regiões do mundo consideradas, seguidos por ansiedade e gênero.

CONSIDERAÇÕES FINAIS

Neste artigo, apresentou-se uma revisão sistemática da literatura internacional sobre o uso dos questionários contextuais que compõem o Pisa em pesquisas educacionais. Esse instrumento possibilita a coleta de informações importantes que auxiliam na identificação dos fatores que contribuem para o desempenho acadêmico dos estudantes, bem como os obstáculos que podem prejudicar seu desenvolvimento. Além disso, esses questionários podem fornecer informações sobre as práticas educacionais, o ambiente escolar e os recursos disponíveis, o que pode subsidiar o desenvolvimento de políticas públicas educativas em diversos países.

Cabe destacar que, desde a primeira aplicação do Pisa, em 2000, o aumento no número de países participantes tem proporcionado uma maior visibilidade e compreensão dos desafios e oportunidades educacionais existentes em diferentes contextos. Além disso, o compartilhamento de informações e o uso comparativo dos resultados possibilitam a identificação de práticas educacionais que podem auxiliar na elaboração de projetos específicos, direcionados para as necessidades locais.

A cada nova edição do Pisa, é possível observar mudanças nos questionários contextuais, com o objetivo de garantir que a avaliação reflita os desafios e oportunidades educacionais mais relevantes e atuais. Apesar disso, nota-se uma predominância de análises realizadas a partir dos questionários dos estudantes, o que justifica a centralidade evidenciada pela nuvem de palavras e pela análise de similitude dos artigos mapeados em torno desse grupo. No entanto, também foram identificados estudos que levam em consideração o questionário aplicado aos professores e diretores escolares.

Verificou-se também uma associação entre a escolha da área utilizada para análises do desempenho dos estudantes no Pisa e a área-foco avaliada em determinada edição. O acréscimo de questões adicionais relacionadas à área-foco em cada edição do programa possibilita uma avaliação mais aprofundada das habilidades e conhecimentos específicos que estão sendo examinados, visto que os questionários se concentram na coleta de informações relacionadas à aprendizagem nesse domínio.

Foram selecionados 22 artigos, os quais foram classificados em três classes de acordo com a análise temática e a CHD, abordando: o desempenho educacional de estudantes no Pisa a partir de variáveis contextuais; os fatores ambientais, socioemocionais e políticos no contexto educacional; e a qualidade psicométrica dos questionários contextuais do Pisa aplicados aos estudantes.

Os artigos que analisam os dados do Pisa de países sul-americanos representaram uma minoria nesta revisão. Entre esses, somente a Argentina foi investigada de forma isolada, enquanto os demais países, quando incluídos, foram abordados por meio de estudos multicêntricos. Portanto, destacamos a necessidade de pesquisas que considerem os dados contextuais desses países como fontes de informação. Isso permitirá uma compreensão mais aprofundada dos fatores que são preditores significativos para o desempenho acadêmico dos estudantes neste continente. Essas informações podem então subsidiar discussões no âmbito educacional e de políticas públicas.

Apesar do alerta sobre os usos que podem ser feitos por meio de estudos que consideram o desempenho educacional dos estudantes no Pisa como um mecanismo de controle dos atores escolares (^{Verger et al., 2019}), notamos a ausência de discussões sobre as implicações da própria avaliação realizada pelo programa. Isso ressalta a importância de maiores investimentos nessa dimensão, incluindo a realização de análises que considerem os próprios itens responsáveis por coletar informações sobre as práticas de avaliação.

Ademais, todos os artigos mapeados levam em conta os questionários contextuais do Pisa aplicados aos estudantes para investigar os fatores que influenciam no desempenho escolar, deixando de lado os questionários aplicados diretamente à escola. Sinaliza-se, portanto, para estudos que também considerem os questionários da escola e dos professores, a fim de compreender quais práticas adotadas por esses grupos podem influenciar o desempenho acadêmico dos estudantes.

Como limitações deste artigo, destacamos o possível viés de publicação e seleção dos artigos. Embora tenhamos seguido o método Prisma para a realização e apresentação desta revisão sistemática, os critérios de inclusão e exclusão de artigos podem estar sujeitos a limitações decorrentes das fontes de pesquisa utilizadas, bem como da cobertura geográfica e temporal dos estudos incluídos. Além disso, é importante ressaltar que muitos estudos com resultados negativos ou não significativos podem não ser publicados, o que pode influenciar a representatividade dos resultados encontrados.

Por fim, esperamos que esta revisão tenha proporcionado uma visão abrangente e atualizada sobre o estado da arte das pesquisas relacionadas ao uso dos questionários contextuais que compõem o Pisa em pesquisas educacionais. Dessa forma, buscamos instigar pesquisadores e contribuir para a construção de uma nova agenda de pesquisa em educação, que possa promover o crescimento e aprimoramento da produção científica sobre o tema.