Estratégia de pesquisa

De acordo com ^{Galvão e Pereira (2014}), a RSL caracteriza-se como “um tipo de investigação focada em questão bem definida, que visa identificar, selecionar, avaliar e sintetizar as evidências relevantes disponíveis” (p. 183). Nesse sentido, a RSL é uma estratégia de pesquisa que elabora uma pergunta de investigação e utiliza métodos sistemáticos para identificar e selecionar os artigos, sintetizar e extrair os dados e redigir e publicar os resultados, permitindo ao investigador produzir novos conhecimentos (^{Briner & Denyer, 2012}; Galvão & Pereira, 2014).

Esta RSL foi realizada no período de setembro de 2020 a fevereiro de 2021, em duas etapas subsequentes. A primeira correspondeu à fase do planeamento do protocolo da RSL (Quadro 1), na qual foram definidos: o objetivo da RSL; a formulação da questão de investigação; as bases de dados a serem consultadas; as palavras-chave para a pesquisa; e os critérios de inclusão e exclusão para a análise da literatura.

Fonte: autoria própria.

Quadro 1 Protocolo da RSL. 

A segunda etapa consistiu na revisão de literatura com base no protocolo estabelecido. As produções científicas foram identificadas por meio da combinação das palavras-chave nas pesquisas nas bases de dados definidas. Foram selecionadas aquelas que se enquadravam nos critérios de seleção estipulados, mediante a leitura dos títulos e dos resumos. Nos casos em que a leitura do resumo não era suficiente para determinar a sua inclusão ou exclusão, o estudo foi lido na íntegra.

Análise de dados

As publicações foram analisadas por meio da leitura integral dos estudos que se enquadraram nos critérios de seleção estipulados. O protocolo de análise foi estruturado por meio de um um banco de dados no software Microsoft Excel, por meio de um formulário específico, e incluiu o detalhamento dos dados de identificação do estudo e dos autores, do objetivo, do tamanho da amostra, da metodologia, dos resultados, da discussão e da conclusão.

Posteriormente, foi realizada uma análise descritiva da distribuição da frequência das seguintes variáveis: tipo de instrumento de avaliação da literacia científica, delineamento dos estudos, local de origem dos estudos, contexto dos estudos e a forma de apresentação dos resultados sobre a literacia científica. As principais características dos estudos selecionados e dos instrumentos mais frequentes de avaliação da literacia científica foram organizadas em quadros.

Instrumentos de avaliação da literacia científica

Nos 43 estudos analisados, foram identificados 13 instrumentos de avaliação da literacia científica: o TBSL, o TOSLS, o SLA, o ScInqLiT e as suas respetivas versões adaptadas, o Scientific Literacy Test, o SLiM, o Media Scientific Literacy Instrument, o Scientificc Literacy Assessment Instrument, o Scientific Literacy Assessment, o SToLiC, o GSLQ e os instrumentos de ^{Santiago et al. (2020}) e de ^{Soobard e Rannikmäe (2011}), os quais não apresentam nomenclatura.

O TBSL e as suas versões foram utilizados em 18 estudos (41,9%), realizados na África do Sul, no Brasil e na Turquia. O TOSLS e suas versões foram aplicados nos Estados Unidos, no Brasil, na Indonésia, no Canadá, na Eslováquia e na Nigéria, conforme indicado em dez artigos (23,2%). O SLA, assim como suas versões, foi adotado em três estudos (7,1%), nos Estados Unidos e na Indonésia. O GSLQ também foi referido em três artigos (7,1%), tendo sido aplicado na Austrália, na China, na Coreia do Sul e na Indonésia. Já o ScInqLiT foi utilizado nos Estados Unidos e na Indonésia, de acordo com o descrito em dois artigos (4,6%). Os demais sete instrumentos são referidos num artigo cada (2,3%) na Indonésia, nos Estados Unidos, na Tailândia, em Taiwan, no Brasil e na Estónia.

Nota-se um predomínio de estudos realizados no Brasil, na Indonésia e nos Estados Unidos. Das 43 pesquisas, 18 (41,9%) foram realizadas no Brasil, com predominância da aplicação do TACB e do TACB-S; sete (16,3%) na Indonésia, dentre as quais utilizaram diferentes instrumentos de avaliação da literacia científica; e sete (16,3%) nos Estados Unidos, nas quais se destacaram o TOSLS e o SLA.

Observa-se, também, que o TBSL, o TOSLS, o SLA, o GSLQ e o ScInqLiT e as suas respetivas versões foram os instrumentos de avaliação da literacia científica mais adotados. Dentre esses, a versão do TSBL traduzida para o português - TACB - e o TOSLS foram os instrumentos utilizados com maior frequência: oito e sete estudos, respetivamente. As principais características dos cinco instrumentos de avaliação da literacia científica mais adotados pelos estudos selecionados estão apresentadas no Quadro 3.

Fonte: autoria própria.

Quadro 3 Síntese das principais características dos 5 instrumentos de avaliação da literacia científica mais frequentemente utilizados. 

Quadro 3 continuação 

Quadro 3 continuação 

Levando em consideração a natureza dos instrumentos, estes podem ser classificados de acordo com o objetivo da avaliação. O TBSL (^{Laugksch & Spargo, 1996a}) e as suas versões TACB (^{Nascimento-Schulze, 2006}), TACB-S (^{Vizzotto & Mackedanz, 2018}), TACB-R (^{Nascimento-Schulze et al., 2006}) e as adaptadas avaliam o nível de conhecimento em literacia científica dos inquiridos. O TOSLS (^{Gormally et al., 2012}), suas versões adaptadas, o ScInqLiT (^{Wenning, 2007}), o Scientific Literacy Assessment Instrument (^{Atta & Aras, 2020}), o Scientific Literacy Test (^{Jannah et al., 2020}), o Scientific Literacy Assessment (Koedsri & Ngudgratoke, 2018) e o instrumento de ^{Soobard e Rannikmäe (2011}) testam o domínio de diferentes habilidades de literacia científica dos indivíduos; o SLA (^{Fives et al., 2014}) e suas versões adaptadas avaliam tanto o nível de conhecimento em literacia científica em situações cotidianas, como as motivações e as crenças com ela relacionadas; o SToSLiC (^{Jufri et al., 2019}) avalia as habilidades de literacia científica e o grau de concordância do significado de frases que expressem os elementos da formação do caráter; o SLiM (^{Rundgren et al., 2010}) e o Media Scientific Literacy Instrument (^{Brossard & Shanahan, 2006}) avaliam o conhecimento em literacia científica dos indivíduos referentes à compreensão do vocabulário científico e técnico apresentado nos media; o GSLQ (^{Mun et al., 2013}) identifica a literacia científica nas dimensões dos de pensamento, do caráter e valores, da ciência como uma atividade humana e da metacognição e autogestão; e o instrumento de ^{Santiago et al. (2020}) avalia o grau de concordância dos inquiridos sobre a relação entre a ciência e o meio ambiente, a sociedade, a tecnologia e a visão de ciência escolar nos aspetos da literacia científica.

Desta forma, constata-se que sete instrumentos (53,8%) têm como objetivo avaliar diferentes habilidades de literacia científica, três instrumentos (23,1%) foram desenvolvidos para avaliar o nível de conhecimento referente à literacia científica dos alunos e três instrumentos (23,1%) são direcionados para a avaliação de valores, crenças, hábitos e motivações dos alunos relacionados com a literacia científica.

É válido ressaltar que os objetivos deste último grupo de instrumentos permitem avaliar o domínio afetivo, enquanto os outros avaliam o domínio cognitivo em relação à literacia científica. A avaliação desses fatores afetivos parecem estar associados com o proposto por ^{Fives et al. (2014}), os quais alegam que

para atingir o objetivo de uma sociedade cientificamente literata, os indivíduos precisam ser mais do que conhecedores do conteúdo científico, eles também devem valorizar aquele conteúdo e estar abertos a ele como uma fonte de informação para a tomada de decisões. (p. 576)

Já no que concerne à configuração das questões, foram identificados cinco formatos de itens, com predominância dos itens de seleção de escolha múltipla. O TBSL e as suas versões utilizam o formato verdadeiro-falso-não sei; o TOSLS, o ScInqLiT e as suas respetivas versões, o Scientific Literacy Assessment, o Scientific Literacy Test e o SLiM adotam o formato de escolha múltipla com quatro opções de resposta, sendo que a quarta opção de resposta do SLiM é “eu não sei”; o GSLQ emprega a escala de Likert; o SLA e o SToSLiC utilizam tanto itens de escolha múltipla como escalas de Likert; o Science Literacy Assessment Instrument adota itens discursivos; e o Media Scientific Literacy Instrument recorre ao formato de item de construção, de “preencha o espaço em branco”.

Características metodológicas e contextuais dos estudos selecionados

Todos os estudos analisados utilizaram inquéritos por questionário. Das 43 pesquisas, sete (16,3%) reportaram os dados dos estudos piloto, 11 (25,6%) publicaram o processo de validação de instrumentos de avaliação e 25 (58,1%) realizaram apenas a aplicação dos instrumentos.

Dentre as pesquisas que utilizaram os dados do estudo piloto, ^{Brossard e Shanahan (2006}), ^{Laugksch e Spargo (1996a}), ^{Rundgren et al. (2010}), ^{Soobard e Rannikmäe (2011}) e ^{Wenning (2007}) indicaram o processo de elaboração e de validação de instrumentos de avaliação da literacia científica, ^{Rachmatullah et al. (2016}) realizaram a tradução do SLA para o idioma local na Indonésia e ^{Vizzotto et al. (2020}) analisaram a validade do TACB-S para um público diferente daquele para o qual foi elaborado.

Daqueles que procederam ao processo de validação, os estudos de ^{Atta e Aras (2020}), ^{Fives et al. (2014}), ^{Gormally et al. (2012}), ^{Jannah et al. (2020}), ^{Jufri et al. (2019}), Koedsri e Ngudgratoke (2018), ^{McKeown (2017}) e ^{Mun et al. (2015}) publicaram o processo de desenvolvimento de novos instrumentos de avaliação da literacia científica, ^{Nascimento-Schulze (2006}) realizou a tradução do TBSL para o idioma português, originando o TACB e ^{Vizzotto e Mackedanz (2018}) e ^{Nascimento-Schulze et al. (2006)}reduziram e simplificaram o TACB, derivando o TACB-S e o TACB-R, respetivamente.

Por fim, dos estudos que realizaram apenas a aplicação de instrumentos já desenvolvidos e validados, ^{Camargo et al. (2011}), ^{Coppi e Sousa (2019a}, ^2019b), ^{Gresczysczyn et al. (2018}), ^{Lima e Garcia (2015}), ^{Lima e Garcia (2013)} e ^{Rivas et al. (2017}) utilizaram o TACB; ^{Čipková et al. (2020}), ^{Gomes e Almeida (2016}), ^{Shaffer et al. (2019}), ^{Souza (2019}), ^{Utami e Hariastuti (2019}) e ^{Waldo (2014}) aplicaram o TOSLS, ^{Vizzotto (2019}) e ^{Vizzotto e Del Pino (2020a}, ^2020b) empregaram o TACB-S, ^{Mun et al. (2013}) e ^{Pramuda et al. (2019}) adotaram o GSLQ, ^{Cartwright et al. (2020}), ^{Kola et al. (2020}) e ^{Santiago et al. (2020}) utilizaram versões adaptadas do TOSLS, ^{Laugksch e Spargo (1999}) aplicaram o TBSL, ^{Oliveira e Silva-Forsberg (2012}) utilizaram uma versão adaptada do TACB, ^{Özdem et al. (2010}) adotaram uma versão adaptada do TBSL e ^{Innatesari et al. (2019}) aplicaram o ScInqLiT.

No que diz respeito ao nível de ensino, 32 estudos (74,4%) avaliaram a literacia científica de alunos de apenas um nível e 11 (25,6%) avaliaram indivíduos de diferentes níveis e até mesmo de professores. Percebe-se que existe uma predominância de pesquisas realizadas com o intuito de avaliar o nível de literacia científica dos alunos dos Ensinos Secundário e Superior, seguida por aquelas que avaliam os alunos do 3.° Ciclo do Ensino Básico, conforme consta no Gráfico 1.

Fonte: autoria própria.

Gráfico 1 Quantidade de estudos por nível de ensino. 

Contudo, é necessário ressaltar que, dos 13 instrumentos de avaliação da literacia científica, cinco foram desenvolvidos para alunos do Ensino Secundário - Scientific Literacy Test, Science Literacy Assessment Instrument e os instrumentos de ^{Santiago et al. (2020}) e ^{Soobard e Rannikmäe (2011}) -, três para alunos do 3.° ciclo do Ensino Básico - SLA, SToSLiC e o Scientific Literacy Assessment, -, dois para alunos do Ensino Superior - TOSLS e Media Scientific Literacy Instrument. Os outros três instrumentos foram construídos para mais de um nível de ensino.

Nesse sentido, observa-se que alguns instrumentos foram aplicados a populações-alvo diferentes daquela para qual o instrumento foi desenvolvido. As versões do TBSL foram aquelas em que se verificou esse facto com maior frequência. Embora sejam instrumentos desenvolvidos para avaliar a literacia de alunos à saída do ensino secundário, o TACB, o TACB-S e versões adaptadas do TBSL e do TACB foram utilizados para avaliar alunos dos 2.° e 3.° ciclos do Ensino Básico e dos Ensinos Secundário, Técnico e Superior. No caso deste último nível, a maioria dos estudos teve por objetivo a comparação dos níveis de literacia científica entre os alunos do 1.° ano e os do último ano de cursos de biologia, química, física e de licenciaturas.

Observando o elevado número de aplicações do TACB no 3.° ciclo do Ensino Básico, ^{Vizzotto et al. (2020}) analisaram as características psicométricas deste instrumento, por meio da aplicação do TACB-S, a fim de verificar as suas validade e confiabilidade para esse nível de ensino. Os resultados revelaram valores baixos de confiabilidade, de índices de dificuldade e de discriminação. Nesse sentido, os autores concluíram que tanto o TACB quanto as versões reduzida e simplificada (TACB-R e TACB-S) não devem ser aplicados aos alunos do 3.° ciclo sem que haja um processo de adaptação e validação direcionados para o nível de ensino em questão (^{Vizzotto et al., 2020}).

Formas de apresentação e análise dos resultados sobre a literacia científica

Em todos os instrumentos analisados, a classificação e a comparação entre os indivíduos foram feitas de acordo com a distribuição de frequências, ou seja, com a quantidade e/ou percentagem de respostas aos itens. Dos 13 instrumentos, seis não informam sobre o processo de categorização dos alunos, a saber: TOSLS, SLA, SToSLiC, SLiM, GSLQ e Media Scientific Literacy Instrument.

Dentre aqueles que os categorizam, o TBSL, assim como as suas versões TACB e TACB-S, distingue os indivíduos em cientificamente literatos ou não cientificamente literatos. Para ser considerado cientificamente literato, o indivíduo deve obter um acerto mínimo de 13, 45 e 10 itens nos subtestes da natureza da ciência, do conteúdo da ciência e do impacto da ciência e da tecnologia na sociedade, respetivamente. No TACB-S, a quantidade mínima de acertos nos subtestes referidos deve ser de 6, 17 e 5, respetivamente.

O Scientific Literacy Test categoriza o nível de literacia científica dos inquiridos em “muito bom” (70 - 100% de acerto), “bom” (60 - 69% de acerto), “moderado” (50 - 59% de acerto), “inferior” (40 - 49% de acerto) e “baixo” (0 - 39% de acerto). Já o instrumento de ^{Soobard e Rannikmäe (2011}) categoriza-o em “nominal”, “funcional”, “conceitual/procedimental” e “multidimensional”, de acordo com o enquadramento proposto por Bybee (1997). O instrumento de ^{Santiago et al. (2020}) categoriza as respostas dos grupos de indivíduos de acordo com a concordância, em “concordam” e “discordam”.

O ScInqLiT e o Scientific Literacy Assessment, apesar de categorizarem os níveis de literacia científica dos indivíduos em “baixo” e “alto” e “domina” e “não domina”, respetivamente, não informam sobre os valores referentes a cada categoria. Assim como o Science Literacy Assessment Instrument, que, embora categorize as habilidades em literacia científica dos indivíduos em função do θ da Teoria de Resposta ao Item (TRI) - “0 < θ ≤ 1”, “-1 < θ ≤ 0”, “-2 < θ ≤ -1” e “-3 < θ ≤ -2” -, não deixa explícito o nível de cada categoria.

Todavia, a análise dos estudos revelou que, no caso de 4 dos 5 principais instrumentos de avaliação da literacia científica, alguns autores optaram por alterar a estratégia de análise do instrumento original, criando categorias e/ou modificando o processo de categorização e de apresentação dos resultados da avaliação da literacia científica dos inquiridos. ^{Gresczysczyn et al. (2018}), aplicando o TACB, avaliaram a literacia científica média dos grupos e não dos indivíduos, classificando como cientificamente literatos os grupos cuja média no três subtestes foi superior ao mínimo de acertos necessários. ^{Oliveira e Silva-Forsberg (2012}), utilizando uma versão adaptada do TACB, categorizaram o nível de literacia científica dos alunos em “muito bom” (acima de 80% de aproveitamento), “bom” (80% de aproveitamento), “satisfatório” (70% de aproveitamento), “regular” (60% de aproveitamento) e “abaixo” (resultados até 50% de aproveitamento), sendo classificados como cientificamente literatos aqueles que atingiram, no mínimo, o nível “regular”. ^{Özdem et al. (2010}) reportaram os resultados dos alunos no TBSL de acordo com a média de acertos no geral e em cada subteste. Já ^{Nascimento-Schulze et al. (2006}) analisaram os resultados dos percentis de desempenho no TACB-R no geral e por subteste, comparando-os com as representações sociais dos alunos sobre a ciência e a tecnologia.

Quanto ao TOSLS, ^{Gormally et al. (2012}), ^{Santiago et al. (2020}) e ^{Souza (2019}) reportaram as frequências de acertos por habilidade, ^{Shaffer et al. (2019}) apresentaram-nas por categorias de habilidades e ^{Cartwright et al. (2020}), ^{Čipková et al. (2020}), ^{Gomes e Almeida (2016}), ^{Kola et al. ( 2020}), ^{Utami e Hariastuti (2019}) e ^{Waldo (2014}) reportaram as frequências de acertos do instrumento como um todo.

No caso do SLA, o estudo de ^{Rachmatullah et al. (2016}) classificou os resultados do nível de literacia científica dos inquiridos em “muito baixo”, “baixo”, “médio”, “alto” e “muito alto”. No entanto, os autores não informaram a quantidade ou a percentagem de acertos para cada categoria. O mesmo foi observado no estudo de ^{Innatesari et al. (2019}), os quais categorizaram os resultados do nível de literacia científica dos alunos no ScInqLiT em “baixo”, “médio” e “alto” e, embora afirmem que essa classificação tenha sido baseada na média do National Examination of Natural Sciences (UN IPA), não apresentam os valores referentes a cada categoria.

Constata-se que, apesar de utilizarem a distribuição de frequências para classificar os inquiridos, os instrumentos de avaliação da literacia científica adotam diferentes formatos de itens e de métodos de categorização dos resultados. Esses fatores dificultam a comparação dos resultados entre os estudos que utilizaram diferentes instrumentos. Além disso, o facto de alguns estudos modificarem os processos de categorização dos instrumentos originais, e até mesmo criarem categorias, também dificulta a comparação das análises realizadas por pesquisas que adotaram o mesmo instrumento.

Resultados dos estudos: desempenho na avaliação da literacia científica

Dentre os 18 estudos que adotaram o TBSL e as suas versões - TACB, TACB-S, TACB-R e adaptadas -, ^{Camargo et al. (2011}), ^{Gresczysczyn et al. (2018}), ^{Laugksch e Spargo (1996a}), ^{Lima e Garcia (2015}), ^{Oliveira e Silva-Forsberg (2012}), ^{Rivas et al. (2017}), ^{Vizzotto e Del Pino (2020a}, ^2020b) e ^{Vizzotto e Mackedanz (2018)} revelaram que a maioria dos alunos avaliados é cientificamente literata. Já os estudos de ^{Coppi e Sousa (2019a}, ^2019b), ^{Laugksch e Spargo (1999)}, ^{Lima e Garcia (2013)}, ^{Nascimento-Schulze (2006}), ^{Vizzotto (2019)} e de ^{Vizzotto et al. (2020)} revelaram que a maioria dos alunos avaliados não atingiram o mínimo de acertos necessários para ser considerada cientificamente literata. A pesquisa de ^{Özdem et al. (2010}) apresentou índices moderados de literacia científica dos alunos investigados, enquanto a de ^{Nascimento-Schulze et al. (2006)} indicou que existe relação entre os desempenhos satisfatórios no TACB-R e o alto interesse por temas científicos, assim como as boas notas e a frequência escolar.

Das dez pesquisas que aplicaram o TOSLS e as suas versões adaptadas, médias de acertos superiores a 50% foram encontradas nos estudos de ^{Čipková et al. (2020}), ^{Shaffer et al. (2019}) e ^{Waldo (2014}) e médias abaixo deste valor foram assinaladas por ^{Gomes e Almeida (2016}), ^{Kola et al. (2020}), ^{Santiago et al. (2020}) e ^{Utami e Hariastuti (2019}). ^{Gormally et al. (2012}) observaram ganhos significativos nas habilidades de literacia científica no pós-teste. Em contrapartida, os resultados de ^{Cartwright et al. (2020}) não apresentaram diferenças estatísticas no número de acertos nos itens do TOSLS entre o pré-teste e o pós-teste, embora a média de acertos tenha sido acima dos 50% em ambas as situações. Já ^{Souza (2019}) informou que algumas habilidades foram bem desenvolvidas, enquanto outras precisam de ser melhoradas, porém, não indicaram quais.

Com relação aos três estudos que aplicaram o SLA e sua versão adaptada, os resultados de ^{Fives et al. (2014}) e ^{McKeown (2017}) revelaram médias de acertos maiores do que 50%, enquanto ^{Rachmatullah et al. (2016}) reportaram uma média abaixo desse valor.

Quanto ao GSLQ, ^{Pramuda et al. (2019}) revelaram que o grupo controle e o grupo experimental obtiveram médias de acertos de 3.84 e 3.87, respetivamente, ^{Mun et al. (2015}) indicaram que a média de acertos dos alunos foi de 3.46 e ^{Mun et al. (2013)} observaram uma média de 3.67. Nenhum dos estudos informou a categorização dos resultados. No caso do ScInqLiT, o estudo de ^{Wenning (2007}) apresentou médias superiores a 50% e o de ^{Innatesari et al. (2019}) abaixo dos 50%.

Nas sete pesquisas restantes, as quais aplicaram diferentes instrumentos de avaliação da literacia científica, os estudos de ^{Atta e Aras (2020}), ^{Brossard e Shanahan (2006}) e ^{Rundgren et al. (2010}) revelaram médias de acertos nos itens acima dos 50%, ao passo que os estudos de ^{Jannah et al. (2020} e ^{Jufri et al. (2019}) indicaram médias abaixo dos 50% e o de Koedsri e Ngudgratoke (2018) relatou que os alunos não dominam os três atributos de literacia científica avaliados. ^{Soobard e Rannikmäe (2011}) reportaram que 54% dos alunos possuem um nível funcional de literacia científica.

Nota-se que, em geral, a maioria dos estudos apresentou resultados positivos na avaliação da literacia científica dos inquiridos, ou seja, mais de metade dos alunos avaliados atingiram o mínimo de acertos no TBSL e suas versões para serem considerados cientificamente literatos ou obtiveram mais de 50% de acerto nos itens dos outros instrumentos. No que se refere ao nível de ensino, a maioria das pesquisas realizadas com alunos dos 2.° e 3.° ciclos do Ensino Básico e do Ensino Superior evidenciou resultados positivos, enquanto a maior parte daquelas que avaliaram os alunos dos Ensinos Secundário e Técnico apresentou resultados negativos quanto ao seu desempenho.

Contudo, esses resultados devem ser analisados cautelosamente. É necessário levar em consideração que, como já explicitado anteriormente, diversas pesquisas utilizaram os instrumentos em populações-alvo diferentes daquela para as quais os respetivos instrumentos foram desenvolvidos. Aliado a esse fator, acrescenta-se o facto de que muitas das pesquisas aplicaram os instrumentos de avaliação da literacia científica em outros países, realizando apenas a sua tradução para o idioma local e, em alguns casos, a redução do instrumento, sem levar em consideração as diferenças de contexto e de realidades entre os locais de aplicação, ou seja, sem validar o instrumento para aquela determinada população-alvo. Além disso, é válido ressaltar que a maioria dos alunos do Ensino Superior avaliados pertencia aos cursos de licenciatura de disciplinas científicas, como Biologia, Química, Física e Ciências Naturais, sendo uma possível explicação para os resultados positivos observados.

Resultados dos estudos: desempenho nas dimensões da literacia científica

Relativamente às dimensões da literacia científica avaliadas pelos instrumentos, apenas 28 estudos informaram quais foram os melhores e os piores aspectos analisados. Daqueles que aplicaram o TBSL e suas versões, todos revelaram que os melhores resultados foram identificados no subteste do conteúdo da ciência, enquanto os piores foram evidenciados no subteste da natureza da ciência por ^{Coppi e Sousa (2019b}), ^{Nascimento-Schulze et al. (2006}), ^{Özdem et al. (2010}), ^{Rivas et al. (2017}), ^{Vizzotto e Mackedanz (2018}) e no subteste do impacto da ciência e da tecnologia na sociedade por ^{Coppi e Sousa (2019a)}, ^{Lima e Garcia (2015}), Vizzotto (2019) e ^{Vizzotto e Del Pino (2020a)}. ^{Camargo et al. (2011}) constataram que alunos do 1.° ano e professores obtiveram piores resultados no subteste da natureza da ciência, enquanto para os alunos do último ano isso ocorreu em ambos os subtestes. Já ^{Vizzotto e Del Pino (2020b)} observaram que os alunos do 1.° ano demonstraram o número de acertos mais baixo no subteste do impacto da ciência e da tecnologia na sociedade e os do último ano, no subteste da natureza da ciência.

Dentre os estudos que utilizaram o TOSLS, não houve predominância positiva ou negativa de nenhuma das habilidades. No caso das melhores habilidades, as pesquisas de ^{Santiago et al. (2020}) e de ^{Čipková et al. (2020}) identificaram a habilidade de avaliar os usos e os usos indevidos das informações científicas; ^{Souza (2019}) constatou a habilidade de identificar um argumento científico válido; ^{Utami e Hariastuti (2019}) verificaram a habilidade de resolver problemas usando habilidades quantitativas, incluindo análises estatísticas básicas; ^{Waldo (2014}) identificou as habilidades da categoria 1, relacionadas com o reconhecimento e com a análise do uso de métodos de investigação que levam ao conhecimento científico; e ^{Gomes e Almeida (2016}) observaram as habilidades de identificar um argumento científico válido, de avaliar os usos e os usos indevidos das informações científicas, de compreender os elementos de um projeto de pesquisa e como estes impactam nas descobertas/conclusões científicas, de criar um gráfico apropriado a partir dos dados e de justificar as inferências, previsões e conclusões com base em dados quantitativos.

Já em relação às piores habilidades constatadas, ^{Čipková et al. (2020}) indicaram a habilidade de compreender os elementos de um projeto de pesquisa e como eles impactam nas descobertas/conclusões científicas; ^{Santiago et al. (2020}) observaram a habilidade de avaliar a validade das fontes; ^{Utami e Hariastuti (2019}) verificaram a habilidade de criar um gráfico apropriado a partir dos dados; ^{Souza (2019}) identificou a habilidade de ler e interpretar representações gráficas dos dados; ^{Gomes e Almeida (2016}) indicaram as habilidade de avaliar a validade das fontes, de ler e interpretar representações gráficas dos dados, de resolver problemas usando habilidades quantitativas, incluindo análises estatísticas básicas e de compreender e interpretar estatísticas básicas; e ^{Waldo (2014}) identificou as habilidades da categoria 2, referentes à organização, à análise e à interpretação quantitativa de dados e informações científicas.

O estudo de ^{Rachmatullah et al. (2016}) foi o único a realizar essa análise para o SLA. Os autores identificaram que, no SLA-D, o maior e o menor número de acertos foram nas dimensões da compreensão do papel da ciência e da matemática na ciência, respetivamente. Dos estudos que aplicaram o GSLQ, todos observaram os melhores resultados nas dimensões da ciência como uma atividade humana. Já os piores resultados foram encontrados na dimensão da metacognição e autogestão por ^{Mun et al. (2013}) e ^{Mun et al. (2015)}, enquanto ^{Pramuda et al. (2019}) detetaram-nos para a dimensão do caráter e valores. ^{Innatesari et al. (2019}), utilizando o ScInqLiT, indicaram que os alunos obtiveram maior sucesso nos itens referentes à habilidade de planear procedimentos experimentais e o menor na habilidade de identificação e controle das variáveis.

Quanto aos estudos que aplicaram os demais instrumentos, ^{Rundgren et al. (2010}) identificaram que os itens do SLiM relacionados com as disciplinas de física e de química foram aqueles que apresentaram as maiores e as menores quantidades de acertos, respetivamente; ^{Jufri et al. (2019}), adotando o SToLiC, e ^{Jannah et al. (2020}), aplicando o Scientific Literay Test, revelaram que as habilidades de interpretar dados e de avaliar evidências científicas foram as que obtiveram os melhores resultados, enquanto os piores resultados foram obtidos nas habilidades de avaliar e desenvolver pesquisas científicas; e ^{Soobard e Rannikmäe (2011}) reportaram apenas que os itens cujas habilidades exigem aplicar os conhecimentos científicos em atividades novas e do dia a dia foram os que obtiveram o menor índice de acertos.

Assim como os diferentes formatos de itens, os processos de categorização e o público-alvo dificultam a comparação entre os estudos. A diversidade de dimensões avaliadas por cada instrumento também compromete a análise de contraste entre os resultados das pesquisas. Contudo, uma análise mais ampla revela que não houve predomínio de nenhuma dimensão da literacia científica, tanto nos resultados positivos como nos negativos.

Vale ressaltar que, embora os objetos de análise desta revisão tenham sido os instrumentos de avaliação da literacia científica em geral, foi verificado um grande interesse no desenvolvimento e na validação de instrumentos de avaliação da literacia científica em temas específicos de determinadas disciplinas científicas. Tal constatação fica evidente pela quantidade de produções científicas excluídas por abordarem dimensões de literacia científica intrínsecos de determinadas áreas do conhecimento (n = 42), em especial, para as disciplinas de física e de química.

Esse facto demonstra a amplitude das dimensões da literacia científica e a inexistência de instrumentos suficientemente abrangentes para a avaliar em plenitude, levando alguns pesquisadores a desenvolverem instrumentos específicos para determinadas áreas. Além disso, esse cenário respalda a ideia de ^{DeBoer (2000}), na qual o autor defende que

a literacia científica deve ser conceitualizada de forma ampla o suficiente para que os distritos escolares locais e os professores individualmente busquem os objetivos mais adequados para as suas situações particulares, juntamente com o conteúdo e as metodologias mais apropriados para eles e para os seus alunos. (p.582)

Resultados dos estudos: diferenças significativas entre os indivíduos/grupos

No que concerne à comparação dos resultados da avaliação da literacia científica entre os diferentes grupos de indivíduos analisados, foram identificadas diferenças com significância estatística em diversos aspectos avaliados em 16 dos 43 estudos: etnicidade (^{Fives et al., 2014}; ^{Laugksch & Spargo, 1999}; ^{Mun et al., 2013}; ^{Shaffer et al., 2019}); nível de ensino (^{Laugksch & Spargo, 1999}; ^{McKeown, 2017}; ^{Mun et al., 2015}; ^{Rundgren et al., 2010}); ano/série (^{Özdem et al., 2010}); género (^{Laugksch & Spargo, 1999}; ^{Mun et al., 2013}, ²⁰¹⁵; ^{Shaffer et al., 2019}); número de disciplinas científicas cursadas (^{Čipková et al., 2020}; ^{Laugksch & Spargo, 1999}); tipo de instituição - pública/privada - (^{Gormally et al., 2012}; ^{Nascimento-Schulze, 2006}; ^{Vizzotto, 2019}); pré-teste/pós-teste (^{Cartwright et al., 2020}; ^{Gormally et al., 2012}); nível socioeconómico (^{Fives et al., 2014}); formação inicial/formação contínua (^{Gomes & Almeida, 2016}); número de reprovações (Vizzotto, 2019); trabalho e estudo concomitantes (^{Vizzotto, 2019}); estudos pós Ensino Secundário (^{Vizzotto, 2019}); continuidade nos estudos (^{Vizzotto, 2019}); estudantes do 1.° ano do Ensino superior/estudantes do último ano do Ensino Superior (^{Vizzotto & Del Pino, 2020b}).

A análise aponta para a persistência da relação entre fatores relacionados, principalmente, com a etnicidade, o nível de ensino e o género. Esse facto corrobora, ainda mais, o argumento de que muitos instrumentos foram aplicados em populações-alvo distintas daquelas para as quais foram elaborados e reforça a necessidade do processo de validação dos instrumentos para o contexto em que serão aplicados.