INTRODUÇÃO
A literacia científica tem sido objeto de estudo de inúmeras pesquisas que têm como objetivo a definição do seu conceito e a avaliação do nível de literacia científica de indivíduos dos diversos setores da sociedade. Ainda que muito investigado, continua a ser alvo de questões desafiantes e de lacunas a preencher.
A expressão literacia científica surgiu na década de 1950, logo após a Segunda Guerra Mundial e na génese da corrida espacial. Manifestando-se como um termo vago e impreciso, a literacia científica recebeu maior atenção a partir da década de 1980, período em que diversas pesquisas foram produzidas a fim de conceitualizá-la (DeBoer, 2000; Miller, 1983; Shamos, 1995).
Segundo Laugksch e Spargo (1996a), o estudo de Miller (1983) foi o precursor da maioria dessas pesquisas. Neste artigo, o autor apresentou três dimensões de literacia científica: a natureza da ciência, o conhecimento do conteúdo da ciência e o impacto da ciência e da tecnologia na sociedade. Miller (1983) também divulgou estratégias para avaliar essas três dimensões.
Desde então, diversos estudos vêm sendo realizados a fim de desenvolver instrumentos de avaliação da literacia científica. Laugksch e Spargo (1996b) apresentam os instrumentos mais reconhecidos até à data de publicação do seu artigo, a saber: o Test on Understanding Science (TOUS), o Nature of Scientific Knowledge Scale (NSKS), o Nature of Science Scale (NOSS) e o Views of Science-Technology-Society (VOSTS). Contudo, Laugksch e Spargo (1996b), Gormally, Brickman e Lutz (2012) e Fives, Huebner, Birnbaum e Nicolich (2014) alegam que estes instrumentos avaliam apenas aspetos individuais e restritos da literacia científica e que nenhum é capaz de avaliar todas as suas dimensões.
Dentro dessa perspetiva, este estudo exploratório teve por objetivo realizar uma revisão sistemática de literatura (RSL) sobre os instrumentos utilizados para a avaliação da literacia científica, de uma forma ampla, a partir da década de 1990. Pretende-se analisar as seguintes características dos instrumentos: objetivo, público-alvo, formato e quantidade de itens e o processo de categorização dos resultados. O estudo também tem por finalidade analisar os resultados das produções científicas quanto às características metodológicas e contextuais, às formas de apresentação e de análise dos resultados e os principais resultados referentes às dimensões da literacia científica avaliadas, ao desempenho dos alunos e à existência ou não de diferenças significativas entre os inquiridos.
METODOLOGIA
Estratégia de pesquisa
De acordo com Galvão e Pereira (2014), a RSL caracteriza-se como “um tipo de investigação focada em questão bem definida, que visa identificar, selecionar, avaliar e sintetizar as evidências relevantes disponíveis” (p. 183). Nesse sentido, a RSL é uma estratégia de pesquisa que elabora uma pergunta de investigação e utiliza métodos sistemáticos para identificar e selecionar os artigos, sintetizar e extrair os dados e redigir e publicar os resultados, permitindo ao investigador produzir novos conhecimentos (Briner & Denyer, 2012; Galvão & Pereira, 2014).
Esta RSL foi realizada no período de setembro de 2020 a fevereiro de 2021, em duas etapas subsequentes. A primeira correspondeu à fase do planeamento do protocolo da RSL (Quadro 1), na qual foram definidos: o objetivo da RSL; a formulação da questão de investigação; as bases de dados a serem consultadas; as palavras-chave para a pesquisa; e os critérios de inclusão e exclusão para a análise da literatura.
A segunda etapa consistiu na revisão de literatura com base no protocolo estabelecido. As produções científicas foram identificadas por meio da combinação das palavras-chave nas pesquisas nas bases de dados definidas. Foram selecionadas aquelas que se enquadravam nos critérios de seleção estipulados, mediante a leitura dos títulos e dos resumos. Nos casos em que a leitura do resumo não era suficiente para determinar a sua inclusão ou exclusão, o estudo foi lido na íntegra.
Análise de dados
As publicações foram analisadas por meio da leitura integral dos estudos que se enquadraram nos critérios de seleção estipulados. O protocolo de análise foi estruturado por meio de um um banco de dados no software Microsoft Excel, por meio de um formulário específico, e incluiu o detalhamento dos dados de identificação do estudo e dos autores, do objetivo, do tamanho da amostra, da metodologia, dos resultados, da discussão e da conclusão.
Posteriormente, foi realizada uma análise descritiva da distribuição da frequência das seguintes variáveis: tipo de instrumento de avaliação da literacia científica, delineamento dos estudos, local de origem dos estudos, contexto dos estudos e a forma de apresentação dos resultados sobre a literacia científica. As principais características dos estudos selecionados e dos instrumentos mais frequentes de avaliação da literacia científica foram organizadas em quadros.
RESULTADOS E DISCUSSÃO
Foram identificadas 189 produções científicas, publicadas nos idiomas português, inglês e espanhol. Dessas, 146 foram excluídas por não satisfazerem os critérios de inclusão, limitando a 43 o número de produções selecionadas para a análise, conforme a Tabela 1.
Produções | Inglês | Português | Espanhol | Total |
---|---|---|---|---|
Identificadas | 139 | 49 | 1 | 189 |
Excluídas | 114 | 32 | 0 | 146 |
Selecionadas | 25 | 17 | 1 | 43 |
Fonte: autoria própria.
Dos estudos selecionados, a publicação mais antiga é de 1996 e a mais recente de 2020. Embora todos abordem aspectos relativos à temática da avaliação da literacia científica, somente algumas produções científicas se referem à elaboração e à validação de novos instrumentos.
Nota. TBSL: Test of Basic Scientific Literacy; TACB: Teste de Alfabetização Científica Básica; TACB-S: Teste de Alfabetização Científica Básica Simplificado; TACB-R: Teste de Alfabetização Científica Básica Reduzido; ScInqLiT: Scientific Inquiry Literacy Test; SLiM: Scientific Literacy Measurement; TOSLS: Test of Scientific Literacy Skills; SLA: Scientific Literacy Assessment; GSLQ: Global Scientific Literacy Questionaire; ScInqLiT: Scientific Inquiry Literacy Test; SToSLiC: Test of Scientific Literacy Integrated Character.
Fonte: autoria própria.
Instrumentos de avaliação da literacia científica
Nos 43 estudos analisados, foram identificados 13 instrumentos de avaliação da literacia científica: o TBSL, o TOSLS, o SLA, o ScInqLiT e as suas respetivas versões adaptadas, o Scientific Literacy Test, o SLiM, o Media Scientific Literacy Instrument, o Scientificc Literacy Assessment Instrument, o Scientific Literacy Assessment, o SToLiC, o GSLQ e os instrumentos de Santiago et al. (2020) e de Soobard e Rannikmäe (2011), os quais não apresentam nomenclatura.
O TBSL e as suas versões foram utilizados em 18 estudos (41,9%), realizados na África do Sul, no Brasil e na Turquia. O TOSLS e suas versões foram aplicados nos Estados Unidos, no Brasil, na Indonésia, no Canadá, na Eslováquia e na Nigéria, conforme indicado em dez artigos (23,2%). O SLA, assim como suas versões, foi adotado em três estudos (7,1%), nos Estados Unidos e na Indonésia. O GSLQ também foi referido em três artigos (7,1%), tendo sido aplicado na Austrália, na China, na Coreia do Sul e na Indonésia. Já o ScInqLiT foi utilizado nos Estados Unidos e na Indonésia, de acordo com o descrito em dois artigos (4,6%). Os demais sete instrumentos são referidos num artigo cada (2,3%) na Indonésia, nos Estados Unidos, na Tailândia, em Taiwan, no Brasil e na Estónia.
Nota-se um predomínio de estudos realizados no Brasil, na Indonésia e nos Estados Unidos. Das 43 pesquisas, 18 (41,9%) foram realizadas no Brasil, com predominância da aplicação do TACB e do TACB-S; sete (16,3%) na Indonésia, dentre as quais utilizaram diferentes instrumentos de avaliação da literacia científica; e sete (16,3%) nos Estados Unidos, nas quais se destacaram o TOSLS e o SLA.
Observa-se, também, que o TBSL, o TOSLS, o SLA, o GSLQ e o ScInqLiT e as suas respetivas versões foram os instrumentos de avaliação da literacia científica mais adotados. Dentre esses, a versão do TSBL traduzida para o português - TACB - e o TOSLS foram os instrumentos utilizados com maior frequência: oito e sete estudos, respetivamente. As principais características dos cinco instrumentos de avaliação da literacia científica mais adotados pelos estudos selecionados estão apresentadas no Quadro 3.
Levando em consideração a natureza dos instrumentos, estes podem ser classificados de acordo com o objetivo da avaliação. O TBSL (Laugksch & Spargo, 1996a) e as suas versões TACB (Nascimento-Schulze, 2006), TACB-S (Vizzotto & Mackedanz, 2018), TACB-R (Nascimento-Schulze et al., 2006) e as adaptadas avaliam o nível de conhecimento em literacia científica dos inquiridos. O TOSLS (Gormally et al., 2012), suas versões adaptadas, o ScInqLiT (Wenning, 2007), o Scientific Literacy Assessment Instrument (Atta & Aras, 2020), o Scientific Literacy Test (Jannah et al., 2020), o Scientific Literacy Assessment (Koedsri & Ngudgratoke, 2018) e o instrumento de Soobard e Rannikmäe (2011) testam o domínio de diferentes habilidades de literacia científica dos indivíduos; o SLA (Fives et al., 2014) e suas versões adaptadas avaliam tanto o nível de conhecimento em literacia científica em situações cotidianas, como as motivações e as crenças com ela relacionadas; o SToSLiC (Jufri et al., 2019) avalia as habilidades de literacia científica e o grau de concordância do significado de frases que expressem os elementos da formação do caráter; o SLiM (Rundgren et al., 2010) e o Media Scientific Literacy Instrument (Brossard & Shanahan, 2006) avaliam o conhecimento em literacia científica dos indivíduos referentes à compreensão do vocabulário científico e técnico apresentado nos media; o GSLQ (Mun et al., 2013) identifica a literacia científica nas dimensões dos de pensamento, do caráter e valores, da ciência como uma atividade humana e da metacognição e autogestão; e o instrumento de Santiago et al. (2020) avalia o grau de concordância dos inquiridos sobre a relação entre a ciência e o meio ambiente, a sociedade, a tecnologia e a visão de ciência escolar nos aspetos da literacia científica.
Desta forma, constata-se que sete instrumentos (53,8%) têm como objetivo avaliar diferentes habilidades de literacia científica, três instrumentos (23,1%) foram desenvolvidos para avaliar o nível de conhecimento referente à literacia científica dos alunos e três instrumentos (23,1%) são direcionados para a avaliação de valores, crenças, hábitos e motivações dos alunos relacionados com a literacia científica.
É válido ressaltar que os objetivos deste último grupo de instrumentos permitem avaliar o domínio afetivo, enquanto os outros avaliam o domínio cognitivo em relação à literacia científica. A avaliação desses fatores afetivos parecem estar associados com o proposto por Fives et al. (2014), os quais alegam que
para atingir o objetivo de uma sociedade cientificamente literata, os indivíduos precisam ser mais do que conhecedores do conteúdo científico, eles também devem valorizar aquele conteúdo e estar abertos a ele como uma fonte de informação para a tomada de decisões. (p. 576)
Já no que concerne à configuração das questões, foram identificados cinco formatos de itens, com predominância dos itens de seleção de escolha múltipla. O TBSL e as suas versões utilizam o formato verdadeiro-falso-não sei; o TOSLS, o ScInqLiT e as suas respetivas versões, o Scientific Literacy Assessment, o Scientific Literacy Test e o SLiM adotam o formato de escolha múltipla com quatro opções de resposta, sendo que a quarta opção de resposta do SLiM é “eu não sei”; o GSLQ emprega a escala de Likert; o SLA e o SToSLiC utilizam tanto itens de escolha múltipla como escalas de Likert; o Science Literacy Assessment Instrument adota itens discursivos; e o Media Scientific Literacy Instrument recorre ao formato de item de construção, de “preencha o espaço em branco”.
Características metodológicas e contextuais dos estudos selecionados
Todos os estudos analisados utilizaram inquéritos por questionário. Das 43 pesquisas, sete (16,3%) reportaram os dados dos estudos piloto, 11 (25,6%) publicaram o processo de validação de instrumentos de avaliação e 25 (58,1%) realizaram apenas a aplicação dos instrumentos.
Dentre as pesquisas que utilizaram os dados do estudo piloto, Brossard e Shanahan (2006), Laugksch e Spargo (1996a), Rundgren et al. (2010), Soobard e Rannikmäe (2011) e Wenning (2007) indicaram o processo de elaboração e de validação de instrumentos de avaliação da literacia científica, Rachmatullah et al. (2016) realizaram a tradução do SLA para o idioma local na Indonésia e Vizzotto et al. (2020) analisaram a validade do TACB-S para um público diferente daquele para o qual foi elaborado.
Daqueles que procederam ao processo de validação, os estudos de Atta e Aras (2020), Fives et al. (2014), Gormally et al. (2012), Jannah et al. (2020), Jufri et al. (2019), Koedsri e Ngudgratoke (2018), McKeown (2017) e Mun et al. (2015) publicaram o processo de desenvolvimento de novos instrumentos de avaliação da literacia científica, Nascimento-Schulze (2006) realizou a tradução do TBSL para o idioma português, originando o TACB e Vizzotto e Mackedanz (2018) e Nascimento-Schulze et al. (2006)reduziram e simplificaram o TACB, derivando o TACB-S e o TACB-R, respetivamente.
Por fim, dos estudos que realizaram apenas a aplicação de instrumentos já desenvolvidos e validados, Camargo et al. (2011), Coppi e Sousa (2019a, 2019b), Gresczysczyn et al. (2018), Lima e Garcia (2015), Lima e Garcia (2013) e Rivas et al. (2017) utilizaram o TACB; Čipková et al. (2020), Gomes e Almeida (2016), Shaffer et al. (2019), Souza (2019), Utami e Hariastuti (2019) e Waldo (2014) aplicaram o TOSLS, Vizzotto (2019) e Vizzotto e Del Pino (2020a, 2020b) empregaram o TACB-S, Mun et al. (2013) e Pramuda et al. (2019) adotaram o GSLQ, Cartwright et al. (2020), Kola et al. (2020) e Santiago et al. (2020) utilizaram versões adaptadas do TOSLS, Laugksch e Spargo (1999) aplicaram o TBSL, Oliveira e Silva-Forsberg (2012) utilizaram uma versão adaptada do TACB, Özdem et al. (2010) adotaram uma versão adaptada do TBSL e Innatesari et al. (2019) aplicaram o ScInqLiT.
No que diz respeito ao nível de ensino, 32 estudos (74,4%) avaliaram a literacia científica de alunos de apenas um nível e 11 (25,6%) avaliaram indivíduos de diferentes níveis e até mesmo de professores. Percebe-se que existe uma predominância de pesquisas realizadas com o intuito de avaliar o nível de literacia científica dos alunos dos Ensinos Secundário e Superior, seguida por aquelas que avaliam os alunos do 3.° Ciclo do Ensino Básico, conforme consta no Gráfico 1.
Contudo, é necessário ressaltar que, dos 13 instrumentos de avaliação da literacia científica, cinco foram desenvolvidos para alunos do Ensino Secundário - Scientific Literacy Test, Science Literacy Assessment Instrument e os instrumentos de Santiago et al. (2020) e Soobard e Rannikmäe (2011) -, três para alunos do 3.° ciclo do Ensino Básico - SLA, SToSLiC e o Scientific Literacy Assessment, -, dois para alunos do Ensino Superior - TOSLS e Media Scientific Literacy Instrument. Os outros três instrumentos foram construídos para mais de um nível de ensino.
Nesse sentido, observa-se que alguns instrumentos foram aplicados a populações-alvo diferentes daquela para qual o instrumento foi desenvolvido. As versões do TBSL foram aquelas em que se verificou esse facto com maior frequência. Embora sejam instrumentos desenvolvidos para avaliar a literacia de alunos à saída do ensino secundário, o TACB, o TACB-S e versões adaptadas do TBSL e do TACB foram utilizados para avaliar alunos dos 2.° e 3.° ciclos do Ensino Básico e dos Ensinos Secundário, Técnico e Superior. No caso deste último nível, a maioria dos estudos teve por objetivo a comparação dos níveis de literacia científica entre os alunos do 1.° ano e os do último ano de cursos de biologia, química, física e de licenciaturas.
Observando o elevado número de aplicações do TACB no 3.° ciclo do Ensino Básico, Vizzotto et al. (2020) analisaram as características psicométricas deste instrumento, por meio da aplicação do TACB-S, a fim de verificar as suas validade e confiabilidade para esse nível de ensino. Os resultados revelaram valores baixos de confiabilidade, de índices de dificuldade e de discriminação. Nesse sentido, os autores concluíram que tanto o TACB quanto as versões reduzida e simplificada (TACB-R e TACB-S) não devem ser aplicados aos alunos do 3.° ciclo sem que haja um processo de adaptação e validação direcionados para o nível de ensino em questão (Vizzotto et al., 2020).
Formas de apresentação e análise dos resultados sobre a literacia científica
Em todos os instrumentos analisados, a classificação e a comparação entre os indivíduos foram feitas de acordo com a distribuição de frequências, ou seja, com a quantidade e/ou percentagem de respostas aos itens. Dos 13 instrumentos, seis não informam sobre o processo de categorização dos alunos, a saber: TOSLS, SLA, SToSLiC, SLiM, GSLQ e Media Scientific Literacy Instrument.
Dentre aqueles que os categorizam, o TBSL, assim como as suas versões TACB e TACB-S, distingue os indivíduos em cientificamente literatos ou não cientificamente literatos. Para ser considerado cientificamente literato, o indivíduo deve obter um acerto mínimo de 13, 45 e 10 itens nos subtestes da natureza da ciência, do conteúdo da ciência e do impacto da ciência e da tecnologia na sociedade, respetivamente. No TACB-S, a quantidade mínima de acertos nos subtestes referidos deve ser de 6, 17 e 5, respetivamente.
O Scientific Literacy Test categoriza o nível de literacia científica dos inquiridos em “muito bom” (70 - 100% de acerto), “bom” (60 - 69% de acerto), “moderado” (50 - 59% de acerto), “inferior” (40 - 49% de acerto) e “baixo” (0 - 39% de acerto). Já o instrumento de Soobard e Rannikmäe (2011) categoriza-o em “nominal”, “funcional”, “conceitual/procedimental” e “multidimensional”, de acordo com o enquadramento proposto por Bybee (1997). O instrumento de Santiago et al. (2020) categoriza as respostas dos grupos de indivíduos de acordo com a concordância, em “concordam” e “discordam”.
O ScInqLiT e o Scientific Literacy Assessment, apesar de categorizarem os níveis de literacia científica dos indivíduos em “baixo” e “alto” e “domina” e “não domina”, respetivamente, não informam sobre os valores referentes a cada categoria. Assim como o Science Literacy Assessment Instrument, que, embora categorize as habilidades em literacia científica dos indivíduos em função do θ da Teoria de Resposta ao Item (TRI) - “0 < θ ≤ 1”, “-1 < θ ≤ 0”, “-2 < θ ≤ -1” e “-3 < θ ≤ -2” -, não deixa explícito o nível de cada categoria.
Todavia, a análise dos estudos revelou que, no caso de 4 dos 5 principais instrumentos de avaliação da literacia científica, alguns autores optaram por alterar a estratégia de análise do instrumento original, criando categorias e/ou modificando o processo de categorização e de apresentação dos resultados da avaliação da literacia científica dos inquiridos. Gresczysczyn et al. (2018), aplicando o TACB, avaliaram a literacia científica média dos grupos e não dos indivíduos, classificando como cientificamente literatos os grupos cuja média no três subtestes foi superior ao mínimo de acertos necessários. Oliveira e Silva-Forsberg (2012), utilizando uma versão adaptada do TACB, categorizaram o nível de literacia científica dos alunos em “muito bom” (acima de 80% de aproveitamento), “bom” (80% de aproveitamento), “satisfatório” (70% de aproveitamento), “regular” (60% de aproveitamento) e “abaixo” (resultados até 50% de aproveitamento), sendo classificados como cientificamente literatos aqueles que atingiram, no mínimo, o nível “regular”. Özdem et al. (2010) reportaram os resultados dos alunos no TBSL de acordo com a média de acertos no geral e em cada subteste. Já Nascimento-Schulze et al. (2006) analisaram os resultados dos percentis de desempenho no TACB-R no geral e por subteste, comparando-os com as representações sociais dos alunos sobre a ciência e a tecnologia.
Quanto ao TOSLS, Gormally et al. (2012), Santiago et al. (2020) e Souza (2019) reportaram as frequências de acertos por habilidade, Shaffer et al. (2019) apresentaram-nas por categorias de habilidades e Cartwright et al. (2020), Čipková et al. (2020), Gomes e Almeida (2016), Kola et al. ( 2020), Utami e Hariastuti (2019) e Waldo (2014) reportaram as frequências de acertos do instrumento como um todo.
No caso do SLA, o estudo de Rachmatullah et al. (2016) classificou os resultados do nível de literacia científica dos inquiridos em “muito baixo”, “baixo”, “médio”, “alto” e “muito alto”. No entanto, os autores não informaram a quantidade ou a percentagem de acertos para cada categoria. O mesmo foi observado no estudo de Innatesari et al. (2019), os quais categorizaram os resultados do nível de literacia científica dos alunos no ScInqLiT em “baixo”, “médio” e “alto” e, embora afirmem que essa classificação tenha sido baseada na média do National Examination of Natural Sciences (UN IPA), não apresentam os valores referentes a cada categoria.
Constata-se que, apesar de utilizarem a distribuição de frequências para classificar os inquiridos, os instrumentos de avaliação da literacia científica adotam diferentes formatos de itens e de métodos de categorização dos resultados. Esses fatores dificultam a comparação dos resultados entre os estudos que utilizaram diferentes instrumentos. Além disso, o facto de alguns estudos modificarem os processos de categorização dos instrumentos originais, e até mesmo criarem categorias, também dificulta a comparação das análises realizadas por pesquisas que adotaram o mesmo instrumento.
Resultados dos estudos: desempenho na avaliação da literacia científica
Dentre os 18 estudos que adotaram o TBSL e as suas versões - TACB, TACB-S, TACB-R e adaptadas -, Camargo et al. (2011), Gresczysczyn et al. (2018), Laugksch e Spargo (1996a), Lima e Garcia (2015), Oliveira e Silva-Forsberg (2012), Rivas et al. (2017), Vizzotto e Del Pino (2020a, 2020b) e Vizzotto e Mackedanz (2018) revelaram que a maioria dos alunos avaliados é cientificamente literata. Já os estudos de Coppi e Sousa (2019a, 2019b), Laugksch e Spargo (1999), Lima e Garcia (2013), Nascimento-Schulze (2006), Vizzotto (2019) e de Vizzotto et al. (2020) revelaram que a maioria dos alunos avaliados não atingiram o mínimo de acertos necessários para ser considerada cientificamente literata. A pesquisa de Özdem et al. (2010) apresentou índices moderados de literacia científica dos alunos investigados, enquanto a de Nascimento-Schulze et al. (2006) indicou que existe relação entre os desempenhos satisfatórios no TACB-R e o alto interesse por temas científicos, assim como as boas notas e a frequência escolar.
Das dez pesquisas que aplicaram o TOSLS e as suas versões adaptadas, médias de acertos superiores a 50% foram encontradas nos estudos de Čipková et al. (2020), Shaffer et al. (2019) e Waldo (2014) e médias abaixo deste valor foram assinaladas por Gomes e Almeida (2016), Kola et al. (2020), Santiago et al. (2020) e Utami e Hariastuti (2019). Gormally et al. (2012) observaram ganhos significativos nas habilidades de literacia científica no pós-teste. Em contrapartida, os resultados de Cartwright et al. (2020) não apresentaram diferenças estatísticas no número de acertos nos itens do TOSLS entre o pré-teste e o pós-teste, embora a média de acertos tenha sido acima dos 50% em ambas as situações. Já Souza (2019) informou que algumas habilidades foram bem desenvolvidas, enquanto outras precisam de ser melhoradas, porém, não indicaram quais.
Com relação aos três estudos que aplicaram o SLA e sua versão adaptada, os resultados de Fives et al. (2014) e McKeown (2017) revelaram médias de acertos maiores do que 50%, enquanto Rachmatullah et al. (2016) reportaram uma média abaixo desse valor.
Quanto ao GSLQ, Pramuda et al. (2019) revelaram que o grupo controle e o grupo experimental obtiveram médias de acertos de 3.84 e 3.87, respetivamente, Mun et al. (2015) indicaram que a média de acertos dos alunos foi de 3.46 e Mun et al. (2013) observaram uma média de 3.67. Nenhum dos estudos informou a categorização dos resultados. No caso do ScInqLiT, o estudo de Wenning (2007) apresentou médias superiores a 50% e o de Innatesari et al. (2019) abaixo dos 50%.
Nas sete pesquisas restantes, as quais aplicaram diferentes instrumentos de avaliação da literacia científica, os estudos de Atta e Aras (2020), Brossard e Shanahan (2006) e Rundgren et al. (2010) revelaram médias de acertos nos itens acima dos 50%, ao passo que os estudos de Jannah et al. (2020 e Jufri et al. (2019) indicaram médias abaixo dos 50% e o de Koedsri e Ngudgratoke (2018) relatou que os alunos não dominam os três atributos de literacia científica avaliados. Soobard e Rannikmäe (2011) reportaram que 54% dos alunos possuem um nível funcional de literacia científica.
Nota-se que, em geral, a maioria dos estudos apresentou resultados positivos na avaliação da literacia científica dos inquiridos, ou seja, mais de metade dos alunos avaliados atingiram o mínimo de acertos no TBSL e suas versões para serem considerados cientificamente literatos ou obtiveram mais de 50% de acerto nos itens dos outros instrumentos. No que se refere ao nível de ensino, a maioria das pesquisas realizadas com alunos dos 2.° e 3.° ciclos do Ensino Básico e do Ensino Superior evidenciou resultados positivos, enquanto a maior parte daquelas que avaliaram os alunos dos Ensinos Secundário e Técnico apresentou resultados negativos quanto ao seu desempenho.
Contudo, esses resultados devem ser analisados cautelosamente. É necessário levar em consideração que, como já explicitado anteriormente, diversas pesquisas utilizaram os instrumentos em populações-alvo diferentes daquela para as quais os respetivos instrumentos foram desenvolvidos. Aliado a esse fator, acrescenta-se o facto de que muitas das pesquisas aplicaram os instrumentos de avaliação da literacia científica em outros países, realizando apenas a sua tradução para o idioma local e, em alguns casos, a redução do instrumento, sem levar em consideração as diferenças de contexto e de realidades entre os locais de aplicação, ou seja, sem validar o instrumento para aquela determinada população-alvo. Além disso, é válido ressaltar que a maioria dos alunos do Ensino Superior avaliados pertencia aos cursos de licenciatura de disciplinas científicas, como Biologia, Química, Física e Ciências Naturais, sendo uma possível explicação para os resultados positivos observados.
Resultados dos estudos: desempenho nas dimensões da literacia científica
Relativamente às dimensões da literacia científica avaliadas pelos instrumentos, apenas 28 estudos informaram quais foram os melhores e os piores aspectos analisados. Daqueles que aplicaram o TBSL e suas versões, todos revelaram que os melhores resultados foram identificados no subteste do conteúdo da ciência, enquanto os piores foram evidenciados no subteste da natureza da ciência por Coppi e Sousa (2019b), Nascimento-Schulze et al. (2006), Özdem et al. (2010), Rivas et al. (2017), Vizzotto e Mackedanz (2018) e no subteste do impacto da ciência e da tecnologia na sociedade por Coppi e Sousa (2019a), Lima e Garcia (2015), Vizzotto (2019) e Vizzotto e Del Pino (2020a). Camargo et al. (2011) constataram que alunos do 1.° ano e professores obtiveram piores resultados no subteste da natureza da ciência, enquanto para os alunos do último ano isso ocorreu em ambos os subtestes. Já Vizzotto e Del Pino (2020b) observaram que os alunos do 1.° ano demonstraram o número de acertos mais baixo no subteste do impacto da ciência e da tecnologia na sociedade e os do último ano, no subteste da natureza da ciência.
Dentre os estudos que utilizaram o TOSLS, não houve predominância positiva ou negativa de nenhuma das habilidades. No caso das melhores habilidades, as pesquisas de Santiago et al. (2020) e de Čipková et al. (2020) identificaram a habilidade de avaliar os usos e os usos indevidos das informações científicas; Souza (2019) constatou a habilidade de identificar um argumento científico válido; Utami e Hariastuti (2019) verificaram a habilidade de resolver problemas usando habilidades quantitativas, incluindo análises estatísticas básicas; Waldo (2014) identificou as habilidades da categoria 1, relacionadas com o reconhecimento e com a análise do uso de métodos de investigação que levam ao conhecimento científico; e Gomes e Almeida (2016) observaram as habilidades de identificar um argumento científico válido, de avaliar os usos e os usos indevidos das informações científicas, de compreender os elementos de um projeto de pesquisa e como estes impactam nas descobertas/conclusões científicas, de criar um gráfico apropriado a partir dos dados e de justificar as inferências, previsões e conclusões com base em dados quantitativos.
Já em relação às piores habilidades constatadas, Čipková et al. (2020) indicaram a habilidade de compreender os elementos de um projeto de pesquisa e como eles impactam nas descobertas/conclusões científicas; Santiago et al. (2020) observaram a habilidade de avaliar a validade das fontes; Utami e Hariastuti (2019) verificaram a habilidade de criar um gráfico apropriado a partir dos dados; Souza (2019) identificou a habilidade de ler e interpretar representações gráficas dos dados; Gomes e Almeida (2016) indicaram as habilidade de avaliar a validade das fontes, de ler e interpretar representações gráficas dos dados, de resolver problemas usando habilidades quantitativas, incluindo análises estatísticas básicas e de compreender e interpretar estatísticas básicas; e Waldo (2014) identificou as habilidades da categoria 2, referentes à organização, à análise e à interpretação quantitativa de dados e informações científicas.
O estudo de Rachmatullah et al. (2016) foi o único a realizar essa análise para o SLA. Os autores identificaram que, no SLA-D, o maior e o menor número de acertos foram nas dimensões da compreensão do papel da ciência e da matemática na ciência, respetivamente. Dos estudos que aplicaram o GSLQ, todos observaram os melhores resultados nas dimensões da ciência como uma atividade humana. Já os piores resultados foram encontrados na dimensão da metacognição e autogestão por Mun et al. (2013) e Mun et al. (2015), enquanto Pramuda et al. (2019) detetaram-nos para a dimensão do caráter e valores. Innatesari et al. (2019), utilizando o ScInqLiT, indicaram que os alunos obtiveram maior sucesso nos itens referentes à habilidade de planear procedimentos experimentais e o menor na habilidade de identificação e controle das variáveis.
Quanto aos estudos que aplicaram os demais instrumentos, Rundgren et al. (2010) identificaram que os itens do SLiM relacionados com as disciplinas de física e de química foram aqueles que apresentaram as maiores e as menores quantidades de acertos, respetivamente; Jufri et al. (2019), adotando o SToLiC, e Jannah et al. (2020), aplicando o Scientific Literay Test, revelaram que as habilidades de interpretar dados e de avaliar evidências científicas foram as que obtiveram os melhores resultados, enquanto os piores resultados foram obtidos nas habilidades de avaliar e desenvolver pesquisas científicas; e Soobard e Rannikmäe (2011) reportaram apenas que os itens cujas habilidades exigem aplicar os conhecimentos científicos em atividades novas e do dia a dia foram os que obtiveram o menor índice de acertos.
Assim como os diferentes formatos de itens, os processos de categorização e o público-alvo dificultam a comparação entre os estudos. A diversidade de dimensões avaliadas por cada instrumento também compromete a análise de contraste entre os resultados das pesquisas. Contudo, uma análise mais ampla revela que não houve predomínio de nenhuma dimensão da literacia científica, tanto nos resultados positivos como nos negativos.
Vale ressaltar que, embora os objetos de análise desta revisão tenham sido os instrumentos de avaliação da literacia científica em geral, foi verificado um grande interesse no desenvolvimento e na validação de instrumentos de avaliação da literacia científica em temas específicos de determinadas disciplinas científicas. Tal constatação fica evidente pela quantidade de produções científicas excluídas por abordarem dimensões de literacia científica intrínsecos de determinadas áreas do conhecimento (n = 42), em especial, para as disciplinas de física e de química.
Esse facto demonstra a amplitude das dimensões da literacia científica e a inexistência de instrumentos suficientemente abrangentes para a avaliar em plenitude, levando alguns pesquisadores a desenvolverem instrumentos específicos para determinadas áreas. Além disso, esse cenário respalda a ideia de DeBoer (2000), na qual o autor defende que
a literacia científica deve ser conceitualizada de forma ampla o suficiente para que os distritos escolares locais e os professores individualmente busquem os objetivos mais adequados para as suas situações particulares, juntamente com o conteúdo e as metodologias mais apropriados para eles e para os seus alunos. (p.582)
Resultados dos estudos: diferenças significativas entre os indivíduos/grupos
No que concerne à comparação dos resultados da avaliação da literacia científica entre os diferentes grupos de indivíduos analisados, foram identificadas diferenças com significância estatística em diversos aspectos avaliados em 16 dos 43 estudos: etnicidade (Fives et al., 2014; Laugksch & Spargo, 1999; Mun et al., 2013; Shaffer et al., 2019); nível de ensino (Laugksch & Spargo, 1999; McKeown, 2017; Mun et al., 2015; Rundgren et al., 2010); ano/série (Özdem et al., 2010); género (Laugksch & Spargo, 1999; Mun et al., 2013, 2015; Shaffer et al., 2019); número de disciplinas científicas cursadas (Čipková et al., 2020; Laugksch & Spargo, 1999); tipo de instituição - pública/privada - (Gormally et al., 2012; Nascimento-Schulze, 2006; Vizzotto, 2019); pré-teste/pós-teste (Cartwright et al., 2020; Gormally et al., 2012); nível socioeconómico (Fives et al., 2014); formação inicial/formação contínua (Gomes & Almeida, 2016); número de reprovações (Vizzotto, 2019); trabalho e estudo concomitantes (Vizzotto, 2019); estudos pós Ensino Secundário (Vizzotto, 2019); continuidade nos estudos (Vizzotto, 2019); estudantes do 1.° ano do Ensino superior/estudantes do último ano do Ensino Superior (Vizzotto & Del Pino, 2020b).
A análise aponta para a persistência da relação entre fatores relacionados, principalmente, com a etnicidade, o nível de ensino e o género. Esse facto corrobora, ainda mais, o argumento de que muitos instrumentos foram aplicados em populações-alvo distintas daquelas para as quais foram elaborados e reforça a necessidade do processo de validação dos instrumentos para o contexto em que serão aplicados.
CONSIDERAÇÕES FINAIS
Os resultados da RSL permitiram identificar a existência de 13 instrumentos de avaliação da literacia científica, utilizados por 43 estudos em 14 países, com predominância do Brasil, da Indonésia e dos Estados Unidos. A maioria dos pesquisadores tem utilizado os instrumentos de avaliação da literacia científica já validados na literatura, dentre os quais, o TBSL e o TOSLS, assim como as suas respetivas versões, foram os mais adotados nas suas pesquisas.
Constatou-se que a maioria dos instrumentos tem por objetivo avaliar as diferentes habilidades de literacia científica. Ainda assim, foram identificados alguns instrumentos direcionados para a avaliação de características do domínio afetivo, como os valores, as crenças, os hábitos e as motivações relacionadas com a literacia científica, evidenciando a importância de tais atributos no desenvolvimento de um cidadão cientificamente literato.
A classificação dos inquiridos foi obtida por meio das frequências descritivas de resposta aos itens, não havendo uma padronização nos processos de categorização dos resultados.
Observou-se que a maior parte dos instrumentos foram desenvolvidos para avaliar os alunos do Ensino Secundário e que há predominância de estudos que avaliam a literacia científica dos alunos dos Ensinos Secundário e Superior, sendo estes últimos os que apresentaram os melhores desempenhos em relação às dimensões de literacia científica analisadas. Contudo, foi evidenciado que é preciso usar de precaução na realização de tal análise, uma vez que os instrumentos foram aplicados em níveis de ensino e em contextos diferentes daqueles para os quais foram desenvolvidos.
A RSL realizada enriquece o campo de pesquisa a respeito da avaliação da literacia científica, preenchendo uma lacuna até então existente e produzindo resultados que se revelam úteis para os pesquisadores da área. Em síntese, embora o tema venha sendo objeto de um grande número de estudos, constatou-se a existência de uma quantidade muito reduzida de instrumentos que avaliam a literacia científica - principalmente voltados para os alunos do Ensino Básico -, dentre os quais há determinadas convergências, como a avaliação das habilidades de literacia científica e o público-alvo, e divergências, como o tipo de instrumento, o formato dos itens e a forma de pontuar e de classificar os indivíduos.
Os resultados evidenciaram pesquisas com ausência, total ou parcial, da apresentação e da identificação dos processos de validação dos instrumentos. Ademais, o estudo explicitou um número considerável de investigações que aplicaram instrumentos a públicos-alvo cujos contextos são diferentes daqueles para os quais foram desenvolvidos, sem que os instrumentos tenham sido adaptados e validados para as respetivas amostras. Acrescenta-se a esses, o facto de muitos autores terem alterado e/ou criado processos de categorização a partir dos instrumentos originais. Essas circunstâncias realçam a necessidade de grande cautela na utilização dos resultados destes estudos, assim como no uso destes instrumentos nas tomadas de decisão para as quais estes foram, ou serão, aplicados.
Sugere-se, portanto, que pesquisas futuras dentro desta temática desenvolvam e validem, de forma satisfatória, novos instrumentos de avaliação da literacia científica, abrangendo os diferentes níveis de ensino e estabelecendo critérios de classificação e de categorização claros e precisos, a fim de permitir a comparação dos resultados e contribuir para o progresso desta área de estudo.