Características fundamentais da Ciência Aberta

As políticas de Ciência Aberta são bastante complexas e não serão discutidas em todas as suas dimensões. Os principais aspectos incluem as ideias de Acesso Aberto (Open Access), Dados Abertos (Open data), Códigos Abertos (Open Source) e a Revisão por Pares Aberta (Open Peer Review), esse último talvez o mais crucial dos aspectos, como será mais bem discutido adiante. Uma ideia mais abrangente sobre a Ciência Aberta pode ser vista no trabalho de ^{Silva e Silveira (2019}), os quais se referem a esse paradigma como um ecossistema científico, caracterizado por diversas dimensões. Também reconhecendo essa complexidade, ^{Kathawalla et al. (2021}) se dedicaram a disponibilizar um guia sobre o tema, para que pesquisadores e seus estudantes possam se orientar em meio a essas várias dimensões. Há também alguns sites dedicados a informar sobre esses diferentes eixos da Ciência Aberta e que são úteis para fornecer uma perspectiva inicial sobre o tema, inclusive em forma de cursos (^{MOOC - Massive Open Online Course, 2019}). De uma forma geral, podemos pensar que a Ciência Aberta é uma denominação bastante abrangente e “que se refere a uma variedade de princípios e comportamentos relativos à transparência, credibilidade, reprodutibilidade e acessibilidade” (^{Kathawalla et al., 2021}, p. 2). As políticas de Ciência Aberta envolvem a aceitação de preprints, disponibilização de materiais suplementares da pesquisa, abertura do processo de arbitragem, acessibilidade ao trabalho final, em geral um artigo (ou outros tipos de produção acadêmica). Além disso, é defendido que dados analisados e publicados nos trabalhos devam também ser disponibilizados para que todos possam acessá-los, para reuso e novas análises. Em um recente editorial (^{Mendonça & Franco, 2021}), os editores do EPEC explicam alguns pontos-chave e princípios básicos dessa nova forma de pensar o compartilhamento da produção acadêmica, se alinhando à política que vem sendo adotada, também gradualmente, pelo programa SciELO (^{SciELO, 2018}). Em 2023, no editorial publicado no volume 25 da Ensaio, os editores detalham o processo de revisão aberta por pares adotada pelo periódico e explicitam os principais elementos de um trabalho do tipo artigo-parecer (^{Mendonça et al., 2023}). Além disto, enfatizam o trabalho de editoria de dados que começou a ser implementado na revista a partir do trabalho de ^{Melo e Amantes (2022b}).

Fica simples entender essa demanda pelo paradigma de Ciência Aberta se pensarmos algo aparentemente óbvio: a pesquisa acadêmica pode culminar fundamentalmente com a publicação de artigos científicos em periódicos, que é usualmente a forma mais almejada de disseminação do conhecimento, mas é evidente que nenhuma pesquisa se reduz somente a isso. Ela passa por diversas etapas, nas quais uma série de processos distintos se articulam para consolidar o artigo final, incluindo metodologias, coleta, processamento e análise de dados, criação de códigos de programação, instrumentação, logística envolvendo trabalhos de equipes e vários outros aspectos. Na área de Educação, na qual a Educação em Ciências está inserida, ^{van Dijk et al. (2021}) defendem que materiais digitais mais específicos dessa área sejam também incluídos no escopo dos Dados Abertos, o qual os autores consideram os dados coletados durante a pesquisa, excluindo os materiais relativos ao processo de intervenção e análise. Para esses processos específicos os autores propõem as subcategorias denominadas Análise Aberta (Open Analysis, referente à análise completa de dados, qualquer que seja sua natureza) e Materiais Abertos (Open Materials, instrumentos de coleta de dados, roteiros e outros, usados em intervenções). Chamaremos todos esses elementos das diversas etapas de pesquisa como elementos de articulação da pesquisa acadêmica. Com a Ciência Aberta, todos esses elementos de articulação devem estar plenamente disponíveis para a comunidade, não apenas o artigo que foi publicado a partir deles. A ideia de Dados Abertos na Educação será melhor discutida na seção 5.

Atualmente a publicação de artigos em periódicos se dá majoritariamente pela via digital, meio próprio para criar repositórios não apenas para os próprios artigos, mas também para outros tipos de arquivos contendo esses elementos de articulação. Evidentemente que nos últimos anos a capacidade de processar, armazenar e gerenciar dados aumentou de forma significativa. De forma articulada, a interconectividade entre instituições e entre pessoas também experimentou sofisticação e crescimento significativos nesse mesmo período. Não é, portanto, nada surpreendente que a pesquisa científica seja provocada a também se articular a esse mundo interconectado e a suas nuvens de dados digitalmente armazenados.

Isso é essencial para permitir plena reutilização, reprodução, facilitando com isso também o processo de auditoria, o que ajuda a inibir más condutas acadêmicas e corrigir eventuais erros não intencionais em artigos acadêmicos já publicados. Com o compartilhamento desses elementos de articulação, componentes essenciais de pesquisas acadêmicas, é possível promover intensa colaboração entre cientistas na avaliação permanente e reuso dos resultados de pesquisas científicas, o que é bem mais difícil se apenas o produto final - o artigo científico - é publicado. Principalmente se esse artigo não for de livre acesso a todos, o que ainda é prática comum.

Apenas como um exemplo de um dos aspectos importantes da Ciência Aberta, cito um caso de trabalho mal elaborado durante a pandemia de COVID-19 e que serviu de suporte para disseminar desinformação. Não discutirei a real intenção dos autores ao conceber um trabalho desses, mas ele foi em alguns momentos citado em redes sociais, não apenas no Brasil, como evidência de que lockdown não funciona, discurso mentiroso e bastante repetido durante a pandemia. O trabalho original (^{Savaris et al., 2021}), publicado em março de 2021 como manuscrito de pré-revisão aberto,¹contém erros primários de interpretação de regressão linear, além de apresentar problemas nos próprios dados (disponibilizados pelo periódico no momento da publicação do preprint). Foi apenas no final de 2021 que duas contestações aos resultados do artigo foram publicadas (^{Góes, 2021}; ^{Meyerowitz‐Katz et al., 2021}), o que levou o artigo a ser retratado. Essa retratação foi tardia, pois esse e outros artigos tiveram tempo de circular em diversos meios digitais que atacavam quaisquer políticas de contenção da pandemia. Se por um lado a publicação imediata causou problemas, a disponibilização dos dados e códigos-fonte utilizados pelos autores facilitou o processo de contestação dos resultados do artigo.

A questão da Revisão por Pares Aberta é uma das facetas mais interessantes e um dos maiores pilares da Ciência Aberta, o qual vem levantando muitos debates. No exemplo citado no parágrafo anterior, se pode perceber que durante a pandemia foi perigosa a publicação de artigos antes de qualquer revisão por pares, mas isso não necessariamente torna essa política ruim. Além disso, a Revisão Aberta por Pares pode ser um tema sensível, por revelar a identidade dos avaliadores e os conteúdos dos pareceres elaborados. Tudo isso torna esse processo de revisão aberta um tema complexo e que compreensivelmente leva a diferentes perspectivas - de fato, o significado de Revisão por Pares Aberta está longe de ser único na literatura. Isso, no entanto, não significa que não há possibilidade de algum consenso. Em uma revisão sistemática sobre esse tema, ^{Ross-Hellauer (2017}) parte de um corpus de 137 artigos (sem restrição de ano de publicação) dos quais 80 são efetivamente analisados após um processo de filtragem. Nesse trabalho o autor discute os problemas da revisão por pares tradicional e, por meio de um elaborado método de construção de uma taxonomia desenvolvida por ^{Nickerson et al. (2013}), foi possível obter um conjunto de sete características mais fundamentais sobre Revisão por Pares Aberta. Examinando a literatura em detalhe, o Ross-Hellauer (2017) encontra 22 configurações distintas dessas sete características, concluindo que efetivamente há 22 diferentes definições sobre esse tema na literatura. Ainda que essas diferentes configurações sejam relativas às mesmas sete características, esse número de definições distintas é elevado, indicando uma polissemia considerável. O autor faz uma discussão detalhada sobre cada uma das sete características e, ao final do artigo, propõe uma definição para cada uma delas (p. 16):

A Revisão por Pares Aberta é um termo abrangente para uma série de formas sobrepostas pelas quais os modelos de revisão por pares podem ser adaptados de acordo com os objetivos da Ciência Aberta, incluindo tornar as identidades de revisores e autores abertas, publicar relatórios de revisão e permitir maior participação no processo de revisão por pares. A lista completa de características é:

Dado o extenso trabalho de revisão que o autor do artigo desenvolveu, é razoável entender as definições acima como um possível consenso. É instrutivo também para o leitor acessar a página que hospeda esse artigo, ele próprio um exemplo bastante ilustrativo desse processo. Ao final estão publicadas todas as avaliações, a comunicação com o autor e as diferentes versões do trabalho, seja na versão em html ou pdf. No mesmo ano, ^{Ross-Hellauer et al. (2017}) conceberam e realizaram uma grande pesquisa on-line que foi realizada com autores, revisores, editores e representantes de editoras de periódicos de mais de 12 áreas de conhecimento, para sondar atitudes e a experiência com Revisão por Pares Aberta, levando em conta as sete características acima. Houve 3.062 respostas completas no questionário, contendo 17 questões, em grande parte caracterizada por variáveis (itens) ordinais. Por questão de espaço não serão discutidos os vários resultados dessa pesquisa, mas cabe ressaltar que 60,3 por cento dos respondentes afirmaram acreditar que a Revisão por Pares Aberta, como um conceito geral, deve ser a prática acadêmica dominante. Porém, há resistências em alguns de seus pontos, principalmente na característica 1 (identidades abertas - autores e revisores cientes da identidade uns dos outros).

Como há ainda inseguranças por parte dos principais atores envolvidos na produção intelectual acadêmica a respeito da tendência da Ciência Aberta se tornar cada vez mais disseminada, em especial a respeito da Revisão por Pares Aberta, ^{Ross-Hellauer e Görögh (2019}) concebem um terceiro trabalho, bem mais propositivo, que pode ser bastante interessante para editores e autores, pois essas recomendações são bem fundamentadas nos dois trabalhos anteriores (^{Ross-Hellauer, 2017}; ^{Ross-Hellauer et al., 2017}). São dez pontos principais que são elencados, discutidos em detalhe e que podem inspirar editores de periódicos a migrar para esse novo paradigma com mais segurança.

Questões que envolvem o componente mais técnico da Ciência Aberta trazem consigo dificuldades, mas que podem ser superadas ou contornadas articulando ações que podem ser pensadas caso a caso para sua implementação. Em geral esse tipo de mudança é realizado gradualmente, tal como vem sendo implementado na EPEC.

A seguir será abordada uma questão contextual importante de ser pontuada: possíveis desigualdades que podem se agravar no paradigma de Ciência Aberta.

A Ciência Aberta é para todos? O problema da desigualdade não pode ser negligenciado

Poucas pessoas discordam dos princípios fundamentais da Ciência Aberta, ancorados em aspectos como transparência, credibilidade, reprodutibilidade e acessibilidade. Porém, para além desses princípios algumas armadilhas podem estar ocultas se o olhar for apressado. Tomemos como exemplo a Public Library of Science (PLOS), que na homepage do seu próprio site se autodenomina como “uma editora de acesso aberto sem fins lucrativos que capacita pesquisadores a acelerar o progresso na ciência e na medicina, liderando uma transformação na comunicação de pesquisa” (^{PLOS, 2023a}). Há uma vasta seção dedicada apenas ao paradigma de Ciência Aberta no site da organização, no qual é possível consultar diversos dos aspectos envolvidos e tratados aqui (^{PLOS, 2023b}), mas uma questão importante deve ser destacada: os periódicos da PLOS são de acesso livre, mas para isso cobram taxas de publicação dos autores que têm seus artigos aceitos neles, o que não é prática incomum em outros periódicos.

Cabe então uma pergunta que data de apenas dois anos antes da fundação da PLOS e que é título do trabalho de ^{Butler (2003}): quem pagará pelo acesso aberto? No caso específico da PLOS, desde o início a ideia era que seus periódicos seriam voltados a publicar apenas pesquisas relevantes, o que implica que em torno de 90 por cento dos artigos submetidos são rejeitados, aumentando o custo editorial por artigo aceito. Como a ideia original é que o acesso seja livre apenas ao leitor final, esse custo usualmente é redirecionado para os próprios autores com as famosas taxas de processamento de artigos - TPA (do inglês article processing charges), o que não pode ser ignorado. Por mais promissora que a Ciência Aberta possa ser, isso pode acarretar em mais desigualdades na produção de conhecimento científico, ainda que esse custo não seja direcionado aos autores por alguns periódicos. A questão da desigualdade permanece ainda como possível ameaça mesmo nesse caso, pois os objetivos fundamentais do rol de políticas da Ciência Aberta, como já citado, são melhorar a transparência, equidade, proporcionar maior e mais ampla colaboração na produção de conhecimento, tornando também amplo o acesso a resultados de pesquisa, artigos, métodos e outros - sem cobrar acesso. Para alcançar esses objetivos é necessário que os artigos, dados e instrumentos de pesquisa sejam compartilhados livremente em repositórios de alta qualidade, disponibilizados a todos. Isso por si só já impõe alto custo institucional. Em outras palavras, instituições acadêmicas com mais recursos, não coincidentemente situadas em regiões mais ricas, poderão arcar melhor com esses custos do que instituições com menos recursos. Questões como essa são discutidas no trabalho de ^{Ross-Hellauer (2022}), que corretamente argumenta que negligenciar questões vinculadas a desigualdades estruturais fará com que vantagens daqueles que já são privilegiados aumentarão, especialmente porque eles têm mais influência sobre como a Ciência Aberta é implementada (p. 363). Esse tema foi objeto de uma carta aberta, endossada por diversos cientistas, instituições, academias e organizações acadêmicas de vários países (^{Cabrerizo, 2022}).

Dois trabalhos recentes citados por ^{Ross-Hellauer (2022}) devem ser considerados com bastante atenção. ^{Smith et al. (2022}) investigaram uma amostra de mais de 37.000 artigos do sistema de mirror journal da Elsevier (^{Elsevier, 2018}) que adotam o sistema de TPA. Nesse sistema, um periódico híbrido denominado parent e seu mirror no Acesso Aberto compartilham os mesmos conselhos editoriais e padrões de aceitação. A maioria dos artigos não era de Acesso Aberto e 45 por cento deles tinham seus autores principais originários nos Estados Unidos ou da China. Após corrigir o efeito dessa dominância e diferenças no tamanho da amostra, os autores concluíram que os artigos de Acesso Aberto publicados nas revistas parent e mirror possuíam autores principais com diversidade geográfica semelhante. O mais preocupante é que os autores constataram que a diversidade geográfica dos autores de artigos de Acesso Aberto é bem menor do que a encontrada nos artigos que não são de Acesso Aberto. Os artigos de Acesso Aberto têm como autores principalmente pessoas originárias de países de alta renda, não havendo artigos de autores de países de baixa renda no periódico mirror. Ou seja, as TPA’s funcionam como bloqueio para publicações acadêmicas com autores de países de mais baixa renda. O trabalho de ^{Simard et al. (2022}) obtém mais detalhes sobre esse aspecto envolvendo TPA’s, ao estudarem uma amostra (final) de 8.137.675 de publicações, coletadas da Web os Science. Os autores concluíram que autores da África subsaariana (países de baixa renda, ao sul do Saara) está publicando e citando artigos de acesso aberto em uma taxa mais alta do que o resto do mundo. Já o Oriente Médio e a Ásia (países em maioria de renda média) a proporção de publicações disponíveis em acesso aberto é menor, assim como o seu uso. Os autores associam isso ao fato de que autores oriundos de países de baixa renda são frequentemente dispensados das TPA’s, o que não ocorre por completo para autores oriundos de países de renda média. Porém, como há muitos periódicos de acesso aberto não indexados em bases como a Web of Science, os autores reconhecem que esses resultados devem ser interpretados com cuidado.

Um segundo trabalho refere-se ao perfil dos autores de artigos que vêm sendo publicados em periódicos de Acesso Aberto que adotam as TPA’s. ^{Olejniczak e Wilson (2020}) investigaram o número de artigos de Acesso Aberto com TPA’s de 182.320 autores com características demográficas e institucionais conhecidas, todos em universidades dos Estados Unidos com atividades de pesquisa, em 11 áreas do conhecimento. Os resultados impactam: a chance de um pesquisador ser autor de um artigo de Acesso Aberto com TPA é maior se o pesquisador (1) for do sexo masculino, (2) se trabalhar em instituições de maior prestígio, (3) se trabalhar em áreas associadas à Ciência, Tecnologia, Engenharia e Matemática (CTEM), (4) se dispõe de maior financiamento federal para pesquisa e (5) se a carreira estiver em estágio mais avançado.

Nas recomendações da UNESCO para a Ciência Aberta (^{UNESCO, 2022}) a questão da desigualdade é reconhecida como ameaça e em diversos pontos do documento são propostas ações para, ao menos, suavizar esse problema. No Brasil a SciELO foi criada no sentido de fornecer a infraestrutura necessária que, como já citado, é bastante cara para ser implementada, hospedada e mantida em cada instituição acadêmica. Essa iniciativa vem fornecendo acessibilidade e visibilidade da produção editorial de vários países em desenvolvimento, com repositórios específicos para dados e materiais correlatos (^{SciELO, 2023b}), livros (^{SciELO, 2023c}) e preprints (^{SciELO, 2023d}). Para uma visão geral sobre ações em favor da Ciência Aberta, em especial quanto ao Acesso Aberto, recomento consultar o trabalho de (^{Simard et al., 2022}).

Ainda que a Ciência Aberta seja um movimento elogiável e mereça ser defendido, é importante não negligenciar esses potenciais problemas. Veicular apenas visões românticas sobre ele pode levar a ampliar as desigualdades já existentes e isso deve ser evitado a todo custo. As possíveis relações desse paradigma com o desenvolvimento de pesquisas mais colaborativas serão abordadas nas próximas seções.

Uma breve discussão sobre a perspectiva sociocultural

Na perspectiva sociocultural, em especial na teoria de Vygotsky e Wertsch (Teoria da Ação Mediada), a linguagem verbal é a principal forma de mediação semiótica. Cabe aqui ressaltar que a perspectiva sociocultural é muitas vezes mal entendida, como se defendesse que o aprendizado é social ou a realidade é construída socialmente, dando a entender que há uma espécie de determinismo social que rege o desenvolvimento psicológico dos seres humanos, desconsiderando a dimensão individual, o indivíduo como atuante no mundo. Nada mais incorreto. Essa perspectiva supõe uma permanente tensão entre o individual e o social - ambos são fortemente articulados, mas indivíduo e contexto sociocultural não formam um mesmo ente. Por exemplo, o conceito vygotskyano de internalização é muito mais do que simplesmente construir uma representação interna ou mental de objetos externos ou uma simples tradução do plano interpsicológico para o intrapsicológico - internalização envolve realizar internamente (plano intrapsicológico) todo um conjunto de operações aprendidas inicialmente no contexto social (plano interpsicológico).

Aqui reside a importância das interações sociais em ambientes educacionais: a partir dessas interações, que são “localizadas” externamente, ocorre a internalização. Ela se baseia em uma complexa interação dialética com o plano social (externo) em que um indivíduo interage com os outros “por meio de processos dinâmicos que não acontecem apenas dentro de nosso cérebro, mas se estendem para além de nossa pele, ocorrendo por um mútuo e contínuo intercâmbio e entrelaçamento de processos internos e externos” (^{Mortimer et al., 2014}, p. 10). Isso deve envolver “um processo de externalização, comunicando e interagindo cada vez mais, e cada vez mais profundamente, com outras pessoas em nosso ambiente social” (p. 10). Em outras palavras, nessa perspectiva o individual está organicamente articulado com o social, que são considerados domínios qualitativamente diferentes em uma complexa interação cuja dinâmica atua e modifica o mundo externo ao longo do tempo, ao mesmo tempo que modifica a constituição psicológica do indivíduo. Portanto, o processo de internalização tem conotação individual e também social.

Assumindo que os significados são construídos nessa tensão entre individual e social e manifestados primordialmente por meio da linguagem em interações discursivas (^{Lemke, 1982}, ¹⁹⁹⁰), a análise de intervenções didáticas que tenham por objetivo investigar compreensão de conceitos científicos por parte de estudantes é feita com base em dados de natureza semiótica - enunciados dos alunos e professores produzidos nas suas interações discursivas, textos escritos e outros recursos semióticos. A análise desses enunciados é feita momento a momento (^{Gee & Green, 1998}; ^{Wickman & Östman, 2002}) por meio de métodos analíticos robustos (por exemplo, análise bakhtiniana, análise de discurso ou outros), prestando atenção especial nas estratégias discursivas que eles usam para compartilhar significados, compreender conceitos ou comunicar sua própria interpretação para os outros. Nessa perspectiva é necessário analisar interações discursivas em sala de aula, nos momentos em que a ação mediada ocorre, de forma contínua. Esses eventos discursivos se enquadram no domínio microgenético, que compreende processos (nesse caso microprocessos) que ocorrem em situações específicas e em períodos breves de tempo (^{Mortimer et al., 2014}, p. 68). Esse é um dos quatro domínios genéticos propostos por Vygotsky para o estudo de funções mentais superiores (^{Wertsch, 1985}, pp. 27-57).

Análises de interações discursivas produzidas nesses microprocessos costumam ser evidentemente trabalhosas, pois uma análise momento a momento em um único episódio de intervenção didática já poderia acarretar em uma grande quantidade de dados - e em geral são necessários múltiplos episódios. Uma das vantagens é que isso permite acompanhar a evolução da compreensão dos estudantes mediante suas interações mútuas e interações com professor, permitindo, por exemplo, identificar evolução de situações de aprendizado parcial até um aprendizado mais consistente, ajustando as atividades e tarefas elaboradas na intervenção didática para melhor dar conta das questões que vão surgindo. Outra vantagem é que esse tipo de análise pode ajudar a entender melhor esses microprocessos em um horizonte mais amplo, considerando suas possíveis articulações a aspectos tipicamente vinculados a outros domínios genéticos, como a história sociocultural e o domínio ontogenético. No primeiro é estudado como o conceito foco da pesquisa evoluiu ao longo da história em um determinado contexto sociocultural, no segundo o estudo é sobre a evolução desse mesmo conceito ao longo da história de cada sujeito de pesquisa (em geral estudantes), contexto que por questão de exequibilidade pode ser limitado apenas aos anos de escolarização, considerando contatos dos sujeitos de pesquisa com diferentes tipos de discursos (livros didáticos, professores, colegas e outros). Isso resultaria em uma investigação interessante, ainda que trabalhosa, seguindo a ideia proposta no trabalho de ^{Mortimer et al. (2014}, p. 68) para o estudo de perfis conceituais.

Uma investigação sobre compreensão de conceitos científicos pela análise detalhada de interações discursivas nesses microprocessos não é concebida (e nem factível) para grandes amostras, apenas em grupos limitados. É verdade que tais análises tendem a ser ricas pelo nível de detalhe que podem alcançar e por possibilitar entender como contextos mais amplos, que vão além do local e época da instrução, podem influir nos discursos a respeito dos conceitos científicos. Porém, dado o fato desse tipo de estudo se restringir a grupos pequenos ou médios, não podem ser generalizados, de forma que conclusões oriundas desse tipo de estudo devem ser entendidas como limitadas ao contexto em que a pesquisa se desenvolveu. Investigações que pretendem analisar compreensão de conceitos científicos em grandes amostras de alunos devem ser feitas por questionários especificamente elaborados para esse fim, o que trataremos na próxima seção.

Investigação de concepções sobre conceitos científicos por meio de questionários

A melhor forma para investigar a compreensão de conceitos envolvendo amostras grandes de estudantes é por meio da análise de questionários concebidos especificamente para esse fim. Isso foi muito cuidadosamente executado pelas autoras do trabalho ao qual esse artigo-parecer se refere. Uma questão essencial de ser tratada aqui é como devem ser concebidos e como podem ser analisados tais questionários. Questionários podem fornecer importantes pistas sobre como estudantes raciocinam a respeito de conceitos científicos, mas ao contrário da análise de microprocessos, citada na seção anterior, eles fornecem um panorama menos dinâmico sobre como os estudantes pensam (como uma fotografia, um estado dessa forma de pensar em um determinado momento e contexto). Isso não é uma desvantagem, pelo contrário, é uma opção válida se o que se deseja é uma pesquisa que provavelmente culminará em resultados menos detalhados sobre a forma de pensamento dos estudantes, mas que seja factível para um número grande de respondentes, com maior possibilidade de generalização. Questionários sobre conceitos científicos podem permitir também obter resultados que vão além do objetivo principal, que é entender a forma como estudantes pensam sobre esses conceitos. Há métodos consistentes e poderosos para analisar esses questionários, permitindo ainda investigar como uma determinada variável identitária ou contextual (gênero, etnia, grau de instrução, idade, experiências vivenciadas na escola ao longo da vida escolar, entre outras) pode estar associada à compreensão de um estudante em um determinado conceito científico - isso é bem mais difícil de ser estimado apenas pela análise de microprocessos.

Tais questionários não são novidade na literatura. Os já conhecidos inventários conceituais (tradução livre do inglês concept inventories) vêm sendo concebidos, aperfeiçoados e aplicados há muitos anos. Esse tipo de questionário consiste em geral em um grupo de questões de múltipla escolha, pensadas para sondar a compreensão do aluno a respeito de algum conceito científico específico. As perguntas que compõem esse tipo de questionário podem algumas vezes resultar de pesquisas qualitativas prévias com estudantes por meio de entrevistas (^{Halloun & Hestenes, 1985a}) ou análises de microprocessos (^{Perry & Elder, 1997}) que permitam mapear dificuldades ou má compreensão sobre esses conceitos (^{Smith & Tanner, 2010}) - essas dificuldades mapeadas previamente podem então ser inseridas nas opções de respostas do questionário.

Um dos primeiros inventários conceituais foi criado por ^{Hestenes et al. (1992)}, o chamado Force Concept Inventory (FCI), sendo fundamentado em trabalhos anteriores (^{Halloun & Hestenes, 1985a}, ^1985b). Porém, em época anterior, um teste semelhante já havia sido desenvolvido no Brasil (^{Silveira et al., 1986}). O FCI teve um impacto bastante significativo nos Estados Unidos, inspirando reformas em cursos de graduação em Física e inventários conceituais em outras áreas (^{Smith & Tanner, 2010}). Um dos problemas desse tipo de teste é entender o que ele está medindo. Usualmente as respostas dos estudantes a esse tipo de teste são computadas como variáveis dicotômicas, ou binárias, que indicam se o estudante acertou a questão (atribuindo valor 1) ou errou (atribuindo valor 0). Nesse caso, cada estudante ao responder às questões do teste gera um padrão de resposta, uma sequência de 0’s e 1’s. ^{Hestenes et al. (1992)} originalmente fizeram uma classificação das questões desse teste em seis dimensões, considerando o conceito central abordado em cada uma.

Usualmente esses testes são tratados estatisticamente por meio da Teoria Clássica de Testes (^{Crocker & Algina, 2008}). Testes desse tipo também podem ser analisados via Teoria de Variável Latente (^{Loehlin & Beaujean, 2017}), recomendada há tempos, quando pertinente, na pesquisa em Educação (^{Rindskopf, 1984}). Em uma simplificação para o caso particular de testes como o FCI, as variáveis observáveis seriam as respostas de cada estudante em cada item. A ideia básica é que existe uma estrutura subjacente nos dados de forma que é possível reduzir a dimensão de (número de variáveis observáveis, ou de itens do questionário) para um número de variáveis latentes, retendo a maior informação possível. Essas variáveis latentes não são medidas diretamente, mas são relacionadas às variáveis observáveis, sendo interpretadas por meio de constructos teóricos quando possível. Um exemplo de variável latente é nível socioeconômico, que é obtido normalmente por meio de testes que contenham itens relacionados a posse de bens, renda, nível de instrução e outros - que seriam as variáveis observáveis (ver ^{Cavalcanti et al., 2018}). Nesse caso, as variáveis observáveis são expressas em escalas ordinais, ou seja, são variáveis politômicas, diferentes, portanto, das dicotômicas. Por exemplo, se o respondente está fornecendo informações sobre o nível de instrução de seus pais, sendo que 1 corresponde a “até a 4ª série do ensino fundamental” e 5 a “pós-graduação”, evidentemente aqueles que respondem nível 5 possuem nível de instrução maior do que que os que respondem nível 1. Porém, dado que são categorias, não é possível saber numericamente qual a diferença entre esses níveis de instrução. Para entender bem as sutilezas sobre Teoria de Variável Latente, incluindo uma discussão aprofundada sobre diferenças entre variáveis observáveis e latentes, recomendo o livro de ^{Loehlin e Beaujean (2017)}e o trabalho de ^{Borsboom (2008}).

Quando as variáveis observáveis são de natureza contínua (números reais), a Análise Fatorial Clássica (AFC) exploratória pode ser usada para investigar a estrutura dos dados em busca de possíveis variáveis latentes (^{Loehlin & Beaujean, 2017}, p. 171). O objetivo é determinar (1) qual o número de fatores (dimensões) ou variáveis latentes que melhor descreve os dados e (2) interpretar o significado dessas variáveis latentes como dimensões, mediante teoria prévia. Uma primeira análise desse instrumento feita por meio de AFC foi apresentada no trabalho de ^{Huffman e Heller (1995}), considerando separadamente 145 alunos do ensino médio e 750 universitários a partir da qual concluíram que o FCI não apresentava estrutura fatorial clara, indicando que estudantes com altos escores nesse teste não necessariamente possuem compreensão coerente sobre o conceito de força. Uma nova AFC foi feita por ^{Scott et al. (2012}), tomando o cuidado de usar correlações tetracóricas entre os padrões de resposta aos diversos itens, considerado o mais adequado para AFC aplicada a questionários com itens dicotômicos, como o caso do FCI (^{Mislevy, 1986}). Os autores concluíram, a partir de uma amostra de 2150 estudantes universitários, que os dados das respostas do FCI podem ser modelados usando um modelo de fator único ou um modelo de cinco fatores interpretáveis, em ambos os casos explicando cerca de 40 por cento da variância dos dados. Porém, no caso de variáveis observáveis serem de natureza categórica (dicotômica ou politômica, ordinal ou não), uma Análise Fatorial de Informação Completa (AFIC) é mais adequada (^{Bock et al., 1988}; ^{Lubke & Muthén, 2004}) ao invés de uma Análise Fatorial Clássica (AFC). A AFIC pode ser entendida como uma versão não-linear da Análise Fatorial Clássica. Nela as probabilidades de respostas aos itens são determinadas por modelos da Teoria da Resposta ao Item (TRI), que são funções não lineares, em geral da família logística, ao contrário da AFC, na qual as variáveis observáveis são expressas por meio de relações lineares em termos das variáveis latentes. As autoras escolheram outro caminho possível para a análise desse questionário, o modelo de Rasch. Estudo relativamente recente de ^{Stewart et al. (2018}), com emprego da AFIC, mostra que a maioria dos itens do FCI de fato mede vários princípios físicos de uma só vez. Este trabalho mostra que o FCI possui provavelmente uma estrutura complexa, não sendo simples a interpretação das variáveis latentes obtidas.

Evolução dos inventários conceituais: os testes multicamada

Além dessas dificuldades na análise do questionário, testes conceituais tradicionais como o FCI podem apresentar falsos positivos e falsos negativos, termos criados originalmente por ^{Hestenes e Halloun (1995}, p. 504). O primeiro acontece quando o respondente marca a resposta certa em um item mesmo que compreenda mal o conceito científico, o segundo ocorre pela via contrária, ou seja, respondente marca a alternativa errada mesmo compreendendo bem esse conceito. Tais armadilhas prejudicam o mapeamento de concepções e podem afetar a análise desses questionários como um todo. Em resposta a esses possíveis problemas, esses inventários conceituais vêm sofrendo propostas de aperfeiçoamento há muitos anos. Uma delas consiste na elaboração de testes de duas camadas (tradução livre do inglês two-tiers), no qual a primeira camada consiste nos itens relativos ao conteúdo de múltipla escolha (inventário conceitual) e a segunda camada de cada item consiste em um conjunto de justificativas, também de múltipla escolha, para a resposta escolhida pelo estudante no item correspondente da primeira camada (^{Treagust, 1988}). Essa segunda camada é uma inovação importante, pois ao mesmo tempo que proporciona ao pesquisador um panorama mais detalhado sobre a forma do aluno raciocinar em cada item do questionário, também suaviza os problemas potencialmente graves oriundos dos falsos positivos e negativos.

Outra inovação importante tem sua gênese na necessidade de diferenciar entre concepção alternativa (ou equivocada) e uma carência de conhecimento sobre um determinado conhecimento científico, proposta por ^{Saleem et al. (1999}). Os autores afirmam que concepções alternativas, além de serem inconsistentes com o conceito científico correspondente, são também fortemente defendidas pelo estudante, que em geral, é convicto quanto a elas - essa é a visão clássica das concepções alternativas, alinhada mais à perspectiva de ^{Posner et al. (1982}) do que à perspectiva de ^{Vosniadou (2012}), por exemplo. Isso tende a não ocorrer quando o problema é apenas carência de conhecimento, o que a princípio pode ser sanado ou melhorado pela instrução escolar simples, ao contrário da concepção alternativa. Para lidar com essa diferenciação, os autores propõem adotar uma escala ordinal tipo Likert (^{Likert, 1932}), com seis níveis variando de 0 a 5, para o estudante classificar o grau de confiança ou certeza na sua resposta (0 sendo o mais baixo, 5 o mais alto). Essa escala foi denominada como Certainty of Response Index (CRI). Se um estudante indica um alto CRI para uma resposta de um dado item e seleciona a alternativa correta, isso é esperado. Porém, se a alternativa selecionada estiver errada, o alto CRI indica uma alta confiança no equívoco, podendo sinalizar uma concepção alternativa, permitindo, a princípio, diferenciar entre carência de conhecimento e concepção alternativa. Como resultado, um teste de três camadas (three-tiers) é obtido a partir de um teste de duas camadas acrescido por um nível adicional que indaga aos estudantes sobre o grau de certeza (CRI) a respeito das suas respostas nas duas primeiras camadas. Esse tipo de teste vem sendo usado em investigações mais detalhadas a respeito de concepções de estudantes (^{Eryılmaz, 2010}; ^{Peşman & Eryılmaz, 2010}; ^{Pramesti et al., 2021}).

Existem também os testes de quatro camadas (four-tiers), nos quais a primeira camada é o teste comum de múltipla escolha abordando o(s) conceito(s) a ser(em) investigado(s), a segunda solicita a confiança da resposta na primeira camada, a terceira pergunta o raciocínio para a resposta na primeira camada e, finalmente, a quarta solicita a confiança na resposta da terceira camada, referente ao raciocínio. Esse tipo de teste, portanto, diferencia as confianças nas respostas nos itens do teste conceitual da confiança nas respostas a respeito dos raciocínios correspondentes a cada um desses itens, o que melhora a precisão para identificar falsos positivos e negativos (^{Kaltakci-Gurel et al., 2017}). Acrescentando uma nova camada às quatro citadas, com múltiplas opções com o objetivo de determinar a origem das respostas dos alunos (se foi inspirada em livros, professores, Web ou outros), temos o teste de cinco camadas (^{Bayuni et al., 2018}; ^{Putra et al., 2020}). Essa nova camada pode ser útil para investigar possíveis causas das concepções alternativas dos estudantes.

A abordagem das autoras do artigo

É por meio de um questionário de três camadas que as autoras identificam as concepções dos estudantes sobre o conceito de densidade e as caracterizam em termos de elementos do perfil epistemológico. Para a análise pormenorizada da proficiência dos alunos e associação aos perfis, as autoras adotaram o modelo de Rasch. Esse modelo possui um parâmetro apenas, o chamado parâmetro de dificuldade do item, estimado a partir dos padrões de resposta dos respondentes. O modelo de Rasch é matematicamente muito semelhante ao modelo de um parâmetro da Teoria da Resposta ao Item (TRI), fixando o parâmetro de discriminação dos itens em 1 (de ^{Ayala, 2022}, capítulo 2). Porém, deve ser destacado que o modelo de Rasch é ajustado em uma filosofia bem distinta de um modelo de um parâmetro da TRI, apesar da semelhança matemática entre ambos. Para uma discussão detalhada e interessante sobre o modelo de Rasch e sua comparação com o modelo de um parâmetro da TRI, consulte as referências de ^{Ayala (2022)} e ^{Stemler e Naples (2021}). Diferentemente dos modelos da TRI, o modelo de Rasch tem por objetivo construir uma escala de proficiência invariante para todos os respondentes, ou seja, atribui o mesmo escore de proficiência para respondentes com o mesmo número de acertos, ainda que esses acertos sejam em itens diferentes (diferentes padrões de resposta), como na Teoria Clássica de Testes (TCC). No modelo de um parâmetro da TRI, diferentes padrões de resposta levam a diferentes escores de proficiência, pois o escore final depende do nível de dificuldade de cada item. Portanto, a TRI é baseada em uma filosofia bem distinta. Interessante é que na minha experiência de sete anos com a TRI, sempre usei modelos de pelo menos dois parâmetros, em alguns casos multidimensionais, mas nunca o modelo de Rasch. Aprendi muito com as autoras sobre o modelo de Rasch, depois de ter emitido o parecer ao artigo, pois eu estava entre as muitas pessoas que se referiam ao modelo de Rasch como caso particular do modelo de um parâmetro da TRI (^{Stemler & Naples, 2021}, p. 9) - faço questão de reconhecer isso publicamente.

Mesmo sendo matematicamente simples, o modelo de Rasch é bastante poderoso para estimar um escore contínuo para a proficiência de cada estudante no conceito investigado (traço latente). Esse escore é expresso na mesma escala do parâmetro de dificuldade dos itens, ou seja, posicionando os itens na escala de proficiência em termos do seu parâmetro de dificuldade e os estudantes em termos de seu escore de proficiência nessa mesma escala, é possível comparar diretamente onde um indivíduo se encontra nessa escala com a localização de qualquer item do questionário (de ^{Ayala, 2022}, p. 13) - a probabilidade de acerto de um estudante em dado item (probabilidade de sucesso) pode ser estimada pela diferença entre o escore do estudante e o nível de dificuldade do item em questão. Com isso, é possível também comparar um indivíduo com os demais nessa mesma escala. As autoras do artigo acertadamente chamam a atenção para isso ao final do trabalho, na nota 5, como um ponto importante. Assim, conseguem fazer uma associação da proficiência dos alunos com elementos do perfil epistemológico, cujos diferentes níveis estão expressos nos itens.