INTRODUÇÃO

O pensamento computacional (PC) vem sendo estudado nos últimos anos sob diferentes perspectivas, e várias iniciativas têm surgido no intuito de implementar o PC em currículos escolares de diversos países. No entanto, a comunidade científica ainda não adotou uma definição formal congruente para o PC.

Nos últimos anos, o PC vem sendo apresentado como um conjunto de habilidades para solução de problemas que deve ser desenvolvido pelas novas gerações de estudantes (^{BOCCONI et al., 2016}), uma percepção já defendida na década de 1970 por ^{Papert (1971)}. Jeanette ^{Wing (2006)} afirmou que o PC envolve a solução de problemas, o design de sistemas e a compreensão do comportamento humano, baseando-se nos conceitos fundamentais da ciência da computação. Desde então, apesar de os especialistas concordarem a respeito da relevância do desenvolvimento do PC para a formação do indivíduo, sua definição ainda não é consenso entre os pesquisadores da área (^{KALELIOGLU; GÜLBAHAR; KUKUL, 2016}). A partir de todas essas discussões, neste artigo é adotada a definição de pensamento computacional como sendo uma extensão da capacidade humana de resolução de problemas, que se fundamenta nos conceitos e práticas relacionados à construção, ao uso e à avaliação de algoritmos, no reconhecimento de padrões, na decomposição de problemas e na abstração.

Com a popularização do termo “pensamento computacional”, as discussões sobre a maneira de introduzi-lo na educação básica se ampliaram. Segundo ^{Raabe, Zorzo e Blikstein (2020)}, diversas iniciativas de introdução ao PC têm sido realizadas nos últimos anos, envolvendo pesquisadores de escolas e universidades em diferentes níveis educacionais. Para implementar com êxito o ensino de PC nas escolas, no entanto, é imprescindível projetar instrumentos e métodos de avaliação adequados para diagnosticar e acompanhar o desempenho dos estudantes (^{KONG; ABELSON; LAI, 2019}). A validação de instrumentos de avaliação do PC é extremamente relevante e urgente porque, sem ferramentas de avaliação confiáveis e válidas, o PC pode perder seu potencial de ingressar nos currículos educacionais (^{ROMÁN-GONZÁLEZ; PÉREZ-GONZÁLEZ; JIMÉNEZ-FERNÁNDEZ, 2017}).

Nos Estados Unidos, a Computer Science Teachers Association (CSTA) e a International Society for Technology in Education (ISTE) trabalharam de forma colaborativa para desenvolver materiais que possam auxiliar professores no ensino do PC. Apresentaram, então, uma definição operacional do PC com os seguintes conceitos computacionais: coleta, análise e representação de dados; decomposição de problemas; abstração; algoritmos e procedimentos; automação; simulação e paralelismo (^{INTERNATIONAL SOCIETY FOR TECHNOLOGY IN EDUCATION - ISTE; COMPUTER SCIENCE TEACHERS ASSOCIATION - CSTA, 2011}). Os conceitos apresentados representam características que um indivíduo deve demonstrar no processo de resolução de problemas. ^{Brackmann (2017)} apresenta uma pesquisa em que aponta organizações que são referência em computação no mundo, e estas concordam com a definição de quatro conceitos fundamentais considerados pilares para o PC:

O mesmo autor afirma que o PC é assimilado no dia a dia das pessoas, ainda que sua presença nem sempre seja percebida. Nesse sentido, desenvolver os pilares do PC durante a educação básica pode auxiliar na atitude do indivíduo ao se deparar com um problema. Ainda de acordo com ^{Brackmann (2017)}, o PC é uma habilidade que qualquer pessoa deve ter, independentemente de sua área de conhecimento ou da atividade profissional.

Nas escolas básicas, a maioria das abordagens de desenvolvimento dos pilares do PC adota o ensino de programação, seja em disciplinas específicas do currículo escolar, seja por atividades extracurriculares, workshops ou minicursos. Para avaliar os pilares do PC desenvolvidos por essas abordagens, são utilizados instrumentos que realizam uma avaliação fechada por meio da análise estática de projetos desenvolvidos pelos estudantes, como o Dr. Scratch (^{MORENO-LEÓN; ROBLES; ROMÁN- -GONZÁLEZ, 2015}), Progression of Early Computational Thinking (PECT) (^{SEITER; FOREMAN, 2013}), CodeMaster (^{WANGENHEIM et al., 2018}) e Quizly (^{MAIORANA; GIORDANO; MORELLI, 2015}), entre outros. Esse tipo de avaliação apresenta algumas limitações. Para desenvolver seus projetos, os estudantes precisam de conhecimento prévio do ambiente ou da linguagem utilizada, com todas as particularidades técnicas. Além disso, esses instrumentos geralmente atuam no código-fonte dos projetos para avaliar o desempenho, normalmente somente depois de o estudante terminar o trabalho.

Outras iniciativas utilizam instrumentos na forma de questionários de múltipla escolha, como o Commutative Assessment Test (^{WEINTROP; WILENSKY, 2015}), o Test for Measuring Basic Programming Abilities (^{MÜHLING; RUF; HUBWIESER, 2015}), o Israel’s Nationwide Exam (^{ZUR-BARGURY; PÂRV; LANZBERG, 2013}) e o Bebras Tasks (^{DAGIENE; FUTSCHEK, 2008}). Esse tipo de teste pontua somente as respostas dos estudantes a questões previamente definidas, sem avaliar o processo cognitivo necessário para a resolução de cada atividade.

Uma abordagem mais abrangente do que essas metodologias fechadas é a utilização de puzzles, um método de ensino baseado em projetos e problemas que desenvolve o pensamento crítico e o raciocínio lógico, independentemente de um domínio específico (FALKNER; SOORIAMURTHI; MICHALEWICZ, 2010; ^{MERRICK, 2010}; ^{MICHALEWICZ; MICHALEWICZ, 2008}). A pesquisa na literatura não apresentou instrumentos de avaliação do PC que utilizassem essa abordagem.

A abordagem de aprendizado baseada em puzzles (puzzle-based learning - PBL), segundo ^{Falkner, Sooriamurthi e Michalewicz (2010)}, tem o objetivo de incentivar os estudantes a pensar em como conceber e resolver problemas não estruturados (aqueles que não são encontrados ao final de um capítulo de livro). O objetivo é motivá-los e aumentar a consciência matemática e as habilidades de resolução de problemas, induzindo-os a discutir estratégias de solução. De acordo com os mesmos autores, essa abordagem deve satisfazer alguns critérios:

A abordagem por puzzles desenvolve habilidades de pensamento crítico e resolução de problemas, além de estabelecer uma conexão entre a capacidade de resolver puzzles e a capacidade de resolver problemas do mundo real. Muitos problemas do mundo real podem ser percebidos como puzzles em grande escala, pois, ao se deparar com um problema no trabalho ou no cotidiano, o indivíduo deve elaborar hipóteses e testar estratégias para resolvê-lo. Nessa perspectiva, ao analisar um questionário objetivo, os estudantes deveriam ter a possibilidade de testar respostas com base em hipóteses experimentadas, ao invés de ter apenas uma chance de acerto que pune uma tentativa sem sucesso.

Nesse contexto, torna-se relevante a proposição de um método eficiente de avaliação do PC baseado em puzzles. A validação de diferentes métodos de avaliação e medição implicam definir operacionalmente o PC como construto. Portanto, avanços na avaliação contribuem para a consolidação do PC como um conceito sólido, pertinente a ser estudado e desenvolvido. A validade refere-se ao fato de um instrumento medir exatamente o que se propõe a medir (^{ROBERTS; PRIEST; TRAYNOR, 2006}; ^{PASQUALI, 2017}). ^{Rodrigues (2006)} argumenta que deve haver um cuidado para que o teste inclua itens que cubram tão somente o conteúdo a ser avaliado e que revele os processos usados pelo educando para fazê-lo.

O presente artigo apresenta uma etapa de aprimoramento do Computational Thinking Puzzle Test - CT Puzzle Test (^{GONÇALVES, 2015}; ^{COUTO, 2018}). Os diferenciais desse instrumento com relação aos instrumentos já existentes residem na avaliação por meio de puzzles, que estimulam o raciocínio lógico e o pensamento crítico, e se caracterizam pela independência de domínio e conhecimento prévio. O CT Puzzle Test avalia o PC por meio da captura das interações do estudante com o instrumento (número de tentativas, quantidade de cliques, tempo de resolução, quantidade de dicas utilizadas, etc.). A partir dessas interações, é realizado o diagnóstico sobre o desenvolvimento do PC no estudante, considerando suas tentativas, erros e acertos até chegar a uma resposta correta. Este trabalho apresenta a constituição de um modelo para análise dos dados de aplicação do CT Puzzle Test a partir da comparação com os resultados do teste Computational Thinking Test - CTt - (^{ROMÁN-GONZÁLEZ, 2015}) em relação aos quatro pilares definidores do PC (Brackman, 2017). A pesquisa ora relatada investiga evidências da validade convergente entre o CT Puzzle Test e o CTt. As motivações em constatar essas evidências foram reafirmar a eficácia do CT Puzzle Test em avaliar o PC e demonstrar que os itens no formato de puzzles e a contemplação da experimentação e teste de hipóteses por meio da captura das interações do estudante com o instrumento constituem uma abordagem válida. Os resultados devem corroborar que o CT Puzzle Test converge com o CTt, que é um teste já em estado avançado de validação.

BACKGROUND - AVALIAÇÃO DO PENSAMENTO COMPUTACIONAL

Ainda não há consenso sobre quais processos de pensamento específicos fazem parte do PC. Muitos autores apontam processos, habilidades e características que o indivíduo deve ter, mas falta um delineamento para se afirmar em que ponto o PC é ciência da computação ou uma habilidade matemática e/ou lógica. Por esse motivo existe a dificuldade no desenvolvimento de um instrumento de avaliação que possa ser utilizado de forma abrangente para medir o desenvolvimento do PC de um indivíduo.

O ensino do PC na educação básica tem recebido atenção em vários países. Muitas das iniciativas existentes utilizam o ensino de programação como ferramenta de apoio ao desenvolvimento dos pilares do PC. Nesse contexto, normalmente são adotadas linguagens de programação baseadas em blocos visuais, como Scratch (https://scratch.mit.edu), Snap! (http://snap.berkeley.edu), App Inventor (http://appinventor.mit.edu/explore), entre outras. Existem, porém, poucas iniciativas para avaliar os pilares do PC no contexto da educação básica (^{WANGENHEIM et al., 2018}). Na maioria dos casos, a avaliação se dá por meio de tarefas de programação usando indicadores relacionados à verificação de assertividade e eficiência de código (^{SRIKANT; AGGARWAL, 2014}; ^{SMITH; CORDOVA, 2005}) e/ou estilo de programação (^{SMITH; CORDOVA, 2005}).

Alguns instrumentos de avaliação são adotados na forma de extensões das linguagens de programação, avaliando o código escrito pelo estudante. Alguns exemplos para a linguagem Scratch são o Dr. Scratch (^{MORENO-LEÓN; ROBLES; ROMÁN-GONZÁLEZ, 2015}) ou o Ninja Code Village (^{OTA; MORIMOTO; KATO, 2016}). Essas ferramentas adotam análise de código estático e avaliam tipo e número de blocos usados no programa, quantificando conceitos e práticas de PC, como abstração, lógica, fluxo de controle, etc. Outras ferramentas avaliam projetos de programação em outras linguagens baseadas em blocos, como o Snap! Autograder (^{BALL; GARCIA, 2016}) ou App Inventor Quizly (^{MAIORANA; GIORDANO; MORELLI, 2015}). O foco da maioria dessas abordagens está na avaliação de problemas fechados, com uma solução correta previamente conhecida. Esse tipo de avaliação apresenta algumas limitações, em primeiro lugar, porque as ferramentas geralmente funcionam no código-fonte, normalmente somente depois de o aluno finalizar a atividade. Esse foco no código-fonte também limita a avaliação, de forma que não cobre práticas essenciais do PC, como criatividade e colaboração, e em alguns casos não fornece suporte imediato para o estudante acompanhar seu desempenho durante a resolução das atividades (^{ROBLES et al., 2018}). Em segundo lugar, porque o estudante precisa de treinamento no ambiente de programação adotado, fundamentação técnica e familiaridade com a linguagem utilizada, conhecimentos prévios que são neces- sários para o acesso à avaliação do PC que influenciam no desempenho do estudante que realiza os testes.

^{Román-González, Moreno-León e Robles (2019)} fazem uma análise dos instrumentos de avaliação do PC conforme sua abordagem avaliativa, e os classifica em sete modalidades:

No Brasil, observam-se algumas iniciativas de inclusão do PC no currículo escolar. ^{Rodriguez, Reis e Isotani (2017)} apresentam o projeto “Computação e Criatividade: criando jogos digitais usando o Scratch”. O projeto levou estudantes de escolas públicas ao laboratório com o objetivo de estimular o raciocínio lógico para a resolução de problemas por meio da programação de jogos digitais utilizando a ferramenta Scratch. ^{Araujo, Primo e Pernas (2020)} adotaram a ferramenta Dr. Scratch para realizar uma avaliação automatizada de projetos em Scratch. A partir dos resultados dessa ferramenta, os autores desenvolveram o OntoScratch, uma representação de conhecimento baseada em ontologias. Esse método permite o acompanhamento da evolução do estudante, por meio da execução de análises temporais e da utilização de modelos de inferência.

^{França e Silva (2020)} identificaram critérios pragmáticos para evidenciar as habilidades de PC. Por meio de uma síntese qualitativa dos resultados da pesquisa, apontaram um conjunto de 16 critérios de avaliação para cada uma das dimensões do PC. ^{Raabe et al. (2017)} desenvolveram o CT Puzzle Test, um instrumento de diagnóstico do PC. O instrumento dos autores foca nos elementos constituintes do pensamento computacional, os quais são mensurados pelo desempenho do estudante em atividades de resolução de problemas, planejadas para que não sejam neces- sários conhecimentos prévios de conceitos computacionais.

O esforço brasileiro pelo desenvolvimento de uma metodologia confiável de avaliação do PC também é evidenciado em trabalhos multinacionais envolvendo pesquisadores brasileiros como ^{Brackmann et al. (2017)}. Os autores apontam melhoria significativa no desempenho de estudantes que vivenciaram atividades de pensamento computacional desplugado e utilizam o instrumento Computational Thinking Test como forma de avaliar comparativamente grupos de estudantes em uma abordagem quase-experimental. ^{Cordenonzi, Del Pino e Cardoso (2021)} utilizaram um modelo de referência de pensamento computacional e um método de avaliação. A partir desse método foi possível classificar os sujeitos em: (I) alfabetizados em código; ou (II) pensador computacional desplugado. A abordagem foi validada em uma turma de 20 estudantes brasileiros e uruguaios que participaram de um curso de 20 horas sobre o tema.

Vários pesquisadores têm conduzido revisões sistemáticas da literatura para investigar formas de avaliação do PC. O Quadro 1 sintetiza os instrumentos investigados em três pesquisas (^{COUTO, 2018}; ^{WANGENHEIM et al., 2018}; ROMÁN- -GONZÁLEZ; MORENO-LEÓN; ROBLES, 2019):

Cada instrumento aborda a avaliação do PC sob um aspecto diferente. ^{Brennan e Resnick (2012)} afirmaram que avaliar as competências computacionais apenas olhando para os programas criados pelos alunos poderia ser visivelmente insuficiente, por isso enfatizaram a necessidade de múltiplos meios de avaliação. ^{Grover (2015)} afirma que diferentes tipos de ferramentas complementares de avaliação devem ser sistematicamente combinados para alcançar uma compreensão total e abrangente do PC dos estudantes.

Nesse contexto, o CT Puzzle Test se destaca por combinar algumas das abordagens de avaliação indicadas por Román-González; Moreno-León e Robles (2019) - diagnóstico, formativo-iterativo, sumativo, mineração de dados - e por ser independente de linguagem/ferramenta. O Quadro 2 apresenta como cada abordagem se caracteriza no teste.

Além dessas características, o instrumento adota o estilo de pergunta em formato de puzzle ao invés da escolha entre múltiplas respostas apresentadas em questionários tradicionais.

Para estimar a validade do instrumento, ^{Gonçalves (2015)} conduziu as seguintes aplicações do teste: para a validade aparente e de conteúdo, o pesquisador utilizou amostras de especialistas do Grupo de Informática na Educação (GIE) da Universidade do Vale do Itajaí (Univali), composto por 22 integrantes, sendo: 11 deles doutores, mestres, doutorandos e mestrandos nas áreas da computação, educação, matemática e psicologia; e 11 estudantes do 1º e 2º ano do ensino médio do Colégio de Aplicação da Universidade e uma turma do 6º período do curso superior de ciência da computação da universidade. Para a validade concorrente, as amostras foram compostas por estudantes do 7º período do curso superior de ciência da computação, do 6º período do curso superior de engenharia da computação e do 1º período do curso superior de psicologia. Para a validade preditiva, 16 estudantes do 9º ano do ensino fundamental da rede municipal de ensino foram expostos ao instrumento. Para a estimativa de fidedignidade foi utilizado o método da consistência interna com o cálculo do coeficiente alpha Cronbach para todas as aplicações do teste. Os métodos de validade convergente e discriminante não foram abordados pelo fato de não haver outro instrumento à época para comparação de resultados. Os esforços de ^{Gonçalves (2015)} na investigação da validade e fidedignidade do CT Puzzle Test indicaram evidências fortes de validade do instrumento, no entanto, o próprio autor observa que, para fins estatísticos, a aplicação com mais indivíduos se faz necessária.

MATERIAIS E MÉTODOS

Para verificar a validade convergente do CT Puzzle Test, foi adotado como critério o CTt (^{ROMÁN-GONZÁLEZ, 2015}). Essa etapa não havia sido executada à época do primeiro processo de validação do CT Puzzle Test, por falta de outro instrumento semelhante para ser utilizado como critério, conforme apontou ^{Gonçalves (2015)}. A escolha do CTt para essa nova etapa de validação se deu por duas razões principais. A primeira é que o CTt foi o teste com mais características em comum com o CT Puzzle Test - é um instrumento que não depende de conhecimento prévio do sujeito, de linguagem de programação ou tecnologia, pode ser facilmente aplicado por ser um instrumento on-line e gera um escore que pode ser comparado com os resultados do CT Puzzle Test. A segunda razão é que o CTt já passou por testes para confirmar sua validade e fidedignidade (^{ROMÁN-GONZÁLEZ, 2015}; ^{ROMÁN-GONZÁLEZ; MORENO-LEÓN; ROBLES, 2017}).

Mecânicas do CT Puzzle Test

Em cada fase do teste, são capturadas variáveis de interação de uso. Na fase 1, por exemplo, são contadas quantas vezes um comando foi removido. A remoção de um comando nesse caso aponta que o aluno cometeu alguma falha e precisou cor- rigir. Isso tem influência na pontuação final. O Quadro 3 apresenta as fases do teste, com uma descrição de suas mecânicas e das interações avaliadas.

QUADRO 3 Fases do CT Puzzle Test 

Ilustração	Descrição da mecânica
	Fase 1: o indivíduo deve programar o personagem para que este se movimente pelos quadros de um tabuleiro partindo de um ponto inicial até um ponto final. Interações avaliadas: tempo despendido; quantidade de comandos utilizados; quantidade de utilizações da opção “remover um comando”; quantidade de utilizações da opção “remover todos os comandos”; e quantidade de execuções do programa.
	Fase 2: baseada na atividade de conectar pontos de forma a criar o formato das figuras geométricas solicitadas. Interações avaliadas: tempo despendido; quantidade de cliques nos pontos da tela; quantidade de utilizações da opção “limpar”; e quantidade de dicas utilizadas.
	Fase 3: o indivíduo deve arrastar as peças menores para dentro da figura maior, encaixando-as nos espaços disponíveis, até que as peças se esgotem. Interações avaliadas: tempo despendido; quantidade de cliques nas peças; quantidade de utilizações da opção “girar peça”; e quantidade de dicas utilizadas.
	Fase 4: baseada no quebra-cabeça Tangram. O estudante deve selecionar uma peça, rotacioná-la se julgar necessário e arrastá- -la para o lugar correto, repetindo esse processo até que a figura principal fique completa. Interações avaliadas: tempo despendido; quantidade de cliques nas peças, quantidade de utilizações da opção “girar peça”; e quantidade de dicas utilizadas.
	Fase 5: é necessário identificar qual das opções fornecidas corresponde à próxima figura da sequência apresentada, de acordo com o padrão observado nas figuras que já compõem a sequência. Interações avaliadas: tempo despendido; quantidade de tentativas; e quantidade de dicas utilizadas.
	Fase 6: o indivíduo deve encontrar a relação entre os objetos espalhados pela tela e organizá-los em linhas e colunas de uma tabela considerando suas características (cor e classe). Interações avaliadas: tempo despendido; quantas vezes o estudante completou a tabela (quantidade de tentativas); quantidade de utilizações da opção “limpar”; e quantidade de dicas utilizadas.
	Fase 7: muito similar à primeira, porém é acrescido o comando loop. Ao arrastar-se este comando para o bloco PROGRAMA, o estudante pode indicar quantas vezes um comando direcional deve ser repetido automaticamente. Interações avaliadas: além dos itens já avaliados na fase 1, também são contabilizadas quantas vezes o comando loop foi inserido e a quantidade de comandos direcionais inseridos em cada loop.

Fonte: Elaboração dos autores.

Em todos os itens das fases está disponível a opção “pular”, para que o estudante avance para o próximo item sem completar o atual, anulando a pontuação do item pulado.

Computational Thinking Test

O CTt (^{ROMÁN-GONZÁLEZ, 2015}) é uma ferramenta de avaliação diagnóstica que consiste em um instrumento de múltipla escolha composto por 28 itens. Cada item aborda um ou mais dos seguintes conceitos computacionais, que aparecem em dificuldade crescente ao longo do teste: instruções e sequências básicas; loops (“repetir vezes”, “repetir até”, “repetir enquanto”); condicionais simples (“se”), condicionais compostas (“se/senão”) e funções simples.

Esses conceitos estão alinhados com os padrões de aprendizagem estabelecidos pela ^{CSTA (2011)} para o ensino da ciência da computação. Especificamente, em seu nível 2 (correspondente às séries 6 a 9 no sistema norte-americano), o padrão definido com relação aos conceitos e habilidades computacionais que devem ser dominados nessas idades se caracteriza pela implementação de soluções de problemas usando uma linguagem de programação, incluindo estruturas de repetição, estruturas condicionais, expressões lógicas, variáveis e funções (^{ISTE; CSTA, 2011}).

Em cada item, as respostas são representadas em um dos dois estilos: “setas visuais” ou “blocos visuais”. Para ser resolvido, cada item exige ao sujeito uma das seguintes tarefas cognitivas: sequenciar um algoritmo, concluir um algoritmo incompleto ou depurar um algoritmo incorreto. A Figura 1 apresenta um exemplo de item do tipo “setas” que aborda os conceitos de “repetir até” e “repetir vezes”.

Fonte: ^{Román-González (2015)}.

FIGURA 1 CTt, item #11: loops “repetir até + repetir vezes”; “setas visuais” 

Nesse item, o estudante precisa analisar no tabuleiro qual a sequência de passos que o personagem deve percorrer. Do lado direito, um aninhamento de comandos de repetição determina a automatização do movimento do personagem. Porém uma das instruções está incorreta, e o estudante deve ser capaz de identificar o erro.

A Figura 2 apresenta um item do tipo “blocos” que aborda os conceitos “repetir até” e condicionais compostas “se/senão”.

Fonte: ^{Román-González (2015)}.

FIGURA 2 CTt, item #18: loops “repetir até” + condicional “if/else”; “blocos visuais” 

Nesse item, novamente o estudante precisa interpretar o caminho que o personagem deve percorrer. Porém, nesse caso, as instruções são apresentadas em formato de bloco de comandos, e o movimento do personagem agora depende dos obstáculos no caminho, que devem ser evitados por meio das estruturas condicionais. Apenas um dos quatro algoritmos está correto, por isso o estudante deve depurar cada opção para identificar a correta.

A Figura 3 apresenta um exemplo de item do tipo “bloco” no qual é necessário concluir o algoritmo incompleto.

Fonte: ^{Román-González (2015)}.

FIGURA 3 CTt, item #26: loops “repetir vezes” + funções simples; “blocos visuais” 

Nesse item, é proposto um padrão de desenho que o algoritmo deve produzir, porém falta a informação da quantidade de repetições em uma das etapas do programa. O estudante deve ser capaz de identificar o valor correto da repetição para garantir a execução do desenho, levando em consideração que esse algoritmo está estruturado de forma modular pela implementação do conceito de “funções”.

O teste é aplicado por meio de um formulário on-line e o escore final é obtido pelo cálculo da porcentagem do número de acertos em relação ao total de questões.

O CTt apresentou evidências de validade para avaliar o PC em indivíduos entre 10 e 16 anos. Seu processo de validação foi relatado por ^{Román-González (2016)}, e algumas etapas desse processo foram descritas em publicações específicas, como a validação de conteúdo (^{ROMÁN-GONZÁLEZ, 2015}), a validação de critério (^{ROMÁN-GONZÁLEZ; MORENO-LEÓN; ROBLES, 2017}) e a validação preditiva (^{ROMÁN-GONZÁLEZ et al., 2018}).

ANÁLISE DOS RESULTADOS

Os resultados das aplicações do CT Puzzle Test foram analisados com base na metodologia pelo mapeamento dos quatro pilares do PC sugeridas por ^{Brackmann (2017)} e relatadas na subseção “Equiparação de Critérios de Avaliação”. As médias dos escores da amostra são apresentadas na Tabela 3.

O cálculo da média a partir dos resultados revela que os estudantes pontuaram escores altos, variando entre 0.67 e 0.72 com desvio-padrão baixo, evidenciando que não houve muita variação nos escores.

Os resultados das aplicações do CTt também utilizaram a metodologia pelo mapeamento dos quatro pilares do PC de Brackmann. A Tabela 4 apresenta os valores das médias do escores da amostra de estudantes que foram submetidos ao CTt.

As médias dos estudantes se situam entre 0.61 e 0.66, com desvio-padrão pequeno, mostrando pouca variação nas notas.

Para investigar evidências de validade convergente entre os testes, foi analisada a distribuição dos escores dos 86 estudantes que participaram de ambos os testes. A Figura 4 apresenta essa distribuição conforme cada pilar do PC.

Fonte: Elaboração dos autores.

FIGURA 4 Distribuição dos escores dos estudantes em cada teste conforme o pilar do PC 

Nos gráficos da Figura 4, o eixo X representa os estudantes de maneira individual, e o eixo Y representa o escore que obtiveram no CT Puzzle Test (preto) e no CTt (vermelho). De acordo com a regra de Thumb, as correlações podem ser consideradas como moderadas positivas, pois os valores se posicionam entre 0.5 e 0.7 (^{HINKLE; WIERSMA; JURS, 2003}).

As médias da amostra de estudantes que realizaram os dois testes também foram calculadas. Conforme ilustra a Figura 5, é possível perceber que as médias são iguais na categoria “algoritmo”, e nas restantes elas são muito próximas, com diferença de apenas 0.05 ponto em “abstração”, 0.08 em “decomposição” e 0.11 em “reconhecimento de padrões”.

Fonte: Elaboração dos autores.

FIGURA 5 Médias dos escores dos estudantes da amostra em cada teste, segundo os pilares do PC 

Apesar de os dois testes medirem os mesmos pilares do PC, a forma de mensurá-los é diferenciada em cada teste. O CTt apresenta todos os desafios por meio de perguntas de múltipla escolha com quatro opções, enquanto o CT Puzzle Test analisa diversos fatores da resolução, como tempo, número de tentativas e tipos de interação. A abordagem do conteúdo também é diferenciada: o CTt foca exclusivamente em situações relacionadas à lógica de programação (ROMÁN-GONZÁLEZ; MORENO-LEÓN; ROBLES, 2019); o CT Puzzle Test, por sua vez, apresenta situações independentes de domínio como identificação de formas geométricas, progressão de sequências e reconhecimento de padrões, entre outros. O alpha de Cronbach do CT Puzzle Test aprimorado (0.67) é considerado de consistência interna substancial (^{LANDIS; KOCH, 1977}), o que indica a confiabilidade do teste, e, ao apresentar uma correlação moderada com o CTt, aponta forte evidência de sua validade convergente. Portanto os resultados reafirmam a eficácia do CT Puzzle Test em avaliar o PC e demonstram que os itens no formato de puzzles e a contemplação da experimentação e teste de hipóteses por meio da captura das interações do estudante com o instrumento é uma abordagem válida. Contudo, conforme ^{Bittencourt et al. (2011)}, apesar da validação do instrumento ser uma importante iniciativa para seu aperfeiçoamento, deve-se considerar que o instrumento continue sendo aprimorado em estudos futuros. De acordo com os autores, “[...] não existem instrumentos definitivos e perfeitos, especialmente em se tratando de avaliação educacional” (p. 21).

CONCLUSÕES E PESQUISAS FUTURAS

A consolidação do pensamento computacional como um construto científico tem evoluído com pesquisas em vários lugares do mundo. A ideia de implementar o PC nas escolas como um conjunto de habilidades que todo estudante precisa desenvolver tem recebido atenção de educadores e legisladores, e é fundamental dispor de metodologias de ensino e avaliação adequadas para que o PC se estabeleça com êxito nos currículos escolares. Analisar apenas códigos-fonte de programas finalizados ou adotar questionários compostos de perguntas fechadas com respostas objetivas é insuficiente para avaliar as competências computacionais dos estudantes. Por isso, combinar múltiplas formas de avaliação se faz necessário para alcançar um entendimento completo das habilidades de pensamento computacional de um sujeito. Nesse contexto, este artigo apresentou os resultados da investigação acerca das evidências de convergência entre os testes CT Puzzle Test e CTt. Os resultados demonstraram que são fortes as evidências da eficácia do CT Puzzle Test em avaliar o PC e corroboraram que a abordagem por puzzles e a contemplação da experimentação e teste de hipóteses por meio da captura das interações do estudante com o instrumento é uma abordagem válida para a avaliação do PC. O principal trabalho futuro proposto é a submissão do CT Puzzle Test a um novo e mais completo processo de validação. Novas pesquisas são necessárias a partir das modificações do instrumento em suas últimas etapas de aprimoramento, e uma nova etapa de validação apoiada em novas amostras e em técnicas mais rigorosas será a principal contribuição ao estado atual de evolução do instrumento. Além disso, a sistematização de aplicação do teste, com a definição de diretrizes e documentação de apoio também se faz pertinente para disponibilizar o teste a qualquer pesquisador que tenha interesse em investigar o PC em sua área de atuação.

Outra possibilidade para trabalhos futuros, com base nas melhorias desenvolvidas nesta pesquisa, é projetar novos níveis para as fases existentes no CT Puzzle Test para se obter maior variabilidade dos testes, o que permitirá aplicar o teste mais de uma vez a um mesmo estudante sem o risco do viés de testagem, quando o indivíduo memoriza as respostas do pré-teste para responder o pós-teste.

Por fim, a evolução do CT Puzzle Test representará uma colaboração com a evolução da rede nomológica de desenvolvimento do PC, pois a constatação da existência de correlação entre instrumentos de avaliação que se propõem a avaliar um mesmo construto contribui para explicar até que ponto e por que os construtos teóricos se relacionam. Essas correlações resultam na definição das variáveis moderadoras nas quais elas podem ou não ser observadas, e dependem do desenvolvimento de medidas eficientes e válidas.