Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A avaliação é processo importante para a orientação do ensino e a consolidação da aprendizagem (HAYDT, 2006), seja na tomada de decisão do professor orientando o ensino ou do estudante organizando sua aprendizagem. Entretanto, o modo de realizar a avaliação, especialmente as de caráter diagnóstico e formativo, é às vezes prejudicado, tendo em vista o instrumento ou a técnica utilizada para a geração dos dados que embasarão as avaliações. Como apontam Leite e Kager (2009), a avaliação realizada em contexto escolar possui efeitos predominantemente aversivos em estudantes. Nessa mesma linha, Gatti (2003) ressalta a falta de sentido que a avaliação tende a ter para estudantes, fato que acaba afastando o processo avaliativo de seu caráter subsidiário para a tomada de decisão para o incremento da aprendizagem do estudante.
O incremento do arcabouço técnico-instrumental para geração e tratamento de dados por professores para a avaliação é essencial para garantir a qualidade desta avaliação e do processo educativo, observado que a cognição docente, como argumenta Bruer (1993), trata da transformação do conhecimento mediante ajuste contextual das adaptações necessárias à adequação do conhecimento aos estudantes, assim como escritores adéquam seus escritos a determinada audiência. O fato distintivo entre professores e escritores, sendo que ambos trabalham com a transformação do conhecimento, seria que o professor lida com alterações constantes de seu público, enquanto escritores trabalhariam com uma conjectura estática de sua audiência. Apesar disso, currículos de licenciaturas, como ressalta Gatti (2009), tendem a dedicar baixo percentual para a prática de como ensinar e, por consequência infere-se, de como avaliar a aprendizagem do estudante e o próprio ensino oferecido, isso causa uma deficiência importante na habilidade do futuro professor de estimar e trabalhar com os requisitos dinâmicos de ajuste do processo de ensino para a transformação do conhecimento a fim de otimizar o processo de aprendizagem dos estudantes.
AVALIAÇÃO EDUCACIONAL E PRÁTICA INDIVIDUAL DELIBERADA
A avaliação educacional, em sua definição popularmente divulgada, foi identificada com o processo de medida. Tal identificação ocorreu, principalmente, pelos seguintes fatos: divulgações acerca da avaliação terem-se dado através de cientistas com formação no campo da psicometria; e a crença de que avaliar, no campo educacional, é medir os resultados do rendimento escolar (VIANNA, 1989). Quanto a essa confusão, Vianna (1989) esclarece que medir é um ato de quantificação a partir de critérios preestabelecidos para a atribuição de valores numéricos a características de indivíduos para determinar o quanto da característica eles possuem. Já avaliar envolve a determinação de um valor para alguma coisa tendo em vista um fim específico (VIANNA, 1989). Nesse contexto, a avaliação educacional visa ao julgamento do valor do processo ou produto de experiências de ensino para o alcance da aprendizagem efetiva do estudante com base na coleta de informações sobre o processo ou produto avaliado (VIANNA, 1989).
A conceituação da avaliação educacional como processo de verificação dos objetivos de um programa educacional proposta por Tyler (1974) teve grande impacto sobre a teorização posterior e a prática da avaliação educacional, mantendo- se atual até os dias de hoje (VIANNA, 1989). Para Tyler (1974), o processo de avaliação tem o intuito de verificar se determinado plano elaborado para a consecução de experiências de aprendizagem está tendo o efeito esperado para a emergência das aprendizagens desejadas e previamente estabelecidas como objetivos educacionais. Essa concepção reafirma a centralidade e o protagonismo do estudante no processo educacional, sendo o foco da ação educacional a aprendizagem do estudante. É pelo estudante, e apenas por ele e sua aprendizagem, que se deseja justificar que a instituição escolar e todos os seus recursos existem.
Considerar a avaliação educacional um meio para a concretização ou otimização da aprendizagem constitui interface importante com o desenvolvimento da expertise nos mais variados domínios. A expertise relaciona-se com a excelência do desempenho do indivíduo em algum domínio específico (GALVÃO, 2001). Segundo Galvão (2001), a definição pressupõe três componentes: a prática individual deliberada, a qualidade da performance e a noção de domínio específico. A prática deliberada é um conjunto de atividades com objetivos de aprendizagem de curto, médio e longo prazo, com a finalidade de aperfeiçoar habilidades individuais com vistas à execução excelente de determinada tarefa. Experts apresentam performances qualitativamente diferenciadas em diversos aspectos quando comparados com outros indivíduos, sub-experts. Esses aspectos incluem melhor memória de representação do problema e repertório de resolução mais elaborado. A performance superior de um expert pode ser aferida de diferentes formas, como por julgamento de pares ou por meio de rankings, ou através da realização de determinada tarefa de um domínio específico em ambiente controlado (laboratório) (CHI, 2006). Essa diferença na performance e na qualidade do desempenho de experts parece estar relacionada com a qualidade de suas representações mentais de problemas em seu domínio de expertise (BRUER, 1993; GOBET; SIMON, 1998; CHI, 2006). Domínio específico é a área de conhecimento a que um expert se dedica, como por exemplo xadrez, matemática, medicina, música ou computação, entre muitas outras. São normalmente necessárias cerca de 10 mil horas de prática individual deliberada em determinado domínio específico para que alguém atinja capacidade expert (ERICSSON, 2006b; GALVÃO, 2001).
O desempenho excelente seria alcançado, como mencionado, por meio da realização da prática individual deliberada após a aquisição da habilidade para o refinamento e aprimoramento da execução da performance (ERICSSON, 2006b, 2014). A prática individual deliberada é voltada para o aprimoramento de habilidades específicas e envolve alta concentração na atividade e a execução continuada de determinados segmentos de prática julgados passíveis de melhora. Dessa forma, o indivíduo que realiza a prática individual deliberada é capaz de monitorar seu próprio desenvolvimento e tem condições de avaliar sua situação atual e desejada, tomando decisões quanto à conveniência e oportunidade de execução da prática deliberada em um processo de autoavaliação de sua aprendizagem (ERICSSON, 2006b, 2014).
Disso decorre o papel fundamental de experiências adequadas ao processo de avaliação da aprendizagem em situações de ensino que garantam a efetiva aquisição de habilidades - resultando em um desempenho competente da habilidade adquirida por meio do ensino escolar, por exemplo, na fase que antecede a prática individual deliberada. O contato adequado com o processo de avaliação, em que o estudante compreende sua sistemática, seus objetivos e mecanismos de funcionamento, além de contribuir com a aquisição da habilidade em si que foi ensinada com o uso do processo de avaliação, pode contribuir também com processos de tomada de consciência quanto aos fins da avaliação, gerando um processo virtuoso de autoavaliação em outros momentos. Assim, conjectura-se, a avaliação educacional escolar realizada adequadamente fornecerá aos estudantes um quadro de funcionamento da avaliação para internalização, favorecendo a emergência de características metacognitivas relacionadas ao processo de autoavaliação, realizada em momentos como os de prática individual deliberada. Como ressalta Bruer (1993), a metacognição é relevante pois trata-se do processo em que o indivíduo pensa sobre seu próprio pensamento, com a consciência de que atua como um solucionador de problemas, monitorando e controlando seu processamento mental no fluxo de resolução do problema.
OBJETIVOS EDUCACIONAIS E PADRÕES DE DESEMPENHO
Para a consecução dos objetivos da avaliação educacional, a clareza quanto ao plano de ensino e aprendizagem por parte de quem ensina é fundamental a fim de que o estudante desenvolva habilidades e, inclusive, tenha subsídios para seu automonitoramento e, consequentemente, para o desenvolvimento de suas habilidades metacognitivas. Um arcabouço teórico como aquele representado pela taxonomia de objetivos educacionais proposta por Bloom et al. (1977), em que determinadas operações cognitivas, por exemplo, podem ser bem definidas como resultado esperado do processo educacional desenvolvido pela escola, é instrumento essencial da prática pedagógica. A taxonomia de objetivos educacionais de Bloom et al. (1977) sintetiza um conjunto de operações hierárquicas em um continuum que vai do simples ao complexo. Envolve conhecimento (capacidade para rememorar fatos/conceitos específicos ou universais), compreensão (entender algo que é comunicado, embora sem estabelecer relacionamentos ou implicações), aplicação (uso de abstrações em situações específicas), análise (desmembramento de uma comunicação em suas partes constituintes), síntese (integração de partes ou particulares para formar um todo) e avaliação (julgamento sobre algo a partir de um padrão anteriormente estabelecido). Tal instrumental adéqua-se como forma de disponibilização de critérios para a internalização de determinado padrão de desempenho pelo estudante.
Esse critério internalizado, em conjunto com diversos outros critérios mapeados para a aquisição de habilidades, especula-se, pode contribuir para o processo de autorregulação de estudantes no processo de desenvolvimento da expertise mencionado por Zimmerman (2006). O processo gerado nessa interação entre critérios de desempenho e o mapeamento de padrões de resolução de problemas pode conduzir a uma procedimentalização mais eficiente de sistemas de produção, nos termos dos construtos propostos por Anderson (1982, 1996, 2010) no âmbito do processo de aquisição de habilidades, por exemplo. Assim, entre um estágio inicial de aquisição de habilidades, em que o indivíduo precisa constantemente rememorar a ‘regra’ que ele deve seguir para realizar uma ação coerente, e um estágio final, de execução competente e sem embaraço de uma habilidade para a resolução de um problema, existiria uma ponte representada pela internalização de critérios de desempenho externo, resultando em uma representação mental complexa com redes condicionais de ação coerentes para a resolução do problema.
A avaliação então, na situação escolar imediata, existe em função e para a promoção da aprendizagem, considerando- se que o objetivo específico da instituição escolar e do esforço de ensino e aprendizagem é a promoção da aprendizagem do estudante. Assim, o julgamento de valor realizado na avaliação tendo em vista um objetivo específico é embasado na coleta de informações realizada por meio de formas variadas que fundamentam a tomada de decisão daquele que avalia à luz do objetivo almejado (HAYDT, 2006). Cury (2007) ressalta a relevância da análise de protocolos verbais na obtenção de informações importantes sobre o erro de estudantes para o aperfeiçoamento do processo de ensino e aprendizagem. A conjectura de Bruer (1993) sobre processos cognitivos docentes envolvidos na transformação de conhecimento reforça a importância da obtenção de informações sobre a situação atual do estudante para que, com base nesta, a aprendizagem possa ser mais bem-orientada, concretizando o alcance de determinado objetivo educacional, algo que, por sua importância, tem sido buscado por meio de sistemas tutores inteligentes, por exemplo. Sistemas tutores inteligentes são softwares que auxiliam a aprendizagem e que atuam como uma espécie de tutor, fornecendo feedback personalizado ao estudante a partir da comparação de dados de desempenho (inputs de atuação na resolução de determinado problema) com um modelo de atuação previamente armazenado no programa (ANDERSON et al., 1990).
A influência do conhecimento prévio do estudante é fator que deve orientar a estruturação do ensino, uma vez que esse conhecimento prévio no domínio varia bastante, como evidenciado, por exemplo, no chamado efeito reverso da expertise (PLASS; KALYUGA; LEUTNER, 2010). Este envolve a ideia de que pessoas com diferenças de conhecimento prévio necessitam de formas diferenciadas de organização da informação em um suporte material, considerando que aprendem de formas diferentes. Estudos (KALYUGA et al., 2003) descobriram uma série de efeitos que, se não observados na estruturação da informação de materiais didáticos, poderiam causar a sobrecarga da memória de trabalho e o colapso do processamento cognitivo do estudante. Entretanto, estudantes com conhecimento ou domínio sobre determinado assunto ou tema demonstram desempenho superior em sua aprendizagem quando submetidos a situações de aprendizagem que, em tese, causariam sobrecarga na memória de trabalho. Dessa observação foi levantada a conjectura do efeito reverso da expertise, que incide, grosso modo, sobre o tipo de estruturação do material utilizado no ensino.
Nesse contexto, o objetivo deste trabalho é o de realizar uma análise de processos de estudo e suas operações cognitivas associadas, de modo a obter um quadro de subsídio para a avaliação da aprendizagem. Para o alcance do objetivo mencionado, protocolos verbais de processos de estudo são categorizados por meio de taxonomia de objetivos educacionais para a geração de um quadro diagnóstico que possa servir de subsídio ao processo avaliativo.
PROTOCOLO VERBAL
No âmbito da pesquisa em Psicologia Cognitiva (ERICSSON; SIMON, 1980) e outros campos, como o da Inteligência Artificial (BUCHANAN; DAVIS; FEINGENBAUM, 2006), a técnica de geração de dados denominada análise de protocolo verbal possui papel importante. Essa forma de geração de dados subsidiou a emergência de teorias seminais na área da Psicologia Cognitiva, como a teoria Adaptive Control of Thought (ACT), proposta por Anderson (1982, 1996, 2010), em que dados sobre atividades de resolução de problemas são gerados pelo uso de protocolos verbais para a aplicação de métodos computacionais de modelagem dos processos cognitivos, gerando tutores automatizados que podem auxiliar processos de ensino por meio do feedback personalizado a cada estudante em seu processo de aprendizagem (ANDERSON et al., 1990). Em outra vertente de pesquisa, sistemas computacionais para disseminação de conhecimento expert, denominados sistemas especialistas, são construídos a partir da sistematização da heurística da resolução de determinados problemas por meio da coleta de protocolos verbais (BUCHANAN; DAVIS; FEINGENBAUM, 2006).
Como aponta Simon (1990), o uso de protocolos verbais contribuiu fortemente para a investigação comparativa dos processos cognitivos de novatos e experts na resolução de problemas, observado que tal forma de geração de dados provê ao pesquisador um arcabouço de informações sobre os indivíduos e sua forma particular de operar sobre um problema específico em busca de uma solução. Ericsson (2006a) ressalta que uma tarefa representativa de determinado domínio que possa ser identificada pode vir a ser realizada por indivíduos com diferentes níveis de perícia no domínio. Como exemplo, pode-se pensar no domínio do xadrez: novatos (pessoas que se encontram no aprendizado das regras de movimentação das peças), indivíduos competentes (participantes assíduos de clubes de xadrez) ou outros de reconhecida perícia (determinada por rankings competitivos de nível nacional ou internacional, por exemplo). Assim, com a geração de protocolos verbais, em uma atividade específica do domínio, por um rol de indivíduos com diferentes níveis de perícia no domínio, o pesquisador pode ter acesso a dados para a avaliação de operações realizadas em um quadro comparativo de desempenho observado, processos realizados e competência no domínio (novatos, competentes e experts). Nesse contexto, a pesquisa em expertise busca investigá-la juntamente com seus processos associados, como formas de operação sobre problemas específicos ou como essas formas de operação vieram a se desenvolver, por exemplo, não ocorrendo ênfase sobre a produção de escalas comparativas de proficiência para aplicação escolar imediata, embora possam existir iniciativas como essa dentro do campo.
O protocolo verbal é o tratamento sistemático da resposta verbal proveniente da vocalização de processos cognitivos na resolução de algum problema de determinado domínio. Ou seja, esse método se vale da vocalização de codificações verbais de pensamentos resultantes da realização de certa atividade. A vocalização resultante da aplicação de protocolos verbais não altera a geração de pensamentos para a resolução de determinado problema para a realização de uma atividade. Tal fato decorre de a vocalização ser a externalização do “discurso interior” que ocorre quando se realiza alguma atividade. Caso fossem solicitadas explicações sobre o porquê da realização de determinada operação, haveria uma atividade cognitiva significativa e concorrente à realização da atividade, e poderiam ocorrer mudanças nas operações realizadas e relatadas na vocalização dos pensamentos utilizados na realização da atividade (ERICSSON, 2006a).
Nesta pesquisa predominantemente qualitativa e exploratória, o método utilizado foi o da análise de protocolo (ERICSSON, 2006a). A geração de protocolos verbais sobre o processo de estudo de indivíduos com material de domínio e não domínio teve a finalidade de verificar a diferença entre operações no processo de estudo desses indivíduos, de modo que se pudessem identificar as necessidades dos participantes para a configuração ou reconfiguração de um processo de ensino centrado em sua aprendizagem. Participaram da geração de dados seis indivíduos (A, B, C, D, E e F) inseridos em contexto de expertise em pesquisa, todos alunos de doutorado ou doutores. Os indivíduos pesquisados apresentavam as seguintes características: média de 43,3 anos à época da geração dos dados, cinco dos indivíduos eram do sexo feminino e um do sexo masculino. Dois dos participantes eram doutorandos e quatro eram doutores. As áreas de estudo dos participantes distribuíam-se desta forma: Educação (2), Engenharia Civil (1), Engenharia Ambiental (1), Agronomia (1) e Ciências Farmacêuticas (1).
A geração de dados foi operacionalizada do seguinte modo:
o participante da pesquisa desenvolveu seu processo de estudo com o material; e
concomitantemente ao processo de estudo do texto, foi solicitada a enunciação de protocolo verbal por meio do comando “diga tudo o que você fizer ou qualquer coisa que lhe vier à mente enquanto estuda esse material”.
Não foi estipulado tempo mínimo ou máximo para a conclusão do processo de estudo, sendo que os participantes poderiam encerrar seu estudo no momento em que desejassem, por qualquer motivo.
O processo de geração de dados foi realizado com materiais de domínio e não domínio inferidos. O texto de domínio foi definido a partir da familiaridade dos participantes com a temática de metodologia da pesquisa e, especialmente na vertente do texto selecionado, por todos atuarem profissionalmente como docentes com experiência com a temática educacional, cada um com a perspectiva particular do tema a partir da docência em sua área específica de ensino. O texto de não domínio foi definido a partir da observância de um conteúdo não existente na grade curricular de nenhum dos cursos pelos quais os participantes tenham passado em seu processo educacional formal. O domínio inferido e não inferido decorre de não terem sido realizados pré-testes para a avaliação de fato e em que medida os materiais eram dominados ou não pelos participantes da pesquisa. O material de não domínio inferido tratou do tema sintaxe do cálculo de predicados, extraído de Mortari (2001, p. 98-106). O material de domínio inferido tratou de metodologia científica, especificamente elaboração de projetos de pesquisa, tema extraído da obra de Severino (2000, p. 157-164).
Os resultados foram analisados a partir da categorização de trechos dos protocolos verbais, segundo determinadas operações cognitivas baseadas na taxonomia de objetivos educacionais de Bloom et al. (1977) do domínio cognitivo: conhecimento, compreensão, aplicação, análise, síntese e avaliação. Ressalta-se que o uso da taxonomia foi diferente do uso em situações de planejamento do ensino, observada a relativa liberdade no enquadramento e a possibilidade de existência de divergência entre juízes independentes, segundo os critérios utilizados para o enquadramento dos trechos em cada operação, conforme apresentado no Quadro 1, a seguir.
A categorização ocorreu por meio do apontamento de realização ou tentativa da operação cognitiva, relacionada ao processo de estudo dos participantes da pesquisa com os materiais de domínio (elaboração de projetos de pesquisa) e não domínio (sintaxe do cálculo de predicados). A classificação de realização da operação ocorreu nos casos em que o participante apresentava a realização da operação cognitiva durante seu processo de estudo com os materiais. A classificação de tentativa da operação sucedeu nos casos em que o participante apresentava a tentativa, sem sucesso aparente em sua concretização, de realização de determinada operação em seu processo de estudo. Os protocolos foram classificados por um juiz, com posterior análise de pertinência por um segundo juiz, não ocorrendo um processo de julgamento por juízes independentes. Não foram utilizadas técnicas para medir o nível de confiabilidade/concordância entre os juízes. O Quadro 1 abaixo exemplifica trechos de protocolos por operações e os critérios de enquadramento.
Fonte: Elaboração dos autores
QUADRO 1: Exemplos de trechos de protocolos por operação e critério utilizado
Analisando-se um protocolo verbal de um processo de estudo, conjecturava-se que, no texto de domínio, existiria nos protocolos dos participantes uma distribuição de trechos em diversas operações cognitivas realizadas, segundo os critérios mencionados no Quadro 1, indicando desenvoltura com o material. A distribuição esperada de todas as operações com o texto de domínio deve-se à premissa admitida de que o indivíduo não opera uma análise de toda e qualquer sentença de um material de estudo, ou ainda uma avaliação (com tal conjectura válida para as demais operações), observado que, em qualquer material, existem trechos acessórios e essenciais que mobilizam a atenção da pessoa que estuda de forma diferenciada. Quanto ao texto de não domínio, foi levantada a hipótese de que os indivíduos concentrariam suas operações cognitivas em um espectro mais limitado e simples das operações, uma vez que não possuiriam os insumos necessários para a realização das operações de maior complexidade.
Assim, no escopo desta pesquisa, a situação de “realizada” indica sucesso na realização de determinada operação identificada, enquanto “tentada” significa a não realização da operação, apenas sua tentativa. A realização da operação, conjectura-se, implicaria que as atividades de ensino e aprendizagem com a categoria seguinte poderiam ser desenvolvidas, tendo em vista que, por meio da análise dos dados qualitativos, o estudante apresentou indícios de operações adequadas na categoria avaliada. Ressalta-se que, para fins de análise, algumas operações foram consideradas realizações tangenciais. Tais realizações apontam momentos em que o participante estabeleceu relações, por meio de trechos ou termos significativos, entre o material e seu conhecimento prévio, embora as colocações do participante possam demonstrar confusão quanto ao assunto do material. A tentativa da operação, por sua vez, implicaria que as atividades de ensino e aprendizagem com a(s) categoria(s) anterior(es) deveriam ser reforçadas de modo que fossem fornecidas oportunidades de aprendizagem para que o estudante pudesse vir a dominá-las com desenvoltura, observado que a estrutura da taxonomia é cumulativa e o domínio da categoria imediatamente anterior é pré-requisito para o domínio da categoria seguinte dentro dessa estrutura conceitual de organização do processo de ensino e aprendizagem.
Dessa forma, observado que a taxonomia mencionada trata de operações cognitivas que um estudante deveria ser capaz de realizar ao final de um programa educacional (produto), o uso de uma adaptação da taxonomia para a avaliação dos protocolos permitiu uma inferência das necessidades dos participantes para a configuração ou reconfiguração de um processo de ensino centrado na aprendizagem do estudante e suas necessidades.
DURAÇÃO DOS PROTOCOLOS
A medição do tempo transcorrido em cada protocolo verbal mostra algumas diferenças entre os processos de estudo com os materiais de domínio e de não domínio, conforme se nota nos quadros 3 e 4. Os protocolos dos processos de estudo com material de não domínio apresentaram média de duração menor que os protocolos de domínio, embora um dos indivíduos, quando do estudo do material de domínio, tenha realizado tal procedimento em tempo destoante dos demais, o que resultou em uma influência sobre a expansão da média do grupo. Assim, a média do tempo de estudo do material de domínio deve ser observada com a cautela necessária, dada a existência do valor mencionado que distorce esse número. Para fins de comparação do tempo gasto por grupos de materiais, a mediana do tempo do material de não domínio também foi inferior à do material de domínio.
Os processos de estudo com material de não domínio foram encerrados pelos participantes antes que fosse alcançado o fim do material. Ou seja, todos os participantes desistiram de tentar estudar o material de não domínio em sua integralidade. Os protocolos verbais gerados com materiais de não domínio apresentaram tempos mais homogêneos entre os casos do que os de domínio, embora essa medida também seja afetada pelo tempo destoante de um dos indivíduos (A) no estudo do material de domínio. Caso esse tempo fosse mais próximo dos demais no material de domínio, o desvio- -padrão associado seria consideravelmente menor e inferior até mesmo ao observado no material de não domínio.
Fonte: Elaboração dos autores. Nota: Tempo observado em minutos e segundos
QUADRO 3: Informações do processo de estudo do texto de não domínio
Fonte: Elaboração dos autores. Nota: Tempo observado em minutos e segundos
QUADRO 4: Informações do processo de estudo do texto de domínio
O fato de todos os participantes encerrarem a leitura do texto de não domínio inferido antes ou próximo de alcançarem seu final pode indicar uma tendência de não familiaridade com o material de não domínio, corroborando o pressuposto de sub-expertise na temática de sintaxe do cálculo de predicados. A menor homogeneidade do tempo de estudo com o material de domínio inferido pode sinalizar uma disparidade relacionada ao processo de estudo, não significando que maior duração do protocolo implique maior dificuldade no processo de estudo, como será analisado à frente, tendo em vista a qualidade das reflexões realizadas em cada protocolo, verificada a partir da categorização baseada na taxonomia de objetivos educacionais para a inferência das operações cognitivas desenvolvidas em cada processo.
OPERAÇÕES COGNITIVAS NOS PROCESSOS DE ESTUDO
A análise dos protocolos demonstrou que, aos materiais de domínio e não domínio, corresponderam operações cognitivas diametralmente opostas, a partir de critérios baseados na taxonomia de objetivos educacionais de Bloom et al. (1977), como será observado na Tabela 1. Enquanto no material de domínio (projetos de pesquisa) foram identificadas cerca de 15 operações cognitivas, no material de não domínio (sintaxe do cálculo de predicados) foram identificadas 17 operações.
A segmentação dos protocolos para análise das operações cognitivas realizadas no processo de estudo com o material de domínio (elaboração de projetos de pesquisa) indicou a presença de operações em todo o espectro dos critérios baseados na taxonomia de objetivos educacionais de Bloom et al. (1977), com operações complexas, como avaliação (duas ocorrências), análise (oito ocorrências) e aplicação (três ocorrências), até operações mais simples como compreensão (duas ocorrências). Todas as operações realizadas com o material de domínio foram relacionadas à presença das operações cognitivas identificadas.
A análise dos protocolos de estudo com material de não domínio (sintaxe do cálculo de predicados) indicou operações cognitivas concentradas no início do espectro baseado na taxonomia de Bloom et al. (1977), como conhecimento (12 operações) e compreensão (uma operação). Das identificações, 72,2% (13 operações) foram relacionadas à ausência da operação cognitiva. Ou seja, essas operações foram caracterizadas como tentativas, já que, como apontou o protocolo, os participantes não conseguiram realizá-las plenamente, ao menos de acordo com a informação externalizada e coletada no âmbito do estudo. Essas operações não realizadas foram classificadas sobretudo como operações de compreensão (uma operação) e conhecimento (12 operações).
A análise individualizada dos processos de realização e tentativa de operações cognitivas pelos participantes está sistematizada no Quadro 5. Para todos os participantes, a predominância de tentativas se deu no material de não domínio e categorias básicas segundo os critérios baseados na taxonomia, como a categoria conhecimento. As realizações de operações mais refinadas se concentraram no material de domínio, em categorias como avaliação e análise.
OPERAÇÕES COGNITIVAS COM MATERIAL DE DOMÍNIO
As operações identificadas como realizadas no processo de estudo do material de domínio apareceram em quase todo o espectro de complexidade segundo os critérios utilizados. A natureza dessas operações pode ser inferida a partir dos trechos dos protocolos que tratam, predominantemente, de operações de comparação do material de estudo com conhecimentos prévios (padrão para comparação), de que emerge uma série de julgamentos sobre o material.
O participante A, por exemplo, expressa discordância com relação ao conteúdo apresentado no material estudado, fato que parece apontar para uma operação de avaliação: “aqui... aqui eu já discordo, quando fala da estrutura curricular [...]”, sendo que, em ponto apresentado mais à frente, além da discordância, é demonstrada uma sugestão de alteração baseada no processo de avaliação realizado pelo participante: “quando ele fala dessa coisa da disciplina, é muito mais papel do orientador, fazer esse incentivo e dar esse apoio”.
A operação de análise, também com trechos categorizados como realizados em seu âmbito, parece possuir presença marcante nos protocolos. O participante B, por exemplo, parece realizar uma análise de temática específica (complexidade logística na pesquisa) a partir de sua própria experiência:
[...] tem a questão do trabalho de laboratório, já que tem gente que fica nessa parte mais computacional, de modelagem né? Quando você trabalha com laboratório tem n variáveis que pode dar errado, o técnico não te ajudar, o equipamento quebrar, então é um trabalho muito braçal, esse trabalho de laboratório... já quem trabalha nessa parte mais teórica, desenvolvimento de algum sistema, um software, ou uma análise numérica, onde é só a pessoa e computador, a gente fala que é mais tranquilo, tem menos dessas variáveis né?
Outro tipo de operação identificada como realizada com o material de domínio foi a de aplicação, em que o participante indica a utilização ou a tendência de uso do material para uma atividade específica, como observado na colocação do participante B: “e tem essa parte mesmo, da parte mais social mesmo, até na engenharia, de tecnologias sustentáveis na construção [...]”, ou do participante D:
[...] é uma leitura de quem tem uma metodologia, já escreve projetos, escreve artigos, porque tu busca alguma coisa que você vai usar em algum momento...a leitura, tu já lê buscando alguma coisa, é diferente da leitura de um livro que qualquer coisa é nova, mas aqui tu busca mais ou menos aquilo que é diferente [...].
Operações mais simples, como a de compreensão, também estiveram presentes em trechos que pareceram indicar essa direção de trabalho com o texto. O participante B, por exemplo, afirma que “isso é verdade, esse grande abismo entre a graduação e quando a pessoa vai para uma pós, né?”, parecendo apenas constatar a identificação de determinado conceito ou padrão previamente internalizado (rememorar).
Da análise dos protocolos verbais gerados a partir do estudo do material de domínio, pode-se inferir que as operações cognitivas realizadas pelos participantes englobaram quase a totalidade do espectro coberto pelos critérios baseados na taxonomia de objetivos educacionais de Bloom et al. (1977), ressalvadas as adaptações interpretativas necessárias para a realização da categorização proposta neste estudo. Assim, um padrão consistente de operações cognitivas amplamente distribuídas em um espectro com complexidade crescente pode embasar um julgamento acerca do domínio do indivíduo sobre determinado tema, por exemplo, passível de uso no âmbito da avaliação da aprendizagem.
OPERAÇÕES COGNITIVAS COM MATERIAL DE NÃO DOMÍNIO
As operações realizadas com o material de não domínio tenderam a se concentrar no realce de pontos relacionados com a ausência de arcabouço conceitual básico para o estudo com o material sobre sintaxe do cálculo de predicados, o que ficou caracterizado nos dados como tentativas de realização da operação de conhecimento - a rememoração de determinados conceitos ou padrões -, nível básico na taxonomia de Bloom et al. (1977) e que embasa o desenvolvimento das demais categorias. O participante C, em uma tentativa de realização da operação de conhecimento, narrou em seu protocolo que
[...] essas fórmulas aqui... eu acho que é uma leitura totalmente fechada... eu de fato não consegui ancorar nada do que eu li aqui... na verdade quando eu começo a ler aqui eu fico me perguntando sobre o conceito de sintaxe também, que eu não me lembro direito.
Assim, exemplifica-se uma tentativa de se relembrar um conceito, modelo ou padrão que poderia auxiliar no tratamento da nova informação, caso fosse realizado - observado que o indivíduo possuiria os insumos para um raciocínio analógico, por exemplo.
Outra operação identificada como tentada, por parte do indivíduo A, foi a de compreensão - entende-se algo que é comunicado, embora não se consiga estabelecer relacionamentos ou implicações. A categoria mencionada, de acordo com a taxonomia de Bloom et al. (1977), segue a de conhecimento e enquadra-se como uma das operações que embasam o desenvolvimento das demais categorias, ou seja, a de aplicação, análise, síntese e avaliação. No que concerne à tentativa de operação do participante A no estudo do material de não domínio, por exemplo, a colocação base do julgamento de realização da operação no protocolo aborda a relação entre termos do material de não domínio e a prática de programação ou, no caso do participante, de encadeamento de proposições para a programação posterior realizada por um profissional de tecnologia da informação, como pode ser visto a seguir:
[...] quando você fez o fluxo, e então você tá lá envolvido, e você tá vendo, e você sabe o que cada letrinha... você sabe porque cada letrinha é maiúscula ou minúscula [...] eu acho que isso funciona para programação, que aí o programador faz e ele tem a lógica dele, que eu acho que ele... aí eu lembro do doutorado, que tinha o sistema de apoio à decisão... que eu não programei, mas eu tava fazendo toda parte do encadeamento […]. (participante A, texto de não domínio)
O participante A, como apresentado, teve uma compreensão- chave acerca do material: que ele lidava com o encadeamento de proposições, realizando um relacionamento indireto e não totalmente adequado do conteúdo com sua prática anterior de encadeamento proposicional para a estruturação de um software. Na análise, embora se tenha tentado realizar a operação, ela foi assim avaliada observando-se que o escopo da fala do participante é tangencial ao núcleo do assunto, sendo que a realização tangencial da operação pode conduzir a elementos de significado para o estudante, os quais podem ser utilizados para o ensino ou aprofundamento do novo conteúdo que, no caso, é a sintaxe do cálculo de predicados.
Dessa forma, o julgamento de uma passagem do protocolo como tendo tido realização tangencial da operação de conhecimento (ato de relembrar conceitos, padrões, modelos) pode fornecer material importante para a ação docente de feedback em situações de ensino, em que a descoberta de um ou alguns poucos termos dominados ou de maior familiaridade que o indivíduo relaciona ao novo material pode sustentar o desenvolvimento de estratégias argumentativas e de exposição pelo professor.
Outros três casos de identificação de passagens no protocolo, base para o julgamento de realização de operações cognitivas com o texto de não domínio, enquadram-se no mesmo caso do supracitado com o participante A (operação de conhecimento com o ato de apenas relembrar determinado modelo, padrão ou conceito). Dois desses casos ocorreram com o participante C, e um deles com o participante E. No caso do participante C, a colocação foi a seguinte:
[...] isso parece uma fórmula química... fórmula molecular, exatamente [...] não tem nada a ver com linguagem, fórmula molecular? Olha aqui o conceito teórico... é, eu não entendo nada [...].
Assim, termos significativos que provocam a rememoração de conceitos, modelos ou padrões de outra área em que o termo também é utilizado foram apontados durante o processo de estudo com o material de não domínio.
DISCUSSÃO DOS RESULTADOS
Os resultados da pesquisa parecem apontar para a adequação do uso de uma adaptação da taxonomia de Bloom et al. (1977) como suporte para a avaliação em contexto de ensino. De modo mais específico, os resultados sugerem uma diferenciação no tipo de manipulação da informação que estudantes fazem com o material de estudo em função de seu conhecimento prévio no domínio. Se o aluno, em um processo de estudo com materiais de domínio e não domínio, parece conduzir operações qualitativamente opostas com cada material - e essas operações podem ser diagnosticadas por meio de uma análise qualitativa como a desenvolvida neste estudo -, apresenta-se uma forma de análise de dados que pode subsidiar a tomada de decisão docente para a reorganização do processo de ensino. Essa diferença de operações no tratamento da informação em processos de estudo ainda tende a contribuir para a corroboração do chamado efeito reverso da expertise (PLASS; KALYUGA; LEUTNER, 2010), o qual postula que estudantes com diferenças de conhecimento prévio tendem a possuir diferentes necessidades pedagógicas.
Os dados ainda fornecem indícios do tipo de pista ambiental que um professor pode vir a identificar em momentos de interação com estudantes em sala de aula para a resolução do problema de ajuste da informação para a audiência ou indivíduo específico a que se deseja ensinar algo. Se professores precisam lidar com o ajuste da informação de modo a favorecer a transformação do conhecimento para uma determinada audiência de estudantes (BRUER, 1993), o ajuste da situação pedagógica deve ser pautado no reconhecimento de determinadas informações, como as apresentadas neste estudo, embora a operação em tempo real realizada por um professor que avalia um estudante não se enquadre exatamente como uma análise semelhante à realizada nesta pesquisa.
A análise dos dados provenientes do processo de estudo com material de domínio parece indicar uma operação clara de análise e crítica da informação, sendo que o processo de tomada de decisão para a melhora da aprendizagem pode ser orientado para a focalização de atividades que façam uso desse tipo de elaboração do estudante no processo de estudo, com o uso de estratégias didáticas que envolvam, por exemplo, debates ou textos argumentativos. No que concerne ao processo de estudo com o material de não domínio, os dados sugerem que o compartilhamento de termos entre o material de não domínio e a experiência prévia do participante conduziu à realização de uma transferência incompleta de significado, algo que poderia ser utilizado como base para a explicação do conteúdo relacionado ao material de não domínio. A identificação de termos-chave que possam ser utilizados como ponte para a explicação de aspectos do material de não domínio é importante, tendo em vista a possibilidade de aplicação de raciocínio analógico entre diferentes áreas, levando em conta determinado aspecto daquilo que se está aprendendo.
Por outro lado, à medida que o estudante é avaliado por meio de uma sistemática como a apresentada neste estudo, com uma exposição clara por parte do professor sobre o modus operandi dessa forma de análise da situação atual de aprendizagem por meio de processos de estudo, estudantes podem vir a desenvolver sua metacognição como nos termos das fases de autorregulação mencionados por Zimmerman (2006), observado que o ato de conversar consigo mesmo durante o processo de estudo pode gerar um ciclo virtuoso no qual o aluno pode passar a identificar os termos do material de não domínio que têm algum significado para ele e, então, utilizar essas pistas de significado como âncoras ou pontos de apoio para estabilizar o processo de estudo independente.
CONSIDERAÇÕES FINAIS
A avaliação educacional é um desafio na medida em que deve servir de base para o replanejamento da ação docente de modo a fornecer meios adequados para a aprendizagem discente. Nesse contexto, a forma de realização da avaliação coloca-se como fator importante, observado que ela deve oferecer subsídios úteis para o professor realinhar suas estratégias pedagógicas de atuação no processo de ensino e aprendizagem. Dessa maneira, o presente trabalho comunicou os resultados de pesquisa para a avaliação de necessidades de aprendizagem de indivíduos em contextos de estudo com material de domínio inferido e não domínio inferido. Os dados da pesquisa foram gerados a partir da coleta de protocolos verbais dos processos de estudo, tendo sido classificados com critérios baseados na taxonomia proposta por Bloom et al. (1977).
Os resultados da pesquisa sugerem que o uso da estratégia oferece informações importantes para o realinhamento das ações em uma situação de ensino e aprendizagem, como o uso de termos-chave que têm significado para os indivíduos e que estejam inseridos em materiais de não domínio, por exemplo. Com relação aos protocolos de estudo com material de domínio, os dados indicam que uma categorização, como a proposta neste estudo, para a tomada de decisão pode contribuir para o trabalho efetivo do estudante em situações adequadas ao seu nível de desenvolvimento rumo ao domínio completo de determinado material de estudo.
De forma geral, o uso de uma estratégia como a adotada nesta pesquisa pode contribuir também com a geração de insights para o desenvolvimento de instrumentos úteis para o apoio à tomada de decisão - seja de docentes, com a aplicação manual de estratégia congênere à utilizada no presente estudo, seja de sistemas automatizados, que podem vir a ser alimentados com situações específicas e que se baseiem em aprendizagem de máquina por generalizações de padrões para posterior análise de novos casos com o fornecimento de um enquadramento para uma situação particular.
Como possíveis refinamentos para futuras pesquisas, a forma de categorização poderia ser aprimorada com o estudo de critérios aperfeiçoados para a inserção ou exclusão de trechos dos protocolos de determinada categoria ou qualquer outra taxonomia de objetivos educacionais que seja utilizada ou desenvolvida como base para a categorização dos trechos dos protocolos.
