Efeitos das rubricas na aprendizagem e no desempenho

Onze dos 13 estudos que investigaram os efeitos das rubricas na aprendizagem e no desempenho mostraram que o uso de rubricas estava associado à melhoria da aprendizagem ou melhor desempenho. Esta seção, portanto, não se concentra no argumento de que as rubricas podem melhorar o desempenho, o que dificilmente precisa de mais confirmação (^{Panadero et al., 2023}), mas sim no compartilhamento de descrições do treinamento, das atividades ou da instrução que acompanharam o uso das rubricas. Em outras palavras, se as rubricas são instrumentos, para que servem esses instrumentos?

Em todos os 11 estudos que mostraram resultados positivos para aprendizagem e desempenho, os alunos foram apresentados às rubricas e tiveram oportunidades de usá-las. O processo familiarizou os alunos com os critérios e as descrições do nível de desempenho e, assim, ajudou-os a formar um conceito do que é um bom trabalho. Em todos os 11 estudos, as rubricas foram usadas de maneira formativa. Dez desses estudos descreveram explicitamente os usos formativos: como um modelo para instrução (^{Bradford et al., 2016}); como base de atividades individuais e em grupo (^{Auxtero & Callaman, 2021}); e/ou como base de feedback do professor, dos pares ou de si mesmo (^{Chen & Andrade, 2018}; ^{Chen et al., 2017}; ^{Hsia et al., 2016}; ^{Kim, 2019}; ^{King et al., 2016}; ^{Liu et al., 2016}; ^{Safadi, 2017}; ^{Safadi & Saadi, 2021}). Um estudo (^{Mahmood & Jacobo, 2019}) se concentrou no uso de rubricas de escala móvel para atribuição de notas, mas os alunos usaram as rubricas de maneira formativa enquanto preparavam os portfólios de matemática para enviar para serem pontuados; em outras palavras, eles se autoavaliaram enquanto preparavam seus portfólios. Nesse estudo, “escala móvel” não significa que as descrições do nível de desempenho da rubrica mudaram, mas que os alunos só viam as descrições para os níveis acima e abaixo de seu desempenho atual. Em vários estudos, concluiu-se explicitamente, seja pela inferência do autor ou pela conversa com os alunos, que as rubricas ajudaram os alunos a entender as expectativas do professor e/ou os elementos ou componentes de uma determinada tarefa. Em ambos os casos, a atenção deles se concentrou nos aspectos da tarefa que evidenciam o aprendizado (^{Auxtero & Callaman, 2021}; ^{Bradford et al., 2016}; ^{Chen et al., 2017}; ^{Chen & Andrade, 2018}; ^{Kim, 2019}).

Como mostra o parágrafo anterior, a maioria dos estudos que empregaram rubricas com sucesso para aprimorar a aprendizagem e o desempenho dos alunos usou as rubricas de maneira formativa, para apoiar a aprendizagem enquanto ela acontecia. Dois dos estudos (^{Chen & Andrade, 2018}; ^{Chen et al., 2017}), usando um desenho de pesquisa bastante abrangente, investigaram os efeitos da implementação de instrumentos referenciados por critérios (fossem rubricas, listas de verificação ou qualquer outra coisa) acompanhados de avaliação do professor, dos pares ou de autoavaliação que produziu feedback formativo para os alunos e proporcionou a oportunidade de revisão do trabalho. Essa combinação causou um efeito positivo na aprendizagem e no desempenho nas artes em comparação com um grupo de controle. Nessa intervenção, as características mais importantes do tratamento foram fornecer critérios e garantir que os alunos os utilizassem, muitas vezes para autoavaliação ou avaliação dos pares, mas também, e certamente, para melhorar seu trabalho. Essa combinação de critérios e uso específico por parte dos alunos acaba sendo um fio condutor em todos os estudos que relataram melhora na aprendizagem e no desempenho.

O uso de rubricas para avaliação por pares (feedback de pares) aparece em mais dois dos estudos bem-sucedidos, ambos no contexto do aprendizado baseado na web. ^{Hsia et al. (2016)}, usando um desenho quase-experimental, estudaram a avaliação baseada na web em um curso de artes cênicas do ensino médio, em que os alunos escreveram e filmaram dramas curtos com base em histórias folclóricas chinesas. Ambos os grupos receberam a rubrica, mas apenas um grupo participou de um processo de revisão por pares. O grupo de controle também tinha o critério de avaliação, mas não havia garantia de que algum dos alunos o tivesse usado para assistir às apresentações de vídeo de seu grupo, como o grupo de tratamento teve de fazer. ^{Liu et al. (2016)}, também utilizando um desenho quase-experimental, investigaram os efeitos da revisão por pares usando uma lista de verificação de cinco critérios apresentados em forma de sentença (por exemplo, “A história tem um contexto, acontecimentos, ações e final bem definidos”, p. 289, tradução nossa) em uma atividade de narração de histórias para iPad chamada “Saving the Forest” (Salvando a Floresta). O grupo de controle pôde visualizar e discutir as histórias dos outros, mas não usou os critérios. Novamente, o fio condutor parece ser a apresentação clara de critérios ligada a alguma atividade que garantiu que os alunos usassem os critérios.

Quatro outros estudos mostraram essa combinação de apresentação clara de critérios e garantia de que os alunos os usassem de forma intencional. Dois desses estudos foram descritivos (sem grupo de controle) e usaram rubricas propriamente ditas. ^{Kim (2019)} constatou que os alunos do ensino médio que usaram a autoavaliação referenciada pela rubrica escreveram redações mais longas e de melhor qualidade após o uso da rubrica. ^{King et al. (2016)} descobriram que a cocriação de uma rubrica para escrever justificativas matemáticas, e em seguida o uso da rubrica para autoavaliação, que incluía feedback para eles mesmos e autopontuação, ajudou os alunos do 5^o ano a distinguir entre a simples apresentação das etapas para resolver um problema de matemática e a explicação do raciocínio por trás dessas etapas, o que era um problema para eles antes das aulas que usavam a rubrica.

Dois estudos adicionais de um grupo de pesquisa (^{Safadi, 2017}; ^{Safadi & Saadi, 2021}) usaram um desenho elaborado de pesquisa para testar a eficácia de um instrumento que eles chamaram de rubrica que apoiava uma atividade autodiagnóstica. Depois de resolver problemas de força e movimento (^{Safadi, 2017}) ou problemas de óptica geométrica (^{Safadi & Saadi, 2021}), os alunos do grupo de tratamento analisaram um exemplo completo e resolvido de cada um dos problemas, acompanhado de instruções para atribuir a si mesmos uma pontuação, de acordo com orientações, para cada etapa do problema. Os alunos do grupo de controle tiveram uma discussão com toda a sala de aula sobre os exemplos resolvidos sem a atividade de autodiagnóstico e pontuação. Novamente, o que foi testado foi a apresentação clara dos critérios e uma atividade que garantisse que os alunos precisassem se comprometer com esses critérios.

Apenas 2 estudos que investigaram os efeitos das rubricas na aprendizagem e no desempenho não encontraram resultados positivos, não sendo possível generalizar a partir dos resultados desses estudos. No entanto, vale a pena observar que, em um deles (^{Hubber et al., 2022}), os alunos receberam uma rubrica somente durante a última semana de uma unidade interdisciplinar de ciências e matemática de três semanas, quando o projeto final do grupo (o desafio da pista de mármore) já estava em andamento. Até esse momento, os alunos já haviam passado da fase de projeto e entrado na fase de construção e teste de seu projeto de construção de pistas de mármore. Segundo ^{Hubber et al. (2022}, p. 16, tradução nossa): “Uma rubrica . . . foi introduzida na última semana e os alunos foram solicitados a revisar seu trabalho em relação à rubrica e os professores destacaram a necessidade de os alunos autoavaliarem seu trabalho e o trabalho em equipe do grupo”. Nenhuma atividade guiada foi definida para os alunos, assim, presumivelmente, o uso da rubrica por eles poderia ter sido superficial ou eles poderiam até mesmo tê-la ignorado.

No outro estudo que também não foi capaz de estabelecer uma associação entre o uso de rubricas e a melhoria do desempenho (^{Smit et al., 2017}), os alunos participaram da autoavaliação e da avaliação por pares. O uso de rubricas teve efeitos diretos em suas percepções de feedback formativo e autoavaliação, e efeitos indiretos na autorregulação e autoeficácia. Os autores sugeriram que esses efeitos podem ter efeitos mediadores nos resultados, ou seja, a melhoria na autoavaliação pode, em última análise, levar a uma melhor aprendizagem e desempenho.

Efeitos das rubricas na motivação dos alunos

Três dos 4 estudos que analisaram a associação entre o uso de rubricas e a motivação dos alunos encontraram resultados positivos (^{Hsia et al., 2016}; ^{Nsabayezu et al., 2022}; ^{Smit et al., 2017}), e o quarto não encontrou diferença (^{Liu et al., 2016}). Os 3 estudos que relataram resultados motivacionais positivos descobriram que o uso da rubrica estava associado ao aumento da autoeficácia do aluno específica para o uso da rubrica. ^{Hsia et al. (2016)} mostraram em um estudo quase-experimental que, para os alunos que participaram da avaliação por pares on-line, a autoeficácia para a avaliação por pares, especialmente para avaliar o trabalho dos pares e para receber feedback dos pares, estava relacionada ao desempenho. ^{Smit et al. (2017)} usaram um desenho quase-experimental e mostraram, com modelagem causal, que o uso de rubricas teve um efeito direto nas percepções dos alunos sobre suas habilidades de autoavaliação e feedback formativo, bem como efeitos indiretos na autoeficácia e na autorregulação. Em um estudo de caso descritivo, ^{Nsabayezu et al. (2022)} relataram que os alunos se mostraram no geral satisfeitos e motivados com o uso de critérios de avaliação.

O único estudo que não encontrou diferença na autoeficácia entre alunos que usaram e não usaram rubricas utilizou a avaliação por pares com itens do tipo lista de verificação sobre a criação de histórias usando o iPad. O estudo mediu a autoeficácia criativa, definida como a confiança dos alunos na criação de novos trabalhos (^{Liu et al., 2016}, p. 287) e não como autoeficácia para o uso de rubricas. Embora o grupo de revisão por pares tenha obtido pontuações significativamente mais altas em suas histórias, em quase todas as dimensões da rubrica, não houve diferença significativa na autoeficácia criativa entre o grupo de revisão por pares e o grupo de controle. Vale ressaltar que a autoeficácia criativa é um construto mais amplo do que a autoeficácia para usar rubricas e pode exigir mais de um contato para uma mudança.

Efeitos das rubricas nas atitudes e percepções dos alunos

As atitudes e percepções dos alunos afetam seu envolvimento com qualquer ferramenta ou estratégia de instrução. Quatro estudos relataram atitudes e percepções dos alunos, mas o foco das questões de atitude diferiu (por exemplo, atitude em relação ao conteúdo ensinado, atitude em relação às rubricas ou ambas). Em um estudo quase-experimental, ^{Bradford et al. (2016)} não encontraram nenhuma diferença entre os grupos com e sem rubricas nas atitudes em relação à escrita, mas as razões por escrito dos alunos do ensino fundamental (1^o e 2^o anos) para suas avaliações de atitude revelaram que eles achavam que o uso de rubricas permitia que terminassem seus parágrafos de opinião rapidamente e que tivessem um bom desempenho em alguma habilidade de escrita.

Em suma, em estudos descritivos (não experimentais), os alunos relataram uma visão geralmente positiva das rubricas, mas também algumas atitudes negativas. Os professores do estudo de ^{Gallego-Arrufat e Dandis (2014)} disseram que o uso de uma rubrica melhorou o envolvimento e a aprendizagem dos alunos do ensino médio, bem como o próprio ensino deles. Entretanto a falta de experiência com rubricas, o tamanho e a complexidade da rubrica e o tempo necessário para usar esse novo instrumento criaram dificuldades tanto para os professores quanto para os alunos. Os autores relataram alguma resistência em relação ao assunto, pois esses alunos estavam no terceiro semestre, nunca haviam feito demonstrações matemáticas antes e alguns reclamaram por terem de aprender esse novo conteúdo. ^{Kim (2019)} constatou que os alunos do ensino médio perceberam que a autoavaliação referenciada pela rubrica era eficaz e que afetava positivamente suas atitudes em relação à escrita. Também trabalhando com alunos do ensino médio, ^{Mahmood e Jacobo (2019)} descobriram que o uso de rubricas em escala móvel levou a maioria dos alunos a relatar atitudes positivas e motivação para melhorar, mas alguns alunos estavam hesitantes.

Uso de rubricas pelo professor

As descobertas sobre as atitudes, opiniões e experiências dos professores com o uso de rubricas não se referem diretamente aos resultados dos alunos, mas à implementação de rubricas na sala de aula. A implementação é uma etapa necessária para que qualquer ferramenta ou estratégia educacional possa ter efeito sobre os alunos e seu aprendizado. Três estudos coletaram dados de entrevistas e diários (^{Gallego-Arrufat & Dandis, 2014}) de professores ou seus formadores (^{Kennedy & Shiel, 2022}) ou alunos (^{Idris et al., 2017}) sobre o uso de rubricas em sala de aula.

Os professores utilizam rubricas para esclarecer expectativas (Gallego- -Arrufat & Dandis, 2014; ^{Idris et al., 2017}; ^{Kennedy & Shiel, 2022}). Quando as rubricas são claras, os alunos as utilizam para entender o que se espera deles (^{Gallego-Arrufat & Dandis, 2014}; ^{Idris et al., 2017}; ^{Kennedy & Shiel, 2022}). Os professores também usam rubricas na avaliação formativa, por exemplo: para dar feedback para autoavaliação e avaliação por pares (^{Idris et al., 2017}; ^{Kennedy & Shiel, 2022}), para aumentar a objetividade da avaliação somativa (atribuição de notas; ^{Gallego-Arrufat & Dandis, 2014}), para estimular as habilidades de raciocínio dos alunos (^{Idris et al., 2017}) e para planejar suas aulas (^{Gallego-Arrufat & Dandis, 2014}; ^{Kennedy & Shiel, 2022}). Se a rubrica for projetada para auxiliar nisto, os professores podem usar rubricas para identificar o nível de desenvolvimento dos alunos em uma habilidade como a escrita (^{Kennedy & Shiel, 2022}).

Duas dificuldades ou obstáculos principais ao uso de rubricas foram relatados. Um deles foi o tempo necessário para aprender a usar as rubricas, para aqueles que as usavam pela primeira vez (^{Gallego-Arrufat & Dandis, 2014}). Um segundo obstáculo foi que a elaboração da rubrica e a linguagem precisavam ser compreensíveis para os alunos (^{Gallego-Arrufat & Dandis, 2014}).

Certifique-se de que as rubricas sejam de alta qualidade

As rubricas de alta qualidade baseiam-se em critérios claros e apropriados que são extraídos do objetivo de aprendizagem que se destinam a avaliar, não da tarefa (^{Andrade, 2000}; ^{Brookhart, 2013}; ^{McTighe & Frontier, 2022}). Por exemplo, em uma rubrica para uma atividade de escrita, os critérios ideias, organização, escolha de palavras, fluência das sentenças, convenções e voz (^{Bradford et al., 2016}) são derivados das características da escrita eficaz que os alunos devem aprender, não das características da tarefa (por exemplo, a rubrica não incluiu um critério como “tomou uma posição sobre o melhor tipo de pizza”). Tais critérios identificam evidências de aprendizagem em uma série de tarefas semelhantes (por exemplo, um artigo de opinião sobre o assunto favorito do aluno na escola ou sobre o melhor sabor de sorvete). Isso, por sua vez, ajuda a esclarecer a meta de aprendizado para os alunos, dá significado à tarefa e direciona o foco dos alunos para o aprimoramento (nesse caso) de sua escrita, em vez de direcioná-lo para a conclusão de um trabalho.

As rubricas de alta qualidade apresentam descrições de nível de desempenho que abrangem a continuidade da qualidade do trabalho, de inferior a superior. Mesmo que o professor não espere que o trabalho de um aluno esteja em um determinado nível, por exemplo, se o professor achar que nenhum trabalho estará no nível de qualidade mais baixo da escala de desempenho, essa descrição ainda assim deve estar lá para indicar a faixa de desempenho e para dar aos alunos uma noção de onde seu desempenho atual se encontra nessa faixa. Os professores podem ajudar os alunos a revisar exemplos ilustrativos de trabalho nos vários níveis para auxiliá-los a desenvolver um conceito do que significa o critério (^{Andrade, 2000}; ^{Brookhart, 2013}). As descrições do nível de desempenho devem ser compreensíveis para os alunos e professores que as usarão; caso contrário, elas não serão úteis. Para atingir esse objetivo, use uma linguagem acessível aos alunos - empregue palavras e frases que os alunos possam se ouvir usando - e use com frequência substantivos em vez de pronomes (por exemplo, “minha organização”, não “ela”).

Envolva ativamente os alunos com as rubricas

Os estudos bem-sucedidos analisados nesta revisão usaram várias estratégias para envolver ativamente os alunos com as rubricas, incluindo dar a eles a oportunidade de usar as rubricas individualmente ou em grupos, em amostras de trabalho previamente selecionadas; basear o feedback do professor nos critérios e oferecer aos alunos oportunidades de revisão; envolver os alunos na autoavaliação ou na avaliação por pares com base nas rubricas; e usá-las como um modelo para o planejamento da instrução. Essas estratégias ativas são consistentes com outras recomendações (por exemplo, ^{Andrade, 2000}; ^{Brookhart, 2013}; ^{McTighe & Frontier, 2022}; ^{Panadero et al., 2016}).

Simplesmente distribuir uma rubrica entre os alunos não garante que eles a leiam, muito menos que a entendam. ^{Auxtero e Callaman (2021)} planejaram uma atividade em grupo na qual os alunos do grupo de tratamento estavam familiarizados com a rubrica; em seguida, uma atividade foi feita em pares para prática adicional usando a rubrica. Outras maneiras de apresentar os critérios de avaliação aos alunos incluem pedir que façam perguntas, que reescrevam as descrições do nível de desempenho com suas próprias palavras ou que classifiquem e combinem amostras de trabalho dos alunos (ou amostras de trabalho simuladas) com as descrições do nível de desempenho de cada critério. Para objetivos de aprendizagem com os quais os alunos já estejam familiarizados (por exemplo, justificativa matemática, ^{King et al., 2016}), os alunos podem cocriar as rubricas com o professor.

Uma vez que a rubrica se torne algo habitual para os alunos, e os conceitos do objetivo de aprendizagem desses alunos comecem a ser moldados pela rubrica, eles podem usá-la para avaliação por pares ou autoavaliação, como foi feito em todos os estudos bem-sucedidos na presente revisão. Os alunos precisarão de instruções sobre como fazer o trabalho corresponder às qualidades descritas no critério de avaliação. Uma estratégia é usar um marcador para identificar as evidências no trabalho com a mesma cor da descrição na rubrica, talvez trabalhando em pares. Por exemplo, se uma rubrica de resolução de problemas matemáticos especifica que o aluno escreva uma equação modelando o problema, então os alunos destacariam a equação no trabalho e “escreveriam uma equação modelando o problema” na rubrica com a mesma cor.

Para a autoavaliação, os alunos devem comparar as descrições da rubrica com seu próprio trabalho. Em seguida, eles usam a descrição no próximo nível da rubrica para definir uma meta de melhoria. Em primeiro lugar, o professor deve certificar-se de que os alunos entendam o propósito da autoavaliação, que não se trata de autoatribuição de notas, mas sim de revisar o trabalho deles para melhorá- -lo. Dê aos alunos uma atividade ou texto, por exemplo, usando uma cópia da rubrica com uma seção de comentários ao lado para fazer anotações. Independentemente da estrutura da autoavaliação, os alunos também precisam de uma oportunidade para usar o feedback da autoavaliação para revisar o trabalho deles (^{Chen & Andrade, 2018}; ^{Chen et al., 2017}). O feedback de autoavaliação é irrelevante se não for usado, e os alunos logo o verão como algo inútil. Por outro lado, fechar o ciclo observando que a autoavaliação leva à melhoria contribuirá para a autorregulação da aprendizagem dos alunos (^{Panadero et al., 2016}). Dê aos alunos um feedback sobre a qualidade de suas autoavaliações e certifique-se de estabelecer uma conexão explícita entre a autoavaliação que eles fizeram e o aprimoramento do aprendizado.

A avaliação por pares é semelhante à autoavaliação, pois os alunos fazem a correspondência entre as descrições da rubrica e o trabalho, mas fazem isso para os pares. Além de esclarecer o propósito da avaliação por pares e usar rubricas claras, a avaliação por pares requer certa atenção à natureza social dessa estratégia de aprendizagem. Coloque os participantes em pares compatíveis ou pequenos grupos que possam trabalhar juntos. Certifique-se de que os alunos entendam que devem avaliar o trabalho e não a pessoa e, se houver escrita envolvida no feedback dos pares, certifique-se de que ela seja clara e útil para o colega que a receberá. Da mesma forma que na autoavaliação, dê aos alunos um feedback sobre a qualidade em relação à avaliação dos pares, dê a eles a oportunidade de revisar o trabalho e certifique-se de estabelecer uma relação clara entre a melhoria observada e a avaliação dos pares feita por eles.

Os professores podem usar os critérios em uma rubrica como um modelo para planejar as suas instruções em aulas ou miniaulas (^{Gallego-Arrufat & Dandis, 2014}; ^{Idris et al., 2017}; ^{Kennedy & Shiel, 2022}; ^{Smit et al., 2017}). A autora deste estudo observou aulas em que os professores estruturaram a introdução didática de uma aula ou tópico ilustrando os critérios e, em seguida, usaram a linguagem dos critérios, conforme observavam e comentavam, enquanto os alunos trabalhavam em atividades individuais ou em grupo. O provável motivo pelo qual a estruturação de uma aula em torno dos critérios é eficaz é que, se os critérios estiverem adequadamente associados ao objetivo de aprendizagem e não à tarefa, a compreensão dos alunos (ou a habilidade de demonstração) dos critérios é equivalente ao fato de os alunos atingirem o objetivo de aprendizagem.

Use rubricas para relacionar avaliação formativa e somativa

Apenas um estudo na presente revisão abordou as rubricas utilizadas para avaliação somativa (^{Mahmood & Jacobo, 2019}). Vale ressaltar que, nesse estudo, os alunos utilizaram a rubrica de maneira formativa, autoavaliando seus portfólios de matemática em relação às rubricas com as quais seriam avaliados. O fato de as rubricas poderem fazer essa conexão entre a avaliação formativa e a avaliação somativa (atribuição de notas) é um dos benefícios do uso de rubricas em sala de aula, e já foi observado antes (^{Brookhart, 2013}). Existem várias maneiras de relacionar os critérios usados na avaliação formativa referenciada por rubricas com os critérios usados para a atribuição de notas. Às vezes, as aulas abordam um critério de cada vez. Por exemplo, um professor de redação pode se deter primeiro nas ideias do trabalho dos alunos, depois na escolha de palavras, e assim por diante, resultando no uso completo dos critérios no final de uma unidade. Ou, então, um professor de música pode se deter primeiro no fato de os alunos cantarem no tom correto, depois no andamento e, em seguida, na dinâmica, culminando no uso completo dos critérios na apresentação final.

Outra maneira de relacionar os critérios usados na avaliação formativa referenciada por rubricas com os critérios usados para a atribuição de notas é usar versões “do tamanho de uma lição” dos critérios para a instrução inicial. Por exemplo, em uma aula do ensino fundamental, os alunos podem se concentrar no uso de pontos no final das frases, depois no uso de pontos de interrogação no final das perguntas e, finalmente, no uso de pontos de exclamação no final das exclamações, culminando em uma rubrica que diz, em parte, algo como: “Eu coloquei a pontuação final correta no final das minhas frases”.