Cultura da avaliação formativa e abordagem edumétrica

A avaliação, concebida como parte integrante de um processo de ensino e aprendizagem dinâmico e interativo, caracteriza-se pela função formativa, na qual os estudantes são colocados em situações de desempenho, expostos a julgamentos apoiados em critérios precisos, ao mesmo tempo que recebem feedback (^{SCALLON, 2015}).

Essa concepção está assentada em uma cultura de avaliação que ultrapassa os limites da técnica, capaz de dialogar com o real para criar novos laços entre saberes e fazeres (^{ESTEBAN, 2001}; ^{FERNANDES, 2008}).

A esse respeito, ^{Amante, Oliveira e Pereira (2017}, p. 5) explicam que se faz necessário “[...] um novo paradigma de ensino onde o que é determinante é a construção de ambientes ricos que promovam a aprendizagem em ligação com os contextos reais.” Assim, o contexto assume um papel relevante tanto nas situações de aprendizagem como nas de avaliação, o que é denominado por muitos autores de avaliação autêntica (^{CONDEMARÍN; MEDINA, 2005}; ^{HARTMAN, 2015}; ^{SCALLON, 2015}). O Quadro 1 apresenta o comparativo entre a cultura da avaliação e a cultura do teste, o que explica melhor essa perspectiva.

Enquanto a cultura do teste subentende a abordagem psicométrica, centrada na medida das diferenças entre os estudantes, a cultura da avaliação tem implícita a abordagem edumétrica, que visa a medir as variáveis relativas à aprendizagem individual ou coletiva. ^{Scallon (2015}) lembra que a renovação educacional das práticas de avaliação está relacionada à revisão dos procedimentos avaliativos, a começar por entender avaliação como julgamento e tomada de decisões, em lugar de medida, que indica objetividade e confiabilidade, não sendo procedimento abandonado, mas que perde importância nas metodologias de avaliação que buscam integrar processos avaliativos à aprendizagem e à autoavaliação.

No entanto, não se trata de estabelecer uma oposição simples e dicotômica entre um tipo de avaliação e outro, dado que a cultura da avaliação pressupõe uma avaliação multifacetada, ou seja, com múltiplos formatos.

A perspectiva edumétrica, termo proposto por Carver em 1974, embora tenha discreta presença na literatura sobre avaliação, tem sido mencionada por autores como ^{Orantes (2006}), ^{Freitas (2003}), ^{Brinke (2008}) e ^{Amante e Oliveira (2016}). Segundo Hidalgo (2009)¹apud^{Fernandes (2012}), a edumetria caracteriza-se por:

Desse modo, no enfoque edumétrico, há propriedades essenciais não só para identificar o que o aprendiz não alcançou, mas também para ajudá-lo a corrigir suas falhas e deficiências, promovendo a autonomia do estudante e seu protagonismo em relação à própria aprendizagem.

Nessa perspectiva, recupera-se a dimensão pedagógica da avaliação, visto que, para avaliar competências, é necessário um agir complexo e integrado de conhecimentos, saber fazer e saber ser (^{SCALLON, 2015}). Os critérios edumétricos são reconhecidamente mais justos por promoverem avaliação formativa e proativa, requerendo questões de natureza ética, política e didática para ajudar os alunos a aprender.

Rubricas: escalas descritivas de critérios de avaliação

^{Porto (2005}) aconselha o uso de rubricas como forma de comunicar as expectativas de aprendizagem aos estudantes, além de ser um modo de sistematização de notas. A autora define rubrica como “[...] método de avaliação que considera o desempenho do aluno numa determinada tarefa ou num conjunto de tarefas, no final, produz um produto ou um determinado resultado esperado de aprendizagem” (p. 155).

Essa pesquisadora explica que as rubricas apresentam critérios específicos básicos para a avaliação de desempenho do estudante sob forma descritiva que define diferentes níveis de desempenho relacionados à tarefa proposta. Tal gradação parte do mais alto grau de proficiência ao mais baixo, cada qual recebendo um valor cujas escalas podem ser numéricas, qualitativas ou uma combinação dos dois tipos. As escalas de medição podem ser holísticas ou analíticas; a primeira, mais global, visualiza as tarefas inter-relacionadas e contribuintes para o todo, enquanto a segunda separa o produto final em partes, valorando-as independentemente.

^{Scallon (2015}) descreve tal método de avaliação como uma ferramenta de avaliação situada num contexto e constituída de quatro ou cinco parágrafos descritivos que compõem uma escala de apreciação de tarefas complexas e autênticas, frequentemente chamada de escala descritiva. Esse autor explica que a noção de escala de apreciação não é nova, mas com a abordagem da apreciação do desempenho e a chegada dos programas por competências, escalas de um novo tipo apareceram, inspiradas nas rubrics (escalas descritivas) dos textos americanos; essas escalas podem ser globais ou analíticas.

O Quadro 2 apresenta um exemplo de escala descritiva global, sintetizando os critérios de correção correspondentes a cada nível da competência avaliada, de forma gradativa, por meio de adjetivos e advérbios, como: precário, razoável, bom e muito bom.

Para entender melhor esse exemplo de escala descritiva global, cabe apresentar o quadro de graus de domínio, que explicita cada grau a ser descrito numa escala desse tipo.

O objetivo da escala descritiva global é atribuir uma nota numérica (ou uma classificação) a uma tarefa realizada - no caso do Quadro 2, a produção de um texto. Para ^{Scallon (2015}), a utilização desse tipo de ferramenta de julgamento é, então, mais ou menos apropriada para fornecer ao estudante um feedback preciso. Efetivamente, percebe-se, na escala exemplificada no Quadro 2, que o nível 2 não explicita a diferença entre “inaceitáveis” (nível 1) e “pouco aceitáveis” (nível 2); ademais, o estudante não tem clareza sobre sua dificuldade na tarefa de produção do texto.

O autor também recomenda que “[...] bastaria isolar os diversos elementos que serviram para redigir os escalões da escala descritiva global para voltar a uma forma de ferramenta, menos recente, que se parece com a lista de verificação” (^{SCALLON, 2015}, p. 211). No exemplo do Quadro 2, a finalidade não é fornecer feedback específico, visto se tratar de um concurso seletivo, mas apenas a título de entendimento, os critérios poderiam ser listados conforme mostra o Quadro 4.

Fonte: Elaboração das autoras (2020).

QUADRO 4 Desdobramento do critério de correção 1 do Quadro 2  

Se os três elementos do Quadro 4 forem independentes, há oito possibilidades de preencher a lista de verificação de um estudante que produz o texto.

Para ^{Scallon (2015}), em uma perspectiva de regulação ou de ajuste, apropriada durante a avaliação formativa, o julgamento analítico é totalmente indicado: ele permite levar o estudante a corrigir seus pontos fracos, enquanto destaca seus pontos fortes. Nesse sentido, as evidências são interpretadas localmente, no contexto da sala de aula, e destinam-se a decidir o que fazer a seguir naquele mesmo cenário.

Portanto, neste artigo, dá-se preferência às escalas descritivas analíticas, instrumento com poucas obras de referência sobre o tema para orientar professores. Popham (2000³apud^{SCALLON, 2015}) é uma dessas referências, servindo como base para a proposta descrita a seguir.

Para esse autor, ao elaborar uma ficha de avaliação, é preciso primeiramente identificar os critérios de avaliação, entendendo-se critério, conforme ^{Simon e Forgette-Giroux (2001}), como característica de dimensão de um produto ou de uma resposta elaborada que pode assumir diferentes valores. Assim, ^{Scallon (2015}, p. 219) explica que expressões como “previu o material necessário”, “fez uma revisão de seu procedimento” ou “analisou os dados do problema” não denotam critérios, mas sim indícios (gestos, comportamentos indicadores).

Dessa forma, a coerência de um texto argumentativo, a precisão da linguagem e a participação e o compartilhamento de atividades em grupo são exemplos de critérios. Essa é a etapa mais complexa na formulação das rubricas, pois é abrangente, porém, se não for realizada, há o risco de se focalizar mais uma dimensão do que outra, comprometendo a equidade do instrumento de avaliação.

Cada critério é acompanhado de uma escala descritiva, responsável por estabelecer níveis qualitativos. Por exemplo, numa ficha de avaliação de resumo acadêmico, um dos critérios é o conteúdo, que é desdobrado em níveis de desempenho: a adequação ao gênero e a seleção de informações. Com base nesse detalhamento, são criados os indicadores de desempenho: menção ao autor e uso de verbo de dizer. Por fim, há os descritores, que variam conforme o contexto em que será empregada a ficha avaliativa; são aspectos como o público-alvo, o nível de ensino, a disciplina e a tarefa complexa a ser avaliada. Os três níveis de critérios requerem conhecimento técnico do autor da rubrica sobre a tarefa autêntica a ser avaliada. Por essa razão, o conhecimento em uso está integrado pelos saberes teóricos, procedimentais e atitudinais.

O Quadro 5 ilustra uma ficha de avaliação sobre um dos critérios propostos para o estudante de ensino superior: o conteúdo do resumo acadêmico.

O item “Níveis de desempenho” corresponde ao desdobramento dos critérios referentes à categoria conteúdo, fornecendo melhor precisão para a elaboração dos indicadores de desempenho, que, como o próprio nome indica, descrevem o que se espera do estudante, ou seja, as principais evidências de sua aprendizagem. Os descritores, por sua vez, apresentam a qualidade num continuum, que diminui gradativamente. Ao assinalar um desses itens, o professor fornece feedback mais preciso ao estudante. Cabe destacar, ainda, a quantidade de gradações em cada ficha de avaliação de uma tarefa complexa. Essa orientação varia entre os autores, pois alguns indicam de 3 a 5 escalas, conforme as variáveis envolvidas; outros sugerem 3 ou 4 colunas apenas, alertando que quanto mais se inserem colunas, mais difícil fica a distinção entre os graus de qualidade descritos para a tarefa avaliada.

É comum também os professores apresentarem os descritores diretamente, sem elencá-los, nem seus níveis, gerando falhas no desenvolvimento dos critérios e comprometendo a qualidade da ferramenta de julgamento, pois há maior risco de se criarem indicadores pouco apropriados ou sobrepostos.

A esse respeito, Popham (2000 apud^{SCALLON, 2015}) recomenda evitar escolher critérios: muito gerais ou muito abstratos; particulares para uma tarefa dada, já que provavelmente são qualidades desejadas, mas não generalizáveis a todas as produções de uma mesma família de situações avaliativas; ou, ainda, detalhados e supérfluos, levando à redação de indicadores de desempenho exageradamente longos.

Para a avaliação formativa, mais atenta aos processos de ensino e aprendizagem, porém sem descurar a importância dos resultados (avaliação somativa), cabe investir tempo e dedicação na elaboração da ficha de avaliação, pois esta fornece melhor validade e consistência, permitindo apreciar desempenhos complexos ou competências com mais objetividade e fornecer feedback de melhor qualidade.

Por fim, com relação à atribuição ou não de notas, existem três tipos de rubrica:

Sobre o aspecto de criação de rubricas, ^{Carvalho e Fernandes (2012}) recomendam um aplicativo completo para editar e usar rubricas em avaliações de trabalhos em geral. Trata-se do Easy Rubric, uma ferramenta cujas principais funcionalidades são editar e executar rubricas seguindo o padrão IMS Rubric.

O modelo PrACT

O modelo PrACT, proposto por ^{Amante, Oliveira e Pereira (2017}) e inscrito numa perspectiva holística de avaliação, permite analisar e conceber designs de avaliação pedagógica em contexto digital. Compreende quatro dimensões, cada qual constituída por diversos parâmetros que as operacionalizam: praticabilidade, autenticidade, consistência e transparência. Conforme afirmam Amante, Oliveira e Pereira (2017, p. 13), “O PrACT contribui para a definição de um padrão de qualidade das estratégias de avaliação em diversos níveis de ensino e contextos, sejam eles totalmente virtuais, híbridos ou mesmo presenciais”. Ademais, as autoras propõem que esse quadro conceitual representa um padrão que permite “[...] analisar e avaliar a qualidade das práticas pedagógicas” dos cursos que as instituições de ensino ofertam.

As autoras explicam que a dimensão praticabilidade refere-se à exequibilidade da escolha de estratégia de avaliação, ou seja, fatores como o tempo e o equilíbrio, considerando a relação custo/benefício para avaliadores e organizações. Também é necessário garantir que os estudantes percebam as tarefas de avaliação como factíveis, relevantes e úteis para a aprendizagem. Portanto, nessa dimensão, estão os seguintes critérios: custos (resultantes do uso de tempo e de recursos); eficiência (fruto da relação custo-benefício, ou seja, o investimento e os resultados esperados); e sustentabilidade (condição de continuidade do design de avaliação pensado, considerando perfis dos estudantes e as exigências contextuais tanto das organizações como dos avaliadores).

Sobre a dimensão autenticidade, as pesquisadoras expõem ser essencial para a avaliação baseada em competências, pretendidas como próximas de toda a complexidade do mundo real/profissional e, portanto, significativas para estudantes, professores e potenciais empregadores. Para tal dimensão, concorrem critérios como: similitude (relação entre a estratégia de avaliação com o mundo real); complexidade (relacionada com a natureza das tarefas de avaliação); adequação (concernente às condições de realização das tarefas de avaliação); e significância (referente ao valor significativo da tarefa para professores, estudantes e empregadores).

Na dimensão consistência, as investigadoras destacam aspectos como alinhamento das competências com as tarefas instrucionais, estratégias, critérios de avaliação e variedade de indicadores. A partir disso, consideram os seguintes critérios da dimensão consistência: alinhamento instrução-avaliação digital (coerência entre as práticas ocorridas durante o percurso de aprendizagem e as tarefas de avaliação); multiplicidade de indicadores (relacionada com o uso de variadas tarefas de avaliação digital, bem como diversos contextos, momentos e avaliadores); relevância dos critérios (ligada à pertinência dos critérios usados para a avaliação das competências, individuais ou colaborativas); e alinhamento de competências e avaliação digital (relativo à coerência entre as competências a desenvolver e a estratégia de avaliação desenhada).

Finalmente, as estudiosas indicam a dimensão transparência, referindo-se à necessidade de que a estratégia de avaliação seja aparente e compreensível para envolvidos. Nela, evidenciam-se os seguintes critérios: democratização (referente à disponibilidade e à possibilidade de participação dos estudantes na definição dos critérios de avaliação); envolvimento (relacionado com a disponibilidade e possibilidade de participação dos estudantes na definição das metas de aprendizagem e das condições de execução das tarefas propostas); visibilidade (concernente à possibilidade de partilhar os próprios processos de aprendizagem e/ou os produtos); e impacto (relativo aos efeitos que a estratégia de avaliação digital tem nos processos de aprendizagem e no desenho do programa educacional).

Neste artigo, destaca-se a dimensão consistência para avaliar a qualidade de uma rubrica criada para disciplina de ensino superior na modalidade presencial. Trata- -se de um estudo de caso de pesquisa qualitativa, cuja análise interpretativa objetiva examinar o padrão de qualidade desse instrumento avaliativo, com base numa das dimensões do modelo conceitual PrACT, brevemente apresentado anteriormente.

Um caso de construção de rubrica

^{Scallon (2015}) recomenda que a construção de escalas descritivas, como as que permitem apreciar desempenhos complexos ou competências, seja feita em equipes ou em grupos de trabalho. O autor alega que alguém sozinho não poderia de fato assegurar-se de que a ferramenta de julgamento é bem compreendida da mesma maneira por todos aqueles que a utilizarão, assim como não poderia assegurar-se de sua validade.

Uma das autoras deste texto realiza aconselhamento pedagógico numa instituição privada de ensino superior desde 2016 para docentes que desejam discutir a construção de rubricas para avaliar tarefas complexas em suas disciplinas. Em geral, os professores procuram apoio após participarem de oficinas de formação continuada para docentes ofertadas pelo centro de ensino e aprendizagem da instituição. Na oficina, um professor do curso de Medicina, cujo currículo é organizado numa abordagem por competências, apresentou a forma de avaliação que entendia como rubrica para a disciplina Introdução ao Raciocínio Clínico, ministrada no primeiro período, para um grupo de dez estudantes que compõem uma turma de 90 discentes; ao todo, são nove professores ministrando a mesma disciplina, dividida em dez grupos; daí a importância de se estabelecerem rubricas de avaliação das aprendizagens de cada grupo de estudantes, consensuadas pelos docentes envolvidos.

Cabe destacar que essa disciplina é centrada na metodologia de estudos de caso, organizada em duas sessões com exposição oral e apresentação do grupo (quatro aulas) e pré-aula (sala de aula invertida) por meio de uso da plataforma blackboard.

Os critérios apresentados para a avaliação foram escritos diretamente no plano de ensino da disciplina, no item “Metodologia e avaliação”, e os resultados de aprendizagem estão alinhados com elementos de competência previstos na matriz curricular do curso de Medicina, como mostrado no Quadro 6.

Percebe-se que não se trata de uma ficha de avaliação de escala descritiva, voltada ao resultado de aprendizagem proposto, pois o critério descrito volta-se à tarefa em si; faltam elementos para orientar a avaliação dos docentes enquanto observam a realização da tarefa; além disso, se um dos estudantes vai ao quadro enquanto os demais citam o que deve constar em cada item da anamnese e do exame físico, fica difícil identificar quem está sendo avaliado durante a observação: o estudante, que representa o grupo nesse momento, ou os demais nove integrantes do grupo? Além disso, quantas observações serão feitas para que o estudante seja avaliado? Efetivamente, a consistência do instrumento fica comprometida quanto ao critério instrução - avaliação. Ademais, não há multiplicidade de indicadores, visto que há apenas um indicador, aliás, igual ao resultado de aprendizagem; a frase “elabora frases claras” não se refere ao item “Resultado de aprendizagem”, mas sim à tarefa “relatório”, que, aliás, parece bastante inconsistente, por se tratar de redação de texto técnico e detalhado e sua escrita ser solicitada no quadro.

Após o curso sobre construção de rubricas, o professor reformulou seu instrumento de julgamento e encaminhou novamente ao centro de ensino e aprendizagem da instituição, como mostrado no Quadro 7.

Embora haja evidente progresso na formulação dessa ficha de avaliação em relação à anterior, ainda há inconsistências na proposição de critérios, bem como nos descritores. São avanços, por exemplo, a relevância dos critérios em que há melhor pertinência entre indicadores, descritores e a avaliação das competências, individuais ou colaborativas: a divisão dos critérios e os descritores, que se voltam para saberes (conhecimentos), saber-fazer (tratamento dos dados) e saber-ser (atitude em grupo) dos estudantes.

Também deve-se esclarecer que nessa proposta de avaliação da aprendizagem, o professor prevê colunas para avaliar cada estudante em seis estudos de caso tratados ao longo do semestre na disciplina. Isso significa que o professor atende ao critério de multiplicidade de indicadores, variando as tarefas e momentos de avaliação. Em tal perspectiva, garantem-se a fidedignidade e a validade de situações de avaliação e de julgamentos, já que não se limita o julgamento a uma só observação ou a uma só interpretação.

Entretanto ocorre uma sobreposição entre o nível qualitativo participação e o nível reflexivo, pois ambos se voltam para o saber-ser, quando este último deveria voltar-se especificamente para o raciocínio clínico. Também o nível qualitativo “bom” referente ao descritor procedimental está pouco definido, pois informa apenas “contribui”, sem fornecer uma distinção evidente com o nível “líder”. Por fim, é possível questionar a escrita dos itens do último nível “insatisfatório”, pois todas as descrições apresentam apenas aspectos negativos, sendo que há atribuição de nota para cada um desses itens. Assim, há incoerência, por exemplo, ao se informar “não fala” e atribuir-se nota para esse aspecto. Caberia, portanto, o critério de anulação nesse caso, visto que a nota zero não é adequada a uma ficha de avaliação das aprendizagens. Por outro lado, é possível reformular todos os elementos do nível “insatisfatório” para descrever escalas cuja qualidade diminui gradualmente em relação ao nível “regular”, com elementos dicotômicos que são excluídos aos poucos, não apenas propostos por oposição (fazer/não fazer).

Após enviar essa devolutiva ao professor, via e-mail, ele foi convidado para um encontro presencial no setor, a fim de discutir a reformulação com esta pesquisadora. Inicialmente, retomaram-se todas as tarefas em grupo, as condições para realização das tarefas e as situações de avaliação. A partir disso, concluiu-se serem necessárias duas fichas de avaliação das aprendizagens: uma para o desempenho do grupo e outra para a avaliação do trabalho em grupo, feita pelos próprios participantes, haja vista que o professor relatou que costuma fazer uma avaliação oral do trabalho em grupo. A rubrica construída ao longo desse encontro está apresentada no Quadro 8.

A avaliação proposta no modelo PrACT, especificamente a dimensão da consistência, é atendida nessa rubrica do Quadro 8, alinhando os resultados de aprendizagem com as tarefas instrucionais, os critérios de avaliação e a variedade de indicadores.

A outra proposta desenvolvida com o professor da disciplina (Quadro 9) busca avaliar o trabalho em grupo, propondo o preenchimento de um instrumento de mediação para a coavaliação ou avaliação por pares a cada fim de caso estudado.

Também foi sugerido ao professor que incentivasse não só a coavaliação mas também a autoavaliação dos estudantes, para promover a autorregulação da aprendizagem. Esses componentes, aparentemente comportamentais, constituem parte de um mecanismo complexo que envolve processos metacognitivos de automonitoramento, organização e autoavaliação, bem como motivacionais (^{FIGUEIRA, 1997}). Assim, um protocolo de autoavaliação foi construído para que os estudantes preenchessem a cada fim de caso.

É imprescindível potencializar a capacidade do estudante para aprender e, nesse sentido, o uso de procedimentos de aprendizagem autorregulada não só promove as aptidões cognitivas, metacognitivas e motivacionais, mas também contribui para a construção de critérios avaliativos mais transparentes e coerentes com os objetivos de aprendizagem. Certamente, essa perspectiva contribui para a efetividade da dimensão consistência do modelo PrACT no critério de multiplicidade de indicadores, pois favorece também a equidade ao variar as formas de participação no processo avaliativo.