A avaliação com consulta como recurso educacional para o ensino médico

A avaliação, como demonstrado anteriormente, é etapa fundamental de qualquer esforço educativo, não podendo ser negligenciada por nenhum de seus atores. Dessa forma, neste tópico discutiremos os trabalhos que analisaram a inserção da avaliação com consulta como recurso educacional para o ensino médico. Um primeiro ponto importante é notar que Erlich¹² e Durning et al. ⁽¹³ realizaram comparações entre avaliação com consulta e avaliação sem consulta, a fim de saber se há diferença no desempenho dos alunos nessas modalidades, porém encontraram resultados similares em ambas. Além disso, Durning et al. ⁽¹³ demonstram também que o desempenho de estudantes em avaliação com consulta poderia ser melhorado com a realização de testes preparatórios práticos e instruções sobre essa modalidade avaliativa, visto que há menor experiência com esse tipo de avaliação. Não menos importante, Erlich¹² advoga que a maior parte dos alunos que têm desempenho abaixo da média nas avaliações com consulta também têm escores baixos nas avaliações clínicas por preceptores, especificamente na área de domínio da informação. Isso demonstra não haver superioridade de uma modalidade de avaliação sobre a outra, e ambas podem ser utilizadas, dependendo do objetivo da avaliação. Logo, ambas as ferramentas de avaliação são capazes de identificar os estudantes de baixo desempenho.

A respeito da influência da avaliação na forma de preparação e estudo, há discordância entre estudiosos, visto que Durning et al. ⁽¹³ mostraram que os alunos não mudam suas táticas de estudo quando é permitida a consulta durante a prova. Em contrapartida, Sarkar et al. ⁽¹⁴ avaliaram o feedback de alunos após realização de avaliação com consulta on-line e reportaram que eles gastaram mais tempo entendendo o tema, em vez de apenas memorizá-lo, além de perceberem que não seriam capazes de escrever respostas para as perguntas da avaliação se os assuntos não tivessem sido lidos e estudados previamente. Isso pode demonstrar que a avaliação com consulta não prejudica a forma de estudo e preparo ou, ainda melhor, que os alunos estudam com mais profundidade se preocupando menos com a memorização de conceitos e mais com funções superiores, como correlação, argumentação e síntese. Tal visão é compartilhada por Erlich¹², que enfatiza que, em uma era de evolução do conhecimento baseado na internet, médicos e estudantes de Medicina devem ser competentes para acessar rapidamente, sintetizar e aplicar informações sempre atualizadas para tomada de decisões.

Os estudos que avaliaram o tempo de resolução das avaliações são concordantes ao mostrarem um aumento do tempo necessário para as avaliações com consulta. Em estudo realizado por Durning et al.¹³, os estudantes levaram de 10% a 60% mais tempo para completar as avaliações com consulta, quando em comparação com avaliações similares sem consulta. Em concordância, Brossman et al.¹⁵ acusam a necessidade de 40% mais tempo para resolução das avaliações com consulta. Essa descoberta tem implicações diretas na operacionalização das avaliações com consulta, já que se deve levar em consideração o tempo adicional de resolução para que isso não se torne um fator que influencia negativamente o resultado da avaliação¹⁵.

Outros estudiosos avaliaram o grau de ansiedade relacionado à avaliação. Sarkar et al.¹⁴ analisaram o feedback de alunos e evidenciaram menor nível de estresse durante a avaliação com consulta, em concordância com Mathieso et al.¹⁶. Já em Durning et al.¹³, percebe-se que os alunos associaram avaliação com consulta com menor grau de ansiedade, mas apenas uma minoria deles realmente relata menor ansiedade quando efetivamente realiza tal modalidade avaliativa. Dessa forma, não parece haver consenso sobre o fato de os estudantes realmente apresentarem uma redução de ansiedade com avaliações com consulta. No entanto, nenhum trabalho demonstrou aumento do nível de estresse ou ansiedade relacionado às avaliações com consulta.

Sobre a profundidade dos temas abordados nas avaliações com e sem consulta, notamos que exames clínicos escritos são adequados para formatos de avaliação com consulta, uma vez que as perguntas requerem uma síntese diferenciada de muitas informações dos cenários clínicos fornecidos, e, portanto, a resposta não pode ser simplesmente pesquisada na internet¹³.

O poder de discriminação de um teste ou avaliação é a capacidade de distinguir os estudantes que têm a proficiência requisitada daqueles que não a têm. Para realizar a análise do poder de discriminação, Brossman et al.¹⁵ utilizaram a metodologia de Teoria de Resposta ao Item (TRI), que considera três características das questões (ou itens): a capacidade de avaliar se os alunos têm o conhecimento necessário para responder a elas, o grau de dificuldade e a possibilidade de o acerto acontecer ao acaso. Utilizando tal metodologia, demonstraram que a avaliação com consulta tem maior capacidade de discriminação do que avaliações sem consultas similares. Isso significa que as questões de uma avaliação com consulta têm maior capacidade de separar os candidatos de melhor desempenho daqueles de pior desempenho, o que parece estar relacionado à profundidade e complexidade das questões de uma avaliação com consulta, que tendem a exigir funções mentais superiores. Nesse ponto, vale questionar se os resultados de melhor discriminação se devem à consulta a fontes externas de informação propriamente dita ou se isso é ocasionado pela elaboração de questões com maior exigência de raciocínio clínico.

Podemos notar também que uma das vantagens das avaliações com consulta apontadas é que elas não só previnem que os alunos temporariamente decorem informações supérfluas para repetição durante as avaliações, mas, crucialmente, espelham de perto a prática clínica real onde tais informações são facilmente adquiridas a partir de recursos disponíveis, como bibliotecas digitais de medicina baseada em evidências^13),(17. Fica evidente que utilizar esse tipo de avaliação também apresenta a vantagem de colocar o estudante em contato com situações mais próximas da prática profissional que enfrentarão no futuro. Como lacuna, Eurboonyanun et al.¹⁸ apontam a necessidade de novas pesquisas para avaliar os efeitos dos exames on-line com consulta sobre retenção e aplicação de conhecimento em longo prazo.

A avaliação com consulta como alternativa pedagógica no cenário pandêmico

Desde o início do ano de 2020, grandes desafios ocorreram em razão da pandemia da Covid-19. Houve impactos globais em todos os setores e atividades, inclusive na educação, uma vez que o distanciamento social foi necessário como forma de contenção da circulação viral, obrigando a interrupção de atividades de ensino presenciais de maneira súbita. Para evitar grandes prejuízos, realizaram-se adaptações nas metodologias de ensino e nas formas de avaliação¹⁹, uma vez que esse período de ensino remoto foi mais longo que o esperado inicialmente. A seguir, serão apresentados os dados da discussão dos estudos que versam sobre a avaliação nesse cenário específico.

Em estudo realizado por Elsalem et al.²⁰, os resultados apontaram que apenas um terço dos alunos preferiu exames com consulta online como um modo de avaliação durante a pandemia da Covid-19. Os autores associam a baixa aceitação dos alunos em relação à avaliação com consulta à necessidade de maior tempo para preparação, a dificuldades na preparação prévia e à inadequação das questões com o material de estudo fornecido. Essas descobertas são valiosas para permitir o planejamento de estratégias acadêmicas capazes de ajudar na superação das dificuldades com avaliações remotas com consulta. Isso pode incluir melhorias nas metodologias de ensino a distância, reorganização das estratégias de avaliação e revisão dos currículos acadêmicos para que se adaptem à situação real.

Esse período, apesar das dificuldades, foi uma excelente oportunidade para educadores médicos explorarem cuidadosamente o uso de avaliações com consulta em ambiente on-line¹⁹, uma vez que essa modalidade tem a capacidade de avaliar a capacidade dos alunos de pesquisar e traduzir informações de forma eficiente, o que é uma habilidade necessária à prática clínica futura. Os mesmos autores ainda sugerem estratégias de avaliação mista, incluindo uma primeira parte sem consulta, avaliando a aprendizagem de conceitos que deveriam saber sem consultar fontes externas, seguida por uma segunda parte com consulta sobre tópicos em que se espera que os alunos pesquisem e demonstrem capacidade de síntese, correlação, argumentação e raciocínio clínico.

Nessa direção, Eurboonyanun et al.¹⁸ realizaram a avaliação de final de estágio de cirurgia em ambiente on-line com consulta e correlacionaram esses dados com resultados dos grupos antecessores, na mesma avaliação presencial sem consulta, usando o mesmo banco de dados de questões. Os estudantes de Medicina que fizeram o exame on-line com consulta tiveram uma pontuação média mais alta nas questões de múltipla escolha e dissertativas, mas uma pontuação média mais baixa nas questões de respostas curtas. Esse resultado é importante por mostrar a necessidade de definir pontos de corte e notas mínimas de aprovação comparáveis para avaliações com e sem consulta, procedimentos que devem ser repetidos em outras instituições que desejem mudar as suas metodologias de avaliação. De maneira similar, Sarkar et al.¹⁴ realizaram estudo de uma avaliação com consulta on-line em disciplina de otorrinolaringologia, também por conta das adaptações ao ensino remoto durante a pandemia. Os autores compararam esses resultados com o de avaliações tradicionais anteriores presenciais sem consulta e demonstraram taxas de aprovação similares em ambas as metodologias.

Ainda, estudiosos questionaram sobre a ocorrência de desonestidade acadêmica ou “cola” em avaliações com consulta de forma remota. Elsalem et al.²⁰ investigaram a ocorrência de má conduta e desonestidade durante esses exames, e demonstraram que 55,07% dos estudantes relataram nenhuma desonestidade ou má conduta, enquanto 20,41% mencionaram ter buscado ajuda de amigos e 24,52% utilizaram outras fontes de informação não autorizadas. Ainda, podemos apontar que Sarkar et al.¹⁴ encontraram resultados similares, com 72,2% dos alunos afirmando não terem consultado colegas de turma, respondendo de forma independente. Monaghan¹⁷ advoga que, para inibir a “cola” ou conluio, foram utilizadas as estratégias de randomização da ordem das perguntas para cada aluno, tornando a comunicação entre eles ineficaz. Isso demonstra que a ocorrência de desonestidade e “cola” durante avaliação com consulta remota não parece ser tão frequente e há formas de inibir a sua ocorrência. No entanto, a literatura atual carece de estudos que comparem a frequência com que ocorrem essas ações de desonestidade entre estratégias de avaliação presencial ou remota, assim como comparações entre avaliações com e sem consulta, a fim de saber se a permissão de consulta inibe ou reduz a ocorrência da “cola”.

As mudanças nos métodos de ensino e avaliação durante a pandemia da Covid-19 proporcionaram a oportunidade de implementar, testar e entender melhor a avaliação com consulta, de forma remota ou não, nos cursos de Medicina^14),(17),(19. A maioria dessas mudanças educacionais aconteceram em caráter de urgência, mas muitas provavelmente permanecerão, de forma mais refinada, como métodos preferidos de ensino e avaliação no futuro¹⁷. Ainda, Zagury-Orly e Durning¹⁹ pontuam que a oportunidade surgida nesse período deve ser aproveitada para avançar nossa compreensão da avaliação holística do aluno.

Nota-se também que, anteriormente ao cenário da pandemia da Covid-19, Teodorczuk et al.²¹ já apontavam a necessidade de tais mudanças, ao discorrerem que era chegada a hora de abrir os livros, demonstrando a necessidade de incluirmos avaliações com consulta. Ao fazê-lo, os autores argumentam que essa mudança na filosofia de avaliação poderia beneficiar os alunos, colocando-os em contato com formas de aprendizagem mais profundas e divertidas. Esse fato também é apontado por Ibrahim et al.²² ao citarem que é necessário adicionar métodos de avaliação mais inovadores, como avaliação com consulta, autoavaliação e avaliação por pares.

Como desafio à adoção de avaliações com consulta, os estudiosos concordam que é necessário convencer os educadores médicos, que podem não gostar da mudança e preferir manter o sistema avaliativo já existente e testado¹⁴. Da mesma forma, outros autores concordam que o desafio é que os educadores podem não gostar das mudanças e preferir seguir utilizando as mesmas formas de avaliação¹⁷. Para superar esses desafios, é necessária uma mudança na filosofia de avaliação, o que pode resultar em estudantes engajados em conhecimento mais profundo e minucioso e em formas de ensino e avaliação inovadoras.