INTRODUÇÃO
A avaliação é um componente essencial de qualquer programa educacional. Trata-se de uma coleta sistemática de dados sobre o aprendizado do estudante em que se adotam métodos apropriados. A avaliação pode ser utilizada para propósito somativo, formativo e/ou informativo/diagnóstico1. Deve ser considerada como componente inerente às estratégias de ensino, sendo necessário manter sempre coerência com os objetivos educacionais. Exige diferentes estratégias para os diferentes domínios da competência: cognitivo (saber e saber fazer), psicomotor (demonstrar habilidades in vitro - simulações - e fazer - demonstrar habilidades in vivo - cenários reais da prática) e atitudinal (ser, estar e relacionar-se)2),(3.
A estratégia mais difundida para avaliar habilidades cognitivas são os testes de múltipla escolha (TME). Além da facilidade na elaboração e correção, quando adequadamente formulados, oferecem boas condições de validade e confiabilidade1. Para tanto, é fundamental que os TME contemplem mais que a memorização de conceitos, privilegiando a habilidade de analisar, raciocinar e decidir a partir de situações relevantes para a prática profissional4),(5.
O aprendizado sólido das ciências básicas é estruturante para a compreensão e para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. A compreensão dos mecanismos fisiopatológicos embasa o raciocínio clínico e os princípios da terapêutica. Assim, as ciências básicas suportam a prática clínica qualificada6),(7. O desafio na integração entre ciências básicas e clínicas acontece também pela forma como as questões de ciências básicas são formuladas, pois elas geralmente enfatizam a memorização de conceitos em detrimento da sua aplicação. Há dificuldade adicional na formulação de vinhetas (situações-problema) para contextualização do conteúdo5.
Baig et al.8 avaliaram 150 TME aplicados a estudantes do ciclo básico e constataram que 76% deles envolviam apenas memorização de fatos isolados e 24% abrangiam alguma compreensão de conceitos, não havendo questões de aplicação de conceitos. Entre os fatores causais, relatou-se falta de treinamento específico dos elaboradores, sendo enfatizado que o aprendizado para a elaboração de um TME no contexto clínico não é facilmente transponível para as ciências básicas8. Desse modo, o treinamento para a elaboração de questões de boa qualidade em ciências básicas é fundamental para melhoria das avaliações.
O objetivo deste trabalho é apresentar a experiência da realização de uma oficina para a elaboração de TME de aplicação de conhecimentos sobre ciências básicas destinada a docentes do ciclo básico de cursos da área da saúde.
RELATO DE EXPERIÊNCIA
Trata-se de um relato da experiência da realização de uma oficina de desenvolvimento docente oferecida a professores do ciclo básico de três instituições de ensino superior dentro de um projeto da Faculdade de Medicina de Ribeirão Preto (FMRP-USP) que recebeu financiamento do edital Latin America Grants 2020-2022 do National Board of Medical Examiners dos Estados Unidos9) e que tem aprovação no CEP da unidade (50741621.9.0000.5414).
A oficina foi conduzida pelos professores do Centro de Desenvolvimento Docente para o Ensino de Graduação da FMRP-USP, em que se adotou a estratégia de ensino sala de aula invertida em ambiente remoto. O tema central foram as boas práticas na elaboração de TME para avaliar a aplicação de conhecimentos relevantes das ciências básicas.
Estrutura da oficina
O público-alvo, que recebeu convite via e-mail, foi de professores das instituições FMRP-USP, FAMERP e UFTM, que ministram disciplinas do ciclo básico dos cursos: Ciências Biomédicas, Nutrição, Fisioterapia, Terapia Ocupacional, Fonoaudiologia, Educação Física, Enfermagem, Medicina, Psicologia e Informática Biomédica.
Todo o material instrucional foi elaborado pelos autores deste relato, tendo como base o Gold Book do National Board of Medical Examiners5. Antes do momento presencial da oficina, enviamos um e-mail aos inscritos com instruções e link para um vídeo (https://youtu.be/ml4qdY_5Yqs) sobre boas práticas na elaboração de TME. Compartilhamos também um artigo sobre o tema de autoria de Bollela et al. (10 e um arquivo Word com o modelo para elaboração do TME. O formato de TME abordado foi o de “melhor resposta única”, que contempla enunciado claro, comanda objetiva que solicita a resposta mais provável para o problema abordado e distratores homogêneos5. Finalmente, solicitamos que cada participante elaborasse e enviasse um TME antes do encontro síncrono.
O desenho da oficina está descrito no Quadro 1.
1. Pré-oficina - momento 1: Instruções, videoaula gravada e material escrito foram disponibilizados via e-mail uma semana antes da data agendada para o momento síncrono. O tempo previsto para esse preparo foi de aproximadamente uma hora. |
2. Pré-oficina - momento 2: Cada participante foi convidado a elaborar um TME de um tema de sua área (livre escolha), seguindo as recomendações do material disponibilizado. O TME deveria ser escrito no formato “melhor resposta única”, envolvendo a aplicação de conhecimento, e enviada por e-mail aos coordenadores da oficina até dois dias antes do momento síncrono. Somente os coordenadores tiveram acesso a todos os TME elaborados. |
3. Oficina on-line síncrona - momento 1: Encontro realizado na plataforma Google Meet. A primeira etapa foi destinada a esclarecimentos de dúvidas e à revisão dos principais conceitos. Em seguida, explicamos como cada pequeno grupo deveria proceder para realizar a revisão de TME em painel. O painel é uma reunião em que elaboradores revisam, em conjunto, vários TME durante um período de três minutos. O TME é projetado e lido pelo autor para que os membros façam comentários e sugestões. A instrução é para que destaquem uma qualidade do TME (abordagem apreciativa) e, em seguida, deem uma sugestão de melhoria, tendo como referência as instruções. Cada painel foi feito em salas virtuais separadas, com mediação de um dos facilitadores, e contou com a participação de cinco a seis participantes divididos randomicamente. |
4. Oficina on-line síncrona - momento 2: Plenária após a revisão em painel, quando cada grupo apresentou um dos TME revisados, mostrando como ele era antes e depois da revisão. Os participantes aprenderam como trabalhar na revisão em painel e puderam observar a melhoria proporcionada pela estratégia na qualidade final dos TME. |
Fonte: Elaborado pelos autores.
Um dos diferenciais dessa oficina foi um foco maior na elaboração do enunciado com contexto definido: um problema, uma notícia de jornal, a descrição de um fenômeno biológico ou mesmo uma vinheta clínica. É fundamental ter um contexto relevante que sirva de base para a pergunta do TME, com foco em um objetivo de aprendizagem do plano de ensino do curso. Logo após apresentar o contexto, é preciso elaborar a pergunta, que, se bem-feita, pode garantir sua qualidade.
Tendo como referência o Gold Book5, disponibilizamos, no encontro síncrono, alguns modelos de perguntas para serem utilizadas em TME, que podem auxiliar no alinhamento entre o TME e os objetivos de aprendizagem do curso. É fundamental enfatizar que o enunciado dá o contexto para a pergunta e favorece a avaliação da aplicação do conhecimento e não apenas a memorização:
Qual é a causa/o mecanismo mais provável desse fenômeno?
Qual é o agente infeccioso causal mais provável para esse quadro?
Qual é o mais provável defeito (genético, metabólico, imune ...) presente nesse caso?
Qual citocina é a causa mais provável dessa condição?
Qual das estruturas está em maior risco de dano durante esse procedimento?
A medicação mais adequada para essa condição deve ter qual mecanismo de ação?
Qual dos seguintes modos de transmissão é o mais provável nessa situação?
Qual é o tipo de resposta imune mais provavelmente envolvido no controle dessa doença?
Qual é a explicação mais provável desses achados?
Qual é o local mais provável da lesão da paciente?
Qual dos resultados apresentados deve estar aumentado (ou diminuído) nesse contexto?
Qual é o achado mais provável da biópsia nessa situação?
Outra estratégia interessante na elaboração de TME voltados à aplicação de conhecimentos é o uso de gráficos, imagens, experimentos ou seus resultados, além de vídeos que podem auxiliar na apresentação do enunciado e trazer contexto para o que está sendo avaliado.
Avaliação da oficina
Após a oficina, aplicaram-se via Google Forms questionários sobre a satisfação dos participantes com o treinamento, a percepção deles de aprendizado e sugestões de melhoria. A análise das questões elaboradas para a prova-piloto do final do ciclo básico da FMRP-USP também foi feita, avaliando-se a adequação dos TME elaborados. Contemplaram-se assim os dois níveis mais básicos da pirâmide de Kirkpatrick11.
Percepção geral dos participantes
No total, 67 participantes cumpriram todas as etapas preconizadas. Os dados sobre percepção estão representados no Gráfico 1.
Aspectos relatados como positivos, na parte qualitativa do questionário, foram os exemplos de TME disponibilizados previamente, a dinâmica da oficina e a oportunidade de interação entre os participantes durante a revisão em painel. O formato on-line dividiu opiniões, pois para alguns viabilizou a participação, enquanto para outros a distância foi percebida como algo negativo. A abordagem de diferentes temas de ciências básicas foi um aspecto bastante elogiado.
Efeito da oficina na percepção de competência para elaborar TME
Em relação aos conhecimentos e às competências dos participantes ao final da oficina, 57% se declararam competentes em relação ao conhecimento sobre princípios gerais e finalidades da avaliação do estudante (Gráfico 2A). Mais da metade se declarou competente para avaliar o domínio cognitivo (Gráfico 2B). Apenas 7% referiram que se sentiam pouco competentes para elaborar questões no formato de TME ou pouco familiarizados com as recomendações e boas práticas para a elaboração de TME com única alternativa correta (gráficos 2C e 2D, respectivamente).
A seguir, mostramos um TME que foi discutido na oficina e que exemplifica um TME que atende a todas as recomendações.
Homem, 34 anos, procurou atendimento com queixas de ansiedade e insônia. O médico optou por iniciar tratamento com o benzodiazepínico diazepam, prevendo a retirada do fármaco em duas semanas. Por qual mecanismo o diazepam será benéfico nesse caso?
Feedback: alternativa D CORRETA: ansiolíticos benzodiazepínicos como o diazepam produzem seus efeitos por se ligarem a sítios específicos no receptor GABA-A, potencializando o efeito do neurotransmissor GABA.
Fonte: Prof. Francisco S. Guimarães - FMRP-USP
Avaliação do impacto da oficina sobre a qualidade das questões produzidas
Participantes contribuíram para a elaboração de questões para as provas aplicadas nos anos de 2021 e 2022 na FMRP-USP. Essas provas tiveram caráter institucional, formativo e diagnóstico, e foram aplicadas aos estudantes que haviam concluído a etapa de formação constituída majoritariamente por disciplinas das ciências biomédicas básicas em seis dos sete cursos de graduação da FMRP-USP. Apenas o curso de Informática Biomédica não foi incluído nessa avaliação. Elaboraram-se provas com uma média de 80 a 100 questões (de acordo com cada curso) a partir de uma tabela de especificação (“matriz de avaliação” ou blueprint) previamente construída para cada curso, relacionando objetivos de aprendizagem dos planos de ensino e aprendizagem à carga horária das disciplinas. A aplicação da prova foi feita on-line na plataforma E-disciplinas da USP (Moodle®).
Após a aplicação das provas, as análises psicométrica e de qualidade dos TME foram avaliadas por meio de procedimentos que determinam, para cada questão, os valores dos índices de facilidade (IDF) e de discriminação (IDC)12. Com base nesses critérios, calculou-se, para cada prova, o percentual de questões consideradas adequadas e compararam-se as provas de 2021 e 2022 (antes e depois da oficina).
Efeitos da oficina na qualidade dos TME produzidos e utilizados nas provas institucionais
A participação dos estudantes foi voluntária, e compareceram de 48% a 90% daqueles elegíveis nos diferentes cursos.
O resultado da análise dos IDF e IDC dos TME que compuseram as provas de 2021 e 2022 avaliadas está descrito na Tabela 1. Como indicador de qualidade, estabelecemos que o TME deveria ter um IDF entre 20% e 80% (nem muito fácil, nem muito difícil) e um IDC superior a 20%, o que significa que o TME foi capaz de diferenciar estudantes com melhor desempenho daqueles com pior desempenho na prova como um todo12. Os TME considerados adequados por esses critérios em 2021 e 2022 foram anotados em porcentagem.
CURSO | 2021 | 2022 | VARIAÇÃO |
---|---|---|---|
Ciências Biomédicas | 39,0 | 60,0 | + 21,0 |
Fonoaudiologia | 32,5 | 52,5 | + 20,0 |
Fisioterapia | 58,7 | 46,2 | - 12,5 |
Medicina | 58,0 | 63,7 | + 5,7 |
Nutrição e Metabolismo | 37,0 | 65,0 | + 28,0 |
Terapia Ocupacional | 52,4 | 46,2 | - 6,2 |
Fonte: Elaborada pelos autores.
O maior aumento do porcentual de questões adequadas de um ano para outro foi no curso de Nutrição e Metabolismo. O que contribuiu de forma expressiva para o aumento da qualidade da prova foi a redução do número de questões pouco discriminativas ou com discriminação negativa.
No Gráfico 3, projetamos os valores do IDF e do IDC das provas de ciências biomédicas básicas aplicadas em 2021 (N = 100) e 2022 (N = 80) aos estudantes desse curso de graduação.
DISCUSSÃO
Até recentemente, as oficinas de capacitação docente não diferenciavam instruções para questões dos ciclos básico e clínico. Por causa de várias solicitações, organizamos essa oficina voltada a docentes das áreas básicas dos cursos da saúde para elaborar TME que fossem direcionados à aplicação do conhecimento.
Nessa experiência, foi possível constatar que houve incremento na qualidade dos TME elaborados para uma avaliação de ciências básicas aplicadas em cursos de graduação da área da saúde, a partir da análise do IDF e IDC dos TME que compuseram as provas e também levando em consideração a percepção dos docentes que participaram da oficina.
Estudos mostram que TME elaborados por professores não preparados carecem de qualidade. Vários programas de desenvolvimento docente visam melhorar as habilidades de redação de TME, e existem evidências dessa capacitação na melhoria da qualidade das questões produzidas13)-(15.
Em vez de pedirmos aos estudantes que identifiquem uma estrutura anatômica, podemos oferecer uma situação que exemplifique uma alteração naquela estrutura e solicitar a eles que apontem o local mais provável da lesão. Em vez de perguntarmos sobre algum conhecimento factual envolvido no conceito de acidose respiratória, podemos oferecer um cenário com valores de gases sanguíneos arteriais e pedir aos estudantes que identifiquem que se trata de uma situação em que a acidose respiratória é a resposta mais provável16.
A alta frequência de questões de memorização que observamos em TME que avaliam ciências biomédicas básicas fragiliza a validade das avaliações na sua capacidade de permitir inferência sobre a capacidade dos estudantes de utilizar conhecimentos relevantes para compreensão de fenômenos importantes no contexto da prática profissional. E a elaboração de enunciados que tragam contextualização para as questões de ciências básicas não precisa ser, obrigatoriamente, no formato de casos clínicos8.
A melhoria dos processos avaliativos deve ser uma prática valorizada e se dá por meio de atividades sistemáticas, como treinamentos contínuos, prática (elaboração de testes para provas), análise da qualidade do que foi produzido e devolutiva aos elaboradores, visando ao aprimoramento do processo. Assim, os elaboradores contribuem na construção de exames válidos e confiáveis, e se beneficiam da análise dos resultados dos TME e das provas. Experiências prévias mostram grande engajamento de professores no processo em que o ganho é mútuo10.
Como até recentemente não havia instruções específicas para elaboradores de TME relacionados às ciências básicas5, desenhamos e implementamos uma oficina mais voltada para esse público específico que, frequentemente, participa de exames nacionais e locais avaliando a capacidade do estudante de aplicar conhecimentos de ciências básicas relevantes na área da saúde. Até onde sabemos, trata-se de uma iniciativa pioneira no Brasil, visto que a maioria das experiências descritas tem caráter geral inespecífico ou foco bem definido na produção de TME voltados às ciências clínicas.
A pandemia da Covid-19 trouxe um desafio adicional para a implementação da oficina, mas no final a experiência adquirida na utilização de recursos para atividades on-line ampliou as possibilidades de oferta de atividades formativas, que sempre foram presenciais e agora podem ser nessa modalidade, utilizando educação remota mediada por tecnologias de informação. Apesar de alguma insatisfação com o formato on-line, os resultados gerais e a satisfação dos participantes foram muito promissores e indicam a efetividade desse formato, como descrito por outros autores17.
Karthikeyan et al.18 identificaram fatores que podem ser limitadores ou facilitadores para elaboração de TME de boa qualidade. Entre as barreiras descritas, destaca-se a falta de motivação dos professores, o que estreitamente ligado à não valorização dessa atividade por parte da instituição. Além disso, destaca-se a falta de tempo e disponibilidade de agenda por parte dos facilitadores e dos participantes. Entre os fatores facilitadores, estão o desenvolvimento docente, que deve ser oferecido de modo regular, e os programas de controle de qualidade no contexto da educação e da avaliação (internos ou externos).
CONCLUSÃO
A experiência descrita mostrou-se bem-sucedida. A satisfação dos participantes e a percepção deles de que houve aumento da sua competência, bem como a qualificação de TME produzidos em oficinas direcionadas ao treinamento de professores para elaboração de TME de aplicação das ciências básicas nos cursos da saúde, fortalecem e qualificam o envolvimento dos docentes desse importante segmento. Adicionalmente, a melhora da qualidade das questões da área básica produzidas, medida pela variação positiva nos valores de indicadores psicométricos, sugere que devemos continuar investindo na capacitação docente dos elaboradores que atuam nesse segmento. Uma oficina com as características descritas tem potencial de trazer benefícios tanto nas avaliações dentro da escola quanto na contribuição para a organização de provas externas.