INTRODUÇÃO
A avaliação pode ser compreendida, entre outros conceitos, como um processo que permite a tomada de decisão, o registro de informações, a compreensão dos dados coletados e o desenlace de uma ou mais atitudes. Nessa perspectiva, o processo avaliativo é complexo e demanda tempo e conhecimento do docente. Todo o processo deve contemplar análise crítica e reflexiva1),(2.
Como o conceito de avaliação é permeado por diversas intencionalidades, destacam-se as três mais utilizadas: diagnóstica, somativa e formativa. A avaliação diagnóstica ou informativa é realizada no início do processo e serve para situar o docente em relação aos conhecimentos prévios do aprendiz. Orienta o processo educacional ao se conhecer o ponto de partida pelo qual se dá o processo de aprendizagem. Traz dados e consequentemente informação para o docente2)-(6.
A avaliação somativa é usualmente utilizada para quantificar o conhecimento, atribuindo um valor ou um conceito ao discente. Uma de suas características mais marcantes é o fato de ser classificatória, sendo frequentemente realizada no final do processo educativo. Ela se interessa em saber o que o aluno aprendeu ou não, e se o discente alcançou os objetivos de aprendizagem3),(5.
A avaliação formativa apresenta como essência o seu olhar para o processo de formação do aluno, no sentido de contribuir para sua formação. Trata-se de um conceito em construção, multifacetado, cujas características envolvem a reflexão, autoaprendizagem e corresponsabilidade dos atores envolvidos (docente, discente, gestão, comunidade). Esse tipo de avaliação geralmente ocorre durante o processo educacional, orientando-o, influenciando e sendo influenciado. Trata-se de uma simbiose entre os três pilares do processo educacional: ensino-aprendizagem-avaliação2)-(6.
As discussões sobre o sistema educacional (ensino-aprendizagem-avaliação) estão na ordem do dia em diversos países, com destaque para o papel da avaliação formativa como estratégia educacional para formar um profissional de saúde cujo perfil atenda às necessidades de saúde da população1.
No Brasil, entre os esforços para transformar a educação, destaca-se o arcabouço jurídico que permeia as questões relativas à avaliação. Tem uma retrospectiva histórica importante que apresenta reflexos na legislação atual, a qual traz orientações gerais e norteia a organização e o funcionamento das unidades educacionais6)-(9. As Diretrizes Curriculares Nacionais (DCN) destacam que as avaliações somativa e formativa do aluno deverão basear-se nas competências, nas habilidades e no conteúdo curriculares10.
No âmbito local, o Plano de Desenvolvimento Institucional (PDI 2010-2019) da Universidade Federal do Rio Grande do Norte (UFRN) trouxe inovações nesse campo, apontando a necessidade de ampliar o processo avaliação-ensino-aprendizagem. O Projeto Pedagógico do Curso (PPC) de Medicina da UFRN, campus Natal, está pautado pelos eixos das DCN de 2014 e do PDI 2010-2019, em que o processo avaliativo do discente incorpora o desafio de transformar, em uma perspectiva de um processo de melhoria contínua11.
Devemos também levar em consideração a avaliação sobre as influências do meio externo. Dessa maneira, o contexto da pandemia de Covid-19, com as mudanças nas relações sociais em razão das medidas de isolamento, trouxe o ensino remoto emergencial mediado por tecnologias. Essa mudança mobilizou docentes, discentes e gestão acadêmica em busca de aprender novas tecnologias e novas formas de avaliar e aprender12),(13.
Este estudo foi desenvolvido em plena pandemia de Covid-19, com o propósito de compreender o processo de avaliação formativa no internato do curso de graduação em Medicina da UFRN, campus Natal.
O curso de Medicina em questão compreende 8.165 horas, organizadas em 12 semestres, no qual ingressam 100 alunos/ano, em duas entradas. O internato equivale a 3.360 horas nos dois últimos anos do curso, com atividades obrigatórias em tempo integral nas áreas de Saúde Coletiva, Medicina de Família e Comunidade, e Infectologia no nono período; Cirurgia Geral, Tocoginecologia I e Pediatria I no décimo; Clínica Médica II e III, Optativo e Toco Ginecologia II no 11º período; e Clínica Médica I, Medicina de Urgência e Pediatria II no 12º período. É um componente predominantemente de atividades práticas nos hospitais universitários e nos serviços de saúde da rede, sob supervisão de docentes e preceptores11.
MÉTODO
Desenho do estudo
Este estudo foi desenvolvido no internato do curso de graduação em Medicina da UFRN, campus Natal, no período de julho a dezembro de 2021.
Trata-se de um estudo observacional com análise quantitativa, aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário Onofre Lopes: CAAE nº 45541421.8.0000.5292.
No que concerne aos participantes, adotaram-se os seguintes critérios de inclusão: 1. docente em atividade no internato do curso de Medicina da UFRN; 2. discente regularmente matriculado no internato do curso de graduação em Medicina da UFRN no período do estudo; 3. docente e discente do campus Natal.
Excluíram-se do estudo: 1. docente inativo ou em afastamento do internato do curso de Medicina; 2. discente não matriculado no internato de Medicina; 3. aluno ou professor não vinculado ao campus Natal; 4. formulários com mais de 50% das questões não preenchidas.
Para o cálculo amostral, utilizou-se o aplicativo Cálculo Amostral para pesquisa. Esse aplicativo é para dispositivo móvel e sistema operacional Android versão 4.0 ou versão superior. Neste estudo, consideraram-se os seguintes fatores: erro amostral de 8%, heterogeneidade de 70%, nível de confiança 90%, para uma população de 157 discentes e 40 docentes ativos no internato. Obteve-se um cálculo amostral de 57 discentes e 28 docentes.
Dois questionários foram desenvolvidos, um para o docente e outro para o discente, com a colaboração de três docentes da instituição, especialistas em educação para as profissões de saúde. Cada instrumento continha duas partes. A primeira parte referia-se aos dados sociodemográficos, como sexo, idade e disciplina (que ministra ou cursa). A segunda parte continha os dados referentes à aplicação de avaliação formativa no internato de Medicina, com questões em escala de zero a dez pontos (tipo phrase completion)14),(15 e questões de múltipla escolha.
Docentes e discentes do internato de Medicina foram convidados a participar da pesquisa por meio das redes sociais, de WhatsApp e de e-mail, com um link de acesso ao TCLE e aos questionários de acordo com cada categoria de participante da pesquisa. Durante um mês, enviaram-se lembretes semanais. Por causa da baixa adesão dos discentes, o formulário foi impresso e aplicado presencialmente durante atividade coletiva em sala de aula, com anuência do docente responsável.
O questionário foi respondido uma única vez por cada participante. O instrumento não poderia ser respondido em duas ou mais etapas.
As respostas coletadas por meio da escala phrase completion foram organizadas em três estratos: pontuação de 0 a 3 (pouco), pontuação de 4 a 7 (razoável) e pontuação 8 a 10 (muito). Em seguida, utilizou-se o aplicativo Planilhas Google para analisar os dados por meio da estatística descritiva básica.
RESULTADOS
Foram convidados 40 docentes, dos quais 27 responderam ao questionário: 92,6% via on-line e 7,4% presencialmente. Os docentes tinham em média 49 anos (DP + 11,9), 51,9% eram do sexo masculino e possuíam em média 18 anos (DP + 12,8) de experiência docente. Dos docentes, 55,6% desenvolviam atividades de ensino no quinto ano, 22,2% no sexto ano e 22,2% e ambos os anos.
Entre os 157 discentes convidados, 79 responderam ao questionário: 60,8% estavam matriculados no quinto ano e 39,2% no sexto.
Dos discentes do quinto ano, 66,7% responderam via on-line e 33,3% presencialmente. Participaram 50% discentes do sexo feminino e 50% do sexo masculino. Tinham em média 23 anos de idade (DP + 1,6), e 2,1% dos discentes do quinto ano não responderam ao quesito idade.
Dos discentes do sexto ano, 51,6% responderam via on-line e 48,4% presencialmente. Eram majoritariamente do sexo feminino 61,3% e tinham em média 25 anos de idade (DP + 2,6).
Quando questionados se realizavam avaliação formativa, os docentes tinham uma percepção mais positiva que seus alunos, pois 51,9% deles atribuíram a pontuação 8-10 (muito) ao uso de avaliação formativa, enquanto a pontuação 8-10 (muito) foi atribuída por 41,7% dos discentes do quinto ano e 35,5% dos discentes do sexto ano. Discentes do quinto e sexto anos reconheceram a avaliação formativa como muito importante atribuindo a pontuação 8-10 (Figura 1).
Quando questionados se os objetivos de aprendizagem foram definidos pelo próprio docente ou pela instituição, 70,4% pontuaram 8-10 (muito) em “pelo próprio docente” e 63,0% deles pontuaram 8-10 (muito) em “os objetivos são definidos institucionalmente” (Figura 2). De acordo com 55,6% dos docentes, o objetivo da avaliação formativa que aplicam é orientar/reorientar a aprendizagem, enquanto 37,0% afirmaram que é avaliar o conhecimento.
Já os discentes, quando indagados se recebem os objetivos de cada atividade ministrada, 64,6% do quinto ano pontuaram entre 4 e 7 (razoável), assim como 51,6% dos estudantes do sexto ano (Figura 2).
No que diz respeito ao feedback, 70,4% dos docentes assinalaram entre 8 e 10 pontos, reconhecendo que o realizam muito. Já os discentes têm uma percepção muito distinta, somente 27,1% e 16,1% dos discentes do quinto e sexto anos, respectivamente, concederam a pontuação 8-10 no que diz respeito a realizar muito o feedback. No sexto ano, a maioria identificou a realização do feedback como razoável, atribuindo a pontuação entre 4 e 7 (Figura 3).
Em relação à retomada do assunto em tempo oportuno quando o objetivo de aprendizagem não é atingido, 70,4% dos docentes atribuíram pontuação 8-10 (muito), enquanto 50% dos discentes do quinto ano e 35,5% do sexto ano compartilharam a mesma percepção de pontuação 8-10 (muito), e 51,6% dos discentes do sexto ano sinalizaram 4-7 (razoável) para esse quesito (Figura 3).
Quando questionados se utilizam métodos/instrumentos na avaliação formativa, 11,1% dos docentes atribuíram pontuação 0-3 (pouco), e os demais se dividiram entre 4-7 (razoável) e 8-10 (muito), com 44,4% cada (Figura 4). Os docentes destacaram a discussão de casos clínicos entre os métodos/instrumentos utilizados na avaliação formativa de forma presencial com 24,3%, seguido pelo Exame Clínico Objetivo Estruturado (OSCE) com 17,1%, teste de múltipla escolha com 12,9% e Mini Exercício de Avaliação Clínica (Mini-CEX) com 11,4%. Em ambiente virtual, 17,6% dos docentes destacaram a discussão de casos, e 8,8%, o teste de múltipla escolha, a avaliação cognitiva e a avaliação por triangulação (entre pares, autoavaliação e avaliação do professor) cada item. Ressalta-se que 35,3% dos docentes afirmaram que não se aplica ou não utilizam métodos/instrumentos em ambiente virtual.
Os discentes do quinto ano destacaram também a discussão de casos entre os métodos/instrumentos mais utilizados no modo presencial com 21,6%, avaliação cognitiva com 18,3% e teste de múltipla escolha e Teste de Progresso, ambos com 15,7% cada. Em ambiente virtual, 30,8% dos alunos do quinto ano destacaram a discussão de caso; 18,5%, o Teste de Progresso; e 15,4%, a avaliação cognitiva.
Já entre os discentes do sexto ano, 23,6% destacaram o OSCE como método presencial mais utilizado, seguido de discussão de caso e teste de múltipla escolha, ambos com 17,9% cada, e a avaliação cognitiva com 15,1%. Em ambiente virtual, ressaltaram a discussão de casos e o teste de múltipla escolha, ambos com 19,0% cada, 15,9% destacaram a avaliação cognitiva, e 12,7% mencionaram o OSCE.
Quando questionados sobre em que momento realizam avaliação formativa, os docentes afirmaram que a fazem durante/após uma discussão de caso clínico e durante/após um atendimento de paciente no ambulatório, ambos com 20,3% cada, seguido pela opção durante/após a visita à enfermaria com 15,9%, e no laboratório de habilidades clínicas em 10,1% das situações.
Dos estudantes do quinto ano, 20% destacaram durante/após consulta ambulatorial ao ambulatório, seguido por durante/após a visita à enfermaria com 18,5%, durante/após discussão de caso clínico com 17,7%, e durante/após consulta em unidade básica de saúde com 11,5%.
Dos estudantes do sexto ano, 19,3% destacaram que a realizam durante/após a visita à enfermaria, 19,3% no laboratório de habilidades clínicas, seguido por 17% durante/após a discussão de caso clínico e durante/após atendimento no ambulatório cada, e 8% durante/após o procedimento invasivo.
Em relação ao uso das TIC na avaliação formativa, há uma discordância entre docentes e discentes, pois somente 25,9% dos docentes pontuaram 8-10 afirmando que utilizam muito, enquanto mais de 50% dos discentes tanto do quinto ano quanto do sexto atribuíram pontuação 8-10 (muito). Entre os recursos adotados, 23% dos docentes utilizam o computador; 20,3%, celular (smartphone e iPhone); 13,5%, e-mail e redes sociais; 9,5%, aplicativos específicos; e 9,5% não empregam os recursos das TIC.
Os discentes do quinto ano destacaram o uso do computador com 26,4%, seguido pelo celular com 24,5%, e 10,7% usam e-mail e redes sociais cada.
Dos discentes do sexto ano, 21,5% afirmaram que utilizam o computador; 19,6%, o celular; 14%, o e-mail; 13,1%, sites de busca; e 10,3%, redes sociais e aplicativos específicos cada.
Quando questionados sobre que dificuldades identificavam na sua prática para a realização de avaliação formativa e quais as oportunidades de melhoria, os docentes e discentes apresentaram opiniões que se complementam (Quadro 1).
Dificuldades | Oportunidades de melhoria |
---|---|
Percepção dos docentes | Percepção dos docentes |
• Tempo escasso (alta demanda e pouco tempo). | • O aluno deve cobrar do professor a realização de avaliação formativa. |
• Falta de motivação (o aluno não cobra do professor). | • Treinamento dos docentes para avaliação formativa. |
• Falta de capacitação do corpo docente. | • A gestão do curso deve definir sistemática para a avaliação formativa. |
Percepção dos discentes | Percepção dos discentes |
• Falta conhecimento dos professores sobre a avaliação formativa. | • Qualificação docente. |
• O aluno tem uma cultura negativa sobre avaliação de um modo geral. | • Aproveitar melhor os momentos da avaliação formativa. |
• Feedback inapropriado. | • Capacitação docente para feedback utilizando linguagem e método apropriados. |
Fonte: Elaborado pelas autoras.
DISCUSSÃO
Este estudo avaliou a percepção de docentes e discentes sobre a aplicação de avaliação formativa no processo de ensino aprendizagem no internato de uma escola de Medicina no Nordeste do Brasil. Os docentes e discentes mostraram percepções distintas sobre a prática de avaliação formativa, com uma posição mais crítica da parte dos estudantes, que atribuíram pontuações mais baixas que seus professores quando questionados se realizam esse tipo de avaliação, se os objetivos são definidos previamente e se recebem um feedback logo após a atividade. Ambos concordaram no que concerne à falta de domínio dos professores sobre o tema e a necessidade de capacitação docente para avaliação formativa e feedback apreciativo.
Embora os atores envolvidos na avaliação formativa afirmem que a realizam e compreendem a sua importância, há um problema comum às universidades e aos seus cursos, sobretudo no contexto de América Latina, que enfatizam o uso de notas ou conceitos no que concerne ao rendimento escolar do aluno. Na contramão dessa via, existem o Programa de Vivências e Estágios na Realidade do Sistema Único de Saúde (VER-SUS), o Programa de Reorientação Profissional em Saúde (Pró-Saúde), o Programa de Educação pelo Trabalho para Saúde (PET-Saúde), PET-Vigilância e PET-Redes de Atenção, que repercutem nos modelos de formação do profissional de saúde16.
Sobre os objetivos de aprendizagem, os docentes afirmaram que cabe a eles e à instituição defini-los. Por sua vez, os discentes negaram recebê-los antes das atividades educacionais. Ou seja, é provável que os objetivos não estejam claramente definidos. Isso é preocupante, já que se trata de um item imprescindível no processo educativo, necessário para nortear e reorganizar o currículo, sempre com vistas a atingir a meta17,18. O objetivo, quando utilizado sob a perspectiva da avaliação formativa, contribui para a reorientação do trabalho pedagógico e para a promoção da aprendizagem17.
As diferentes percepções de docentes e discentes sobre o uso do feedback refletem a fragilidade da aplicação da avaliação formativa no referido curso, pois o feedback é um dos itens essenciais nesse tipo de avaliação. Portanto, é importante que o feedback seja algo consolidado tanto para o professor quanto para o aluno3),(5. Leung et al.19 também identificaram uma percepção mais crítica de estudantes de Odontologia sobre receber feedback. A diferença entre a percepção do aluno e a do professor pode ser decorrente da variação de entendimento do termo feedback e do que ele significa na sua totalidade. O feedback é uma poderosa ferramenta para promover uma aprendizagem transformadora. Ao passo que para alguns o feedback é uma etapa da avaliação formativa, para outros é uma estratégia de avaliação16, e sua utilização está associada a um plano para transformar o ensino e a aprendizagem20)-(22.
Os docentes afirmaram que retomam muito o assunto quando o aluno não atinge os objetivos da aprendizagem, já os discentes ficaram entre razoável e muito. A retomada do assunto faz parte da crítica construtiva no feedback em tempo oportuno19),(22. É uma estratégia fundamental não só para o processo avaliatório, mas sobretudo nos processos de aprendizagem e de ensino, visto que um influencia o outro e sofre influência dele23. Trata-se de um processo includente, transformador, que, ao detectar as potencialidades e fragilidades do aprendiz, objetiva trabalhar as vulnerabilidades de modo a contemplar um efetivo processo educacional e favorecer o aperfeiçoamento. Trata-se de um processo contínuo, processual e individualizado1)-(6.
Os docentes assinalaram a discussão de caso clínico como a metodologia mais utilizada na avaliação formativa tanto presencial quanto virtual. Os discentes apresentaram uma listagem mais ampla dos métodos/instrumentos utilizados, como discussão de caso clínico, OSCE, teste de múltipla escolha e avaliação cognitiva tanto presencial quanto virtual. Embora vários métodos tenham sido citados, um estudo no contexto da América Latina ressalta o feedback, o debriefing, as sessões tutorais e o portfólio reflexivo como métodos utilizados na avaliação formativa16. Segundo Silva et al.17, o método ou instrumento adotado não define por si só a avaliação formativa, tudo depende do uso que se faz dos dados obtidos nesse tipo de avaliação. Para Evans et al.23, as experiências ativas na avaliação formativa são particularmente importantes e estimulantes para os alunos. Várias abordagens baseadas em metodologias ativas são utilizadas no escopo da educação médica. Os estudantes consideraram que cada indivíduo tem formas de aprendizagem diferentes, e, portanto, os diferentes métodos de avaliação trazem benefícios23)-(25.
Um dos dados que repercutem como um sinal de alerta é que uma parcela importante dos docentes afirma que não se aplicam ou não utilizam métodos/instrumentos em ambiente virtual. Destaque-se que a pandemia de Covid-19 provocou uma migração do ensino presencial para o remoto nos períodos de isolamento social, o que exigiu o uso de estratégias metodológicas adaptadas ao ensino remoto. Ainda assim, os professores sentem dificuldades na utilização das ferramentas e metodologias digitais. Barros et al.13 destacam que as barreiras encontradas para integrar os recursos digitais à prática docente podem ser minimizadas quando se estimula culturalmente o seu uso.
Um estudo desenvolvido no Imperial College London e publicado em 2021 mostrou que questões relacionadas à acessibilidade a recursos on-line não foi obstáculo para a implementação de avaliação formativa em ambiente virtual26. Esse tipo de iniciativa mostra que é possível utilizar os recursos do ambiente virtual de forma exitosa tanto para os docentes quanto para os discentes e que os recursos digitais trazem engajamento para a aprendizagem27. Entre os recursos utilizados pelos docentes e discentes, destacam-se os computadores, e os discentes mencionaram também os smartphones. A acessibilidade aos meios informatizados e on-line se caracterizou como uma solução na era digital26. O contexto pandêmico também expandiu os horizontes da educação por meio do ambiente virtual numa velocidade vertiginosa28.
As TIC utilizam recursos que auxiliam na avaliação formativa, com os quais é possível transpor barreiras físicas de modo a democratizar a avaliação. O acesso eficiente e eficaz aos resultados ou a instrumentos de avaliação também auxilia na gestão da avaliação para todos os atores envolvidos2),(24),(27),(29)-(31.
As dificuldades citadas pelos docentes e discentes neste trabalho também são descritas no estudo de Gomes et al.16. Ressaltam-se o tempo escasso, a falta de motivação e a ausência de referencial sobre o tema como fatores desafiadores que extrapolam o âmbito da avaliação formativa para adentrar nas práticas pedagógicas16. Uma das dificuldades citadas pelos alunos foi o feedback inapropriado. O estilo do feedback tem impacto na eficácia dele. Quando é percebido pelo aluno como algo negativo, pode gerar desmotivação e consequentemente piora do desempenho acadêmico19. Destaca-se que, embora a avaliação formativa consuma mais tempo, ela contribui significativamente para o conhecimento dos pontos fortes e das vulneráveis do aluno, e, por isso, é possível intervir em tempo hábil20),(32. A dificuldade de alinhamento entre os atores docente, discente e gestão pode trazer barreiras ao desenvolvimento efetivo da avaliação formativa33. Salienta-se no atual estudo, a autocrítica dos estudantes e professores, que apontaram dificuldades relacionadas a si mesmos, o que demonstra envolvimento e compromisso com o processo de aprendizagem33.
Entre as oportunidades de melhorias destacadas tanto por docentes quanto por discentes, está a qualificação e capacitação docente. A qualificação docente é uma estratégia que traz benefícios na implementação da avaliação formativa. Permite ao docente conhecer melhor a avaliação formativa e compreender suas nuances, como os objetivos da aprendizagem, o ambiente protegido, a corresponsabilidade dos atores, a autorregulação da aprendizagem, o feedback e o desenvolvimento do pensamento crítico32),(33.
Limitações do estudo
É importante destacar que esses dados foram coletados no período de pandemia da Covid-19, contexto que promoveu alterações bruscas no processo educacional, incluindo a avaliação16, com todas as dificuldades inerentes a esse fato, com sofrimento psíquico e físico das pessoas, em um ambiente sob muita tensão. Nesse momento histórico, o uso de ferramentas tecnológicas tornou-se algo imprescindível, já que a ocorrência da literacia digital realizada nesse cenário foi muito conturbada. A coleta de dados por meio eletrônico obteve pouca adesão, e a falta de conhecimento do conceito sobre avaliação formativa por parte do público-alvo também trouxe limitações ao estudo. Outra questão foi o método utilizado para definir a percepção dos sujeitos da pesquisa, pois o ato de pontuar os estimula a colocar pontos mais elevados. Como este estudo foi realizado em apenas um campus universitário, não é possível generalizar seus dados para outras instituições.
CONCLUSÕES
Este estudo identificou que os professores e estudantes do internato de Medicina têm percepções diferentes sobre a avaliação formativa no curso. Os docentes têm uma percepção mais otimista, enquanto os discentes são mais críticos, e ambos reconhecem a discussão de casos clínicos como a estratégia mais utilizada.
Embora a avaliação formativa seja uma temática discutida no meio acadêmico, ainda restam alguns pontos essenciais que devem ser levados para a pauta, como qualidade do feedback, presença de objetivos claros e definidos, e uso das TIC de forma efetiva. A necessidade de capacitação do corpo docente foi reconhecida como uma oportunidade de melhoria para qualificar a avaliação formativa no internato.