INTRODUÇÃO
O Teste de Progresso (TP) tem sido aplicado desde os anos 1970, com a finalidade de avaliar longitudinalmente o desenvolvimento cognitivo dos estudantes de Medicina. Esse processo não tem caráter de aprovação, reprovação ou classificação, mas possibilita a tomada de decisões curriculares assertivas e a autoavaliação pelo estudante1),(2. Essa avaliação, habitualmente, utiliza questões objetivas de múltipla escolha construídas conforme os conteúdos que compõem a matriz curricular do curso. É aplicada, simultaneamente, com a mesma composição para todos os estudantes do primeiro ao último período curricular, refletindo o conteúdo final do curso3),(4.
O TP, como instrumento de avaliação na educação médica, apresenta características singulares5. Ao estudante, possibilita uma análise crítica do seu desempenho no curso, identificando fragilidades e potencialidades na sua formação a cada etapa em que o teste é realizado6. Para os docentes, o resultado apresenta a média da turma em relação à etapa, possibilitando modificações nos processos e adequações nos conteúdos. À gestão acadêmica, permite a identificação de potenciais problemas, possibilitando a tomada de decisão assertiva e implementação de ações de correção2),(3.
Com os objetivos de avaliar o processo ensino-aprendizagem e garantir a qualidade e execução dos objetivos curriculares, o curso de Medicina do Centro Universitário de Votuporanga (Unifev) instituiu em 2015 acordo de cooperação com outras duas instituições de educação médica visando à realização do TP interinstitucional1),(6.
O TP realizado pelo consórcio interinstitucional é composto por 120 questões de múltipla escolha com quatro alternativas, construídas no contexto da vivência prática, e visa à resolução de problemas por meio da aplicação de princípios que requeiram raciocínio e reflexão, de modo a evitar a simples memorização ou retenção da informação7),(8.
Os discentes que realizam o TP recebem individualmente o resultado da prova com a análise de desempenho por categoria das questões, o índice de dificuldade e o gabarito processado, em que se destacam as respostas corretas e a bibliografia correspondente. Os estudantes que efetuaram dois ou mais testes recebem um segundo relatório analítico que indica a evolução de seu desempenho a cada teste realizado9.
O primeiro TP elaborado pelo consórcio interinstitucional ocorreu em outubro de 2015. Na Unifev, foi aplicado aos estudantes do primeiro, terceiro, quinto e sétimo períodos do curso de Medicina. Em 2016, o segundo TP elaborado pelo consórcio foi aplicado também aos estudantes do nono período do curso de Medicina da Unifev.
A participação dos alunos é voluntaria e sem caráter de promoção ou recompensas.
Para a gestão do curso de Medicina, o TP constitui-se em relevante subsídio para avaliar a eficiência do programa. Contudo, a percepção do aluno quanto ao seu desempenho e o impacto do TP na aprendizagem podem variar de acordo com contextos pessoais, educacionais, sociais e culturais10),(11.
O objetivo deste estudo foi analisar a percepção do aluno sobre seu desempenho no TP, bem como o impacto dela em curto prazo sobre suas estratégias de estudo.
METODOLOGIA
Como público-alvo do presente estudo, elegeram-se os estudantes do curso de Graduação em Medicina da Unifev que realizaram o TP interinstitucional e cursavam o quinto e o sétimo período no momento da aprovação do projeto de pesquisa. O Comitê de Ética em Pesquisa (CEP) da Unifev aprovou o estudo em 10 de outubro de 2016 - Certificado de Apresentação para Apreciação Ética (CAAE) nº 60884116.0.0000.0078. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).
Os alunos participaram de forma voluntária, e a seleção foi aleatória, conforme a manifestação do desejo de cada discente. Excluíram-se os alunos que apresentavam doença infectocontagiosa ou impossibilidade de comunicar-se na data agendada para a realização dos grupos focais (GF).
Trata-se de pesquisa qualitativa com análise de conteúdo, e os dados foram coletados em entrevistas por meio de GF.
A técnica GF possibilita discutir e avaliar um tema proposto de modo flexível, dinâmico com a compreensão de contraposições, contradições, diferenças e divergências12.
Composição e realização dos grupos focais
Realizaram-se dois GF distintos com dez participantes em cada grupo: um grupo composto por discentes do quinto período (G1) e outro composto por discentes do oitavo período (G2). Os estudantes foram agrupados de acordo com o período que estavam cursando, por conveniência de horário livre, o que permitiu manter a uniformidade do grupo e potencializar as reflexões acerca de experiências comuns13.
A data para a realização dos GF foi previamente agendada, para que não houvesse prejuízo acadêmico aos discentes. As entrevistas foram realizadas em uma sala de sessão tutorial climatizada, com uma mesa retangular e 13 cadeiras, de modo a acomodar confortavelmente todos os participantes e possibilitar a visualização de todos pelo moderador e dos participantes entre si.
Forma de condução dos grupos focais
Ofereceram-se aos participantes, antes do início da entrevista, sucos e lanches para evitar interrupções posteriores, proporcionar descontração e facilitar a interação entre os membros14.
A equipe de trabalho na realização do GF foi composta de uma moderadora, um observador e uma relatora ou auxiliar de pesquisa. No primeiro GF, realizado com alunos do quinto período, a moderadora foi uma docente externa, com grande experiência na condução de GF15; na qualidade de observador, participou um docente da Unifev; e a pesquisadora, na qualidade de auxiliar de pesquisa ou relatora.
No segundo GF, realizado com alunos que cursavam o oitavo período, os papéis da moderadora e da relatora foram desenvolvidos por duas docentes da Unifev, ambas com experiência na condução de GF, e a pesquisadora participou na qualidade de observadora.
Após a apresentação do moderador e dos auxiliares (relator e observador) e depois da explicação dos objetivos que norteiam o trabalho do grupo, foi definido que os participantes seriam identificados por numerais de 1 a 10 (de N.1 a N.10) para garantir o anonimato de todos.
Na sequência, a moderadora fez a leitura do TCLE, o qual foi preenchido e assinado pelos sujeitos da pesquisa; distribuíram-se os crachás numerados; e reafirmou-se a importância do sigilo para garantir a liberdade de expressão.
O moderador é responsável pela condução e pelos direcionamentos necessários, e deve facilitar a interação entre os participantes para que se aprofundem as discussões16. O papel do observador é perceber a linguagem não verbal e registrar as impressões relevantes15.
O desenvolvimento da entrevista foi orientado por questões norteadoras. O relator registrou a intenção de participação de cada aluno e coordenou a sequência de fala dos participantes. As entrevistas foram gravadas para posterior transcrição.
No encerramento dos grupos, ao ocorrer a saturação do tema, as moderadoras realizaram uma síntese da discussão e deixaram o assunto em aberto para que todos realizassem suas considerações finais sobre o tema.
As falas dos participantes foram registradas e transcritas na íntegra pela pesquisadora e por uma assistente de pesquisa.
Questões norteadoras e procedimento de análise de dados
Utilizaram-se as seguintes perguntas norteadoras para auxiliar o desenvolvimento da discussão:
O que você realmente acha do TP? Qual é a sua percepção acerca do TP?
O resultado do TP mudou a sua vida estudantil? De que forma?
Os dados coletados por meio do GF são de natureza qualitativa. De acordo com Gatti12, o GF “permite emergir uma multiplicidade de pontos de vista e processos emocionais, pelo próprio contexto de interação e significados”.
O referencial teórico utilizado para a exploração e análise dos dados coletados foi a análise de conteúdo temática, segundo os conceitos de Bardin17.
RESULTADOS E DISCUSSÃO
O primeiro GP a colaborar foi composto por estudantes que cursavam o quinto período, com idade média de 23,42 anos (de 22 a 32 anos e desvio padrão de 3,08 anos). Participaram do segundo GP estudantes que cursavam o oitavo período, com idade média de 24,57 anos (de 22 a 29 anos e desvio padrão de 1,96 ano). Em ambos, havia sete estudantes do gênero feminino e três do gênero masculino.
Categorização do discurso do grupo focal
Organizaram-se os registros com base na contextualização das falas dos participantes, como foco na divergência e na semelhança dos relatos. Realizou-se a posterior categorização das mensagens e/ou dos fragmentos de falas por meio de vinculações entre os agrupamentos com características comuns.
Foram identificadas três categorias a partir da síntese interpretativa desses agrupamentos:
As condições de realização do TP são inadequadas.
O TP é uma ferramenta pedagógica relevante e deve ser aprimorada.
A participação no TP determina sentimentos contraditórios.
Essas categorias são resultantes da associação de sete subcategorias descritas no Quadro 1.
Categorias | Subcategorias |
---|---|
As condições são inadequadas. | a. A prova é muito extensa. |
b. O tempo é insuficiente. | |
c. A época da aplicação é inadequada. | |
O TP é uma ferramenta pedagógica relevante e deve ser aprimorada. | a. Realizar com mais frequência |
b. Disponibilizar feedback com especificidade. | |
Determina sentimentos contraditórios. | a. Frustração. |
b. Segurança. |
Fonte: Elaborado pelos autores.
As subcategorias “frustração e segurança” que compõem a terceira categoria - “sentimentos contraditórios” - resultaram de cinco unidades de contexto descritas no Quadro 2.
Subcategorias | Unidades de Contexto |
---|---|
3.a - Frustração | Falta de compreensão do TP. |
Insegurança sobre os resultados do TP. | |
3.b - Segurança | Comprovação do desenvolvimento dos conteúdos curriculares. |
Evidência do “monitoramento” do processo de ensino-aprendizagem pelo curso. | |
Desenvolvimento da autoavaliação. |
Fonte: Elaborado pelos autores.
Compreendendo as categorias identificadas
As condições de realização do TP são inadequadas
Os discentes participantes da pesquisa consideram as circunstâncias em que ocorre a aplicação do TP inadequadas para avaliar o seu desenvolvimento cognitivo durante o curso. Os dois grupos de alunos entrevistados, do quinto e do oitavo período, questionaram o número de questões, o tempo concedido para fazer a prova e a época da sua realização.
A prova é muito extensa
A primeira citação do GF realizado com alunos do quinto período enfatiza que a prova é muito cansativa em razão do número de itens - 120: “acho que é uma prova assim muito extensa [...] ficou uma prova muito cansativa, são 120 questões, num dia só, então eu acho que isso pesa [...]” (G1 - N.7).
Sucessivamente, nos dois GF, foi referido pelos estudantes que o número de questões e o tamanho dos enunciados são fatores limitantes ao bom desempenho na prova.
[...] também acho que a prova é muito extensa, as questões muito longas [...]. A gente sai da prova muito cansado, muitas vezes já chega no fim da prova sem nem conseguir ler as questões [...] (G1 - N.8).
[...] é um teste muito cansativo, são 120 questões [...] a primeira parte, as 60 primeiras, 70 você faz concentrado, quando vai chegando nas últimas, você já está totalmente cansado, exausto, e aí meio que você não consegue prestar muita atenção (G2 - N.6).
Em uma revisão crítica sobre as principais características do TP, Albanese et al.9 citam que os TP geralmente são longos e variam de 180 itens a 400 itens de múltipla escolha. Testes muito curtos podem refletir um conteúdo sub-representado e comprometer a validade e a confiabilidade da avaliação7.
O tempo é insuficiente
No segundo GF, realizado com os discentes do oitavo período, além de considerarem a avaliação estafante pela extensão de cada item, mencionaram que o tempo disponibilizado para a realização do TP é insuficiente para o número total de questões aplicadas.
[...] o tempo a gente percebe que não é o adequado pra fazer todas as questões, então tem perguntas que a questão tem, sei lá, cinco, seis linhas pra você pensar e raciocinar [...] (G2 - N.6).
[...] chega no fim da prova, e a gente não consegue responder às últimas questões, [...] pelo tempo e por estar cansado, desse jeito umas 20 questões deixam de ser respondidas, no meu caso [...] (G2 - N.10).
No AMEE Guide nº 71,7 os autores referem que a experiência holandesa na aplicação do TP evidenciou que são necessários aproximadamente de 75 a 85 segundos para responder a um único item.
O TP do consórcio interinstitucional tem duração de quatro horas, que correspondem a 120 segundos para cada questão. Apesar de ser considerado pelos alunos como insuficiente, o tempo disponibilizado para fazer a prova é teoricamente adequado e maior que a média internacional.
As questões de múltipla escolha com enunciados extensos e/ou alternativas muito longas demandam maior tempo para a leitura e podem comprometer o desempenho dos alunos, especialmente em avaliações longas como o TP. A construção de bons itens, que concentrem somente informações importantes, pode otimizar o tempo necessário para a resolução da prova e diminuir o desgaste físico relatado pelos alunos18.
Época da aplicação é inadequada
O período letivo em que se aplicaram os TP, próximo ao das avaliações somativas bimestrais do curso, foi citado pelos entrevistados do quinto período como um fator prejudicial ao bom desempenho acadêmico, pois encontram-se excessivamente cansados, o que, somado ao fato de a participação ser voluntária, pode ser um dos fatores para justificar as ausências: “por estar sempre coincidindo perto do nosso horário de provas, a gente está sempre mais cansado para realizar a prova” (G1 - N.8).
A possibilidade de falharem nas avaliações somativas e a ansiedade determinada pelo risco de não progredirem na graduação induzem os discentes a intensificar as horas de estudo na véspera das provas. Assim como a expectativa por boas notas, com vistas ao sucesso em curto prazo, podem corroborar o estresse associado a essa percepção. Para Al-Kadri19, as avaliações somativas são fatores de ansiedade e a experiência mais estressante para o aluno.
Teste de Progresso como ferramenta pedagógica relevante
Os alunos entrevistados nos dois GF consideram o TP uma ferramenta útil e importante para monitorar o seu processo de ensino-aprendizagem, pois lhes permite reconhecer as dificuldades e o progresso no decorrer do curso.
[...] eu acho a prova de progresso uma coisa muito boa porque você começa a se avaliar... a intenção da prova eu acho muito boa [...] (G1 - N.3).
Eu acho que é um teste muito bom, que avalia a nossa evolução desde o primeiro até o sexto ano [...] eu acho que é muito importante (G2 - N.6).
Entretanto, acreditam que, para potencializar o impacto dessa avaliação, é preciso aperfeiçoá-la, com mais aplicações durante o ano e fornecimento de feedbacks específicos para cada período.
Realizar com mais frequência
Os alunos do oitavo período entendem que o TP deveria ser aplicado com mais frequência, duas ou mais vezes ao ano, e com menos itens. Essa estratégia de acordo com os alunos contribuiria para melhorar o desempenho individual e facilitar a correção de lacunas evidenciadas.
Uma sugestão seria que a gente tivesse vários testes do progresso (G2 - N.9).
A sugestão de separar ela em dois dias eu acho que seria a melhor [...] melhor opção mesmo, pra que esse teste seja 100% válido (G2 - N.10).
Essa percepção discente encontra sustentação em pesquisa realizada por Wade et al.20 que demonstrou um impacto positivo na percepção dos estudantes submetidos ao TP quatro vezes por ano21. A realização do TP repetidamente com o objetivo de avaliar o conhecimento estimula a revisão dos conteúdos por meio do feedback e pode promover a aprendizagem profunda7.
Disponibilizar feedback com especificidade
Na percepção dos alunos do quinto período, o feedback realizado pelo curso é insuficiente para a autoavaliação. Acreditam que o feedback deveria ser específico para cada período do curso, com a descrição dos conteúdos mais importantes de cada item para o efetivo aprendizado.
[...] eu queria ter um retorno tipo: “Tal questão vocês já viram isso, só que vocês erraram, o que que aconteceu?”. É assim... assim e assim. [...] aqueles gráficos, mas não têm tanta utilidade mesmo, porque, por exemplo, você não sabe se aquilo que você acertou tá bom [...] (G1 - N.1).
[...] tinha que ter esse direcionamento, [...] a gente não sabe se era pra ter visto, se não era pra ter visto, e aí vai deixando e acumulando mesmo (G1 - N.6).
Em currículos integrados com ênfase na aprendizagem centrada no aluno, espera-se que o crescimento do conhecimento ocorra progressivamente ao longo do tempo. O TP é uma avaliação longitudinal e abrangente, orientada para os objetivos finais do curso, e, portanto, está desacoplado das especificidades do que os alunos aprenderam ou estão aprendendo em qualquer momento9.
A dificuldade de interpretar os resultados (feedback) disponibilizados pode estar relacionada a uma análise pontual equivocada e/ou não realizada de modo reflexivo. Wade et al.20, ao avaliarem a percepção dos alunos de duas escolas médicas do Reino Unido sobre o TP, constataram que em ambas os alunos sentiam que o feedback que recebiam era insuficiente.
Sentimentos contraditórios
A percepção da magnitude do impacto, positivo ou negativo, sobre a realização do TP aparenta ter correlação com o período que os estudantes estão cursando. Os estudantes do oitavo período valorizam e consideram que a realização do TP tem um impacto positivo em seu processo de ensino-aprendizagem e proporciona sentimentos de segurança por constatarem o seu desenvolvimento ao longo do curso.
Para os alunos do quinto período, os sentimentos são opostos; referem que a realização do TP provoca frustração por não compreenderem a forma como é elaborada a prova, dificuldade em interpretar o feedback fornecido e insegurança quanto à validade dos resultados.
Frustração
A motivação pessoal para obter altas notas pode contribuir para os estudantes do quinto período apresentarem sentimentos de frustração com o fraco desempenho inicial e demonstrarem dificuldade para compreender o TP como uma avaliação diagnóstica e formativa do desempenho cognitivo longitudinal.
[...] a prova eu acho que é até interessante, [...] como ela avalia os seis anos, ela acaba prejudicando quem está muito no começo (G1 - N.7)
A gente fica meio assim: “Ah, eu sei que fui mal em fisiologia, mas e agora como faço para melhorar?”. Será que isso a culpa é da faculdade ou será que é culpa minha [...]. A gente fica meio na dúvida [...] (G1 - N.8).
Os estudantes argumentaram que, pelo fato de a avaliação ser realizada em cooperação com outras escolas médicas, sentem insegurança quanto à validade dos resultados, pois o desempenho deles é comparado ao de alunos de escolas médicas que utilizam diferentes matrizes curriculares e estratégias de ensino-aprendizagem: “a gente tem [...] uma faculdade com um tema no segundo ano, que a outra viu no terceiro, e a gente é comparado com as outras faculdades, então esse resultado acaba não sendo tão fidedigno, né?” (G1 - N.2).
Segurança
Os participantes do oitavo período evidenciam efetivamente no TP que os conteúdos solicitados foram estudados e conseguem avaliar se o seu desempenho está adequado ou se há lacunas de aprendizagem a serem remediadas, além de perceberem que o processo ensino-aprendizagem do curso está sendo monitorado.
[...] eu consigo enxergar muito bem as matérias que a gente viu, consigo lembrar e elencar as dificuldades que eu tive naquela matéria já vista, e consigo também ver aquilo que nem passou pela minha frente, então eu acho bastante proveitoso (G2 - N.8).
[...] o Teste de Progresso não serve só pra ver o nosso progresso, serve pra ver... é eu tenho certeza que o NDE - Núcleo Docente Estruturante, tá olhando pra essa prova que a gente faz e vê onde que a gente tá falhando [...] (G2 - N.10).
O feedback na percepção dos estudantes estimula a autoavaliação e pode determinar mudanças no modo de estudar. Heeneman et al.22 concluíram que incorporação do TP em programa de avaliação programática de maneira formativa afeta positivamente as pontuações do TP e a aprendizagem significativa.
[...] é um teste muito importante pro nosso desempenho durante todo o passar do curso, e até mesmo pra avaliar se está sendo realmente aproveitado o nosso estudo, e até mesmo modificar a maneira com que a gente estuda [...] (G2 - N.2).
[...] a autocrítica, né?, que a gente acaba desenvolvendo, não que eu tenha mudado a minha forma de estudar, mas a visão que a gente tem do nosso estudo pode acabar diferenciando, você vê se você melhorou ou não, de um ano pro outro [...] (G2 - N.1).
CONCLUSÃO
Os estudantes entrevistados consideram o TP uma “ferramenta pedagógica” relevante, que permite a autoavaliação e a correção das lacunas de aprendizagem. Porém, acreditam que as características estruturais da prova - número de questões, abrangência do conteúdo e tempo para realização - afetam negativamente o desempenho deles. E propõem mudanças: aumentar a frequência de realização, diminuir o número de itens e fornecer um feedback orientado para o período que estão cursando.
Os resultados de desempenho do TP e o feedback recebido determinaram sentimentos contraditórios de acordo com o período que estavam cursando: de frustração para os alunos do quinto período e de segurança para os do oitavo período.
O impacto determinado pelo desempenho no TP, em curto prazo, não promoveu mudanças no plano de estudo dos discentes entrevistados.
É necessário promover discussões sobre os objetivos, os benefícios e as desvantagens da aplicação do TP e dos seus resultados com docentes e discentes, e implementar estratégias para a entrega do feedback, de modo dirigido e reflexivo, que permita a autoavaliação e a melhoria contínua do processo de ensino-aprendizagem.
CONSIDERAÇÕES FINAIS
A percepção e a prática de autoavaliação dos alunos são habilidades instáveis que podem ser afetadas por diferentes variáveis, e o impacto que determinam pode ter magnitude positiva ou negativa23. É fundamental oferecer um feedback ao aprendiz, para que o processo avaliativo desempenhe uma dimensão orientadora24),(25. Embora os alunos recebam um feedback detalhado do seu desempenho no TP, ele é subutilizado.
O TP é uma ferramenta valiosa que pode ser utilizado como uma avaliação formativa que monitore o crescimento do conhecimento e associe aspectos de avaliação somativa. É uma rica fonte de informações que precisa ser mais bem aproveitada pelos alunos, pelos professores e pelas instituições de ensino22),(26.