INTRODUÇÃO
A avaliação é uma atividade fundamental para o planejamento e desenvolvimento da educação. Essa atividade permite acompanhar o processo de apropriação e complexificação do conhecimento, avaliando a evolução de aprendizagens relevantes e significativas para o desenvolvimento de habilidades e competências dos alunos1.
O Teste de Progresso (TPMed) tem por finalidade avaliar o desempenho cognitivo dos estudantes durante o curso e o próprio curso. A este, permite a análise da relação entre conteúdo e estrutura curricular da graduação e o desenvolvimento dos estudantes. Ao estudante, dá a oportunidade de verificar a evolução de seu desempenho cognitivo nas diversas áreas do curso, servindo como avaliação formativa e identificando problemas potenciais. Dessa forma, possibilita implementar ações para a melhoria contínua do estudante e do curso2),(3.
O TPMed tem sido utilizado pelas escolas médicas que implantaram mudanças curriculares, com currículos baseados/orientados na comunidade, aprendizagem baseada em problemas e currículos orientados por competências, entre outros, além de alguns programas de pós-graduação ou disciplinas isoladas. Essa técnica foi inicialmente desenvolvida, nos anos 1970, na Universidade de Missouri, no Kansas, e na Universidade de Limburg, na Holanda4.
Em 2000, o projeto Canadian Medical Education Directions for Specialists (CanMED) descreveu sete dimensões da competência para prática profissional que deveriam ser incluídos em todos os níveis da educação médica: especialista, comunicador, colaborador, gerente, defensor da saúde, comprometido com educação continuada e profissional5. Apesar dessa abordagem multidimensional de competência clínica, vários estudos sustentam que, na prática, ela é bidimensional, pois verdadeiramente os alunos são avaliados por duas dimensões substancialmente correlacionadas que, seguindo a taxonomia do Accreditation Council for Graduate Medical Education (ACGME), são denominadas: competência humanista - conhecimento médico, cuidado com o paciente e atenção baseada no sistema, englobando as habilidades de comunicação interpessoal e profissionalismo - e competência técnica6),(7.
Todas essas discussões repercutem na prática do ensino médico. Muitas universidades e órgãos de classe estão unindo esforços para repensar maneiras de sistematizar a avaliação dessas competências, acrescentando-lhe a necessária perspectiva formativa e indutora de novas práticas pedagógicas. A avaliação, como parte integrante do processo de ensino-aprendizagem, tem como funções: estabelecer a gama de conhecimentos e habilidades que um indivíduo precisa ter atingido num certo estágio de sua carreira, estimar de forma precisa o nível dos alunos, oferecer aos alunos informações sobre seu progresso, alterar o comportamento em relação à aprendizagem, motivar os alunos, conscientizando-os sobre a importância do que estão aprendendo, e fornecer informações sobre a adequação do currículo aos professores e diretores8),(9.
O TPMed foi implantado no Brasil em 2005, nas seguintes instituições: Universidade Estadual de Londrina (UEL), Universidade Estadual de Campinas (Unicamp), Universidade Federal de Santa Catarina (UFSC), Universidade Estadual Paulista (Unesp), Universidade Federal de São Paulo (Unifesp), Faculdade de Medicina da Universidade de São Paulo (FMUSP), Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP) e Fundação Universidade Regional de Blumenau (Furb), com expansão para 30 escolas em 2012 e para 80 escolas em 2015, com o incentivo do projeto da Associação Brasileira de Educação Médica (Abem), a partir de 201210.
A parceria entre escolas tem contribuído para a confecção de questões com alta qualidade, além de combinar benefícios econômicos com vantagens educacionais globais, pois tira do processo de avaliação o efeito da endogenia e permite uma comparação salutar dos avanços e das limitações entre as instituições participantes, sempre evitando qualquer tipo de ranqueamento11),(12.
Um aspecto importante é que o TP não fornece informações apenas para autoavaliação do estudante, mas representa também uma valiosa ferramenta para a gestão acadêmica. Um TP com ampla abrangência das áreas que compõem o currículo de um curso, associado a uma abordagem de temas-chave para a formação do estudante durante a graduação, poderá fornecer importantes subsídios para a gestão curricular. Embora tenha sido concebido no curso de Medicina, o TP pode ser usado também em outros cursos, da área da saúde ou não, graças à sua lógica de construção e aplicação13.
No decorrer desses anos, o TPMed se difundiu por todo o Brasil: na Região Norte, nos estados do Amazonas e Pará; na Região Nordeste, com os consórcios interinstitucional nordeste, nordestino e baiano; na Região Centro-Oeste, com o consórcio Centro-Oeste; na Região Sudeste, com os consórcios Mineiro e Regional, o Núcleo Interinstitucional e Prática de Educação Médica, o São Paulo I e o Paulista II; e, finalmente, na Região Sul, com os consórcios Núcleo de Apoio Pedagógico Interinstitucional Sul (Napisul) e Rio Grande do Sul14.
Atualmente, a Abem oferece o TP a todos os cursos de Medicina a ela associados, correspondendo, aproximadamente, a 80% de todas as escolas médicas do país, estimativa realizada a partir de dados apresentados na plataforma Diretório das Escolas de Medicina (Direm-Br)15.
Baseado nessa premissa, o presente relato se propõe a descrever a experiência no processo de implantação do TPMed em nossa instituição e a participação estudantil nele.
RELATO DE EXPERIÊNCIA
O presente estudo se caracteriza como observacional, descritivo e retrospectivo que retrata a experiência com a introdução do TPMed no curso de Medicina da Universidade Santo Amaro (Unisa).
O instrumento de avaliação do TPMed é constituído por testes de múltipla escolha, com o propósito de verificar o ganho de conhecimento do estudante ao longo do curso de graduação. A mesma prova é aplicada aos seis anos, cujo conteúdo compreende uma amostra do conhecimento de todas as áreas que compõem o currículo do curso de Medicina e reflete os objetivos finais deste. Oferece ainda a oportunidade de acompanhar a evolução dos alunos ao longo do curso e comparar o desempenho deles com os demais discentes, de modo a fornecer feedback sobre a formação dos estudantes. Por meio do feedback, permite a análise da relação entre conteúdo e estrutura curricular da graduação e o desenvolvimento dos estudantes.
Para os docentes e a instituição, é uma ferramenta de diagnóstico sobre o ensino. Por meio dela, é possível implementar ações para a melhoria contínua do estudante e do curso que visem ao diagnóstico, ao prognóstico, às correções e às intervenções educacionais e à oportunidade de desenvolvimento docente.
Um docente da nossa instituição esteve presente no 55° Congresso Brasileiro de Educação Médica (Cobem), realizado em Porto Alegre, de 12 a 15 de outubro de 2017. Esse docente conheceu o TPMed e constatou a competência dessa ferramenta para a gestão acadêmica em nível institucional. O referido docente levou essa informação para conhecimento das instâncias superiores e para a instância máxima da Unisa, a reitoria, que de pronto reconheceu a importância e deferiu seu aval para a implantação dessa valiosa avaliação formativa em nossa instituição.
Devido à localização e ao perfil das escolas que compunham o Consórcio São Paulo I (SP1) e com a mediação do então diretor da Regional São Paulo da Abem, o docente da nossa instituição entrou em contato com a então coordenadora do Consórcio SP1, e, após reunião com os coordenadores locais de cada instituição, fomos acolhidos pelo consórcio, de forma que, no início de 2018, começamos os trabalhos relativos à aplicação do TPMed nesse mesmo ano.
Dada a importância do TPMed, o curso de Medicina da Unisa se filiou ao Consórcio SP1, composto pelas seguintes escolas de Medicina: Faculdade de Medicina do ABC (FMABC), Faculdade de Medicina de Jundiaí (FMJ), Faculdade de Medicina de Catanduva (Fameca), Pontifícia Universidade Católica de São Paulo (PUC-SP), campus de Sorocaba, Pontifícia Universidade Católica de Goiás (PUC Goiás) e Universidade Estadual do Oeste do Paraná (Unoeste).
A partir da inclusão da nossa instituição no TPSP1, iniciamos a sensibilização da coordenação do curso de Medicina, de docentes e discentes por meio de palestras que o então diretor da Regional São Paulo da Abem ministrou, primeiramente aos coordenadores e docentes, e, oportunamente, no Congresso Acadêmico Médico da Unisa (Coacme), aos discentes. Vale ressaltar que foi citada a pontuação no programa de residência médica atrelada à participação do TPMed, em várias escolas médicas.
Dando continuidade à divulgação do TPMed, no início de maio de 2018, foi encaminhado um comunicado institucional da Unisa aos coordenadores e docentes, o qual informava as peculiaridades, com todas as etapas do processo e a data da nossa primeira participação: 3 de outubro de 2018. Concomitantemente, a coordenadora institucional local percorreu as salas de aula no intuito de esclarecer a importância dessa avaliação formativa e dirimir dúvidas dos estudantes. Na segunda quinzena desse mesmo mês, enviou-se um segundo comunicado institucional que solicitava a indicação dos coordenadores de área da Unisa para as funções de coordenadores auxiliares do TPMed, de cada área, assim como o anexo da matriz do TP de 2018, orientações sobre a elabora-ção de itens (questões de múltipla escolha) e a bibliografia.
Com a premissa de disseminarmos de uma forma mais objetiva o TPMed, elaborou-se um flyer, que disponibilizamos em todos os canais de comunicação e que pode ser visualizado na Figura 1.
Em 2018, tivemos uma grande participação dos nossos alunos. A Unisa ficou em terceiro lugar (96,74% de presença), comparada com as sete instituições participantes. Em relação ao desempenho dos estudantes, encontramos um aumento progressivo de acertos ao longo dos seis anos de graduação: 32,63% como média de acerto no primeiro semestre, e 62,87%, no 12º semestre.
Em 2019, tivemos a edição paulista do TP, também com grande participação dos nossos alunos, e a Unisa ficou em 12º lugar (97,12% de presença), comparada com as 43 instituições de ensino superior (IES) participantes, sendo 38 do estado de São Paulo e cinco de outros estados da Federação (Goiás, Paraná, Minas Gerais e Santa Catarina), agremiadas em quatro consórcios, num universo de 22.396 alunos.
Em 2020, obtivemos uma porcentagem de presença na ordem de 98,85%, demonstrando um aumento crescente, nos últimos anos, da participação dos nossos alunos. A Unisa ficou em segundo lugar (98,85% de presença), comparada com as sete IES participantes.
Já em 2021, tivemos uma queda na adesão do corpo discente à participação do TP, com uma porcentagem de 86,10%, ocupando o sétimo lugar, em relação ao nosso consórcio (SP1).
DISCUSSÃO
Em 2015, foi organizado o primeiro Teste de Progresso Nacional (TPN), com a participação do grupo de coordenação do TP da Abem, como atividade de encerramento do projeto “Abem 50 anos”. Isso constituiu um momento importante na construção de um teste nacional único, de modo a indicar um horizonte cada vez mais inclusivo e representativo, e apontar o caminho para uma estratégia capaz de induzir e transformar o ensino e a cultura de avaliação no país16.
A prova nacional foi realizada no dia 30 de setembro de 2015, com a participação de 58 escolas, com 23.065 estudantes que tiveram seus gabaritos analisados. A análise do desempenho dos estudantes mostrou o esperado aumento progressivo de acertos ao longo dos seis anos de graduação, com a média inicial do primeiro ano de 32,38%, atingindo 61,28% no sexto ano15, porcentagens semelhantes às encontradas em nosso relato de experiência nas aplicações do TP em nossa instituição em 2018: 32,63% como média de acerto no primeiro semestre, e 62,87%, no 12º semestre. Quando se avaliou a progressão de conhecimentos entre o momento de entrada do estudante no curso (32%) e o término, na sexta série (54%), verificou-se, no estudo de Pinheiro et al. 13, uma incorporação de conhecimentos de 22%. Esses testes foram aplicados aos estudantes de todas as séries do curso médico do ano de 2008 (n = 457) e 2011 (n = 446), em um mesmo dia e horário, com duração de quatro horas e permanência obrigatória de duas horas na sala. Os dados relatados também estão próximos aos encontrados em nossa instituição.
Os resultados encontrados na edição do TPN da Abem refletem o que já se identificava em relação ao processo de aprendizagem ao longo de seis anos do curso de Medicina: o contínuo aumento do desempenho dos discentes na avaliação. Verificou-se que o incremento no desempenho dos estudantes no TPN da Abem de 2021 foi de 29,6 pontos percentuais. Resultados semelhantes foram observados na edição nacional de 2015, momento em que se identificou um incremento de 28,9 pontos percentuais na média de acertos entre os acadêmicos do primeiro ao sexto ano. Além disso, as médias de acertos em cada ano do curso no TPN da Abem de 2021 foram semelhantes ao resultado de 201510. O efeito positivo do TPMed pode ser observado de forma clara na nossa instituição, em consonância com a literatura que descreve o crescimento do conhecimento médico nos que se abriram para acolher a proposta desse método de avaliação.
Em relação à participação dos alunos no TPMed, foram divulgados, em uma publicação do colegiado de Medicina da UEL no período de 1998 a 2002, os resultados relativos aos desempenhos gerais dos estudantes em todos os TPMed e o desempenho geral e por área de conhecimento do oitavo e nono TPMed. Verificou-se um aumento progressivo na participação dos estudantes nos TPMed, com exceção do terceiro TPMed, que teve uma participação total de 31%16.
A influência positiva do TPMed na aprendizagem do aluno e um incentivo de acréscimo de 0,5 ponto em um módulo, escolhido pelo estudante, caso participasse da prova e a realizasse por um período mínimo de três horas, foram as motivações da Unisa para vencer os desafios e mobilizar os estudantes no primeiro ano em que aplicamos a prova, corroborando a grande participação discente. Acreditamos que todas essas ações relatadas possam ter contribuído para uma maior motivação dos nossos alunos na aderência à realização dessa avaliação em 2018, com 96,74% de presença, o que vem ao encontro dos resultados do estudo de Sakai et al.16 quanto ao comparecimento dos estudantes nos TPMed, na Medicina da UEL, de 95,6%, em 2006, em que houve um aumento da participação dos alunos, com a obrigatoriedade do teste a partir de 2003 e a instituição de um prêmio no nono TPMed/2006 à série com o maior número de comparecimentos.
Em 2019, na edição paulista do TP, tivemos uma adesão ainda um pouco maior, comparada ao ano anterior, com divulgação em salas de aula sobre a importância dessa avaliação e esclarecimento das vantagens, como a oportunidade de acompanhar a evolução do aluno ao longo do curso, comparar o seu desempenho com os demais discentes e verificar a evolução de seu desempenho cognitivo nas diversas áreas do curso, servindo como avaliação formativa e identificando problemas potenciais, o que pode ter auxiliado a adesão ao TPMed.
Já em 2020 nos deparamos com a pandemia da coronavirus disease 2019 (Covid-19), quando discutimos em nosso consórcio a possibilidade de realizarmos o TPMed 2020 on-line. Ele foi agendado para o dia 7 de outubro de 2020 às 13h30, porém, nessa data, às 10h30 o site começou a apresentar instabilidades no acesso por motivos técnicos desconhecidos, tendo sido solicitado um parecer técnico da empresa onde o site estava hospedado. Recebemos, então, um comunicado de adiamento da aplicação da prova até que a falha fosse solucionada, para que não houvesse prejuízo aos alunos. Mantendo o compromisso assumido com os discentes, a prova foi realizada em novembro, com uma porcentagem de participação dos discentes maior em relação aos anos anteriores.
Tivemos esse mesmo problema com o segundo TPN de 2021, promovido pela Abem, e a prova, que inicialmente havia sido agendada para o dia 6 de outubro de 2021, foi cancelada e remarcada para o dia 4 de novembro de 2021, às 13h30. Todas as escolas de Medicina do Brasil, que aderiram ao TPMed de 2021, tiveram a oportunidade de participar dessa avaliação, realizada on-line. A participação dos estudantes do curso de Medicina da Unisa foi menor, se comparada aos anos anteriores. Apesar de todo o suporte da Abem aos estudantes, inclusive no dia da prova, e da Fundação para o Vestibular da Universidade Estadual Paulista (Vunesp), por meio do chat do sistema, telefone e e-mail, tivemos problemas com alguns dispositivos eletrônicos, havendo atraso no início da prova, com prorrogação do horário de acesso, para que nenhum aluno fosse prejudicado, mas ainda assim alguns estudantes referiram que não conseguiram acessar a prova. Apesar da assessoria prestada aos alunos com dificuldades de acesso, acreditamos que a queda da adesão ao TPN da Abem de 2021 dos discentes da Unisa ocorreu por conta dessas questões técnicas.
Entre o momento de cancelamento da primeira avaliação e a efetivação da prova no segundo agendamento, houve a desistência da participação de 15 escolas, motivada por desafios de conciliação com o calendário letivo, e agregaram-se duas novas escolas, que não estavam participando no primeiro momento. Assim, o TPN da Abem de 2021 se concretizou com a participação de 130 escolas médicas (37,3% do total de escolas brasileiras e 47,5% das associadas à Abem) e a inscrição de 67.871 acadêmicos, dos quais 48.946 realizaram a prova. A taxa de absenteísmo de 27,9% foi semelhante à da edição presencial de 2015, que contabilizou 23,6% de ausências10.
CONCLUSÃO
A adesão significativa dos acadêmicos ao TPMed foi ampliada pelo incentivo do acréscimo de 0,5 ponto em um módulo, escolhido pelo aluno, caso participasse da prova e a realizasse por um período mínimo de três horas. Entretanto, ainda há a necessidade de estratégias de sensibilização nos meios discente e docente para aumentar a participação dos estudantes.
O desempenho geral observado encontra-se dentro do esperado e apontado na literatura. Houve um aumento progressivo de acertos ao longo dos seis anos de graduação, em relação à média inicial do primeiro semestre e à média atingida no 12º semestre.
O impacto do TPMed na aprendizagem dos alunos é geralmente considerado profundo, de sorte que a avaliação por meio dele pode muito bem ser uma das ferramentas mais poderosas que temos à disposição para influenciar a aprendizagem dos estudantes e garantir a construção de um exímio profissional.
O trabalho direcionado, enfatizando a relevância do TPMed, faz-se mister no seu reconhecimento, de modo a resultar em uma forte adesão dos nossos acadêmicos a essa avaliação.
A partir da experiência vivenciada, tem-se como perspectiva futura a reflexão sobre a percepção dos envolvidos, dos dirigentes institucionais, do corpo docente e do corpo discente, com vistas a levantar aspectos que possam consolidar a participação da IES no TPMed.