INTRODUÇÃO

A formação médica exige avaliações periódicas para que o perfil do egresso seja compatível com as necessidades dos pacientes nos diferentes serviços de saúde. Uma das habilidades cognitivas necessárias ao médico é a capacidade de acumular as informações adquiridas ao longo da graduação, de modo organizado, para a construção do raciocínio clínico. As escolas precisam estimular o aprimoramento de tal habilidade em seus alunos, avaliando o ganho de conhecimentos ao longo do curso por meio de diferentes ferramentas¹. A avaliação cumulativa pode orientar o comportamento de estudo dos estudantes ao longo do curso, incentivando o estudo autodirigido para desenvolver a aprendizagem. Cursos que adotam currículos integrados e metodologias de ensino-aprendizagem centradas no estudante valorizam o percurso percorrido no processo da aprendizagem, oportunizando evolução cognitiva dos seus graduandos².

Uma das formas de avaliar o aprendizado ao longo do curso de Medicina é o Teste de Progresso (TP). Essa ferramenta avalia individualmente e de forma seriada a aquisição de conhecimento por parte do estudante. Desde a década de 1990, as escolas brasileiras aplicam o TP isoladamente ou constituem núcleos colaborativos para aplicação conjunta, de modo a facilitar o processo de elaboração da prova e análise dos resultados, com troca de experiência, compartilhamento de recursos e otimização do custo-benefício entre elas. A parceria contribui para a confecção de questões com alta qualidade, além de vantagens educacionais globais, permitindo uma comparação dos avanços e/ou das limitações entre as instituições participantes, sem haver qualquer tipo de classificação ou ranqueamento^3)-(5. Em 2012, a Associação Brasileira de Educação Médica (Abem) estimulou a criação de núcleos interinstitucionais para aplicação do TP, com o objetivo de desenvolvimento de parcerias entre escolas e de ações que impulsionassem a melhoria da formação do médico. Em 2015 e 2021, foram realizadas provas nacionais, e o TP tem sido a ferramenta mais utilizada para quantificar o desenvolvimento cognitivo, em virtude das vantagens de ser aplicado em larga escala^6)-(9.

O TP caracteriza-se por ser uma avaliação cognitiva, formativa, com conteúdo cumulativo desejável ao final do curso. Além disso, fornece um feedback do desenvolvimento cognitivo do estudante. Possibilita ao estudante uma análise crítica de seu desempenho ao longo do curso, destacando as potencialidades e identificando as fragilidades nas áreas avaliadas. Os resultados do teste objetivam direcionar os esforços dos estudantes para contemplar os conhecimentos desejáveis em todas as grandes áreas do currículo^8),(10. Para o curso, o TP é uma forma de avaliação diagnóstica do currículo que permite identificar as potencialidades possíveis falhas ao longo do processo de formação. O conteúdo do teste não segue um modelo curricular específico e, portanto, avalia os objetivos finais do currículo médico em sua totalidade, independentemente da proposta pedagógica adotada¹¹. É constituído de um número variável de questões, contemplando de forma ampla todas as grandes áreas da medicina: ciências básicas, saúde coletiva, clínica médica, pediatria, ginecologia/obstetrícia, cirurgia, urgência/emergência, ética médica e humanidades. Sugere-se que as questões sejam de múltipla escolha e priorizem alta taxonomia, já que o processo de aprendizado envolve competências complexas^2),(12. A prova é aplicada a todos os estudantes em um mesmo momento, pelo menos uma vez ao ano, e permite comparar os resultados e analisar a evolução do desempenho do discente ao longo da graduação. Para cada ano, é esperado um escore médio progressivo, variando de acordo com a estrutura curricular do curso e a dificuldade do teste^13),(14. Como o TP representa um importante instrumento para avaliação de estudantes e do currículo nas escolas médicas, o objetivo deste estudo foi verificar a evolução cognitiva de graduandos de uma escola médica da Região Nordeste do país por meio desse instrumento.

MÉTODO

Trata-se de um estudo observacional, analítico, transversal, com abordagem quantitativa, em que se utilizaram os resultados dos TP das turmas de 2013 a 2016 do curso de Medicina da Universidade de Fortaleza (Unifor). A Unifor faz parte de um consórcio interinstitucional para o TP com mais sete escolas e realiza TP desde 2013. O curso tem ingresso semestral, e o TP é realizado no segundo semestre do ano, entre setembro e outubro. Elegeram-se como população do estudo as oito turmas que realizaram seis TP ao longo da graduação, e incluíram-se os resultados dos testes de progresso de 2013 a 2021. Foi comparado os desempenhos nos seis anos do curso, global, por períodos e por grandes áreas da medicina. Extraíram-se os dados do banco de dados do TP, no qual estão presentes as notas de todos os estudantes que participaram dos TP, descritas em escore de 0 a 10, porcentagem, média e desvio padrão. O TP interinstitucional é uma prova objetiva, com 120 questões de múltipla escolha, com quatro alternativas (gabarito e quatro distratores), sendo 20 questões por cada grande área: Ciências Básicas, Cirurgia, Clínica Médica, Ginecologia/Obstetrícia, Pediatria e Saúde Coletiva. Os conteúdos de Urgência/Emergência, Etica Médica, Bioética e Humanidades estão inseridos longitudinalmente nas grandes áreas. A matriz da prova apresenta a distribuição das questões com base nos objetivos de aprendizagem dos temas considerados relevantes após validação pelas escolas do consórcio e contempla cenários dos três níveis de atenção à saúde. As questões são elaboradas por docentes de todas as escolas do consórcio, e as questões do banco são, na sua maioria, de nível 3 ou mais da taxonomia de Bloom. As questões são analisadas pela Teoria Clássica dos Testes (TCT) para comparar o grau de dificuldade e de discriminação das provas. Os resultados de acerto casual foram excluídos da análise.

Os resultados do sexto ano foram escolhidos para análise comparativa por serem concludentes. Incluíram-se todos os resultados dos TP aplicados de 2013 a 2021. Excluíram-se os resultados de estudantes com escores sinalizados como acerto casual (respostas em apenas uma letra ou padrão gráfico de respostas), que não realizaram o TP no ano de conclusão do curso ou que não compareceram a duas ou mais provas. As turmas iniciadas em 2015.1 e 2016.1 foram excluídas da análise do sexto ano, pois não realizaram o TP no S12 por causa da colação de grau antecipada, não tendo resultados completos para comparação.

As turmas foram assim denominadas: turma 2013.1 (TP de 2013 a 2018), turma 2013.2 (TP de 2013 a 2018), turma 2014.1 (TP de 2014 a 2019), turma 2014.2 (TP de 2014 a 2019), turma 2015.2 (TP de 2015 a 2020) e turma 2016.2 (TP de 2016 a 2021). As turmas ingressantes no primeiro semestre (ano.1) realizaram TP nos semestres pares do curso (de S2 a S12), e as ingressantes no segundo semestre (ano.2) realizaram TP nos semestres ímpares do curso (de S1 a S11).

Os dados foram tabulados em planilhas do software Microsoft Excel^®, analisados por meio de estatística descritiva e descritos pela porcentagem da média de cada escore. Calculou-se o diferencial de desempenho observado (DDO), subtraindo o escore do sexto ano do escore do primeiro ano, expresso em porcentagem. Para as comparações, aplicaram-se o teste T pareado e a análise de variância para medidas repetidas, para as médias entre as turmas e entre os semestres de uma mesma turma, com intervalo de confiança de 95%, sendo o valor de p < 0,05 considerado estatisticamente significativo. Aplicou-se o coeficiente de correlação de Pearson. As comparações entre as turmas respeitaram a equivalência do semestre de ingresso em dois blocos: 2013.1 e 2014.1 e 2013.2, 2014.2, 2015.2 e 2016.2.

O estudo respeitou os aspectos éticos e foi aprovado pelo Comitê de Ética da Universidade de Fortaleza sob o número 1.498.070/2016.

RESULTADOS E DISCUSSÃO

Entre 2013.1 e 2016.2, 552 (100%) estudantes de primeiro ano, pertencentes às oito turmas de ingressantes nesses semestres, foram inscritos para realizar o TP. Excluíram-se os 142 concludentes das turmas de 2015.1 e 2016.1 que colaram grau antes da data da realização do TP no sexto ano, respectivamente em 2020 e 2021. Dos 410 estudantes das demais seis turmas, incluíram-se os resultados de 361 (88,0%), que correspondem aos estudantes que realizaram os seis TP ao longo do curso.

Verificou-se um aumento progressivo no desempenho cognitivo global dos estudantes em cada turma, ao longo dos seis anos de TP (Tabela 1). A diferença de desempenho entre o sexto e primeiro ano (DDO) das turmas 2013.1 e 2014.1 foi semelhante (p = 0,235), e a turma 2015.2 teve DDO superior às demais turmas de ingresso de segundo semestre (p = 0,047; R = 0,73). Isso ocorreu porque essa turma teve um desempenho inferior no TP do S1 (29% de acertos), em relação às demais turmas, sendo significativa a diferença em relação à turma 2014.2 (p = 0,026). Não houve diferença significativa em relação às turmas 2013.2 (p = 0,186) e 2016.2 (p = 0,368). É esperado que os acertos no teste (em percentuais) tenham crescimento do primeiro ano para o sexto ano. O grau de dificuldade das provas analisadas foi semelhante, com cerca de 90% a 95% de questões com grau de dificuldade fácil e médio, e 50% a 60% com questões com boa discriminação (considerando a TCT do ano 6), conforme demonstrado na Tabela 2.

Quando se comparou o desempenho global do sexto ano (TP S11) nas turmas ingressantes no segundo semestre, houve diferença no desempenho dos alunos entre as turmas, variando de 64,3% em 2016.2 a 72,5% em 2014.2 (p = 0,003; R = 0,85). As turmas 2013.2 e 2014.2 tiveram desempenhos semelhantes no TP do S12. A variação observada provavelmente foi mais influenciada pelas características específicas de cada turma, já que as provas tiveram graus de dificuldade semelhantes (Tabela 2).

A partir do terceiro ano, a análise do desempenho das turmas ao longo dos seis testes da graduação mostrou-se crescente para todas as turmas (Gráfico 1). Em relação à diferença de desempenho (DDO) entre o primeiro e o último ano das turmas, verificou-se que quase todos os valores estavam dentro da faixa esperada (25%-35%)¹, com exceção do valor para a turma 2015.2, que foi superior aos demais. Tal diferença foi observada por um escore inferior no teste do S1, quando comparada às demais turma, mantendo o padrão de crescimento para os demais anos. Em 2015, a prova realizada foi TP nacional, em que as questões estavam divididas em cinco áreas, com o conteúdo das ciências básicas distribuído entre as demais áreas⁷, o que pode em parte explicar tal diferença de desempenho. Ao mesmo tempo, esse teste continha questões elaboradas por escolas de todo o Brasil, o que também é um fator para explicar tal desempenho, pela menor familiaridade com o tipo de questão.

Fonte: Banco de dados dos TP de 2013 a 2021.

Gráfico 1 Evolução de desempenho ao longo de seis anos da graduação (% média de acertos) 

O Gráfico 2 mostra o desempenho do sexto ano nas grandes áreas do teste da medicina. Observa-se um número médio de acertos similar para Ciências Básicas, Clínica Médica, Pediatria e Ginecologia/Obstetrícia, com pequenas variações por turma. A área de Ciências Básicas manteve-se com média de acertos elevada nas turmas do último ano da graduação, apesar de constituir uma área com conteúdos ministrados nos primeiros semestres da graduação.

Gráfico 2 Desempenho por área no sexto ano (% média de acertos) 

O desempenho nas áreas de Cirurgia e Saúde Coletiva apresentou maior variação entre as turmas. A turma de 2016.2 apresentou o menor desempenho do TP do S11, provavelmente relacionado ao escore na prova de cirurgia (49%), com diferença significativa nessa área para as demais turmas (p = 0,012). Em Saúde Coletiva, a turma 2015.2 teve desempenho inferior não significativo no TP S11 em relação às demais (p = 0,070). A turma de 2016.2 foi a que apresentou o menor desempenho global no TP do sexto ano. Essa turma realizou a prova durante a pandemia do novo coronavírus e de forma virtual, o que pode ter impactado negativamente os resultados por conta das necessidades de isolamento impostas, com prejuízo às atividades do internato no último ano do curso¹⁵.

O impacto da pandemia pode ser observado também nos resultados da turma 2015.2 no TP S11, na área de Saúde Coletiva. Essa turma em especial fez um semestre de internato adaptado para os serviços que tinham vagas disponíveis, em razão das necessidades de remanejo causadas pela pandemia. Quase todos os estágios foram em serviços hospitalares de atendimento à doença pelo coronavírus 19 (Covid-19), já que os serviços ambulatoriais eletivos estavam fechados. Em nossa cidade, a maioria dos serviços de Atenção Primária à Saúde (APS) e Medicina de Família e Comunidade, além do internato rural realizado no interior, suspendeu as atividades de ensino, entre abril e outubro de 2020, por causa dos desafios impostos pela pandemia e da falta de equipamentos de proteção individual para atender de forma adequada os estudantes. Com isso, alguns internos não completaram seus rodízios de APS antes do TP S11, o que pode ter influenciado no desempenho da turma.

Em relação à Cirurgia Geral, foi a área com menor desempenho no sexto ano no primeiro TP em 2013 - 58% de acertos (média da prova = 69,7% de acertos), confirmando uma tendência observada: menor inserção desse conhecimento em relação às demais áreas na matriz curricular do curso. Toda a inserção curricular de temas cirúrgicos foi revista utilizando os resultados do TP como ferramenta de avaliação para definir em quais momentos as competências em cirurgia deveriam ser reforçadas ou inseridas. As atividades foram reorganizadas aumentando a inserção em todos os semestres e redefinindo os rodízios de internato na clínica cirúrgica. Os avanços nessa área culminaram em maiores médias de acertos ao final do sexto ano (variando de 70% a 79%) nas turmas que ingressaram até 2015.2 e provavelmente são consequência dos ajustes realizados no currículo. A pandemia da Covid-19, com os desafios impostos aos serviços de saúde, pode ter impactado o menor desempenho em Cirurgia Geral no TP S11 pela turma 2016.2. Essa turma ingressou no internato em 2020.2, e os rodízios de cirurgia foram suspensos na primeira onda (abril a outubro/2020), e novamente foram impactados na segunda onda, que se iniciou em janeiro de 2021. Em Fortaleza, os leitos destinados às cirurgias eletivas foram direcionados para o atendimento clínico de pacientes com Covid-19, e essa turma ficou praticamente três semestres do internato sem ter oportunidade de manter os rodízios previstos nessa área.

O curso de Medicina da Unifor utiliza metodologias ativas de ensino-aprendizagem, tendo a aprendizagem baseada em problemas como orientação pedagógica do S1 ao S8. O TP é aplicado desde 2013, e a escola participou de nove edições, e nesse período seis turmas fizeram o TP anualmente, do primeiro ao sexto ano. A participação dos estudantes é voluntária. Em 2020 e 2021, a prova foi aplicada em plataforma virtual, de forma síncrona, em razão da pandemia pelo novo coronavírus.

Ainda há a necessidade do incremento de estímulos para garantir a adesão da totalidade dos estudantes ao TP, de modo que eles entendam que se trata de uma ferramenta de estudo com potencial para a melhoria na aquisição de conhecimento durante a graduação. Observamos que desempenho dos estudantes no sexto ano foi acima da média observada em alguns estudos, que registraram uma média percentual de acertos para o sexto ano entre 50% e 60% em todo o teste^{7),(9),(13),(14}. A variação observada na nesta amostra (de 64,3 a 72,5% de acertos) provavelmente foi mais influenciada pelas características específicas de cada turma, já que as provas tiveram graus de dificuldade semelhantes. O curso possibilita experiências de ensino-aprendizagem em um currículo consolidado, o que pode ser evidenciado por desempenhos similares entre diferentes turmas ao longo dos anos de aplicação do TP aos alunos.

A evolução do desempenho ao longo dos seis anos do curso manteve o padrão de crescimento a partir do terceiro ano para ambas as turmas, o que condiz com a aquisição satisfatória de conhecimento ao longo do curso, estando de acordo com as exigências curriculares e com o observado em estudos semelhantes^{7),(9),(13),(14}.

CONCLUSÃO

O TP confirmou ser uma ferramenta importante para a avaliação formativa dos estudantes e para diagnóstico do currículo, de modo a evidenciar suas potencialidades e fragilidades, e permitir subsidiar ajustes no processo pedagógico. Para além do ganho em desempenho, coexiste uma melhor apropriação dos conteúdos transmitidos e, consequentemente, um desenvolvimento de competências essenciais, com aprimoramento da formação profissional.