INTRODUÇÃO

O Teste do Progresso (TP) avalia o desempenho longitudinal e seriado das competências cognitivas almejadas ao final do curso, de modo a permitir avaliação individual e evolutiva dos estudantes¹. É elaborado a partir de um banco de questões produzidos pelos membros de consórcios interinstitucionais, com representantes das instituições participantes². Essas questões contemplam todo o conteúdo desejável à formação médica, abrangem as grandes áreas médicas e estimulam o raciocínio e a decisão crítica com base na Teoria de Resposta ao Item^3),(4. É necessário que as questões sejam replicáveis e revisáveis por diversos docentes. Esse processo tem como objetivos tornar a avaliação multicêntrica e garantir a validade do processo^5),(6. Dessa forma, diminui-se o impacto da endogenia acadêmica, que pode acontecer quando as questões das provas sofrem influência dos professores que as elaboraram⁷. O teste é aplicado no mesmo momento a todos os alunos de todos os semestres de cada escola médica participante, e anualmente um novo teste é elaborado e aplicado de forma seriada, com intervalos periódicos^8),(9.

O TP também possibilita a análise do ensino ofertado pela instituição a partir da investigação comparativa e não ranqueadora dos resultados obtidos entre as escolas participantes de provas interinstitucionais¹⁰. Permite ainda à instituição identificar as carências da base curricular e aprimorar as estratégias de gestão do curso, para aperfeiçoar as disciplinas com menor desempenho^6),(11. Pode ser ainda uma estratégia de avaliação institucional consistente à disposição da comunidade acadêmica e da comunidade em geral, em um momento em que a necessidade de avaliação se torna mais relevante, diante da rápida expansão do número de vagas e de escolas médicas^12),(13.

As instituições de ensino superior (IES) idealmente devem contemplar diversas ferramentas avaliativas, de forma conjugada, a fim de facilitar o processo de ensino e aprendizagem. O TP é uma avaliação considerada formativa, por acontecer de maneira longitudinal, acompanhando a construção do aprendizado. Existem ainda as avaliações diagnósticas, bastante utilizadas para compreender quais conhecimentos os alunos já possuem, que guiam os processos de ensino dos professores, e há também as avaliações somativas, que contemplam as provas tradicionalmente aplicadas ao fim de cada ciclo, visando avaliar os objetivos expressos no currículo^14),(15.

As avaliações somativas, dependendo das implicações dos resultados obtidos pelo estudante, podem ser consideradas de baixo impacto (low-stakes), quando têm implicações de menor importância, pois resultados adversos podem ser compensados de outras formas (provas parciais, por exemplo), ou de alto impacto (high-stakes), quando o desempenho determina aprovação, reprovação ou classificação (provas finais, concurso vestibular, título de especialista ou seleção para residência médica - RM)¹⁶.

Tem-se tentado cada vez mais associar os resultados do TP com aqueles obtidos no processo seletivo da RM^12),(17. Tais associações podem ser comparadas porque ambos medem competências cognitivas desejadas ao final do curso. Como o TP é uma avaliação seriada, ele pode extrapolar os resultados para os alunos e os cursos, de modo a relacioná-los com os objetivos destes¹⁸. O presente estudo irá abordar a correlação do desempenho dos estudantes de Medicina no TP da graduação com o resultado obtido no processo seletivo para admissão na RM.

MÉTODO

Foi realizado um estudo observacional, transversal, analítico, com abordagem quantitativa, no período de julho de 2021 a março de 2022 com os alunos do curso de Medicina da Universidade de Fortaleza (Unifor), que realizaram anualmente o TP no período da sua graduação e participaram do Processo de Seleção Unificada para Residência Médica do estado do Ceará. A amostra inicial foi constituída pelos 270 estudantes ingressantes em 2013 e 2014, que realizaram o TP do primeiro ao sexto ano do curso e fizeram concurso para RM nos anos de 2018 a 2020.

Os alunos foram categorizados em quatro turmas, de acordo com o semestre de início do curso. Como o TP é anual, todas as quatro turmas fizeram um teste por ano, totalizando seis testes ao longo da graduação. A turma A compreendeu os alunos ingressantes no primeiro semestre de 2013 (de 2013.1 até 2018.2). Como o teste é feito sempre no segundo semestre de cada ano, realizaram-se os TP nos semestres pares: segundo, quarto, sexto, oitavo, décimo e décimo segundo. A turma B ingressou no segundo semestre de 2013 (de 2013.2 até 2019.1) e realizou o TP nos semestres ímpares: primeiro, terceiro, quinto, sétimo, nono e décimo primeiro. A turma C ingressou no primeiro semestre de 2014 (de 2014.1 até 2019.2), com realização do TP nos semestres pares, e a turma D ingressou no segundo semestre de 2014 (de 2014.2 até 2020.1) e realizou o TP nos semestres ímpares. Foram excluídos os alunos que repetiram algum semestre, os que não concluíram o curso por qualquer motivo e aqueles que não prestaram prova para o processo de RM no ano de sua graduação, para evitar viés de confundimento. Desse modo, a amostra foi constituída dos resultados de 143 participantes, com a adesão ao programa de RM variando de 41% a 67,2%, a depender de cada turma. O Fluxograma 1 descreve a distribuição dos alunos recrutados para o trabalho, subdivididos nas quatro turmas (A, B, C e D), de acordo com o período de ingresso e conclusão (ano e semestre) do curso de Medicina da Unifor, considerando os critérios de exclusão do estudo.

Fonte: Elaborado pelas autoras.

Fluxograma 1 Distribuição dos alunos por turmas, de acordo com o ano/semestre de ingresso e de graduação 

As informações acerca do desempenho dos estudantes no TP seriado foram coletadas no banco de dados da Unifor. Analisaram-se os dados de desempenho geral, o que inclui a nota obtida nas especialidades de clínica médica, cirurgia geral, pediatria, ginecologia-obstetrícia e saúde coletiva, totalizando 100 questões. Não se avaliaram os desempenhos na chamada área básica, que somariam 20 questões a mais, uma vez que a prova de RM não contempla esse conteúdo, o que impossibilitaria a comparação.

O desempenho no processo seletivo de acesso direto à RM foi avaliado em dois momentos, de acordo com as fases do processo. O processo seletivo da RM - Processo de Seleção Unificado para Residência Médica do estado do Ceará - PSU-RESMED/CE - é composto de duas etapas. A primeira etapa consiste na prova objetiva, com 100 questões de múltipla escolha, formuladas com igual número de questões nas cinco grandes áreas médicas: clínica médica, cirurgia geral, pediatria, ginecologia-obstetrícia e saúde coletiva. Nessa etapa, avaliou-se o resultado dos alunos, se aprovados ou reprovados para a segunda etapa. A segunda etapa consiste na análise curricular do participante classificado que obtiver 50% de acertos no exame escrito e que for selecionado dentro do quantitativo de quatro vezes do número de vagas em cada programa. A classificação final considera a pontuação das duas etapas, em que a prova escrita tem peso 9 (90%) e a avaliação curricular peso 1 (10%), e classifica os participantes de acordo com a nota obtida. Os resultados foram computados após a segunda etapa, avaliando se os alunos foram aprovados ou reprovados de acordo com a nota de corte para cada programa.

Os dados foram obtidos de forma on-line, no site oficial do certame responsável pela prova da RM unificada do estado, com a anuência da coordenação do certame.

Na análise dos dados, utilizou-se o pacote estatístico Statistical Package for Social Science (SPSS), versão 25 para Windows. Realizaram-se as seguintes análises: estatísticas descritivas das pontuações no TP e da aprovação na RM; e correlações entre as pontuações do TP e a aprovação da RM e comparações das pontuações do TP em função da aprovação na residência, tanto na primeira fase como na aprovação final. Foram realizadas duas análises de regressão linear múltipla. No primeiro modelo de regressão, a nota do último ano no TP e a média geral, considerando todos os anos do teste, foram elencadas como variáveis independentes e a aprovação na primeira fase da residência como variável dependente.

As correlações entre o TP e a aprovação na RM apresentaram distribuição diferente da normal, indicando o uso de testes não paramétricos (teste de Mann-Whitney). Nas correlações, a “não aprovação” foi considerada como 0 e a “aprovação” como 1, possibilitando uma correlação ponto-bisserial. Utilizaram-se os coeficientes de correlação de Spearman (ρ) para correlações entre variáveis não quantitativas e o coeficiente de determinação (R²) para as análises de regressão. Para possibilitar um aumento da amostra e uma análise geral, agruparam-se todas as turmas e seus dados anexados em um único banco de dados, considerando que o objetivo seja identificar ou não correlação positiva.

O projeto de pesquisa foi aprovado pelos Comitê de Ética da Unifor: Certificado de Apresentação para Apreciação Ética nº 55858521.1.0000.5052.

RESULTADOS

Na Tabela 1, são descritas as pontuações no TP de cada turma, para determinar o desempenho específico e seriado no teste. Observamos que, ao longo dos anos, há uma progressão na média das pontuações do TP.

Os dados referentes à aprovação dos alunos por turma na primeira e segunda etapas da RM são descritos nas tabelas 2 e 3. Na primeira etapa (prova escrita), constatou-se que 38,50% (N = 55) foram reprovados, e 61,50% (N = 88), aprovados. Quanto ao final do processo, 64,30% (N = 92) foram reprovados, e 35,70% (N = 51), aprovados na residência média (Tabela 2).

Buscou-se verificar a correlação entre as médias de pontuação entre todos os anos do TP e a aprovação na primeira fase da residência. Para essa análise, a correlação foi positiva e significativa (ρ = 0,257; p < 0,001). Quando se correlacionaram as notas do último ano do TP com a aprovação na primeira fase da residência, foi possível identificar também uma correlação positiva e significativa (ρ = 0,354; p < 0,001). Entre a média de pontuação no TP e a aprovação final no processo de seleção da residência, foi encontrada uma correlação positiva e significativa (ρ = 0,226; p < 0,001). E entre as notas do TP do sexto ano e a aprovação final da RM, a correlação também foi positiva e significativa (ρ = 0,265; p < 0,001).

A partir de análises de regressão linear múltipla, observa-se que maiores pontuações na média do TP estão associadas à maior probabilidade de aprovação no processo da residência, seja na primeira fase [F(2,133) = 6,390; p < 0,05] ou na segunda fase da seleção [F(2,133) = 5,313; p < 0,05]. Isso indica que a média do TP é responsável por 8,80% (R²) da aprovação na primeira fase da seleção da residência e por 7,40% da aprovação final da RM. A nota do TP do sexto ano, por si só, não se apresentou estatisticamente significativa nesse modelo de regressão, indicando que o processo como um todo é mais relevante para prever a aprovação na RM.

Com o intuito de reafirmar os resultados encontrados, buscou-se analisar apenas os 88 aprovados na primeira fase da RM e os 51 aprovados na segunda fase, a fim de comparar as pontuações que obtiveram no TP, seja na média de todos os anos ou na média da nota obtida no sexto e último ano. Verificou-se diferença estatisticamente significativa (U = 1651,000; p < 0,001) na pontuação média do TP entre os participantes que foram aprovados na primeira fase e os que não foram. Também se observou diferença estatisticamente significativa nos pontos do TP do último ano avaliado entre os participantes que foram aprovados na primeira fase e os que não foram (U = 1278,500; p < 0,001). Em ambos os casos, os participantes que foram aprovados apresentam maiores pontuações no TP do que os que não foram aprovados (Tabela 3).

Por fim, foram comparados os dados de pontuações média e do último ano no TP em função da aprovação na segunda fase da RM. Tanto para a pontuação média (U = 1689,500) quanto para a pontuação do último ano (U = 1437,000; p < 0,05), encontraram-se diferenças estatisticamente significativas. Em ambos os casos, os participantes aprovados no processo apresentaram maiores pontuações no TP (Tabela 4).

DISCUSSÃO

Foi confirmada a progressão das notas em cada uma das turmas analisadas, sem diferença estatística entre elas, mostrando que as turmas mantiveram padrão semelhante de evolução dos resultados. Em 2019, o estudo de Bicudo et al.² que realizou uma análise do desempenho de 23.065 estudantes no TP nacional em 2015, distribuídos por ano da graduação, mostrou uma evolução também ascendente, variando de 32,38% no primeiro ano a 62,18% no sexto ano. Quando se comparam os resultados deste estudo com os obtidos na análise de 2015, percebe-se que as quatro turmas estudadas tiveram bons rendimentos, com resultados acima da média nacional verificada no trabalho de Bicudo et al.

As associações positivas de bons resultados no TP com aprovação na RM observadas no nosso estudo indicam que maiores pontuações no TP, seja na média entre todos os anos ou somente na nota do último ano, estão relacionadas a maiores possibilidades de aprovação no processo da RM. Entretanto, foi observado que o processo do TP como um todo é mais relevante para prever a aprovação na RM do que a nota isolada do TP no sexto ano.

Observou-se ainda que um bom desempenho no TP impactou positivamente a aprovação tanto na primeira (prova cognitiva) quanto na segunda etapa da seleção da RM (avaliação curricular), embora o TP não guarde nenhuma associação com a análise curricular, não havendo correlação entre os resultados do TP e o desempenho na avaliação do currículo do estudante. O TP é uma ferramenta de avaliação cumulativa de conhecimento e é utilizado de forma a guiar a forma de estudo dos alunos³. Essa análise longitudinal permite uma boa predição de desempenho futuro e contribui para que o aluno tenha uma avaliação crítica do seu aprendizado cognitivo ao longo da graduação. Espera-se que o TP seja utilizado como uma ferramenta de autoavaliação, e, considerando que mais avaliações devem ser feitas com o intuito final de garantir um melhor desenvolvimento das competências dos alunos, os escores obtidos sinalizam o desempenho em relação ao universo (turma/ano/semestre) em que estão inseridos.

Quando se correlaciona o desempenho do TP com os resultados positivos na prova da RM, confirma-se a vantagem de testes de alta taxonomia para avalição de competência cognitiva, que pode prover, além do feedback aos estudantes, o acompanhamento curricular dos cursos^16),(18. O estudo de Hamamoto et al.¹² com 212 estudantes da Universidade Estadual de Campinas (Unicamp) também evidenciou correlação positiva entre o desempenho no TP e a aprovação na seleção da RM.

Karay et al.¹⁸ observaram que o ganho de conhecimento progressivo verificado no TP estava associado a resultados favoráveis em exames nacionais de proficiência médica ao final da graduação de Medicina na Alemanha, o que também evidenciado foi por Andrade et al.¹⁵. Van Der Vleuten et al.¹⁰ foram além e afirmaram que o TP tem conseguido definir com precisão o desempenho dos acadêmicos de Medicina e sugerem que exames somativos após a graduação, como testes de licenciamento médico realizados em alguns países, poderiam ser eliminados, caso a escola assumisse um papel ativo no desdobramento dos resultados para seu currículo e seus estudantes. De acordo com os autores, o TP atesta o conhecimento adquirido ao longo do curso¹⁹.

Um dado relevante observado no presente estudo foi a baixa adesão dos concludentes ao processo seletivo de RM no ano da sua graduação. Vários fatores podem estar implicados nessa decisão, como programas de incentivo do governo para trabalhar em regiões remotas ou a necessidade de obter experiência após a graduação. Não foi objetivo do estudo identificar essas causalidades, e mais estudos são necessários para verificar essas associações.

Uma das limitações deste estudo foi não considerar a concorrência e dificuldade de acesso ao programa de RM, dependente da especialidade escolhida. É notório que altas médias no TP nem sempre são suficientes para a aprovação de um aluno que optou por uma especialidade cuja concorrência por vaga estivesse bastante elevada²⁰. O índice de discriminação e o grau de dificuldade das provas não foram analisados no nosso estudo, entretanto não houve discrepâncias de resultados entre as turmas, indicando que as tais variáveis poderiam não ter influenciado neles.

CONCLUSÃO

O TP mostrou ser uma importante ferramenta para o bom desempenho no processo seletivo da RM. Desse modo, constitui-se uma forma de acompanhamento de aquisição cognitiva dos estudantes ao longo da graduação. Mesmo se tratando de uma ferramenta formativa, comprovou-se ser um excelente preditor de exames somativos de ampla concorrência, bastante almejados pelos alunos, devendo ser cada vez mais valorizado pelos graduandos e pelas instituições.