SciELO - Scientific Electronic Library Online

 
vol.46 número4Atitude perante a morte e opinião de estudantes de Medicina acerca da formação no temaBurnout e metodologia ativa de ensino-aprendizagem entre estudantes de Medicina de universidade em tríplice fronteira índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Revista Brasileira de Educação Médica

versão impressa ISSN 0100-5502versão On-line ISSN 1981-5271

Rev. Bras. Educ. Med. vol.46 no.4 Rio de Janeiro  2022  Epub 07-Dez-2022

https://doi.org/10.1590/1981-5271v46.4-20220145 

Artigo Original

Teste de Progresso: ausência de alunos de Medicina é sugestiva de mau desempenho acadêmico

Carlos Eduardo Pinheiro1  , idealizador do trabalho, elaborador e redator principal
http://orcid.org/0000-0001-9550-7266

Emil Kupek1  , consultor e revisor de estatística
http://orcid.org/0000-0001-6704-1673

Olavo Franco Oliveira Filho2  , consultor, revisor de estatística e do texto
http://orcid.org/0000-0002-0777-109X

Ademir Reberti3  , consultor e revisor do texto
http://orcid.org/0000-0002-3340-9465

Diogo Onofre Gomes de Souza4  , orientador do trabalho
http://orcid.org/0000-0002-4322-0404

1Universidade Federal de Santa Catarina, Florianópolis, Santa Catarina, Brasil.

2Universidade Estadual de Londrina, Londrina, Paraná, Brasil.

3Universidade da Região de Joinville, Joinville, Santa Catarina, Brasil.

4Universidade Federal do Rio Grande do Sul, Porto Alegre, Rio Grande do Sul, Brasil.


Resumo:

Introdução:

Não se sabe se a ausência de estudantes de Medicina ao Teste de Progresso (TP) se dá de forma aleatória ou por alguma característica sistemática deles, o que poderia influenciar a representatividade dos resultados obtidos pelos participantes.

Objetivo:

Este estudo teve como objetivos comparar os índices de desempenho acadêmico, no curso de Medicina da UFSC, dos alunos presentes e ausentes ao TP em 2019; propor uma maneira de estimar, a partir desses índices, quais seriam as notas dos faltantes se tivessem participado do TP; e identificar fatores associados à ausência ao TP.

Método:

Foram comparadas as médias dos índices de desempenho acadêmico, globais e nas diferentes fases (semestres) dos grupos de alunos presentes e ausentes ao TP, utilizando teste t de Student para amostras independentes. Por meio de uma técnica de regressão linear, foram imputadas as prováveis notas no TP ao grupo de alunos ausentes.

Resultado:

As médias globais dos três indicadores acadêmicos foram significativamente menores nos alunos ausentes ao TP (p variando de < 0,03 a < 0,0001); em dez das 11 fases (semestres) analisadas do curso, os indicadores acadêmicos dos faltosos foram piores do que dos presentes. A imputação de notas no TP aos ausentes permitiu verificar que existe correlação (R = 0,62) entre a porcentagem destes e a diferença de notas entre os grupos que realizaram e os que faltaram ao TP. Entre os alunos do gênero masculino, 25,8% não fizeram o TP, enquanto no gênero feminino foram 16,6% (diferença com p < 0,01).

Conclusão:

A ausência de alunos ao TP não se dá de forma aleatória. Entre os faltosos, há uma tendência sistemática de existirem alunos com piores índices de desempenho acadêmico. O uso de imputação múltipla de dados evidencia uma correlação entre a porcentagem de faltosos e a diferença na média da nota no TP, desse grupo, comparada à média da nota dos participantes. A proporção de homens que faltaram ao TP foi significativamente maior do que a de mulheres.

Palavras-chaves: Educação Médica; Avaliação Educacional; Teste de Progresso; Imputação Múltipla; Ausência de estudantes ao TP

Abstract:

Introduction:

It is not known whether the absence of medical students at the Progress Test (PT) is random event or if it due to some systematic characteristic of the students, which could influence the representativeness of the results obtained by the participants.

Objectives:

1) to compare the academic performance indexes, in UFSC Medical School, of students who were present and absent from the PT in 2019; 2) to propose a way to estimate, based on these indexes, what the absentee’s grades would be if they had participated in the PT; 3) to identify factors associated with absence from the PT.

Method:

The averages of academic performance indexes, overall and in the different phases (semesters) in the groups of students who were present and absent from the PT, were compared using Student’s t test for independent samples. Using a linear regression technique, the probable PT scores were assigned to the group of absent students.

Results:

The global averages of the three academic indicators were significantly lower in students absent from the PT (p ranging from < 0.03 to < 0.0001); in 10 of the 11 analyzed course phases (semesters), the academic indicators of absentees were worse than those present at the test. The attribution of PT grades to the absentees allowed us to verify that there is a correlation (R=0.62) between the percentage of these students and the difference in grades between the groups that took and those that did not take the PT. Among male students, 25.8% did not attend the PT, while among female students the number of absentees was 16.6% (difference with p <0.01).

Conclusions:

The absence of students at the PT does not occur randomly. Among the absentees, there is a systematic tendency to have students with worse academic performance. The use of multiple imputation of data demonstrate a correlation between the percentage of absentees and the difference in the average of grades in the PT of this group, compared to the average of the participants’ grades. The proportion of male students who missed the PT was significantly higher than that of female students.

Keywords: Medical Education; Educational assessment; Progress Test; Multiple imputation; Absence of students at PT

INTRODUÇÃO

O Teste de Progresso (TP) é uma forma de avaliação seriada, longitudinal, do conhecimento de estudantes. Periodicamente, os alunos de escolas médicas realizam, no mesmo dia, uma prova cujo objetivo é avaliar o conhecimento esperado ao final da graduação. Entre vários usos do TP no processo de ensino e aprendizagem, os resultados dessas provas servem para os alunos verificarem, durante a graduação, o próprio rendimento e para cada escola avaliar os desempenhos dos seus discentes, comparando-os com as demais escolas participantes1)-(3. A proporção de estudantes que faltam ao TP varia muito entre as diferentes escolas. Não se sabe se as faltas ocorrem de forma aleatória ou por alguma característica sistemática dos faltantes, o que poderia afetar a representatividade global dos resultados do TP.

A omissão de informações sobre as características dos dados faltantes em uma avaliação, como o TP, pode gerar informações enviesadas4)-(7. Se a ausência dos alunos se dá de forma aleatória, os resultados dessa avaliação podem ser representativos da escola; mas, se a falta ocorrer, sistematicamente, de forma mais predominante, por exemplo, entre alunos de alto ou baixo desempenho no curso de Medicina, então é provável que o resultado do TP não seja verdadeiramente representativo da escola6.

De forma independente ou com apoio da Associação Brasileira de Educação Médica (Abem), grupos ou consórcios regionais de escolas médicas elaboram e aplicam um TP por ano8. No Brasil, a participação dos alunos no TP não é obrigatória em todas escolas9),(10. Em outros países, essa avaliação é aplicada de duas a quatro vezes ao ano. Na Holanda, por exemplo, a prova é aplicada quatro vezes ao ano e a participação é obrigatória; os resultados constam no currículo de cada estudante, e os TP servem como substituto ao exame de licenciamento profissional2),(11.

Embora possam ter influência nos resultados das escolas, as causas do absenteísmo ao TP no Brasil, as características dos alunos faltantes e o impacto da proporção de ausentes no resultado do TP não são estudados. Existe pouca valorização sobre a existência, ou não, de algum viés nos resultados, em função de alguma(s) característica(s) sistemática(s) dos alunos faltantes. Há também pouca preocupação quanto à forma de lidar com os dados ausentes, mesmo existindo técnicas estatísticas, com robusta literatura, que podem ser usadas para imputar valores pressupostos ao grupo de estudantes faltantes ao TP12)-(14.

Algumas técnicas de imputação de dados aos ausentes, pela média dos presentes, são pouco concisas4, mas outras, que utilizam regressão múltipla, são mais precisas4),(14)-(16. Essas técnicas são largamente usadas em planejamento, pesquisa e avaliação de desempenho educacional4),(6),(14),(15),(17),(18. As notas e os indicadores de desempenhos acadêmicos dos estudantes podem ser usados para verificar se existe alguma diferença sistemática entre presentes e faltosos ao TP. Tais indicadores também podem ser usados para estimar e imputar prováveis notas no TP aos alunos faltosos, de modo a tornar o resultado desse tipo de aferição mais representativo da escola.

Para que avaliações periódicas, do tipo TP, possam, no futuro 1. contribuir para melhorar políticas públicas de controle e de aprimoramento da qualidade da educação médica e 2. influenciar ou determinar o exercício da medicina pelos médicos formados, é importante que seus resultados no TP sejam, verdadeiramente, representativos da formação de todos os estudantes das escolas médicas. Então, a questão dos alunos faltosos deve ser muito bem valorizada para consolidar a confiança (representatividade) nos resultados dos TP e legitimar o impacto desse tipo de avaliação no ensino médico e no futuro exercício da medicina.

Objetivos

Os objetivos deste trabalho são:

  1. verificar se existe diferença, aleatória ou sistemática, no desempenho acadêmico entre os alunos que participaram e os que não participaram do TP;

  2. propor uma metodologia que permita estimar os escores no TP dos alunos faltantes, baseados em seus índices de desempenho acadêmicos;

  3. identificar possíveis fatores associados à não participação no TP.

MÉTODOS

População

Participaram deste estudo alunos do curso de Medicina da Universidade Federal de Santa Catarina (UFSC), escola pública situada em Florianópolis, capital de Santa Catarina, estado da Região Sul do Brasil. Nessa escola, no segundo semestre de 2019, havia 625 alunos aptos a participar do TP anual.

Critério de inclusão e exclusão

Os dados de desempenho acadêmico e resultado no TP, dos alunos regularmente matriculados, seriam elegíveis para análise. Entretanto, foram excluídos os referentes aos estudantes da primeira fase do curso (60 alunos), por ainda não terem índice semestral de desempenho acadêmico. Restaram então os dados de 565 estudantes considerados elegíveis para o presente estudo.

Delineamento utilizado

Trata-se de estudo populacional, transversal e histórico baseado em dados do sistema de controle acadêmico da UFSC19 e nos resultados no TP. Os indicadores de desempenho acadêmicos, global e nas diferentes fases (semestres) dos alunos que participaram do TP foram comparados aos indicadores daqueles que não participaram da avaliação.

Com base nos indicadores acadêmicos e por meio da técnica de imputação múltipla de dados aos faltantes, foram atribuídas notas no TP dos faltantes para aprimorar a comparação entre os grupos “presentes” e “ausentes”12),(14),(17),(20),(21. A seguir, aferiram-se os seguintes fatores: associação entre gênero e ausência ao TP; e a relação, nas fases do curso, entre a porcentagem de alunos ausentes ao TP e a diferença de notas no TP 2019, e entre os presentes e as notas imputadas aos ausentes.

Instrumental utilizado

O TP, que foi organizado por 12 escolas de medicina da Regional Sul II22 da Abem, é uma prova com 120 questões de múltipla escolha simples, com quatro opções de respostas, sem penalização de respostas erradas. Abrange o conteúdo teórico dos cursos de Medicina no Brasil, segundo as Diretrizes Curriculares Nacionais para cursos de Medicina23; sendo voltada ao conhecimento esperado para os alunos ao terminarem a graduação. No Brasil, os cursos de Medicina são compostos de 12 fases ou semestres letivos. No presente estudo, a prova foi aplicada em 2019, e analisaram-se somente os resultados da UFSC.

A participação na prova não era obrigatória e não havia penalização aos não participantes. Os alunos que participassem de TP teriam essa atividade registrada, em seus históricos escolares, como complementar.

Variáveis

Neste trabalho, analisaram-se as seguintes variáveis: os três indicadores de desempenho acadêmicos utilizados na UFSC, Índice de Matrícula (IM), Índice de Aproveitamento Acumulado (IAA) e Índice de Aproveitamento Proporcional (IAP); a participação no TP ou falta a ele; as notas dos participantes no TP; a fase (semestre letivo) que cursava na ocasião do TP; e o gênero dos alunos.

O IAA é calculado cumulativamente a cada semestre, representado pelo resultado da divisão entre o somatório de pontos até então obtidos e a carga horária acumulada até o semestre em que o aluno está matriculado (IAA = pontos obtidos / carga horária matriculada). O IAP é o mesmo que o anterior, mas usando somente as disciplinas em que o aluno foi aprovado (IAP = pontos obtidos, excluídas reprovações / carga horária matriculada, excluídas cargas das matérias reprovadas). O IM é obtido pela multiplicação do IAA pelo resultado da divisão da carga horária já cursada (CHC) e carga horária total do curso (CHT): IM = IAA x CHC / CHT. Quanto maiores forem os valores desses índices, melhor será o desempenho do aluno. A nota do TP é dada pela porcentagem de acertos na prova.

Análise estatística

As variáveis indicadoras de desempenho acadêmicos (IAA, IAP e IM), escores no TP 2019, fases no curso e gênero foram transcritas em planilha Excel (da Microsoft) e importadas para o SPSS Statistics, versão 20, da IBM.

Inicialmente, calculou-se a porcentagem de ausentes, e, pelo teste Z de proporção de duas amostras, foi verificado se existe associação entre gênero e ausência/presença ao TP. Foram, então, comparadas as médias globais dos indicadores IM, IAA e IAP dos grupos de alunos presentes e ausentes ao TP, utilizando teste t de Student para amostras independentes. A seguir, as médias dos indicadores IM, IAA e IAP, dos presentes e dos ausentes, foram confrontadas em todas as fases, usando o mesmo procedimento estatístico. Como os resultados dos três indicadores são numerosos e foram muito semelhantes entre si, para análise da diferença das notas nas fases, somente os resultados do IM serão apresentados como representativo deles.

A seguir, utilizou-se regressão linear para imputar prováveis notas dos alunos ausentes no TP, com base em dez imputações pelo método monotônico, usando a nota no TP como variável dependente e fase no curso, IM, IAA e IAP como variáveis independentes. Esse método, conhecido como imputação múltipla de dados faltantes12),(14),(15),(17),(24, assume o modelo conhecido como missing at random (MAR) para o desfecho, ou seja, no contexto da presente pesquisa, assume-se que as notas no TP dos alunos faltantes foram associadas às mesmas variáveis independentes daqueles que participaram do TP. Com as médias no TP dos alunos presentes e as prováveis médias dos ausentes obtidas por imputação, calcularam-se as diferenças nas 11 fases e compararam-se essas médias com teste t.

Por regressão linear, testaram-se a relação das variáveis geradas, as diferenças das notas no TP (entre os presentes e imputadas aos ausentes) e as porcentagens de alunos que faltaram à prova.

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa em Seres Humanos da UFSC, sob número 5.261.272/2022. Houve dispensa do Termo de Consentimento Livre Esclarecido (TCLE), pois os dados foram recebidos pelo único pesquisador que fez a análise deles, de forma anonimizada, sem identificação dos respondentes.

RESULTADOS

No ano de 2019, dos 565 alunos da medicina UFSC que poderiam participar do TP, 443 (78,4%) compareceram e 122 (21,6%) faltaram. Com relação ao gênero, entre os 306 alunos, 79 (25,8%) não estiveram presentes, e, entre as 259 alunas, 43 (16,6%) se fizeram ausentes. Constata-se que a proporção de homens que não compareceram ao TP 2019 é estatisticamente maior do que a proporção de mulheres (p < 0,01).

As médias dos índices de desempenho acadêmico (IM, IAA e IAP), no curso de Medicina, no semestre da aplicação do TP, de estudantes de ambos os sexos, presentes e ausentes na prova TP, são mostradas na Tabela 1.

Tabela 1 Comparação dos índices de despenho acadêmico (IM, IAA e IAP) obtidos no curso de Medicina da UFSC dos alunos presentes e ausentes na prova Teste de Progresso 2019 

Indicadores acadêmicos Presentes (n = 443) Ausentes (n = 122) Teste-t
média DP média DP sign*
IM 4.063 2.702 3.608 1.885 0,03
IAA 8.517 6.555 7.818 1.049 0,0001
IAP 8.567 532 8.077 543 0,0001

IM = Índice de Matrícula; IAA = Índice Acumulado.

IAP = Índice de Aproveitamento Proporcional.

*Teste-t: sign ≤ 0,05.

Fonte: elaborada pelos autores.

Os três índices de desempenho acadêmicos utilizados na UFSC indicam que os alunos que compareceram à prova TP, em 2019, tinham melhores desempenhos no curso quando comparados aos que não compareceram. Tais diferenças foram estatisticamente significativas para todos os três indicadores.

A mesma comparação, utilizando somente o IM, foi feita nas diferentes fases do curso (Tabela 2). As comparações nas fases, utilizando IAA e IAP, apresentaram resultados semelhantes e não serão aqui apresentadas.

Tabela 2 Comparação do indicador Índice de Matrícula (IM) no curso de Medicina da UFSC dos alunos presentes e ausentes ao Teste de Progresso 2019 

Fases no curso Alunos presentes Alunos ausentes
N média DP N média DP Diferença sign*
2 51 575 259 7 402 166 173 ns
3 43 1.220 66 9 1.197 161 23 ns
4 41 1.836 148 9 1.712 193 124 0,05
5 45 2.520 79 5 2.563 164 -43 ns
6 43 3.080 409 19 2.698 202 382 0,001
7 38 3.659 552 16 3.387 347 272 ns
8 26 4.489 602 21 3.897 301 592 0,001
9 25 5.583 298 23 5.113 275 470 0,001
10 45 6.459 253 4 6.283 446 176 ns
11 33 7.918 861 5 6.985 426 933 ns
12 53 8.494 401 4 8.377 533 117 ns
Total 443 4.063 2.702 122 3.608 1.885 455 0,03

*sign: diferença entre médias, teste-t de Student, ≤ 0,05.

Fonte: elaborada pelo autor.

Em dez das 11 fases (ou semestres), as médias de desempenho acadêmico IM foram maiores entre os grupos de alunos que compareceram ao TP, quando comparados aos grupos de ausentes; as diferenças foram significativas em quatro fases.

Usando os três indicadores de desempenho acadêmicos dos alunos faltantes, na fase que estava sendo cursada, por regressão linear, foi feita a imputação das prováveis notas no TP aos ausentes. As médias de escores no TP dos alunos presentes, as porcentagens e as médias de escores imputados aos alunos faltantes, e as diferenças entre as médias dos presentes e imputadas em cada fase do curso aparecem na Tabela 3.

Tabela 3 Comparação, em cada fase do curso, das médias das notas no Teste de Progresso 2019 dos alunos presentes e das notas imputadas aos ausentes, porcentagens de ausentes e diferenças entre as médias 

Fases no curso Todos alunos Presentes Ausentes ao TP
N média no TP N % Media imputada Diferença entre médias sign*
2 58 36,9 7 12,1 33,3 3,6 ns
3 52 35,6 9 17,3 33,9 1,7 ns
4 50 40,3 9 18,0 36,0 4,3 0,04
5 50 44,5 5 10,0 45,3 -0,8 ns
6 62 49,0 19 30,6 43,8 5,2 0,01
7 54 42,7 16 29,6 39,2 3,5 ns
8 47 46,7 21 44,7 39,5 7,2 0,01
9 48 54,1 23 47,9 46,3 7,8 0,0001
10 49 57,9 4 8,2 54,1 3,8 0,05
11 38 56,6 5 13,2 47,9 8,7 0,04
12 57 59,9 4 7,0 60,0 -0,1 ns
Total 565 47,4 122 21,6 42,1 5,3 0,0001

*teste-t de Student: sign ≤ 0,05.

Fonte: elaborada pelos autores.

Em nove das 11 fases analisadas, as médias das notas no TP dos alunos presentes foram maiores do que as médias imputadas aos ausentes. Nessa análise, as diferenças significativas aumentaram para seis fases, com predominância nas fases finais do curso. Nas fases cinco e 12, com proporção de faltantes relativamente baixa, as notas imputadas aos ausentes ao TP foram maiores do que as notas dos participantes do TP, mas a diferença não tem significância estatística.

Com os dados - porcentagem de faltantes e diferença das notas dos alunos no TP e as notas imputadas aos faltantes - descritos na Tabela 3, é possível verificar se há relação entre as duas variáveis (Figura 1).

Fonte: Elaborada pelos autores.

Figura 1 Relação, nas fases do curso, entre a porcentagem de alunos ausentes ao TP e a diferença de notas, no Teste de Progresso 2019, entre os presentes e as notas imputadas aos ausentes 

A regressão mostrou que existe uma relação linear positiva entre as diferenças das notas dos alunos presentes e ausentes ao TP com a porcentagem de alunos ausentes ao TP. A correlação “R” foi de 0,62 (p < 0,0001) e coeficiente de determinação “R 2 ” de 0,38 (p < 0,0001). Ou seja, existe uma tendência de que, na medida em que aumenta a porcentagem de ausentes, maior será a diferença entre as notas dos presentes ao TP sobre as notas imputadas aos ausentes, como se vê na Figura 1.

DISCUSSÃO

No TP analisado, 21,6% de estudantes da UFSC faltaram à prova. Tal porcentagem foi maior do que as encontradas em outros estudos sobre TP no Brasil, que descrevem menos de 10% de faltantes25)-(27. Na literatura internacional, um artigo holandês, que analisou durante 14 anos o uso do TP na pós-graduação, referiu aumento, ao longo do período estudado, de 1% para 16% de residentes em radiologia que pediram dispensa da participação28. Em relação à significativa maior proporção de alunos do gênero masculino faltantes ao TP 2019, não encontramos dados na literatura nacional, nem na internacional, para comparar nossos resultados. Na literatura sobre educação médica, diferenças entre gêneros aparecem, com os homens tendo maior índice de absenteísmo nas aulas, o que está associado à maior reprovação29)-(31 e ao menor desempenho educacional29),(32),(33. As mulheres têm menor taxa de conflito dentro das escolas médicas32.

As análises dos escores de três indicadores de desempenho acadêmico (IM, IAA e IAP), comparando os alunos que compareceram com os que faltaram ao TP, mostram que o grupo de faltosos tem pior desempenho acadêmico. Usando um desses indicadores, o IM, para analisar, separadamente, cada uma de 11 fases do curso, observamos que em dez fases o grupo que não compareceu teve pior desempenho acadêmico do que o do grupo que participou. Essa aferição sugere, fortemente, que a ausência ao TP não se dá de forma aleatória. O grupo de estudantes faltosos ao TP mostrou uma tendência sistemática de ser composto por alunos com menor desempenho acadêmico. Na literatura sobre o TP, não encontramos outro trabalho que comparasse características de estudantes presentes e faltosos.

O achado de que as faltas ao TP não se dão de forma aleatória leva a duas reflexões. No plano individual, a literatura sobre educação sugere que características do aluno como absenteísmo nas aulas, isolamento social, depressão e dificuldade com o idioma são fatores de risco associados ao mau desempenho acadêmico32. O atual trabalho sugere que ausência ao TP também poderia ser sinalizador de dificuldade acadêmica, portanto, poderia, ou talvez, até deveria servir de alerta para intervenções precoces de apoio a esse grupo de estudantes, potencialmente com dificuldades, visando à inclusão pedagógica e social.

No plano institucional, se a falta ao TP se dá de forma sistemática, constituído majoritariamente por um grupo com menor desempenho acadêmico, então, com o aumento da proporção de faltosos, a média do desempenho no TP dos presentes tende a aumentar “aparentemente” o resultado da escola, tornando os resultados enviesados6),(13),(15),(34, como mostrado neste estudo. Não há certeza, mas estudiosos que trabalham com estatísticas de dados faltantes sugerem, em ausência sistemática, que, quando a proporção de faltantes for maior do que 5% a 10% dos alunos de um curso, os resultados estarão enviesados (neste estudo foi de 21,6%); quando, porém, as faltas se dão de forma aleatória, elas não afetam os resultados de maneira significativa6),(20.

Assim, é razoável sugerir que as instituições com 10% ou mais de alunos faltantes ao TP estabeleçam políticas para aumentar a participação de estudantes. Tornar a participação no TP obrigatória seria o primeiro passo. Pontuar a participação no TP nos históricos escolares de cada aluno seria outra ideia a ser discutida. Para minimizar o viés causado pelos dados faltantes nos resultados das escolas, o uso de alguma estratégia estatística, como a imputação de dados, poderia aumentar a “representatividade” real dos resultados do TP.

A ocorrência de dados faltantes, mostrada em pesquisas clínicas ou educacionais, diminui o tamanho e a variabilidade da amostra, reduzindo o poder estatístico e a validade externa dos estudos15),(24. No sentido inverso, a utilização de técnica de imputação múltipla de dados, para calcular qual seria a nota provável no TP dos alunos faltosos e a inclusão desses resultados, preserva o tamanho e a variabilidade das amostras. Revisões sobre uso de imputação de dados faltantes em pesquisa educacional podem ser encontradas na literatura nacional4),(15 e na internacional6),(17),(18.

De modo geral, os dados faltantes são classificados como: faltantes completamente ao acaso (missing completely at random - MCAR), que não alteram resultados; faltantes ao acaso (missing at random - MAR), que podem, ou não, afetar os resultados (dependendo se as faltas ao acaso afetam de forma diferente diferentes extratos em estudo); faltantes não ao acaso (missing not at random - MNAR), que afetam os resultados12, como os encontrados em nosso estudo. Entretanto, após imputação de dados, observamos que, especificamente na quinta e 12ª fases, o desempenho dos faltosos foi melhor (mas não significativamente) do que o dos presentes ao TP. Então, não se pode afirmar que os ausentes são sempre os alunos de menor desempenho acadêmico.

A regressão linear entre diferenças das notas no TP e porcentagem de faltantes, vista na Figura 1, mostra que existe uma relação entre porcentagem de faltantes e média no desempenho no TP. Quanto mais faltantes, maior a média da nota dos participantes no TP. Então, é razoável considerar que, quando se comparassem internamente os resultados de uma escola25, ou se comparassem os resultados entre diferentes escolas ou consórcios8, deveria se colocar a informação sobre a porcentagem de faltantes; também, que os dados faltantes fossem imputados, para que a expressão dos resultados esteja mais próxima da representatividade do desempenho global das escolas avaliadas.

Apesar de demostrar que a falta ao TP não se dá de forma aleatória, e sim sistemática, que existe relação entre a porcentagem de faltosos e a diferença entre notas dos presentes e notas imputadas aos ausentes, e que isso afeta os resultados, o estudo não demonstra a partir de que porcentagem de faltantes os dados passam a não representar os valores reais da escola. Para verificar, com maior precisão, qual porcentagem afeta os dados, seriam necessárias amostras muito maiores do que as usadas no presente estudo.

Outra limitação observada é que se trata de um trabalho unicêntrico, baseado somente em uma prova. No período de 2011 a 2018, os índices de absenteísmo ao TP, na UFSC, variaram de 8,0 a 37,7% (média = 18,2%; DP = 10,5). A porcentagem de ausentes de 21,6% encontrada nesta investigação está próxima à média dos nove anos de TP na UFSC. Tradicionalmente, entre os alunos das sétimas e oitavas fases, eram encontradas as maiores proporções de ausentes. No ano de 2019, houve uma não usual ausência de 47,9% dos alunos da nona fase. A tentativa de entender por que isso aconteceu e quem eram os faltosos na nona fase originou o presente trabalho. Semelhante análise em relação aos faltosos deveria ser feita em outras escolas para confirmar a validade externa dos achados deste estudo.

Atualmente, no Brasil, existem grupos dispostos a levantar a bandeira da implementação de exames de licenciamento para exercício da profissão35),(36. Essa discussão é calorosa e ocorre em muitos países do mundo, mesmo sem haver nenhuma pesquisa que mostre, de maneira inequívoca, a vantagem desse tipo de avaliação37),(38. Como o exame de licenciamento ocorre ao final da graduação, nosso receio é que a avaliação recaia (tardiamente) somente sobre o aluno e não tenha repercussão sobre as escolas e na qualidade do ensino. Com ou sem licenciamento, parece-nos óbvio que avaliações seriadas, longitudinais, como o TP ou a Avaliação Nacional Seriada de Estudantes de Medicina (Anasem)39, abandonada pelo governo federal, devam ser estimuladas e retomadas. Avaliações desde o início da graduação permitiriam ao aluno corrigir precocemente seus rumos e possibilitaria que as escolas fizessem o mesmo. Poderiam contribuir sobremaneira para a qualidade do ensino médico.

CONSIDERAÇÕES FINAIS

O atual estudo mostra que existe uma correlação positiva entre gênero masculino e faltas ao TP (homens faltaram mais); que as faltas não se deram de forma aleatória, e sim sistematicamente, com o grupo de faltosos sendo composto, predominantemente, por alunos com menor desempenho acadêmico. Isso sugere que a falta ao TP possa ser usada como potencial marcador e alerta de discentes com mau desempenho, para se estabelecerem políticas de estímulo e inclusão destes, desde as fases iniciais ou intermediárias dos cursos. Mostra também que existiu uma correlação entre porcentagem de ausentes e possível alteração do resultado “real” (representatividade global) do TP. A técnica de imputação múltipla de dados aos faltosos pode ser utilizada para estimar qual seriam as notas das escolas, caso todos os alunos participassem da prova.

Resta clara a importância de incentivar estratégias que diminuam a porcentagem de faltosos ao TP no Brasil, de cuidar melhor desse grupo de estudantes e de promover ações para aumentar a representatividade dos resultados dos TP. Isso contribuiria para torná-los mais úteis e confiáveis, valorizando avaliações longitudinais dos alunos e dos cursos, e, consequentemente, contribuindo para políticas públicas que venham a aprimorar o ensino médico em nosso país.

REFERÊNCIAS

1. Schüttpelz-Brauns K, Karay Y, Gehlhar K, Arias J, Zupanic M. Comparison of the evaluation of formative assessment at two medical faculties with different conditions of undergraduate training, assessment and feedback. GMS J Med Educ. 2020;37(4):1-23. [ Links ]

2. van der Vleuten C, Freeman A, Collares CF. Progress test utopia. Perspect Med Educ. 2018;7(2):136-8. [ Links ]

3. Heeneman S, Schut S, Donkers J, van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach. 2017 Jan 2;39(1):44-52. [ Links ]

4. Vinha LGA, Laros JA. Dados ausentes em avaliações educacionais: comparação de métodos de tratamento. Estudos em Avaliação Educacional. 2018;29(70):156-87. [ Links ]

5. Rawlings AM, Sang Y, Sharrett AR, Coresh J, Griswold M, Kucharska-Newton AM, et al. Multiple imputation of cognitive performance as a repeatedly measured outcome. Eur J Epidemiol. 2017;32(1):55-66. [ Links ]

6. Fernández-Alonso R, Suárez-Álvarez J, Muñiz J. Imputación de datos perdidos en las evaluaciones diagnósticas educativas. Psicothema. 2012;24(1):167-75. [ Links ]

7. Hayati Rezvan P, Lee KJ, Simpson JA. The rise of multiple imputation: a review of the reporting and implementation of the method in medical research Data collection, quality, and reporting. BMC Med Res Methodol. 2015;15(1):1-14. [ Links ]

8. Bicudo AM, Hamamoto Filho P, Abbade J, Hafner ML, Maffei C. Teste de Progresso em consórcios para todas as escolas médicas do Brasil. Rev Bras Educ Med. 2019;43(4):151-6. [ Links ]

9. Sakai MH, Ferreira Filho OF, Almeida M, Mashima D, Marchese M. Teste de Progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Educ Med . 2008;32(2):254-63. [ Links ]

10. Tomic ER, Martins MA, Lotufo PA, Benseñor IM. Progress Testing: evaluation of four years of application in the school of Medicine, University of São Paulo. Clinics. 2005;6060(55):389-96. [ Links ]

11. Karay Y, Schauber SK. A validity argument for progress testing: examining the relation between growth trajectories obtained by progress tests and national licensing examinations using a latent growth curve approach. Med Teach . 2018;40(11):1123-9. [ Links ]

12. Rubin D. Multiple imputation for nonreponse in surveys. New York: Wiley; 1987. 258 p. [ Links ]

13. Sinharay S. Score reporting for examinees with incomplete data on large-scale educational assessments. Educ Meas Issues Pract. 2021;40(1):79-91. [ Links ]

14. Pedersen AB, Mikkelsen EM, Cronin-Fenton D, Kristensen NR, Pham TM, Pedersen L, et al. Missing data and multiple imputation in clinical epidemiological research. Clin Epidemiol. 2017;9:157-66. [ Links ]

15. Ferrão ME, Prata P, Alves MTG. Multiple imputation in big identifiable data for educational research: an example from the Brazilian education assessment system. Ensaio. 2020;28(108):599-621. [ Links ]

16. Shrive FM, Stuart H, Quan H, Ghali WA. Dealing with missing data in a multi-question depression scale: a comparison of imputation methods. BMC Med Res Methodol . 2006;6(57) [Acessado em 28/09/2021]. Disponível em: Disponível em: http://www.biomedcentral.com/1471-2288/6/57 . [ Links ]

17. Geraci M, Mclain A. Multiple imputation for bounded variables. Psychometrika. 2018;83(4):919-940. [ Links ]

18. Grund S, Lüdtke O, Robitzsch A. On the treatment of missing data in background questionnaires in educational large-scale assessments: an evaluation of different procedures. J Educ Behav Stat. 2021;46(4):430-65. [ Links ]

19. Universidade Federal de Santa Catarina. Sistema de Controle Acadêmico da Graduação - CAGR. UFSC; 2021 [acesso em 11 nov 2021]. Disponível em: Disponível em: https://cagr.sistemas.ufsc.br/ . [ Links ]

20. Vinha LGA. Estudos longitudinais e tratamento de dados ausntes em avaliações educacionais [Tese]. Brasilia: UnB; 2016. 124 p. [ Links ]

21. Nunes LN, Klück MM, Fachel JMG. Uso da imputação múltipla de dados faltantes: uma simulação utilizando dados epidemiológicos. Cad Saude Publica. 2009;25(2):268-78. [ Links ]

22. Associação Brasileira de Educação Médica. [Acessado em 28/09/2021] Disponível em:https://abem-educmed.org.br/acoes/. [ Links ]

23. Brasil. Diretrizes Curriculares Nacionais do curso de Graduação em Medicina. Brasilia: Ministério da Educação; 2014. p. 8-11. [ Links ]

24. Walani SR, Cleland CM. The multiple imputation method: a case study involving secondary data analysis. Nurse Res. 2015;22(5):13-9. [ Links ]

25. Sakai MH, Ferreira Filho OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de medicina: aplicação do teste de equalização no Teste de Progresso. Rev Bras Educ Med . 2011;35(4):493-501. [ Links ]

26. Ferreira RC. Relação entre o desempenho no Teste de Progresso e na seleção para residência médica. [Tese] Campinas: Unicamp; 2019. 84 p. [ Links ]

27. Rosa MI, IsoppoI C, CattaneoI H, MadeiraI K, ADAMI F, Ferreira Filho OF. O Teste de Progresso como indicador para melhorias em curso de graduação em Medicina. Rev Bras Educ Med . 2017;41(1):58-68. [ Links ]

28. Rutgers D, van Raamt F, van Lankeren W, Ravesloot C, van der Gijp A, ten Cate T, et al. Fourteen years of progress testing in radiology residency training: experiences from The Netherlands. Eur Radiol. 2018;28(5):2208-15. [ Links ]

29. Fredj MB, Sahli J, Ezzaairi F, Ezzine A, Saad S, Ajmi T. Influencing factors of absenteeism among first cycle of medical students in the Faculty of Medicine of Sousse. Tunis Med. 2016;97(04):519-24. [ Links ]

30. Hakami AR. Effect of absenteeism on the performance of medical sciences students: gender differences. Med Educ Online. 2021; 26(1) [Acessado em 28/09/2021]. Disponível em: Disponível em: https://doi.org/10.1080/10872981.2021.1875531 . [ Links ]

31. Dunn MC, Kadane JB, Garrow JR. Comparing harm done by mobility and class absence: missing students and missing data. J Educ Behav Stat . 2003;28(3):269-88. [ Links ]

32. Maher BM, Hynes H, Sweeney C, Khashan AS, O’Rourke M, Doran K, et al. Medical school attrition-beyond the statistics a ten year retrospective study. BMC Med Educ. 2013;13(13):1-16. [ Links ]

33. MacKenzie RK, Cleland JA, Ayansina D, Nicholson S. Does the UKCAT predict performance on exit from medical school? A national cohort study. BMJ Open. 2016;6(10):e011313. [ Links ]

34. Wang L, Laird-Fick HS, Parker CJ, Solomon D. Using Markov chain model to evaluate medical students’ trajectory on progress tests and predict USMLE step 1 scores: a retrospective cohort study in one medical school. BMC Med Educ . 2021;21(200):1-9. [ Links ]

35. Mota A, Carvalho B, Candido L, Lomanto R, Maia T. Exame do Cremesp como indicador da qualidade do ensino médico. Rev Bras Educ Med . 2014;38(1):150-9. [ Links ]

36. Troncon LE. Licensing examinations: a necessary component to external evaluation of students and graduates of medical courses. Interface Comun Saúde Educ. 2019;24:e190576. [ Links ]

37. van der Vleuten C. Editorial - National licensing examinations and their challenges. J Heal Spec. 2013;1(1):1-2. [ Links ]

38. Bica RB, Kornis GE. Exames de licenciamento em Medicina: uma boa ideia para a formação médica no Brasil? Interface Comun Saúde Educ . 2020;24:1-16. [ Links ]

39. Brasil. Anasem - Avaliação Nacional Seriada dos Estudantes de Medicina - Documento Básico. Brasília: Inep, MEC; 2016. [ Links ]

2Avaliado pelo processo de double blind review

FINANCIAMENTO Declaramos não haver financiamento.

Recebido: 19 de Maio de 2022; Aceito: 21 de Setembro de 2022

c.e.a.pinheiro@ufsc.br emil.kupek@ufsc.br olavofranco@gmail.com agrebert@terra.com.br diogo.bioq@gmail.com

Editora-chefe: Rosiane Viana Zuza Diniz. Editora associada: Pedro Hamamoto Filho.

CONFLITO DE INTERESSES

Declaramos não haver conflito de interesses.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons