Revista Brasileira de Educação Médica

Teste de Progresso: avanços e perspectivas

Teste de Progresso e mudança curricular: trilhas do curso de Medicina da Universidade de Brasília

Resumo: Introdução: O Teste de Progresso (TP) é um instrumento de avaliação aplicado anualmente e coordenado pela Associação Brasileira de Educação Médica (Abem). A Faculdade de Medicina da Universidade de Brasília (UnB) participa do Teste de Progresso da Região Centro-Oeste (TP-CO) desde o ano de 2013 e utiliza os dados oriundos da avaliação para diagnóstico interno e discussões sobre a formação médica. Objetivo: Este estudo descreve os resultados obtidos pelos discentes no TP e analisa possíveis relações entre mudança do PPC e desempenho dos estudantes. Método: Trata-se de um estudo transversal analítico, realizado a partir dos resultados obtidos pelos discentes do curso em comparação ao universo das instituições do consórcio TP-CO entre 2013 e 2021. Nesse período, participaram do teste estudantes inseridos em duas matrizes curriculares: currículo antigo (CA) e currículo novo (CN). A fim de verificar a evolução da nota média da UnB em cada período em comparação à nota média do consórcio, foi aplicado o teste de proporção para as diferenças em cada par de notas da UnB e do consórcio, em cada ano da série histórica e período dos estudantes avaliados. Resultado: Entre 2013 e 2015, vigência do CA, não se observaram diferenças estatisticamente significativas nas médias entre os estudantes da UnB de todos os anos do curso comparados ao consórcio TP-CO. O mesmo comportamento foi verificado entre 2016 e 2018, período de transição composto por estudantes das matrizes CA e CN. Contudo, entre 2019 e 2021, vigência da nova matriz curricular, observaram-se diferenças estatisticamente significativas entre os estudantes da UnB e do consórcio. Conclusão: O TP possibilita um olhar sobre o desempenho da escola e a identificação de lacunas que geram reflexões na busca por uma educação médica de excelência. Com a experiência apresentada, foi possível identificar as trilhas percorridas pelo curso da UnB ao longo de sua participação no consórcio, considerando as mudanças curriculares.

Abstract: Introduction: The Progress Test (TP) is an assessment instrument applied annually and coordinated by the Brazilian Association of Medical Education (ABEM). The UnB School of Medicine has participated in the TP-CO since 2013 and uses the data from the assessment for internal diagnosis and discussions about medical education. Objective: describe the results obtained by students in the TP and analyze possible relationships between changes in the PPC and student performance. Method: This is an analytical cross-sectional study, based on the results obtained by the students of the course compared to the universe of institutions in the TP-CO consortium between 2013 and 2021. In this period, students enrolled in two curricular matrices sat the test: old curriculum (AC) and new curriculum (CN). In order to verify the evolution of the average score of UnB in each period compared to the average score of the consortium, the ratio test was applied to the differences in each pair of scores of UnB and consortium, in each year of the historical series and period of the students evaluated. Results: Between the years 2013 and 2015, when the CA was in effect, no statistically significant differences were observed in the averages between the UnB students of all course years compared to the TP-CO Consortium. The same behavior was verified between 2016 and 2018, a transition period composed of CA and CN matrix students. However, between 2019 and 2021, when the new curricular matrix was in effect, statistically significant differences were observed between the UnB and consortium students. Conclusion: The TP gives insight into the performance of the school and identifies gaps that generate reflections in the search for excellence in medical education. With the experience presented it was possible to identify the paths taken by the UnB course throughout its participation in the consortium, considering the curricular changes.

Onze anos de Teste de Progresso na Unicamp: um estudo sobre a validade do teste

Resumo: Introdução: O curso de Medicina da Universidade Estadual de Campinas (Unicamp) vem pondo à prova o aquisição cumulativa cognitiva de seus alunos por meio do Teste de Progresso (TP) há mais de uma década, de modo a possibilitar a análise da utilidade do exame como estratégia de apoio a decisões pedagógicas e apontar principais ameaças à validade dele. Objetivo: Este estudo teve como objetivos oferecer a análise de validade do TP e explicitar as oportunidades de utilização do teste especialmente para a determinação de padrões de suficiência cognitiva para a progressão no curso e ao final deste, e a identificação de estudantes em risco. Método: Trata-se de estudo observacional retrospectivo de uma série histórica de sucessivos testes escritos realizados para analisar o acúmulo cognitivo no período de 2006 a 2016, totalizando 11 anos e seis turmas consecutivas. Em cada momento de medida (aplicação do teste), o estudo utilizou um modelo misto, em que a exposição (realização do teste) e o desfecho (escore do teste) foram avaliados no mesmo ponto de tempo, o que caracteriza um estudo transversal (cross-sectional) cujos resultados sucessivos originarão as curvas de crescimento cognitivo Resultado: Observou-se um acúmulo cognitivo em torno de 6 pontos percentuais a cada nova testagem. Os estudantes ao completarem o sexto ano obtiveram um acerto de cerca de 65,7% (± 9,1). A cada testagem, determinou-se um “efeito piso” para identificar alunos com rendimento abaixo da média, que em geral se situou em cerca de 1,5 DP abaixo da média da respectiva turma. Conclusão: O TP-Unicamp oferece dados confiáveis para apoiar importantes decisões pedagógicas, tais como identificação de alunos em risco acadêmico por baixa performance, critérios para progressão e desempenho cognitivo ao final do curso. Como confiabilidade sofre influência da amostragem, e o aumento do número de itens de cada teste e o aumento da frequência de testagem podem ser estratégias a serem tomadas para superar essas limitações.

Abstract: Introduction: The Medical School of the State University of Campinas (UNICAMP) has been testing the cumulative cognitive acquisition among its students through the Progress Test (PT) for over a decade, making it possible to analyze the utility of the test as a strategy to support pedagogical decisions and to point out the main threats to its validity. Objective: To provide an analysis of the validity of the PT, explaining opportunities for its use, especially in determining standards of cognitive sufficiency for progression, standards of cognitive sufficiency at the end of the course, and identification of students at risk. Method: Retrospective observational study of historical series of successive written tests performed to analyze cognitive accumulation, covering a period from 2006 to 2016, totaling 11 years and 6 consecutive classes. At each instance of measurement (test application), the study uses a mixed model where exposure (test performance) and outcome (test score) are evaluated at the same time point, characterizing a cross-sectional study, the successive results of which will generate the cognitive growth curves. Result: A cognitive accumulation of around 6 percentage points was observed with each new test. Students, upon completing the 6th year, scored around 65.7% (± 9.1). A “floor effect” was determined for each test to identify students with below-average performance, which in general was about 1.5 SD below the average of the respective class. Conclusion: TP-Unicamp offers reliable data to support important pedagogical decisions, such as the identification of students at academic risk for low performance, criteria for progression and cognitive performance at the end of the course. As reliability is influenced by sampling, increasing the number of items in each test and increasing the frequency of tests could represent strategies to overcome potential limitations.

Análise da adequação dos itens do Teste de Progresso em medicina

Resumo: Introdução: A avaliação do estudante deve induzir aprendizagem e ser baseada em competência, ou seja, avaliar (habilidades cognitivas, psicomotoras e afetivas). Para avaliar conhecimento e a habilidade para sua utilização no contexto profissional, o Teste de Progresso (TP) tem sido usado em larga escala, com finalidade somativa e principalmente formativa. Objetivo: Este estudo teve como objetivo verificar a adequação e qualidade de itens que compõem os TP realizados pelos estudantes. Método: Trata-se de estudo exploratório descritivo e retrospectivo que analisou todos os itens de seis provas do TP aplicado a estudantes de Medicina do primeiro ao sexto ano da Faculdade de Medicina de Ribeirão Preto/USP, no período de 2013 a 2018. Os sete indicadores de boas práticas foram: 1. abordar tema relevante na formação médica; 2. ter enunciado maior que as alternativas; 3. avaliar aplicação do conhecimento; 4. definir pergunta clara para o item no enunciado; 5. avaliar apenas um domínio do conhecimento em cada item; 6. ter resposta correta e distratores homogêneos e plausíveis; 7. ausência de erros no item que acrescentam dificuldade desnecessária ou dão pistas da resposta correta. Dois avaliadores independentes analisaram as questões e, quando necessário, revisavam em conjunto os itens discordantes. Resultado: A análise das provas permitiu identificar boa qualidade técnica na maioria dos itens das seis provas, além de indicar que a não adesão foi mais frequente nos indicadores 4 e 5, que podem comprometer tanto a validade quanto a interpretação dos resultados da prova em termos de lacunas do conhecimento por parte dos estudantes. Conclusão: A qualidade das questões das provas analisadas é muito boa, mas foi possível identificar oportunidades de melhoria no processo de elaboração de itens, que servem de base para o desenvolvimento docente dos elaboradores da instituição.

Abstract: Introduction: Assessment drives learning and should follow a competence-based approach. The Progress Test (PT) has been used on a large scale for summative and mainly formative purposes to assess knowledge and the ability to use it in the professional context. Objective: To check the adequacy and quality of the items and that make up the progress tests sat by students. Method: Descriptive and retrospective exploratory study that analyzed all the items of six PT exams applied to medical students from the first to the sixth year of the Faculty of Medicine of Ribeirão Preto/USP, from 2013 to 2018. The seven indicators of good practices were: 1. Addresses a relevant topic in medical training; 2. Statement longer than key answer and distractors; 3. Application of knowledge evaluated; 4.Clear lead-in defined for the item in the statement; 5. Only one domain of knowledge assessed in each item; 6.Plausible and homogeneous key answer and distractors; 7.Absence of flaws that add unnecessary difficulty or give clues to the correct answer. Two independent evaluators analyzed the items and, if necessary, they jointly reviewed any disagreement. Result: The analysis showed a good technical quality of most items in the six PT exams. In addition, they indicated that non-adherence was a bit more frequent for indicators 4 and 5, which can compromise both the validity and the interpretation of the test results in terms of knowledge gaps on the part of students. Conclusion: In general, the quality of the items was very good but there are some opportunities for improvement in the process of item writing based on faculty development within the institution.

Desempenho cognitivo dos estudantes de Medicina no Teste de Progresso

Resumo: Introdução: O Teste de Progresso (TP) é uma avaliação seriada e formativa, com conteúdo cumulativo desejável ao final do curso. O TP fornece um feedback do desenvolvimento cognitivo do estudante. Para o curso, faz uma avaliação diagnóstica do currículo e permite identificar potencialidades e possíveis falhas ao longo do processo de formação. Objetivo: Este estudo teve como objetivo avaliar a evolução cognitiva de graduandos de uma escola médica da Região Nordeste do país por meio do TP. Método: Trata-se de estudo observacional, analítico, transversal, com abordagem quantitativa, em que se utilizaram os resultados dos TP das turmas de 2013 a 2016 do curso de Medicina da Universidade de Fortaleza. Foram incluídos os resultados dos TP de 2013 a 2021, descritos pela porcentagem da média de cada escore, calculado o diferencial de desempenho entre o primeiro e sexto anos, pelo teste T pareado e pelo coeficiente de correlação de Pearson para os resultados do sexto ano. O estudo respeitou os aspectos éticos e foi aprovado pelo Comitê de Ética da IES. Resultado: Foram incluídos os resultados de 361 estudantes (88,0%) de seis turmas que participaram do teste desde S1. Verificou-se um aumento progressivo no desempenho cognitivo global em cada turma ao longo dos seis anos de TP. A diferença de desempenho (DDO) da turma 2015.2 foi superior às demais (p = 0,047; R = 0,73). O grau de dificuldade das provas foi semelhante. Em relação ao desempenho global do sexto ano, houve diferença no desempenho dos alunos entre as turmas, variando de 64,3% em 2016.2 a 72,5% em 2014.2 (p = 0,003; R = 0,85). A partir do terceiro ano, a análise do desempenho mostrou-se crescente para todas as turmas. O desempenho nas áreas de cirurgia e saúde coletiva apresentou maior variação entre as turmas. Conclusão: O TP confirmou ser uma ferramenta importante para a avaliação formativa dos estudantes e para o diagnóstico do currículo.

Abstract: Introduction: The progress test (PT) is a knowledge assessment tool, consisting of desirable cognitive undergraduate content, that provides feedback on the student’s cognitive development.. For the school, it serves as a diagnostic evaluation of the curriculum. Objective: The aim of the study was to assess the cognitive performance in the progress test of students in the Brazilian Northeast. Method: A cross-sectional survey was conducted with results from six classes of students that performed the PT since the first semester of the medical course. The analysis consisted of PT results from 2013 to 2021, described by means, Y6-Y1 performance difference, Student’s T test and Pearson correlation at 6Y. The study was approved by a Research Ethics Committee. Result: The results of 361 (88%) students showed a progressive increase in PT global scores from Y1 to Y6. The performance difference of the 2015.2 class was higher (p=0.047; R=0.73) than the others and the test difficulty index was similar for all. There was a difference between Y6 classes, ranging from 64.3% to 72.5% (p=0.003; R=0.85). From Y3 to Y6, all classes increased their PT scores. Higher variability between classes was reported in the areas of Surgery and Public Health. Conclusion: The progress test proved to be an important tool for knowledge assessment and for evaluation of the medical curriculum.

Correlação entre o desempenho no Teste do Progresso e a aprovação na residência médica

Resumo: Introdução: O Teste do Progresso (TP) permite uma avaliação acadêmica seriada com diversos benefícios para o aluno e a instituição de ensino. Trata-se de uma ferramenta complementar de avaliação. Tem-se tentado cada vez mais associar os resultados no TP com aqueles obtidos no processo seletivo da residência médica (RM), em razão de ambos medirem competências cognitivas. Objetivo: Este estudo teve como objetivo correlacionar o desempenho no TP de egressos do curso de Medicina com o resultado obtido por eles no processo seletivo para admissão na RM. Método: Trata-se de estudo transversal, quantitativo, realizado no período de julho de 2021 a março de 2022 com 143 alunos do curso de Medicina da Universidade de Fortaleza, que realizaram anualmente o TP no período da sua graduação e participaram do Processo de Seleção Unificada para Residência Médica do estado do Ceará. Resultado: Foi encontrada uma correlação significativa positiva (ρ = 0,257**; p < 0,001) entre a média de pontuação de todos os anos do TP e a aprovação na primeira fase da residência, bem como entre as notas do TP do sexto ano com a aprovação na primeira fase da residência (ρ = 0,354**; p < 0,001). Também houve correlação positiva entre as médias do TP e as notas do TP do sexto ano com a aprovação na segunda e última fase da RM (ρ = 0,226**; p < 0,001 e ρ = 0,265**; p < 0,001, respectivamente). Conclusão: Como o TP mostrou ser um excelente preditor de resultados em exames somativos de ampla concorrência, ele pode ser considerado uma ferramenta importante para o sucesso nas seleções de RM. Por conta disso, sugere-se que o TP seja cada vez mais valorizado tanto pelos alunos quanto pelas instituições que o aplicam.

Abstract: Introduction: Considered a complementary assessment tool, the Progress Test (PT) allows for a serial academic evaluation, which benefits both the student and educational institution in several ways. There has been an increasing effort to ascertain a link between the PT and the results of medical residency (MR), as both are measurements of cognitive competences. Objective: To correlate medical students’ performance in the PT with MR admissions. Method: Cross-sectional study conducted between November 2018 and March 2021 involving 143 students from the Universidade de Fortaleza medicine course who underwent the PT and unified MR selection process in the state. Result: A significant positive correlation (ρ = 0,257**; p < 0,001) was found between the average score for all years of the PT and passing the first phase of the MR, as well as between the PT scores achieved in the sixth year and passing the first phase of MR (ρ = 0,354**; p < 0,001). There was also a positive correlation found between the average and sixth year PT scores and passing the second and final phase of MR (ρ = 0,226**; p < 0,001 and ρ = 0,265**; p < 0,001). Conclusion: The PT proved to be an excellent predictor of results in summative exams with broad participation and can be considered and important tool for success in medical residency selection, suggesting that it should be increasingly valued, both by students and by the institutions that apply it.

Teste de Progresso: a percepção do discente de Medicina

Resumo: Introdução: O Teste de Progresso (TP) como instrumento de avaliação na educação médica constitui-se em relevante subsídio para avaliar a eficiência do programa. Contudo, a percepção do aluno quanto ao seu desempenho e o impacto do TP na aprendizagem podem variar de acordo com contextos pessoais, educacionais, sociais e culturais. Objetivo: Esta pesquisa descritiva de abordagem qualitativa objetivou analisar a percepção dos estudantes do curso de graduação em Medicina de um centro universitário do noroeste paulista sobre o seu desempenho no TP, bem como o impacto dessa percepção em curto prazo sobre suas estratégias de estudo. Método: A amostra de conveniência foi constituída por 20 participantes após aprovação da pesquisa no Comitê de Ética em Pesquisa. Utilizou-se a técnica de grupos focais em dois momentos distintos para a coleta de dados: um grupo foi constituído por dez estudantes do quinto período, e o outro, por dez estudantes do oitavo período. A análise de dados fundamentou-se na análise de conteúdo temática descrita por Bardin et al. Resultado: Identificou-se que os estudantes entrevistados consideram: 1. as condições de realização do TP inadequadas; 2. o TP uma ferramenta pedagógica relevante que permite a autoavaliação e a correção das lacunas de aprendizagem, mas sugerem que seja aprimorado; 3. a participação no TP determinou sentimentos contraditórios para os estudantes, conforme o período que estão cursando. Conclusão: O TP é considerado pelos estudantes uma “ferramenta pedagógica” relevante. Entretanto, o impacto dos resultados de desempenho obtidos e o feedback recebidos não promoveram em curto prazo mudanças no plano de estudo dos estudantes entrevistados. A prática da autoavaliação ainda não se constitui cultura na vida acadêmica. É preciso considerar novas estratégias para a entrega do feedback formativo que permita a discussão das questões e dos resultados do curso/das turmas de forma reflexiva, de modo a potencializar o processo ensino-aprendizagem.

Abstract: Introduction: The Progress Test (PT) as an assessment tool in medical education is an important tool to evaluate the efficiency of the program. However, students’ perception of their performance and the impact of the PT on learning may vary according to personal, educational, social and cultural contexts. Objective: This descriptive research with a qualitative approach aimed to analyze the perception of undergraduate medical students of a University Center in northwestern São Paulo about their performance in the PT, as well as the impact of this perception in the short term on their study strategies. Method: The convenience sample was composed of twenty participants, after approval of the research by the Research Ethics Committee. The focus group technique was used in two different moments for data collection; one group consisted of ten fifth-period students and the other, of ten eighth-period students. Data analysis was based on content analysis, thematic modality, as described by Bardin (2011). Results: It was identified that the interviewed students consider: 1. the PT performance conditions as inadequate; 2. the PT a relevant pedagogical tool, which allows self-assessment and the correction of learning gaps, but they suggest that it should be improved; 3. sitting the PT determined contradictory feelings for the students, according to their period of study. Conclusion: The Progress Test is considered by students a relevant “pedagogical tool”. However, the impact of the performance results obtained and the feedback received did not promote changes in the study plan of the interviewed students in the short term. The practice of self-assessment is not yet a culture in academic life. It is necessary to consider new strategies for the delivery of formative feedback, allowing for reflective discussion of the issues and the course/class results in order to enhance the teaching-learning process.

Como avaliar programas de residência a partir do Teste de Progresso?

Resumo: Introdução: Embora o conhecimento especializado seja um elemento fundamental para a prática médica qualificada, não há, na maioria das especialidades, uma avaliação cognitiva unificada dos médicos residentes, e, consequentemente, não é possível verificar o conhecimento agregado durante o treinamento pelos programas de residência médica (PRM). O Teste de Progresso (TP) oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Em 2018, a Febrasgo implementou o Teste de Progresso Individual do Residente em Ginecologia e Obstetrícia (TPI-GO), que tem sido aplicado em todo o Brasil. Relato de experiência: Este estudo descritivo se refere ao acompanhamento longitudinal dos residentes que iniciaram a participação no TPI-GO em 2018 como R1 (n = 497) e concluíram a participação em 2020 como R3 (n = 314). O desempenho desses residentes no TPI-GO serviu de base para analisar o perfil de 32 PRM localizados nas Regiões Sul (28,1%), Sudeste (68,8%) e Centro-Oeste (3,1%), sendo identificados cinco diferentes perfis de PRM em relação ao desempenho dos residentes iniciantes, diferenças de desempenho entre R3 e R1 e desempenho dos concluintes. Discussão: No Brasil, não são oferecidas avaliações abrangentes e unificadas de conhecimento aos médicos residentes na maioria das especialidades, e consequentemente ainda não é possível incorporar essas informações na avaliação dos PRM. No modelo aqui apresentado, o desempenho dos residentes no TP possibilita inferir sobre o processo seletivo, o conhecimento agregado pelo PRM ao longo do treinamento e o nível de conhecimento dos concluintes, sendo reconhecidos PRM qualificados (tipo 1) e PRM que necessitam de melhorias (tipos 2, 3, 4 e 5). Conclusão: O TP oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Por meio do modelo aqui apresentado, é possível obter informações para subsidiar decisões institucionais que promovam melhorias dos PRM e do seu processo de formação na especialidade.

Abstract: Introduction: Although specialized knowledge is a fundamental element for qualified medical practice, in most specialties, there is no unified cognitive assessment of resident physicians, and it is impossible to verify the knowledge gained during training in Medical Residency Programs (MRPs). The Progress Test (PT) provides an opportunity to evaluate MRPs based on the performance of the residents. In 2018, Febrasgo applied the Resident Progress Test in Gynecology and Obstetrics (TPI-GO) throughout Brazil. Experience report: This descriptive study refers to the longitudinal follow-up of residents who started participating in the TPI-GO in 2018 as R1 (n=497) and completed their participation in 2020 as R3 (n = 314). The performance of these residents in the TPI-GO served as a basis for analyzing the profile of 32 MRPs located in the South (28.1%), Southeast (68.8%), and Central-West (3.1%) regions of Brazil, with five different identified PRM profiles in relation to the performance of beginner residents, differences in performance between R3 and R1 and the performance of residency graduates. Discussion: In Brazil, comprehensive and unified assessments of knowledge are not offered to resident physicians in most specialties, and consequently, it is not yet possible to incorporate this information into the assessment of MRPs. In the model presented here, the performance of residents in the PT enables one to make inferences about the selection process, the knowledge added by the MRP throughout the training, and the level of knowledge of the graduates, being recognized as qualified MRPs (type 1) and MRPs that need improvement (types 2, 3, 4 and 5). Conclusion: The PT offers an opportunity to evaluate MRPs based on the performance of their residents. Through the model presented here, it is possible to obtain information to support institutional decisions that promote improvements in MRPs and their training process in the specialty.

O Teste de Progresso na residência médica em ginecologia e obstetrícia: a experiência nacional

Resumo: Introdução: O Teste de Progresso (TP) é uma avaliação cognitiva abrangente e longitudinal com vantagens para o aprendiz, os programas educacionais e a sociedade. No Brasil, embora seja amplamente utilizado na graduação, existe pouca experiência do seu uso na residência médica. Este estudo visa retratar a experiência da Federação Brasileira das Associações de Ginecologia e Obstetrícia (Febrasgo) nos quatro primeiros anos de implementação do TP Individual do Residente em Ginecologia e Obstetrícia (TPI-GO). Relato da experiência: O TPI-GO foi implementado em 2018, sendo oferecido anualmente aos residentes brasileiros. Nos dois últimos anos, o TPI-GO passou a ser oferecido no formato on-line. Para incentivar a participação, estabeleceram-se critérios que possibilitam dispensa ou bonificação na prova teórica para a obtenção do Título de Especialista em Ginecologia e Obstetrícia (Tego) para os candidatos com melhor desempenho. Os resultados são fornecidos de maneira sigilosa a cada candidato. Os resultados do desempenho dos residentes de um mesmo serviço são fornecidos ao supervisor do programa sem a identificação dos seus residentes, de modo a oferecer subsídios para autoavaliação da qualidade e indicar pontos de melhoria. Discussão: Desde a implementação do TP, verificou-se um número crescente de candidatos inscritos com elevada taxa de aderência à prova. As medianas de desempenho do grupo de residentes evidenciaram evolução cognitiva entre os iniciantes (R1) e os concluintes (R3) dos programas. Conclusão: A implementação do TP na residência é factível e aceitável, apresentando vantagens e benefícios. No entanto, requer preparo e envolvimento da equipe organizadora, além de apoio logístico e financeiro. O sigilo na divulgação dos resultados é recomendável e preserva o candidato. A possibilidade de bonificação e dispensa na prova teórica do Tego é um grande atrativo para a adesão e aderência dos médicos residentes ao TP. A aplicação da prova em ambiente on-line amplia o acesso, com níveis aceitáveis de segurança.

Abstract: Introduction: The Progress Test (PT) is a comprehensive, longitudinal cognitive assessment with benefits for the learner, educational programs, and society. Although it is widely used in undergraduate courses in Brazil, there is little experience regarding its use in medical residency. This study aims to portray Febrasgo’s experience in the first four years of implementing the Resident’s Individual PT in ObGyn (TPI-GO). Experience report: The TPI-GO was implemented in 2018, being offered annually to Brazilian residents. In the last two years, the TPI-GO has been provided online. Febrasgo established criteria that allow for exemption or bonus in the theoretical test to encourage the trainees’ participation in the TPI-GO to obtain the Specialist Certification in Gynecology and Obstetrics (TEGO). Results are provided confidentially to candidates and allow self-assessment. The results of the residents’ performance from the same service are provided to the program supervisor, offering subsidies for self-assessment of quality and indicating points for improvement. Discussion: Since it was implemented, there has been an increasing number of candidates enrolled in the TPI-GO and a high adherence rate. The medians of performance of the two cohorts of residents studied showed cognitive evolution between beginners (R1) and graduates (R3), with differences attributed in part to the adverse effects of the Pandemic on training. Conclusion: The implementation of the PT in medical residency is feasible, acceptable, and shows advantages and benefits, but it requires the commitment of the organizing team, besides logistical and financial support. The results confidentiality is recommended and preserves the candidate. The possibility of granting bonuses and exemptions in the TEGO theoretical test is an excellent attraction aiming at the adhesion and adherence of residents to the PT. The TPI-GO online increases access with acceptable levels of security.

Inserção do Teste de Progresso num curso de Medicina paulista: relato de uma experiência bem-sucedida

Resumo: Introdução: O Teste de Progresso no curso de Medicina (TPMed) tem sido utilizado pelas escolas médicas que implantaram mudanças curriculares, com currículos baseados/orientados na comunidade, aprendizagem baseada em problemas e currículos orientados por competências, entre outros, além de alguns programas de pós-graduação ou disciplinas isoladas. Baseado nessa premissa, o presente relato se propõe a descrever a experiência no processo de implantação do TPMed em nossa instituição e a participação estudantil nele. Relato de experiência: Dada a importância do TPMed, o curso de Medicina da Universidade Santo Amaro (Unisa) se filiou ao Consórcio São Paulo I (SP1), composto pelas seguintes escolas de Medicina: ABC, Jundiaí, Catanduva, PUC Sorocaba, PUC Goiás e Unoeste, iniciando nossa experiência em 2018. A inserção da Unisa no TPMed foi estimulada a partir da participação no Congresso Brasileiro de Educação Médica (Cobem), com a subsequente associação ao Consórcio SP1. Inúmeras iniciativas de sensibilização do corpo docente e do corpo discente da instituição, com a colaboração da diretoria da Regional São Paulo da Associação Brasileira de Educação Médica (Abem), resultaram em 96,74% de participação discente no TPMed em 2018, 97,12% em 2019, 98,85%, em 2020 e 86,10% em 2021. Em relação ao desempenho dos estudantes, encontramos um aumento progressivo de acertos ao longo dos seis anos de graduação: 32,63% como média de acerto no primeiro semestre, e 62,87%, no 12º semestre. Discussão: A influência positiva do TPMed na aprendizagem do aluno foi a motivação da Unisa para vencer os desafios e mobilizar os estudantes no primeiro ano em que aplicamos a prova, corroborando a grande participação deles. Houve uma queda da adesão ao Teste de Progresso Nacional da Abem - 2021 dos alunos da Unisa, tendo como possível causa os problemas técnicos ocorridos na aplicação dele, que foi on-line. Conclusão: O efeito positivo do TPMed foi observado de forma clara na Unisa. O trabalho direcionado, enfatizando a relevância do TPMed, faz-se mister no seu reconhecimento, resultando em uma forte adesão dos nossos acadêmicos a essa avaliação.

Abstract: Introduction: The Medical Course Progress Test (TPMed) has been used by medical schools that have implemented curricular changes, with, for example, community-based/oriented curricula, problem-based learning and competency-oriented curricula, in addition to some graduate programs or isolated disciplines. Based on this premise, the present report proposes to describe the experience in the TPMed implementation process in our Institution and student participation in it. Experience report: Given the importance of the TPMed, the Medicine course at Universidade Santo Amaro (UNISA) joined the SP1 Consortium, with our experience beginning in 2018. The inclusion of UNISA in the TPMed was driven by the school’s participation in the Brazilian Congress of Medical Education (COBEM), and its subsequent association with the Consortium (SP1). Numerous initiatives to raise awareness of the institution’s faculty and students, with the collaboration of the São Paulo Regional Board of the Brazilian Association of Medical Education (ABEM) resulted in 96.74% student participating in the TPMed in 2018, 97.12% in 2019, 98.85% in 2020 and 86.10% in 2021. Regarding student performance, we found a progressive increase in correct answers over the six years of the undergraduate course, 32.63% as an average score in the first semester and 62.87% in the twelfth semester. Discussion: The positive influence of the TPMed on student learning was UNISA’s motivation to overcome the challenges and mobilize the students in the first year in which the test was applied, corroborating their substantial participation. There was a drop in adherence to the ABEM National Progress Test - 2021 by UNISA students, possibly due to technical problems that occurred in its online application. Conclusion: The positive effect of the TPMed was clearly observed in UNISA. This directed work, which emphasized the relevance of the TPMed, is essential for its recognition, and resulted in a strong adhesion of our academics in this evaluation.

Teste de Progresso para estudantes de Medicina: experiência de um consórcio na Região Nordeste do Brasil

Resumo: Introdução: A colaboração entre escolas médicas para a realização do Teste de Progresso (TP) vem sendo ampliada com o propósito de tornar-se um modelo de prática educacional. Relato de experiência: O núcleo de escolas médicas CIN1 foi instituído no ano de 2013, tendo na sua organização um coordenador-geral e coordenadores de cada escola participante. Realiza dois testes ao ano, variando o número de escolas participantes. O teste possui 120 questões distribuídas nas seis áreas (ciências básicas aplicada, saúde coletiva, pediatria, clínica médica, cirurgia/urgência e emergência, e ginecologia e obstetrícia) e tem seu blueprint baseado em matriz previamente validada. O teste é aplicado a todos os estudantes das escolas participantes, no mesmo dia e com duração de quatro horas. Aconteceu on-line em 2020 e 2021, por causa da pandemia da Covid-19. A pontuação total do estudante é calculada pelo número de questões corretas, sem a opção “não sei”, nem penalidades para incorretas. A análise é realizada por meio da teoria clássica do item. Os estudantes recebem a análise do desempenho comparativamente com a média obtida pelos discentes no mesmo ano e a progressão em relação ao teste anterior. As escolas recebem o desempenho dos respectivos estudantes, a análise da dificuldade e discriminação geral dos itens, e uma avaliação global do teste. Discussão: A implantação do CIN1 representou um grande avanço para as escolas envolvidas. A colaboração não se deu apenas sobre o teste, mas também para o desenvolvimento docente de forma conjunta. Impedimentos de regimento interno e custos podem justificar a variação na participação das escolas. Conclusão: A organização de um núcleo de escolas para o TP traz benefícios e muitos desafios. O aperfeiçoamento dos critérios de análises e feedback e a inclusão de estudantes na avaliação de questões são etapas a serem discutidas e implantadas. A utilização do ambiente virtual, de mais baixo custo, pode ser um facilitador para ampliar a participação das escolas.

Abstract: Introduction: Collaboration between medical schools to hold the PT has expanded, constituting a model of educational practice. Experience report: The CIN 1 group of medical schools was established in 2013, organized with a general coordinator and coordinators from each participating school. It holds two tests a year, with a varying number of participant schools. The test has 120 questions distributed in 6 areas (Applied Basic Sciences, Public Health, Pediatrics, Internal Medicine, Surgery/Urgent and Emergency, Gynecology and Obstetrics) and its blueprint is based on a previously validated Matrix. The 4-hour test is applied to all students from participating schools, on the same day and at the same time. It was administered online in 2020 and 2021 due to the COVID-19 pandemic. The student’s total score is calculated by the number of correct questions, excluding the “don’t know” option, or penalties for incorrect ones, and is analyzed by classical item theory. Students receive performance analysis compared to the average attained by students in the same year, and the progression in relation to the previous test. The schools receive the performance of the respective students and analysis of the difficulty and general breakdown of the items and an overall evaluation of the test. Discussion: The implementation of CIN 1 represented a great advance for the schools involved. The collaboration was not only about the test, but also for the teacher development in a joint way. Bylaw impediments and costs may justify the variation in school participation. Conclusion: The organization of a group of schools for the TP brings benefits and many challenges. Improving analysis and feedback criteria and including students in the assessment of questions are steps to be discussed and implemented. The use of the lower cost virtual environment may facilitate increased participation of schools.