INTRODUÇÃO

O Teste de Progresso é uma avaliação cognitiva que verifica se o ganho de conhecimento por parte do estudante está sendo contínuo e progressivo, e como o conhecimento está sendo elaborado e consolidado nas áreas básicas e clínicas, importantes para o aproveitamento do internato e o desenvolvimento final do profissional^1,2.

Esse teste foi introduzido nos cursos de Medicina na década de 1970 pela Kansas City Medical School da Universidade de Missouri (EUA)³ e pela então University of Limburg, hoje Universidade de Maastricht (Holanda)⁴. Desde então, várias outras escolas de Medicina passaram a utilizar esse método de avaliação de forma isolada⁵ ou em associação colaborativa^6,7.

O Teste de Progresso situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos órgãos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino.

O conteúdo do teste não está ligado a nenhum modelo de curso específico e, portanto, ele avalia os objetivos finais do currículo como um todo⁸. O conteúdo de todos os tópicos do curso vai sendo continuadamente revisado, pois não se entende essa metodologia sem uma devolutiva consistente (feedback), na qual seja possível corrigir as falhas apresentadas durante o processo formativo. Os estudantes são incentivados a adotar um estilo de aprendizado longitudinal autodirigido e entendem que até o final de sua formação os conhecimentos elaborados deverão estar consolidados para o bom exercício da profissão^1,2,9.

Espera-se que o estudante atinja o domínio total do conhecimento e responda corretamente a todas as questões. Entretanto, considerando-se que o desenho das questões e a confiança do teste são perfeitos apenas na teoria, escores de 70-80% de acertos são considerados adequados para estudantes do sexto ano^10-12. Devemos lembrar que, mesmo que os estudantes obtenham escores elevados nesse teste, podem ter deficiências importantes no domínio de outras habilidades e atitudes. Assim, torna-se necessária uma avaliação mais completa da formação do estudante, sendo o Teste de Progresso uma das ferramentas utilizadas no processo avaliativo do ensino-aprendizagem e do currículo.

A parceria entre escolas tem contribuído para a confecção de questões com alta qualidade, além de combinar benefícios econômicos com vantagens educacionais globais, pois tira do processo de avaliação o efeito da endogenia e permite uma comparação salutar dos avanços e limitações entre as instituições participantes, sempre evitando qualquer tipo de ranqueamento^6,8.

A experiência do Núcleo Interinstitucional de Estudos e Práticas de Avaliação em Educação Médica (Niepaem) há mais de dez anos com o Teste de Progresso, realizado em parceria entre nove escolas médicas (Unicamp, Unesp, USP-Ribeirão Preto, Unifesp, Ufscar, Famema, Famerp, UEL e Furb), vem mostrando eficiência e a viabilidade do processo com aprimoramento a cada ano.

Entidades como o Conselho Federal de Medicina (CFM) apoiaram e recomendaram que as escolas realizassem o Teste de Progresso como uma das avaliações do curso e do estudante, reforçando assim que esse teste é importante para aprimorar o processo de ensino-aprendizagem e do próprio curso¹³.

Com a exitosa experiência do Niepaem, foi realizado um projeto nacional para que todas as escolas do Brasil participassem de um consórcio e realizassem a prova do Teste de Progresso conjuntamente, aprimorando a elaboração de itens para uma avaliação de qualidade com confiabilidade. Neste relato, apresentamos a experiência da realização da prova nacional.

OBJETIVOS

Em 2014, a Associação Brasileira de Educação Médica (Abem) lançou o projeto “Abem 50 anos / 10 Anos de Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina”. O objetivo era desenvolver ações que impulsionassem mudanças curriculares nas escolas médicas para melhoria da formação do médico e, consequentemente, da qualidade na assistência à saúde da população brasileira¹⁴.

Uma das ações visava instituir o Teste de Progresso Interinstitucional para todas as escolas do Brasil. Para isso, objetivou-se capacitar núcleos de escolas para a elaboração da prova do Teste de Progresso, supervisionar e auxiliar na operacionalização da aplicação desse teste em todas as escolas e analisar os resultados de sua aplicação, garantindo o não ranqueamento das escolas. Como subsídio para as escolas, foi proposta e realizada uma prova nacional para todas as escolas do País.

MÉTODOS

Todas as escolas associadas à Abem foram convidadas a participar de reuniões nas regionais da Abem para as oficinas a fim de obter esclarecimento conceitual sobre o Teste de Progresso e sobre como melhorar a elaboração de itens para uma prova de qualidade. Escolas não associadas foram convidadas a se associar e, então, também participar das reuniões.

A formação dos núcleos de escolas deveria obedecer a critérios que facilitariam o processo da parceria permanente mesmo após a conclusão do projeto. Um dos critérios adotados foi a distância física entre as escolas, um fator importante para o sucesso dos encontros presenciais e que deve ser considerado na formação dos núcleos. Após a formação dos núcleos, foram organizadas oficinas para o desenvolvimento da capacidade de elaboração da prova, com ênfase na elaboração de itens de qualidade e estratégias de aplicação das provas.

As reuniões presenciais (três a quatro) foram pautadas para elaboração da prova, editoração e ajustes da prova final, análise dos resultados e programação de agenda futura.

A prova constou de 120 questões de múltipla escolha, elaboradas com base na prática clínica e visando a problemas que exigem aplicação de princípios ou soluções que requeiram processo mental complexo (raciocínio e reflexão). O foco da avaliação foi o conhecimento cognitivo por meio de perguntas que abrangem todas as áreas de amplo domínio do conhecimento: ciências básicas, ciências clínicas (Saúde Coletiva, Clínica Médica, Pediatria, Tocoginecologia e Cirurgia) e ciências do comportamento e comunicação (Ética Médica e Humanidades). A prova foi aplicada a todos os estudantes do primeiro ao sexto ano ao mesmo tempo, na mesma hora e com as mesmas regras.

A correção da prova e as análises dos dados foram realizadas por uma empresa especializada, a fim de garantir o sigilo do processo. Os resultados foram inicialmente apresentados no Congresso Brasileiro de Educação Médica.

Os dados foram analisados considerando-se o desempenho médio dos estudantes (em porcentagem), agrupados de acordo com os consórcios e com cada ano de graduação. Não houve divulgação do desempenho de cada consórcio, mas cada um foi informado sobre seu desempenho. Similarmente, não houve divulgação do desempenho de cada escola participante, mas cada uma delas recebeu um relatório com seu desempenho e a comparação com o desempenho nacional. Finalmente, estudantes com desempenho inferior a 25% foram excluídos da análise, considerando-se este o ponto de corte para o acerto casual em cada questão (com quatro alternativas).

RESULTADOS

Oitenta escolas do Brasil (quase 40% das escolas então existentes – de acordo com o CFM, à época, havia 216 escolas¹⁵) aderiram ao Teste de Progresso em núcleos interinstitucionais. As escolas que participaram das oficinas regionais foram capacitadas para a elaboração da prova. Algumas escolas solicitaram nova oficina ou a participação de um representante do projeto para esclarecimentos em seus órgãos colegiados e auxílio para operacionalizações técnicas. Com a iniciativa foram criados oito novos consórcios de Teste de Progresso (já existiam três).

Também foi elaborada, em duas oficinas nacionais, uma matriz única de conteúdo, tarefas e competências, a qual subsidiou a prova nacional, que foi baseada em questões previamente testadas e com melhores índices psicométricos (dificuldade de discriminação).

A prova nacional foi realizada no dia 30 de setembro de 2015, com a participação de 58 escolas com 23.065 estudantes que tiveram seus gabaritos analisados.

A análise do desempenho dos estudantes mostrou o esperado aumento progressivo de acertos ao longo dos seis anos de graduação, com a média inicial do primeiro ano de 32,38%, atingindo 61,28% no sexto ano (Figura 1).

FIGURA 1 Desempenho dos 23.065 estudantes distribuídos por ano de graduação na prova nacional do Teste de Progresso em 2015 

Também foi possível verificar o desempenho médio dos estudantes de acordo com o núcleo ao qual pertenciam suas escolas. Como o projeto, enfaticamente, não previa o ranqueamento das escolas, os núcleos não foram identificados, embora os coordenadores de núcleo soubessem a qual pertenciam, o que possibilitou a comparação apenas de seu núcleo com os demais (Figura 2).

FIGURA 2 Desempenho dos 23.065 estudantes distribuídos por ano de graduação e de acordo com os núcleos de escolas. Cada coordenador de núcleo tomou conhecimento de qual era o seu núcleo (de A a H), mas não de quais eram os núcleos individualmente. 

DISCUSSÃO

A implantação de núcleos interinstitucionais de Teste de Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. Elas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma.

Com o uso rotineiro do Teste de Progresso, a aplicação e a análise dos resultados podem proporcionar aos cursos e aos estudantes uma avaliação externa cognitiva, na medida em que deixa de haver a endogenia resultante de questões feitas sempre pelos mesmos professores.

Além disso, a adoção do Teste de Progresso como prática avaliativa oferece ao estudante um aprendizado do que ele teria de conhecer numa avaliação porque se deve entregar aos estudantes o gabarito comentado com referências bibliográficas.

O Teste de Progresso também possibilita ao curso rever seu projeto pedagógico e conteúdos tendo por base análises gerais e por área. Permite, também, o desenvolvimento docente para a elaboração de questões objetivas de múltipla escolha por meio de oficinas e orientações técnicas para a formulação dos testes.

Ao longo do desenvolvimento do projeto, a avaliação dos professores envolvidos na coordenação e participação nos núcleos por suas escolas foi muito positiva, recomendando-se que o processo de participação no Teste de Progresso seja reconhecido pelos órgãos reguladores e preocupados com a formação dos egressos.

Com relação à prova nacional, esta foi a maior versão de um Teste de Progresso já aplicada em todo o mundo de que se tem registro na literatura. De fato, os consórcios existentes na Holanda, Alemanha, Reino Unido, Estados Unidos e Canadá não contam com a participação de um número tão grande de escolas e de estudantes^6,7,16,17. Para a operacionalização do Teste de Progresso de forma constante e regular, não é viável o número de 58 escolas, especialmente se o teste for aplicado várias vezes ao ano, como ocorre na experiência internacional¹⁸. No entanto, os resultados desta iniciativa pioneira fornecem dados robustos sobre a curva de ganho de conhecimento entre os estudantes brasileiros e pode servir como referência para escolas e estudantes avaliarem seu desempenho em outras edições do Teste de Progresso.

Reconhecemos neste projeto o início de um movimento que pode se espalhar por todo o País, fortalecendo métodos avaliativos intra- e inter-institucionais. Como defendido nos grandes centros de educação médica no mundo, o Teste de Progresso tem potencial para ser uma alternativa à criação de exames de proficiência para o exercício da Medicina¹⁶ e é uma ferramenta capaz de quebrar o efeito de direcionamento dos estudos dos estudantes apenas para as avaliações somativas, incentivando um aprendizado mais profundo e com sentido^19-22.

Futuramente, espera-se que as escolas que não aderiram aos consórcios então formados e as escolas criadas após este projeto também passem a utilizar o Teste de Progresso como ferramenta de avaliação. Com a adesão de maior número de escolas, será possível repetir uma prova nacional do Teste de Progresso, a qual fornecerá dados mais consistentes a respeito da formação médica no Brasil. Outros desafios para o Teste de Progresso no País são: aprimorar a análise dos dados obtidos com a prova, refletir sobre a possibilidade de empregar o Teste de Progresso também com finalidade somativa, a exemplo do que ocorre na Europa, e aumentar o número de provas a cada ano.

Em conclusão, o projeto ora apresentado incentivou escolas médicas de todas as regiões do País a adotarem o Teste de Progresso como uma ferramenta de avaliação com potencial de reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.