Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
INTRODUÇÃO
Muitos estudos com aplicação do Teste de Progresso (TP) têm demonstrado a importância dessa avaliação no acompanhamento da aquisição de conhecimento durante o período de formação. O formato longitudinal abrangente do TP, baseado no conhecimento esperado ao final do curso e com a participação simultânea de estudantes de todos os anos do curso, permite revisar as estratégias de aprendizagem e contribuir para a atualização do currículo e para o acompanhamento por parte dos discentes das suas curvas de aprendizado na dimensão conhecimento1)-(4. Tem sido demonstrado também o papel preditor do TP em exames para residência médica, além de poder fornecer informações mais confiáveis para decisões sobre a progressão do estudante no curso5)-(8.
O TP foi aplicado pela primeira vez nas Universidades de Maastricht e Missouri no final da década de 1970 e no Brasil, em 1998, na Universidade Estadual de Londrina. A partir daí o TP vem sendo amplamente utilizado principalmente em cursos de Medicina, seja em construção individual ou por núcleos de escolas médicas1),(2),(9),(10.
A colaboração entre escolas médicas para a realização do TP vem sendo estimulada e ampliada, contribui para a redução de custos, o compartilhamento de banco de itens e o desenvolvimento docente, além de constituir um modelo de prática educacional de qualidade para acompanhamento da aprendizagem11.
Apesar da sua larga utilização em diversos países e em regiões do Brasil, que atualmente possui 17 núcleos de escolas médicas para o TP12, observa-se uma variação na sua forma de aplicação, repetição, blueprint, número de itens, entre outros. Alguns desses fatores podem dever-se a uma acomodação das condições locais para a efetiva aplicação do TP11),(13.
Apresentamos o relato da experiência e organização de um núcleo de colaboração de escolas médicas na Região Nordeste do Brasil para o TP, que recebeu a denominação de Consórcio Interinstitucional Nordeste 1 (CIN1), aqui descrito como o núcleo CIN1.
RELATO DE EXPERIÊNCIA
O presente relato é composto pelos históricos da criação do núcleo CIN1 e da participação das escolas, seguidos do relato da organização e do fluxo, tendo como base o modelo proposto por Wrigley et al.11 que apresenta um arranjo sistêmico com interação de quatro grandes eixos: construção, administração, análise dos resultados e feedback.
Histórico de participação das escolas
O núcleo CIN1 foi instituído no ano de 2013, por estímulo e adesão das escolas participantes ao projeto da Associação Brasileira de Educação Médica (Abem) denominado “Abem 50 anos - 10 anos de DCN”. O projeto da Abem tinha como um dos subprojetos “Avaliação do estudante: contribuição do Teste de Progresso”, que incluiu, entre as ações para qualificação do ensino médico, a ampliação e o desenvolvimento de núcleos interinstitucionais, os chamados consórcios, para realização do TP.
O CIN1 tem na sua organização um coordenador do núcleo e coordenadores de cada escola participante. Os coordenadores, responsáveis pela gestão interna do teste, respondem pelas decisões relacionadas à prova e pela interlocução com as demais escolas e a coordenação do CIN1. O processo de trabalho dos coordenadores de escola e do TP ocorre presencialmente e a distância, por meio de e-mail e videoconferência. A qualificação do ensino por meio do desenvolvimento docente também faz parte dos objetivos da criação do consórcio, sendo realizadas oficinas para os docentes das escolas sobre elaboração de itens e discussão de matriz. A coordenação do núcleo e os coordenadores de escolas, no momento da implantação do consórcio, realizaram estudo de validação de uma matriz para o teste, baseando-se nas competências esperadas ao final do curso de Medicina definidas pelas Diretrizes Curriculares Nacionais para o curso de Medicina e detalhadas na matriz para o teste de revalidação de diploma no Brasil. O conteúdo para a matriz foi selecionado e organizado por listas de temas das grandes áreas da medicina, em escala do tipo Likert de 5 pontos, e submetido ao julgamento de professores das diversas instituições, em que se utilizou a técnica Delphi, tendo como critério de consenso para compor a matriz de referência para o teste o item com ranking médio acima de 3.
A matriz de referência para o teste resultante desse estudo possui seis áreas - ciências básicas, saúde coletiva, pediatria, ginecologia/obstetrícia, clínica médica e cirurgia/urgência e emergência -, com distribuição das questões dentro de objetivos de aprendizagem e de cenários, contemplando os diferentes níveis de complexidade da atenção em saúde, balanceados de acordo com as diretrizes do Sistema Único de Saúde. Após conclusão da matriz, houve validação pelas escolas participantes do consórcio.
O núcleo CIN1 realizou o seu primeiro teste em outubro de 2013 com a participação de sete escolas médicas: seis do estado do Ceará - Centro Universitário Christus (Unichristus), Universidade de Fortaleza (Unifor), Universidade Estadual do Ceará (Uece), Universidade Federal do Ceará (UFC), campus Fortaleza e campus Sobral, e Universidade Federal do Cariri (Ufca) - e uma do estado de Pernambuco: Faculdade Pernambucana de Saúde (FPS). Participavam do núcleo tanto escolas que já realizavam o TP com os seus estudantes de forma individual quanto as que estavam introduzindo essa modalidade de avaliação após a participação no núcleo. Em 2019, a Estácio Faculdade de Medicina de Juazeiro (Estácio FMJ) e a Universidade Federal do Rio Grande do Norte (UFRN) foram agregadas ao grupo.
O CIN1 desde a sua criação realiza dois testes ao ano, nos meses de maio e outubro. A adesão aos dois testes se deu inicialmente por duas escolas (FPS e Unichristus), e a partir do ano de 2021 a Estácio FMJ também passou a realizar os dois testes anuais. Nos anos de 2015 e 2021, foram realizados testes nacionais com a participação de 57 e 130 escolas, respectivamente12. Por causa da urgência sanitária da pandemia da coronavirus disease 2019 (Covid-19), nos anos de 2020 e 2021 os testes foram realizados na modalidade on-line e de forma remota. Em 2020.1, apenas uma escola, a FPS, realizou o TP, não havendo participação das demais por conta das dificuldades com a aplicação do teste na modalidade on-line.
As escolas participantes do CIN1 e o número de estudantes envolvidos são apresentados na Tabela 1.
Tabela 1 Núcleo CIN1 de escolas médicas para o Teste de Progresso - escolas participantes, número de estudantes, adesão e modalidade do teste, de 2013 a 2022
| Ano/ semestre | Número de escolas | Modalidade do teste | Número de estudantes | Adesão dos estudantes (%) |
|---|---|---|---|---|
| 2013.2 | 7* | Presencial | 2.654 | 64,3 |
| 2014.1 | 2** | Presencial | 1.317 | 83,9 |
| 2014.2 | 7* | Presencial | 3.616 | 73,3 |
| 2015.1 | 2** | Presencial | 1.590 | 88,9 |
| 2015.2 | 58N | Presencial | 24.313 | 76,4 |
| 2016.1 | 2** | Presencial | 1.496 | 91,4 |
| 2016.2 | 3*** | Presencial | 2.236 | 91,0 |
| 2017.1 | 2** | Presencial | 1.496 | 91,4 |
| 2017.2 | 3*** | Presencial | 2.393 | 90,8 |
| 2018.1 | 2** | Presencial | 1.709 | 91,9 |
| 2018.2 | 3*** | Presencial | 2.768 | 90,2 |
| 2019.1 | 2** | Presencial | 1.877 | 91,4 |
| 2019.2 | 3*** | Presencial | 2.919 | 90,8 |
| 2020.2 | 5**** | On-line | 2.446 | 80,5 |
| 2021.1 | 3***** | On-line | 2.746 | 90,8 |
| 2021.2 | 130 N | On-line | 48.946 | 72,1 |
| 2022.1 | 3***** | On-line | 2.779 | 89,9 |
* FPS, Unichristus, Unifor, Uece, UFC campus Fortaleza, UFC campus Sobral, UFC campus Cariri.
** FPS, Unichristus.
*** FPS, Unichristus, Unifor.
**** FPS, Uece, UFRN, Unichristus, Unifor.
***** FPS, Unichristus, Estácio FMJ.
N Teste de Progresso Nacional.
Fonte: Elaborada pelas autoras.
Construção do teste
O teste contém 120 questões distribuídas nas seis áreas definidas na matriz (ciências básicas aplicada, saúde coletiva, pediatria, clínica médica, cirurgia/urgência e emergência, e ginecologia e obstetrícia), cada uma com 20 questões. A construção do teste começa com o plano do teste (blueprint) que se baseia na matriz previamente validada. O plano define o número de questões por competência em cada área da matriz e permite o acompanhamento da distribuição dos conteúdos para essas competências nos sucessivos testes.
Com base no plano do teste, são construídas as encomendas das questões. Essas encomendas contêm por área a competência geral, o conhecimento a ser avaliado dentro daquela competência, o cenário da questão a ser elaborada, a idade e o sexo e/ou gênero da paciente quando cabível e a escola responsável pela elaboração. Essas encomendas são organizadas pela coordenação do consórcio e encaminhadas aos coordenadores de cada escola membro do consórcio que irá participar do teste. Idealmente, utiliza-se a estratégia de “escolas espelhos”, em que cada duas escolas recebem encomendas iguais. As escolas têm o prazo de 30 dias para concluir a etapa de elaboração da questão. As questões elaboradas são organizadas por área para revisão. Após a etapa de revisão, são selecionadas as questões que cumprem com os requisitos recomendados para uma questão de múltipla escolha, devendo predominar fortemente no teste questões com a taxonomia de compreensão e resolução de problemas. As questões selecionadas são encaminhadas para a elaboração do teste, a depender da modalidade definida, se impresso ou ambiente on-line. As questões são arquivadas de acordo com o índice de dificuldade e discriminação após serem testadas.
Administração do teste
De acordo com a modalidade de aplicação do teste, se impresso ou on-line, existe um fluxo de organização. Desde a formação do núcleo CIN1, os testes são realizados no formato impresso, presencial, exceto no período de emergência sanitária por causa da pandemia Covid-19. A formatação, diagramação e impressão das provas, a correção das folhas de resposta, a análise e divulgação dos resultados para os estudantes e as escolas, e a emissão de certificado de participação aos estudantes são centralizadas, realizadas por empresa contratada pelas escolas com experiência em trabalhar com núcleos para o TP em outras regionais.
Após o consenso de data da prova, cada escola responsabiliza-se pelo envio das listagens de alunos à empresa e pela divulgação do TP aos seus estudantes. É pactuado o horário de início da prova entre todas as escolas, e a divisão dos estudantes nas salas segue a ordem alfabética ou os semestres do curso, sendo uma opção de cada escola. A prova é aplicada a todos os estudantes do primeiro ao sexto ano das escolas do núcleo, no mesmo dia e com duração de quatro horas. Em 2020 e 2021, por conta da pandemia da Covid-19, o processo de aplicação da prova foi virtual. O propósito do teste, se exclusivamente formativo ou somativo, fica a critério de cada escola.
Análise dos resultados
A pontuação total do estudante é calculada pelo número de questões corretas. No teste, não há a opção “não sei”, nem penalidades para opções incorretas. O teste é analisado globalmente pela teoria clássica do item. O processo de análise psicométrica dos itens é iniciado pela ordenação do escore total dos examinandos. Constituem-se dois subgrupos extremos: um superior, composto de 27% dos que obtiveram os maiores escores, e grupo inferior, organizado com 27% daqueles que alcançaram os menores escores. A análise obtida fornece, além do percentual de acertos dos estudantes, o índice de dificuldade e discriminação dos itens, o coeficiente de fidedignidade e a correlação ponto bisserial.
Feedback aos estudantes
O feedback detalhado é disponibilizado aos estudantes inicialmente por acesso ao gabarito comentado com as referências bibliográficas e a análise dos seus resultados em ambiente virtual. Os estudantes recebem uma análise do seu desempenho de forma individual comparativamente com a média obtida pelo grupo de escolas no mesmo ano de curso, demonstrando também a sua progressão em relação ao teste anterior (Figura 1).
Feedback à instituição
Após liberação dos resultados, o TP possibilita que o curso reveja os próprios conteúdos e o projeto pedagógico. A aplicação de psicometria às avaliações, por meio de análise dos graus de dificuldade e de discriminação geral e por áreas de conhecimento, permite avaliar a qualidade das questões e a correlação entre o acerto em determinado item e o número total de acertos na prova. Essas informações de erros e acertos, principalmente nas questões de melhor discriminação, trazem devolutivas valiosas aos docentes envolvidos nos conteúdos envolvidos.
Tem sido observada variação nas dificuldades médias do TP por área de conhecimento ao longo dos anos, quando o número de acertos deveria ser equivalente em suas edições para ampliar o poder de comparação e assegurar sua validade.
A devolutiva aos docentes a respeito das questões formuladas possibilita ainda desenvolvimento docente para a elaboração de itens de boa qualidade, de modo a buscar processos cognitivos mais bem preparados segundo a taxonomia de Bloom, por meio de questões contextualizadas em situações-problema que contribuem para a melhor retenção do conteúdo. Outra vantagem tem sido o banco de itens gerado nos consórcios.
As instituições fornecem feedback aos coordenadores e professores, o que motiva reflexões internas quanto à necessidade de melhorias. A Figura 2 mostra um exemplo de sinalização de uma turma (semestre 6) com alguma dificuldade observada em todas as grandes áreas, evidenciado por uma das escolas desse consórcio em uma aplicação de TP. O apoio institucional e o comprometimento dos diretores, coordenadores e professores são fundamentais nesse processo, tanto na fase de elaboração de itens como na participação ativa na discussão dos resultados apresentados.
DISCUSSÃO
A implantação do CIN1, com processo colaborativo de realização da prova, representou um grande avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o TP, mas também para a realização de atividades de desenvolvimento docente, com intercâmbio de informações e experiências. Foram realizados eventos sobre outros temas de educação médica a partir da constituição do consórcio.
A variação na participação das escolas ao longo dos anos, observada no presente relato, pode ser atribuída em sua maioria a dificuldades com os custos para realização do TP, mesmo de forma compartilhada. O ambiente on-line oferece essa possibilidade com mais baixo custo, mas as dificuldades técnicas apresentadas no período de pandemia não permitiram observar com precisão esse potencial benefício.
A aplicação e análise dos resultados proporcionam aos cursos e aos estudantes uma avaliação externa, pois a elaboração das questões é distribuída uniformemente entre as escolas, o que reduz o viés da endogenia (questões feitas por professores da própria escola)14. Isso permite melhoria na qualidade da prova, em razão da troca de experiências entre as instituições de ensino e por conta da montagem de um banco de itens com questões testadas com alto grau de discriminação15. A colaboração entre faculdades garante maior número de itens criados, amplificação dos comitês de revisão e repartição entre os custos16. Em locais em que os recursos são limitados, a criação de consórcios é especialmente importante para a melhoria do teste, assim como de outros processos acadêmicos11),(17),(18),(19.
É fornecido aos estudantes o desenvolvimento do aprendizado a partir da avaliação, pois eles têm acesso ao próprio desempenho e ao gabarito comentado com referências bibliográficas. A participação dos estudantes do CIN1 vem se mantendo elevada, apesar de ter oscilado na pandemia após a mudança para a modalidade da prova on-line. A longitudinalidade dessa modalidade de avaliação formativa fornece uma medida única e demonstrável da progressão cognitiva dos estudantes11. Após cada avaliação, é possível reafirmar e consolidar conhecimentos e identificar lacunas de aprendizagem e pontos a serem melhorados19. A participação recomendada dos estudantes na elaboração ou análise das questões ainda não é uma realidade na organização do CIN, o que está programado para implantação futura.
A avaliação dos professores envolvidos na coordenação e organização do teste nas suas escolas é positiva. Há intercâmbio entre os outros consórcios constituídos no país, com realização de fóruns e oficinas nos congressos de educação médica. Um dos desafios é aumentar a participação dos estudantes de algumas escolas para garantir maior homogeneidade na avaliação.
O TP possibilita que os cursos revejam suas matrizes curriculares e mesmo seus projetos pedagógicos por meio da análise dos conteúdos (gerais e por área)20. Fornece subsídios à instituição de ensino para a avaliação do modelo curricular utilizado21, por meio da identificação de como os conhecimentos dos alunos progridem durante a formação médica6. Para isso, é fundamental que as instituições assumam papel ativo na elaboração e na análise dos dados dessa avaliação10),(14),(22.
CONCLUSÃO
O presente relato apresentou a experiência de implantação e organização de um núcleo de escolas médicas para o TP. A organização desse núcleo trouxe benefícios e muitos desafios. O aperfeiçoamento dos critérios de análises e feedback e a inclusão dos estudantes na avaliação de questões são etapas a serem discutidas e implantadas. Há ainda outro desafio: a ampliação e manutenção do número de escolas. O custo ainda é um fator limitante à participação das escolas de forma mais regular, e a experiência com a utilização do ambiente virtual, de mais baixo custo, aponta um dos caminhos para superar essa dificuldade.
