texto en 
Inglés (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
INTRODUÇÃO
O Teste de Progresso (TP) constitui modalidade de avaliação de conhecimentos aplicada institucionalmente a todas as turmas de um curso, no mesmo horário. Compõe-se de questões objetivas contextualizadas, com conteúdos e nível de complexidade ajustados ao estudante prestes a se graduar1)-(5.
O TP constitui importante instrumento de avaliação e controle da qualidade das atividades de ensino-aprendizagem do currículo, permitindo verificar o nível de conhecimento dos estudantes de cada turma, especialmente daqueles que estão concluindo o curso1)-(5. Permite ainda verificar, pelas sucessivas aplicações, o progresso na aquisição de conhecimentos, no plano individual e no das várias coortes1)-(5. Essa informação auxilia estudantes e gestores do currículo a identificar fortalezas e fragilidades na aprendizagem nos domínios cognitivos e de raciocínio clínico, tomada de decisão, manejo diagnóstico e terapêutico, promoção, proteção e reabilitação da saúde. Os resultados das provas sequenciais ajudam o estudante a fazer a autoavaliação e acompanhar a evolução do seu desempenho, contribuindo para a autorregulação da aprendizagem e para a finalidade formativa da avaliação1)-(5.
Recentemente, tem sido crescente o interesse das escolas médicas na implantação em seus cursos da avaliação programática (AP) do estudante. A AP constitui maneira inovadora de praticar a avaliação do estudante, visando melhor cumprir as suas finalidades, mas favorecendo fortemente o escopo formativo6)-(8. A AP é praticada por meio diferentes instrumentos, de acordo com as recomendações de boas práticas, sob coordenação centralizada e responsabilidade institucional bem definida8.
Muitas das escolas precursoras na implantação da AP foram também pioneiras na introdução do TP1),(3) e o utilizam como importante fonte de obtenção de informações sobre o desempenho do estudante no domínio cognitivo. Na última década, a Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP) tem investido intensamente no aprimoramento da avaliação educacional no âmbito dos seus sete cursos de graduação. Esse investimento tomou forma na criação, em 2014, do seu centro de avaliação do ensino de graduação, que rege institucionalmente a avaliação da qualidade das disciplinas e dos estágios dos cursos e a avaliação do estudante. Em 2016, foi criado o centro de desenvolvimento docente para o ensino, que, entre as suas diferentes atividades, tem as que se enquadram em uma linha de trabalho específica, voltada à capacitação dos professores, visando à implantação futura da AP. Em 2018, a meta de introduzir a AP nos cursos de graduação foi incluída no projeto acadêmico da instituição, no âmbito do planejamento estratégico plurianual.
O movimento institucional, com o propósito de reestruturar o currículo do curso de graduação em Medicina da FMRP-USP, iniciado em 2020, proveu a oportunidade ímpar para mudanças na avaliação do estudante dentro dos princípios da AP. Nas discussões desse tema, propôs-se incluir o TP entre os principais instrumentos a serem empregados na obtenção de informações sobre o desempenho do estudante. A aceitação dessa proposta trouxe a demanda da reflexão sobre vantagens, limitações e desafios relacionados ao papel do TP na AP.
Este artigo tem como objetivo divulgar as reflexões que tomaram forma a partir das discussões que envolveram inúmeros professores, os quais compuseram um grupo representativo de toda a instituição, que contou com a assessoria de professoras de uma escola pioneira tanto na introdução do TP1 como da AP6 e teve o respaldo da literatura internacional.
História sucinta e difusão do Teste de Progresso
O TP vem sendo utilizado em todo mundo a partir do seu emprego pioneiro, nos anos 1980, na Kansas City Medical School (Estados Unidos)9 e na atual Universidade de Maastricht (Holanda)1, em currículos fundamentados na aprendizagem baseada em problemas.
No Brasil, o TP começou a ser empregado, ainda no século passado, na Faculdade de Medicina da Universidade de São Paulo (USP) e no curso de Medicina da Universidade Estadual de Londrina (UEL), no Paraná4),(5. Em 2005, graças ao empenho da professora Angélica Maria Bicudo, da Faculdade de Ciências Médicas da Universidade Estadual de Campinas (Unicamp), foi formado o primeiro consórcio brasileiro para a aplicação do TP aos estudantes de nove escolas médicas das regiões Sudeste e Sul4),(5, ao qual a FMRP-USP logo aderiu. A experiência bem-sucedida desse consórcio inspirou iniciativas em outras regiões do país, até a concretização da proposta de realização do TP em todas as escolas médicas do Brasil pela Associação Brasileira de Educação Médica (Abem)4. Em 2021, em recente aplicação do TP nacional da Abem, participaram 48.496 estudantes, de 130 escolas médicas, o que resultou em 18 consórcios de TP nas diferentes regiões do Brasil, congregando 182 escolas médicas10.
Atualmente, esses 18 consórcios que se mantêm ativos congregam 220 escolas e representam um universo de cerca de 50 mil estudantes, o que caracteriza uma estratégia muito bem-sucedida11.
Essa difusão tem contribuído para aperfeiçoar a cultura avaliativa no âmbito da educação médica brasileira, como também para aumentar o conhecimento sobre o TP e o significado dos seus achados, além de ensejar outras aplicações inovadoras, como demonstram os artigos de coletânea recentemente publicada pela Revista Brasileira de Educação Médica12.
No exterior, são inúmeros os países, dos vários continentes, em que a introdução do TP foi bem-sucedida em escolas médicas, além dos registros da sua utilização em programas de formação de especialistas médicos e em outros cursos da área da saúde, como Enfermagem, Farmácia, Medicina Veterinária e Odontologia13.
Características e funcionamento da avaliação programática
Na AP, o uso articulado e organizado de instrumentos variados, sob supervisão centralizada, cumpre predominantemente a finalidade formativa da avaliação do estudante, mas fornece também dados sobre o seu desempenho nos vários domínios da aprendizagem e em relação às várias competências que os objetivos curriculares determinam6)-(8. Esses dados podem ser “triangulados” e fornecer informações robustas que dão subsídio às tomadas de decisão de natureza somativa6),(7. Estas devem privilegiar a remediação e não, simplesmente, o binômio aprovação-reprovação. Essas decisões são de responsabilidade de instância institucional e não somente das unidades curriculares (disciplinas, módulos e estágios) (6)-(8.
A prática da AP contribui para mudar os paradigmas que regem a avaliação do estudante. A Figura 1 mostra os pontos principais dessa mudança, saindo do modelo de avaliação da aprendizagem e caminhando para a avaliação para a aprendizagem, uma das metas da AP6)-(8.
Fonte: Elaborada pelos autores.
Figura 1 Comparação das características principais da avaliação tradicional (atual) e da proposta de avaliação programática (futura).
Na avaliação mais tradicional do estudante de Medicina, predominam exames e provas com mais foco no domínio cognitivo no âmbito das unidades curriculares, em geral ao final das suas atividades, com a finalidade exclusiva de tomar decisões sobre aprovação ou reprovação. Alguns desses eventos têm forte impacto sobre o estudante, sendo denominados high stakes14. Na AP, ao contrário, devem predominar, com maior frequência e continuidade, avaliações mais abrangentes, focalizando não só os conhecimentos, mas, preferencialmente, as habilidades clínicas e procedimentais, e as competências no seu domínio afetivo-comportamental6)-(8. Deve, também, predominar na AP a finalidade formativa das avaliações, visando contribuir para a aprendizagem e o desenvolvimento do estudante, por meio de devolutivas de boa qualidade, que devem envolver e engajar o estudante6)-(8. As informações obtidas nessas avaliações contribuem também para as decisões de caráter somativo, mas com peso reduzido e de menor impacto na vida do estudante do que aqueles do tipo high stakes, sendo então denominados de low stakes14.
O estudante participa ativamente da AP, sendo o alvo das várias devolutivas que recebe, como também da gestão de alguns eventos avaliativos, sobretudo nas atividades clínicas, e, principalmente, fazendo registros das suas atividades e exercitando a reflexão e a autoavaliação em seu portfólio individual, apoiado pelo seu mentor6)-(8.
Uma proposta de introdução da AP em que o TP constitua um componente importante
Para a efetiva introdução da AP em um currículo de um curso de graduação nas profissões da saúde, é necessário elaborar um programa de avaliação do estudante que, entre outros objetivos, descreva detalhadamente os seus principais componentes. O Quadro 1 apresenta, como exemplo, medidas propostas para introduzir os principais componentes na implementação da AP na FMRP-USP.
Quadro 1 Exemplo de medidas para introduzir os principais componentes de um programa de avaliação baseado nos princípios da avaliação programática para um currículo de curso de Medicina, incluindo o Teste de Progresso.
| PROPOSIÇÕES |
|---|
| • Organizar os eventos avaliativos e, em especial, tomar decisões associadas à finalidade somativa. Essas ações passam a ser responsabilidades da instituição e não somente dos coordenadores das unidades curriculares (disciplinas, módulos, estágios). |
| • Criar núcleos ou centros institucionais de avaliação nas diferentes etapas do curso, como instâncias centralizadas de gestão dos eventos avaliativos e de análise integradas dos seus resultados. |
| • Criar comitês de tomada de decisão para as diferentes etapas do curso, com recomendação de privilegiar a remediação de aspectos deficientes e não simplesmente os desfechos de aprovação e reprovação. |
| • Adotar como referência, na organização dos eventos avaliativos, análise dos dados obtidos e de tomadas de decisão, e os três principais domínios da formação (cognitivo, clínico-procedimental e afetivo-comportamental). |
| • Planejar a ocorrência frequente de eventos avaliativos low stakes com finalidade formativa, em todos os semestres, cobrindo os três principais domínios da formação. |
| • Investir na utilização uniforme, nas várias áreas de formação, de métodos consagrados de avaliação, seguindo as recomendações de boas práticas no seu emprego. |
| • Organizar calendário com momentos predefinidos para a realização das avaliações somativas das unidades curriculares, para evitar a competição entre elas e as atividades de ensino-aprendizagem e diminuir o efeito de retenção fugaz na aprendizagem. |
| • Organizar menor número de exames somativos high stakes voltados aos conhecimentos e às habilidades clínicas e procedimentais em dois momentos estratégicos do curso (meio e final do curso). |
| • Incluir o TP entre os principais eventos avaliativos formais a serem considerados no programa, para o domínio cognitivo. |
| • Acoplar o programa de avaliação a esquema de mentoria, que tenha como meta o desenvolvimento da capacidade de reflexão e autoavaliação do estudante, utilizando portfólio reflexivo e a interação com o mentor. |
Fonte: Elaborado pelos autores.
Para maior efetividade da avaliação no novo paradigma, é essencial que as ações do programa de avaliação se articulem com atividades de um eixo curricular de desenvolvimento pessoal e profissional, contendo atividades regulares próprias de um programa de mentoria, com uso extensivo de um portfólio eletrônico reflexivo, que medeie a interação de cada estudante com o seu mentor6)-(8. Esse portfólio deve contemplar a autoavaliação do estudante e as suas reflexões em diferentes momentos, servindo, também, de repositório das informações quantitativas e qualitativas pertinentes à avaliação de cada estudante, registradas ao longo de todo o curso6)-(8.
O papel do TP em um programa de avaliação baseado nos princípios da AP
A proposta apresentada prevê que, diferentemente do que ocorre na maioria das escolas brasileiras que aplicam o TP4),(5),(10, este constitua um elemento importante do programa de avaliação (Quadro 1), com a participação compulsória de todos os estudantes e os resultados obtidos registrados nos portfólios individuais. Isso facilitará que cada estudante acompanhe a progressão do seu desempenho. Os resultados serão analisados no geral e em cada área da formação, estimulando, dessa maneira, a autorregulação da aprendizagem. Isso será potencializado pela interação do estudante com seu mentor, nos processos de reflexão e de autoavaliação do desempenho.
Os dados obtidos no TP, para cada estudante, serão levados em conta, com outras informações da avaliação de desempenho e de atitudes, nas decisões relativas à progressão ou indicação de remediação. Cada aplicação do TP permitirá a obtenção de um conjunto relativamente grande e variado de informações relevantes (Quadro 2).
Quadro 2 Informações de cada estudante que podem ser obtidas com a inclusão do Teste de Progresso em um sistema de avaliação programática.
| INFORMAÇÕES |
|---|
| • Escore total no teste |
| • Escores em cada uma das áreas testadas |
| • Posição do estudante em relação à sua coorte |
| • Posição do estudante em relação ao conjunto dos participantes do mesmo período das demais escolas incluídas no teste |
| • Magnitude da progressão individual do estudante, em relação ao seu escore no teste anterior |
| • Magnitude da progressão individual do estudante, em relação ao progresso médio da sua coorte, desde o teste anterior |
| • Magnitude da progressão individual do estudante, em relação ao progresso médio dos participantes das demais escolas, matriculados no mesmo período, desde o teste anterior |
Fonte: Elaborado pelos autores.
Assim, as sucessivas aplicações do TP fornecerão, para cada estudante, diversos elementos low-stakes relevantes nas tomadas de decisão. Nestas, a triangulação dos resultados do TP com as avaliações realizadas nas várias unidades curriculares auxiliará na identificação de estudantes com necessidade de remediação e de áreas em que isso será necessário. Os escores globais do estudante nos TP realizados no meio e no final do curso serão utilizados como elementos high stakes, em triangulação com os exames institucionais de conhecimentos previstos nesses momentos.
Na finalidade informativa (avaliação da qualidade do currículo e de suas atividades), o TP continuará a ser importante. Adicionalmente, como a proposta está inserida na reestruturação curricular, o TP poderá constituir uma ferramenta importante para comparação do novo currículo com o anterior (atual).
Desafios e limitações previstos
A inclusão formal do TP no novo programa de avaliação do estudante, nos princípios da AP, deverá trazer contribuições positivas, mas oferecerá alguns desafios e barreiras a serem considerados, entre os quais aqueles que são apresentados e comentados sucintamente no Quadro 3.
Quadro 3 Alguns dos possíveis desafios e limitações à introdução do Teste de Progresso entre os componentes da avaliação programática.
| DESAFIO OU LIMITAÇÃO | COMENTÁRIOS |
|---|---|
| Cultura de avaliação (valores, hábitos e práticas que privilegiam a avaliação somativa fragmentada) | A resistência à inclusão do TP entre os eventos formais do programa de avaliação poderá surgir tanto entre professores como entre estudantes, acostumados a considerar como relevantes somente as avaliações somativas de cada unidade curricular. |
| Necessidade de investimento adicional na produção de questões e na logística | No contexto da AP, seria desejável maior número de aplicações do TP a cada semestre ou ano. Conferir maior relevância institucional ao TP implica também maior cuidado com a sua qualidade das questões e com a logística das aplicações. |
| Maior custo financeiro | A inclusão do TP na AP poderá trazer repercussões no custo financeiro para a instituição, com necessidade de maior investimento, seja na maior participação dos professores, seja com eventual aumento do número anual de aplicações do teste. |
| Alinhamento dos conteúdos das questões a serem produzidas com os objetivos instrucionais das unidades curriculares locais | O TP terá maior validade se houver evidências de que a matriz de avaliação em que se baseia, tal como utilizada pelo consórcio responsável pelo teste, alinha-se com os objetivos instrucionais das unidades curriculares ou módulos do novo currículo do curso de Medicina. |
| Produção de questões | Com a inclusão do TP como um componente importante da AP, será necessário engajar maior número de professores na produção de questões de boa qualidade, o que demandará maior disponibilização de tempo, seja para participação em desenvolvimento docente, seja na própria elaboração de questões. |
Fonte: Elaborado pelos autores.
Atualmente, o TP é utilizado em nossa instituição nas finalidades formativa e informativa. A primeira demanda a participação e o engajamento voluntários do estudante ao refletir sobre os seus resultados e investir para que melhorem, sendo incerto o seu grau de envolvimento nesses processos. Na segunda finalidade, o TP é visto como interessando somente à gestão dos cursos e não ao conjunto dos professores. Assim, o TP tende a ser considerado como iniciativa de menor importância pelos professores e estudantes, e a proposta de incluir os resultados para a finalidade somativa, contribuindo para decisões relativas à progressão do estudante, que deverá participar compulsoriamente das aplicações, pode gerar resistências. Estas serão particularmente relevantes se a utilização do TP na finalidade somativa afastar o estudante da reflexão sobre o seu desempenho.
A aplicação do TP somente uma vez ao ano constitui importante limitação ao seu emprego como fonte de informações relevantes sobre a aquisição de conhecimentos pelos estudantes. Porém, a expansão da utilização desse teste traz desafios organizacionais, logísticos e de custo. Mesmo com uma única aplicação anual, os esforços institucionais e a demanda de investimento na logística de participação dos estudantes em um único dia são consideráveis e serão previsivelmente maiores como o desejável aumento do número de aplicações do TP no ano. Isso implica também engajar mais professores na produção de maior número de questões de boa qualidade, o que demandará maior disponibilização de tempo, seja para participação em desenvolvimento docente, seja na própria elaboração de questões.
Finalmente, restam desafios ligados à validade e à fidedignidade (confiabilidade) do TP, que foram muito bem discutidos em recente revisão5. Esses desafios relacionam-se, entre outros aspectos, ao grau de alinhamento entre o currículo local e a matriz de avaliação em que o TP se baseia, elaborada pelo consórcio responsável pelo teste, que precisará ser determinado. Na mesma linha, a preocupação com a validade e a fidedignidade relaciona-se à frequência de aplicações anuais e também ao número de questões por aplicação, que, no Brasil, são inferiores aos de outras instituições do exterior e, principalmente, ao que seria idealmente desejável15)-(17. Por exemplo, em escolas holandesas e alemãs, o alinhamento entre os objetivos instrucionais do currículo e o TP (validade) é buscado com exames que chegam a ter 200 questões por aplicação, e se procura garantir a reprodutibilidade e a estabilidade dos resultados indicativos do perfil de desempenho dos estudantes (fidedignidade ou confiabilidade) com aplicações na frequência de quatro ao ano16.
DISCUSSÃO
As reflexões apresentadas são fruto de trabalho em desenvolvimento, cujo progresso poderá revelar outros aspectos. O sucesso na introdução do TP como elemento importante da AP dependerá da superação dos desafios previstos e de outros que possam surgir. Vale também considerar a existência de fatores facilitadores das mudanças pretendidas. Entre elas, está a boa reputação que o TP desfruta na instituição, especialmente entre os envolvidos na gestão do currículo e o corpo discente, que reconhece a sua contribuição ao fomento da aprendizagem. Outro fato a se considerar é que a instituição já vem aplicando exames supradisciplinares de avaliação de conhecimentos e habilidades em momentos específicos do curso, com finalidades formativa, somativa e informativa, a depender do exame e do momento de aplicação. Para isso tem havido grande investimento do centro de desenvolvimento docente da instituição, que conta com pessoal qualificado e experiência estabelecida no preparo de professores para a avaliação do estudante e, especificamente, para a tarefa de elaborar questões objetivas de boa qualidade18),(19.
No desenvolvimento da proposta do programa institucional de avaliação do estudante, procurou-se caracterizá-lo como construção coletiva, como se recomenda para a elaboração do projeto político-pedagógico de um curso20 e, especialmente, para a introdução da AP21. É incerto se essa intenção se concretizou, mas, na sua busca, procurou-se também investir na cultura educacional e avaliativa da instituição, sobretudo na dos professores, o que pode vir a diminuir resistências futuras.
As proposições para o novo programa de avaliação foram embasadas nos princípios e conceitos básicos da AP6)-(8, em recomendações gerais internacionais para a avaliação do estudante22)-(25 e naquelas para o uso de métodos específicos14),(23. A experiência das consultoras estrangeiras e a de um dos autores desse artigo, vivenciada em outra instituição26, contribuíram adicionalmente para o delineamento das proposições e reflexões.
Embora os conceitos e a prática da AP sejam relativamente recentes6)-(8, uma revisão integrativa de 27 estudos quantitativos e qualitativos em cursos e programas das profissões da saúde em que essa modalidade de avaliação do estudante foi implantada mostrou sua efetividade no fomento à aprendizagem e ao desenvolvimento do estudante, para quem a tomada de decisões em bases mais sólidas tem papel importante27. Porém, muitos dos estudos abrangidos nessa revisão assinalam que a introdução da AP pode gerar tensões no seio da comunidade educacional local27.
A inclusão do TP no programa de avaliação é justificada por suas vantagens incontestáveis, que foram recentemente reafirmadas em importantes revisões da literatura publicadas no Brasil5 e no exterior28, que são concordantes com a experiência claramente positiva da instituição, oriunda da sua participação ativa, desde há cerca de 15 anos, no primeiro consórcio brasileiro a aplicar o TP.
Em especial, a utilização sistemática do TP nas escolas médicas pode trazer benefícios claros aos estudantes, que podem aprender mais e melhor com as devolutivas e se informar sobre o seu grau de domínio cognitivo dos temas abordados em cada exame, em comparação tanto com os seus resultados anteriores e os dos seus pares, nas aplicações seriadas5. A gestão do curso, por sua vez, pode, a partir do desempenho dos estudantes, obter inferência sobre a efetividade do currículo em promover a aprendizagem, detectando, assim, as suas fortalezas e vulnerabilidades28.
No contexto de mudanças abrangentes nas práticas de avaliação do estudante, que se pretende com a introdução de um programa baseado na AP, em que o TP tem papel relevante, é importante destacar que, além de fornecer informações relevantes para a gestão do currículo e para o estudante, pode identificar áreas em que o investimento autodirecionado no estudo e na aprendizagem é maior (avaliação formativa), e a participação regular nas sucessivas aplicações do TP pode ter outras repercussões de cunho educacional. Entre elas, está a possibilidade de contribuir para que os estudantes abandonem o hábito de somente estudar para as provas para depois esquecerem o que aprenderam (cramming-and-dumping)29),(30, bem como enfrentem a avaliação de conhecimentos com menor nível de estresse30.
Outra provável contribuição da inclusão do TP no programa institucional de avaliação do estudante é o incentivo à aprendizagem mais profunda e significativa, decorrente do uso de questões contextualizadas em situações e problemas concretos, o que desestimula o estudo voltado para a memorização e a aprendizagem superficial5),(28. Nesse programa de avaliação, o estudante deverá ser constantemente estimulado a refletir sobre o seu desempenho e, em parceria com o seu mentor, estabelecer estratégias de manutenção ou aperfeiçoamento.
Quanto à gestão, é importante considerar que registros de participação e de desempenho no TP têm se mostrado bons indicadores do desempenho do estudante em exames futuros do tipo high stakes5),(28),(31.
O uso exclusivamente somativo do TP apresenta limitações já assinaladas na literatura5 e, adicionalmente, parece ser menos efetivo para essa finalidade, resultando em escores menores e menor engajamento do estudante, conforme mostrou estudo desenhado especificamente para avaliar a inclusão do TP em um programa de avaliação configurado nos moldes da AP32. Nesse estudo, foram comparados dois cursos de Medicina, com a utilização exclusivamente somativa do teste em um deles e com a inclusão do TP na AP, com outras medidas, semelhantes ao que aqui se propõe, no outro curso32. Desse modo, mesmo com o uso somativo do teste, será importante tomar medidas que estimulem o estudante a refletir sobre os seus resultados e engajar-se no aperfeiçoamento do seu desempenho. O acoplamento do programa de avaliação com o esquema de mentoria e o estímulo à utilização pelo estudante de portfólio reflexivo pode contribuir para superar esse desafio.
CONCLUSÃO
A proposta de incluir o TP entre os procedimentos formais de um programa de avaliação do estudante no novo currículo do curso de Medicina, baseado nos conceitos e práticas da AP, considera que as características desse teste se adaptam a sistemas e programas institucionais de avaliação e podem facilitar a sua implementação. Preveem-se, porém, desafios, barreiras e limitações de ordem prática, especialmente os ligados à “cultura avaliativa” prevalente entre professores e estudantes, que tendem a considerar como relevantes somente as avaliações somativas do âmbito das unidades curriculares (disciplinas, módulos e estágios). Essas barreiras deverão ser superadas em função dos fatores facilitadores presentes na instituição, que vem discutindo a temática da avaliação há vários anos, reorganizando as suas instâncias de gestão para introduzir a AP e pelas experiências já consolidadas de participação no TP, de aplicação de exames institucionais e de desenvolvimento docente para a avaliação do estudante. De qualquer modo, a efetividade do TP dentro do sistema institucional de AP vai depender de medidas que estimulem a participação ativa do estudante, que necessitará registrar os seus resultados e ser capaz de refletir sobre seu desempenho no TP de modo a engajar-se em ações que fomentem a aprendizagem.
