INTRODUÇÃO
Um dos desafios do desenho de currículo nos cursos de graduação em Medicina é a definição dos temas que irão delimitar o conteúdo a ser abordado, mesmo nos dias atuais, em que se privilegia o currículo baseado em competências. As Diretrizes Curriculares Nacionais (DCN) para os cursos de graduação em Medicina, instituídas em 2001 e revisadas de acordo com a Resolução nº 3, de 20 de junho de 2014, estabelecem os princípios, os fundamentos e as finalidades da formação em Medicina no Brasil1. As DCN reforçam a necessidade de articulação entre conhecimento, habilidades e atitudes requeridos para o futuro exercício profissional do médico e afirmam que os conteúdos fundamentais devem estar relacionados com o processo saúde-doença do cidadão, da família e da comunidade, referenciando-se na realidade epidemiológica e profissional e proporcionando a integralidade das ações do cuidar em saúde1. No entanto, as DCN não fazem referência detalhada ao conteúdo a ser abordado. É responsabilidade das escolas médicas estabelecer os conteúdos necessários para o desenvolvimento de sua matriz curricular para atingir os objetivos de aprendizagem que culminarão nas competências apresentadas pelas DCN, respeitando-se as características epidemiológicas regionais de cada escola. As DCN de 2014 deixam claro que a orientação da formação deve se basear em competências, o que demanda adaptações curriculares, notadamente para os cursos com matriz curricular tradicional.
Como parte da construção do currículo, o processo de avaliação possui papel fundamental, pois é por meio dele que a aquisição dos objetivos específicos de aprendizagem é verificada, procurando garantir que os egressos tenham adquirido as competências necessárias para atuar e sejam capazes de atender às demandas e necessidades de saúde da sociedade2),(3. Além do processo de avaliação interno ou próprio, adotado pelos cursos de acordo com o projeto pedagógico, pode haver avaliações externas, como o Teste de Progresso, o extinto exame do Conselho Regional de Medicina de São Paulo e o Exame Nacional de Desempenho dos Estudantes (Enade)4)-(6.
É importante diferenciar avaliação interna de avaliação externa. As ações de iniciativa da própria escola - que visam avaliar, rever e melhorar regularmente seus programas educacionais - são classificadas como avaliação interna. Avaliações externas podem ser regulatórias ou uma opção da própria instituição que convida/contrata especialistas externos, que terão acesso às informações, aos documentos e aos profissionais, com ou sem visitas in loco, e que devem emitir parecer e recomendações para a tomada de decisão dos gestores dos cursos. Em sua função formativa, a avaliação identifica pontos fortes e fracos, de acordo com o diagnóstico que ela fornece sobre a aprendizagem, permitindo assim que mudanças sejam propostas ao longo do processo pedagógico. Fornece informações sobre a eficácia educacional, a partir do reconhecimento do processo de apropriação dos saberes pelos estudantes, os diferentes caminhos percorridos e a regulação da aprendizagem. Dessa forma, a avaliação permite reverter ou alterar rotas malsucedidas no percurso pedagógico3.
Atualmente, o Ministério da Educação (MEC) avalia as instituições de ensino superior (IES) por meio do Sistema Nacional de Avaliação da Educação Superior (Sinaes), que tem por objetivo “assegurar o processo nacional de avaliação das IES, dos cursos e do desempenho acadêmico dos estudantes ingressantes e concluintes” e contribuir para a melhoria da qualidade da educação superior5. A primeira iniciativa do governo brasileiro de avaliação do ensino superior começou em 1995, com a implantação do Exame Nacional de Cursos, conhecido como Provão, que era aplicado anualmente a todos os concluintes de áreas de conhecimento predefinidas. Posteriormente, foram criados o Centro de Educação Superior e a Avaliação das Condições de Ensino. Esse modelo persistiu até 2003, sendo substituído pelo Sinaes em 20047.
O Sinaes busca articular os processos de avaliação e regulação, combinando a participação e responsabilização das IES com a ação reguladora do Estado. Possui o componente de avaliação in loco por avaliadores externos indicados pelo MEC, que, subsidiados por instrumentos públicos de avaliação, têm a missão de avaliar as instituições de ensino em sua globalidade, a denominada avaliação institucional, e/ou os cursos de graduação, de forma individualizada, a chamada avaliação de cursos de graduação. O Sinaes também avalia os cursos por meio do Enade. Tanto as avaliações in loco quanto o Enade são considerados no processo de reconhecimento e renovação de reconhecimento dos cursos de graduação no Brasil8.
O Enade é uma prova cognitiva que avalia o desempenho dos concluintes dos cursos de graduação, sendo componente curricular obrigatório para as redes federais e particulares de ensino superior e facultativo para as redes estaduais e municipais. A primeira aplicação do Enade ocorreu em 2004, e a periodicidade da avaliação é trienal para cada área do conhecimento. Ele é constituído por 40 itens divididos em dois componentes, o de avaliação da formação geral, comum a todos os cursos, com oito itens de múltipla escolha e dois discursivos, e o componente específico da área, com 27 itens de múltipla escolha e três discursivos5.
Para a elaboração das provas do Enade, são estabelecidas diretrizes pelas Comissões Assessoras de Avaliação de Áreas e Comissão Assessora de Avaliação da Formação Geral. Essas comissões são compostas por especialistas da comunidade acadêmica, assegurada a representatividade de instituições públicas e privadas, de diferentes organizações acadêmicas das cinco regiões do país, que definem conhecimentos e saberes a serem avaliados e todas as especificações necessárias à elaboração da prova a ser aplicada. Entre as atribuições das comissões, está a elaboração das diretrizes e matrizes de prova para a avaliação. Essas matrizes funcionam como instrumentos norteadores para a elaboração de itens que farão parte do Banco Nacional de Itens do Enade, que poderão ser utilizados na composição da prova a ser aplicada nesse exame. Essas matrizes são documentos sigilosos e de uso restrito do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), por indicarem detalhadamente conteúdo, objetivo e formato dos itens que serão encomendados aos elaboradores de cada área9.
A prova do Enade, por ser elaborada a partir de conteúdos que contemplam as DCN, deve ser considerada para as revisões curriculares e suas possíveis adequações. Noro et al.10 estudaram a relação entre conteúdos das disciplinas em um curso de Odontologia e os conteúdos abordados nas provas do Enade 2004 e 2010, a partir da percepção de alunos concluintes e professores, e a distribuição da carga horária dos conteúdos no currículo com questões dos referidos exames. Em sua análise, encontraram uma baixa quantidade de questões que tiveram disciplinas da área básica como componentes principais e como componentes secundários. Foi inferida, no resultado encontrado, a questão da desarticulação entre o ciclo básico e o ciclo profissionalizante, sinalizando a necessidade da integração curricular como meta a ser efetivamente concretizada, reforçando a visão de que os currículos dos cursos na área da saúde têm seu modelo historicamente organizado em disciplinas isoladas, voltadas para uma formação tecnicista e para especialidades, não formando profissionais que atendam às necessidades de saúde da sociedade10.
Outra avaliação realizada pelo INEP, específica para egressos de cursos de Medicina do exterior, é o Exame Nacional de Revalidação de Diplomas Médicos (Revalida). Apesar de possuir atribuições legais diferentes do Enade, pois trata-se de processo para reconhecimento de diplomas de Medicina de estudantes formados no exterior, o Revalida os habilita a atuarem como médicos no Brasil. Como as duas avalições são externas aos cursos e avaliam o mesmo público-alvo, podem ser consideradas análogas11.
Antes do Revalida, médicos graduados no exterior precisavam procurar uma universidade pública brasileira para fazer o reconhecimento do diploma. Cada instituição adotava critérios próprios que poderiam incluir provas, análise de documentação e até mesmo a necessidade de o profissional cursar alguma disciplina extra para obter a revalidação. A introdução no Brasil das DCN, em 2001, configurou-se em oportunidade de construir um processo de revalidação isonômico, referenciado pelas DCN e baseado em processo de avaliação tecnicamente orientado, para contemplar a aquisição de conhecimentos, habilidades e competências requeridos para o exercício profissional adequado aos princípios e às necessidades do Sistema Único de Saúde (SUS)11),(12.
Um trabalho integrado entre o MEC e o Ministério da Saúde, no âmbito da Comissão Interministerial de Gestão do Trabalho e da Educação na Saúde, instituída pela Subcomissão de Revalidação de Diplomas, representada por 16 universidades públicas do país13 e parte integrante da Comissão Interministerial de Gestão do Trabalho e da Educação na Saúde14, elaborou a Matriz de Correspondência Curricular em Medicina (Matriz Revalida), utilizada como referencial para a elaboração das provas do Revalida e que estabelece de forma mais clara e detalhada o conteúdo necessário para a formação médica, atendendo aos preceitos das DCN e às necessidades do SUS12),(15.
A Matriz Revalida é considerada abrangente e contempla as competências necessárias ao exercício da Medicina, relacionando as áreas do conhecimento médico nas quais o graduado deve ter tido a possibilidade de, durante o seu curso médico, adquirir conhecimentos, habilidades e atitudes necessários ao seu exercício profissional, integrando as áreas clínicas e cirúrgicas quando requerido, tangenciando-se igualmente algumas especialidades que contribuem para a formação12),(15.
As avaliações do Revalida, a partir de 2014, foram compostas por provas de caráter eliminatório em duas etapas: prova escrita objetiva com 100 a 110 itens de múltipla escolha com quatro opções de resposta e cinco itens discursivos. Em uma segunda etapa, é realizada prova de habilidades clínicas no modelo Objective Structured Clinical Examination (OSCE) com dez estações12.
Apesar de o MEC realizar a avaliação reguladora dos cursos de Medicina de todo o país por meio do Enade, as DCN constituem o único documento norteador comum na construção da matriz curricular dos cursos de graduação em Medicina e estão sujeitas a interpretações e valoração diferentes pelos cursos. Por sua vez, os médicos formados em países estrangeiros que queiram trabalhar no Brasil precisam revalidar os seus diplomas em prova que tem por base a Matriz Revalida, especificamente elaborada para tal, norteada pelas mesmas DCN.
Considerando que o papel da avaliação é fundamental na tomada de decisões para o acompanhamento e a correção de rumos do currículo, e reconhecendo o Enade e o Revalida como dois importantes exemplos análogos da prática de avaliação no Brasil, este estudo teve como objetivos identificar e comparar os conteúdos avaliados por esses exames.
MATERIAIS E MÉTODOS
Trata-se de estudo descritivo que comparou o conteúdo do Enade de 2013 e 2016 e do Revalida de 2015 e 2016, tendo como referência os conteúdos da Matriz de Correspondência Curricular do Revalida12),(15. Não foram utilizadas neste estudo as seções de competências gerais e competências específicas da Matriz Revalida. Analisaram-se questões de múltipla escolha e discursivas dos quatro testes, referentes a itens específicos da área médica. Os itens de conhecimentos gerais, constantes nas provas do Enade, não foram considerados nessa análise.
Matriz de Conteúdos do Revalida
A Matriz de Conteúdos do Revalida foi criada de forma modular, buscando destacar a importância da integração dos conteúdos e considerando que o curso médico é formado por dois ciclos: integração básico-clínica e internato supervisionado. Os conteúdos foram organizados em 46 áreas de concentração, como mostra a Tabela 1. Cada uma dessas áreas possui um conjunto de conteúdos específicos. No total, a Matriz possui 749 temas diferentes distribuídos entre as áreas concentração. Como se pode observar na Tabela 1, as áreas com maior número de temas são: saúde pública, medicina preventiva e comunitária; ginecologia e obstetrícia; pediatria e neonatologia; urgência e emergência; neurologia e neurocirurgia; e nefrologia e urologia. Essas seis áreas concentram 297 temas, que correspondem a 39,7% do total14),(15.
Área de concentração | Número de temas | % | % acumulado |
---|---|---|---|
Saúde pública, medicina preventiva e comunitária | 82 | 10,9 | 10,9 |
Ginecologia e obstetrícia | 78 | 10,4 | 21,4 |
Pediatria e neonatologia | 56 | 7,5 | 28,8 |
Urgência e emergência | 28 | 3,7 | 32,6 |
Neurologia e neurocirurgia | 27 | 3,6 | 36,2 |
Nefrologia e urologia | 26 | 3,5 | 39,7 |
Clínica cirúrgica | 18 | 2,4 | 42,1 |
Abordagem do paciente e bases fisiopatológicas e terapêuticas dos principais sintomas e sinais | 17 | 2,3 | 44,3 |
Reumatologia | 17 | 2,3 | 46,6 |
Terapia intensiva | 17 | 2,3 | 48,9 |
Cirurgia ambulatorial | 16 | 2,1 | 51,0 |
Semiologia | 15 | 2,0 | 53,0 |
Cardiologia e cirurgia cardiovascular | 15 | 2,0 | 55,0 |
Clínica e cirurgia do aparelho digestório | 15 | 2,0 | 57,0 |
Traumato-ortopedia | 15 | 2,0 | 59,0 |
Gênese e desenvolvimento | 14 | 1,9 | 60,9 |
Sistema nervoso | 14 | 1,9 | 62,8 |
Fundamentos da prática e da assistência médica | 14 | 1,9 | 64,6 |
Psiquiatria | 14 | 1,9 | 66,5 |
Aparelho locomotor | 13 | 1,7 | 68,2 |
Sistema geniturinário | 13 | 1,7 | 70,0 |
Medicina legal e deontologia | 13 | 1,7 | 71,7 |
Geriatria | 13 | 1,7 | 73,4 |
Sistema digestório | 12 | 1,6 | 75,0 |
Hematologia | 12 | 1,6 | 76,6 |
Sistema cardiovascular | 11 | 1,5 | 78,1 |
Pneumologia | 11 | 1,5 | 79,6 |
Sistema endócrino | 10 | 1,3 | 80,9 |
Dermatologia | 10 | 1,3 | 82,2 |
Doenças infecciosas e parasitárias | 10 | 1,3 | 83,6 |
Oftalmologia | 10 | 1,3 | 84,9 |
Biologia celular e molecular | 9 | 1,2 | 86,1 |
Sistema respiratório | 9 | 1,2 | 87,3 |
Processos patológicos gerais | 9 | 1,2 | 88,5 |
Endocrinologia: clínica e cirurgia | 9 | 1,2 | 89,7 |
Oncologia | 9 | 1,2 | 90,9 |
Princípios de técnica operatória | 9 | 1,2 | 92,1 |
Otorrinolaringologia | 9 | 1,2 | 93,3 |
Bioética e cidadania | 8 | 1,1 | 94,4 |
Psicologia do desenvolvimento humano | 7 | 0,9 | 95,3 |
A evolução histórica, científica e ética da medicina | 6 | 0,8 | 96,1 |
Princípios de farmacologia | 6 | 0,8 | 96,9 |
Relação parasito-hospedeiro | 6 | 0,8 | 97,7 |
Psicologia médica | 6 | 0,8 | 98,5 |
Psicopatologia | 6 | 0,8 | 99,3 |
Imunopatologia | 5 | 0,7 | 100,0 |
Total | 749 | 100,0 | --- |
Na primeira etapa do estudo, dois professores de Medicina, ambos médicos, identificaram os conteúdos de cada um dos quatro exames de forma independente. Cada um dos avaliadores analisou os exames com o propósito de identificar os temas abordados nos enunciados e nas alternativas de cada item com base na lista de temas da Matriz de Correspondência Curricular do Revalida. Não houve nenhum treinamento prévio, nem contato entre os avaliadores nessa fase do estudo. De acordo com a área de concentração do item, os avaliadores buscavam da Matriz de Correspondência os temas mais afeitos ao enunciado e às alternativas. Além dos temas explícitos nos itens, também foram considerados os temas que poderiam ser indiretamente necessários para a resolução deles. Posteriormente, os temas identificados por cada um dos avaliadores foram consolidados em uma única lista para cada exame, e somaram-se as frequências de observação de cada tema. Não se realizou nenhum tipo de consenso entre as duas listas originais.
Analisou-se o conteúdo dos exames por meio da distribuição de frequência das áreas de concentração e dos temas, de acordo com o tipo do exame (Enade e Revalida) e o ano de realização, e da comparação entre as áreas de concentração e dos temas coincidentes em cada tipo exame e edição. Avaliou-se também a representatividade dos conteúdos dos dois tipos de exame com o conteúdo total da Matriz de Correspondência Curricular do Revalida.
RESULTADOS
Dos 749 temas listados da Matriz de Correspondência Curricular do Revalida, os dois avaliadores identificaram 502 (67,2%) em pelo menos um dos quatro exames avaliados. Entre as 46 áreas de concentração da Matriz Revalida, dez não foram abordadas em nenhum item do Enade 2013, não se abordaram seis no Enade 2016, e não houve menção a duas no Revalida 2015 (Tabela 2). Considerando os dois exames do Enade, nenhum item abordou as áreas de bioética e cidadania e biologia celular e molecular. A área de biologia celular e molecular também não foi abordada em nenhum item do Revalida 2015. O Revalida 2016 abordou todas as 46 áreas.
Área de concentração | Enade 2013 | Enade 2016 | Revalida 2015 | Revalida 2016 | ||||
---|---|---|---|---|---|---|---|---|
N | % | N | % | N | % | N | % | |
Abordadas | 36 | 78,3 | 40 | 87,0 | 44 | 95,7 | 46 | 100,0 |
Não abordadas | 10 | 21,7 | 6 | 13,0 | 2 | 4,3 | 0 | 0,0 |
Total | 46 | 100,0 | 46 | 100,0 | 46 | 100,0 | 46 | 100,0 |
A Tabela 3 apresenta as áreas mais abordadas nos dois tipos de exame, considerando o número de temas de cada área. Observa-se que as quatro áreas mais frequentes são as mesmas nos dois tipos de prova (ginecologia e obstetrícia; saúde pública, medicina preventiva e comunitária; pediatria e neonatologia e urgência e emergência), que correspondem a 39,0% do total de temas abordados nos dois tipos de exame.
Área de concentração | Enade | Revalida | ||
---|---|---|---|---|
Número de temas | % | Número de temas | % | |
Ginecologia e obstetrícia | 29 | 12,0 | 54 | 11,5 |
Saúde pública, medicina preventiva e comunitária | 27 | 11,2 | 61 | 13,0 |
Pediatria e neonatologia | 23 | 9,5 | 44 | 9,4 |
Urgência e emergência | 15 | 6,2 | 23 | 4,9 |
Semiologia | 9 | 3,7 | 13 | 2,8 |
Clínica cirúrgica | 9 | 3,7 | 14 | 3,0 |
Abordagem do paciente e bases fisiopatológicas e terapêuticas dos principais sintomas e sinais | 8 | 3,3 | 13 | 2,8 |
Neurologia e neurocirurgia | 8 | 3,3 | 10 | 2,1 |
Medicina legal e deontologia | 7 | 2,9 | 9 | 1,9 |
Cardiologia e cirurgia cardiovascular | 7 | 2,9 | 10 | 2,1 |
Nefrologia e urologia | 6 | 2,5 | 12 | 2,6 |
Sistema nervoso | 5 | 2,1 | 6 | 1,3 |
Princípios de farmacologia | 5 | 2,1 | 4 | 0,9 |
Relação parasito-hospedeiro | 5 | 2,1 | 5 | 1,1 |
Endocrinologia: clínica e cirurgia | 5 | 2,1 | 6 | 1,3 |
Clínica e cirurgia do aparelho digestório | 5 | 2,1 | 10 | 2,1 |
Psiquiatria | 5 | 2,1 | 14 | 3,0 |
Sistema geniturinário | 4 | 1,7 | 11 | 2,4 |
Dermatologia | 4 | 1,7 | 4 | 0,9 |
Doenças infecciosas e parasitárias | 4 | 1,7 | 8 | 1,7 |
Traumato-ortopedia | 4 | 1,7 | 7 | 1,5 |
Fundamentos da prática e da assistência médica | 3 | 1,2 | 9 | 1,9 |
Sistema cardiovascular | 3 | 1,2 | 8 | 1,7 |
Sistema respiratório | 3 | 1,2 | 6 | 1,3 |
Processos patológicos gerais | 3 | 1,2 | 8 | 1,7 |
Psicopatologia | 3 | 1,2 | 4 | 0,9 |
Geriatria | 3 | 1,2 | 5 | 1,1 |
Oncologia | 3 | 1,2 | 4 | 0,9 |
A evolução histórica, científica e ética da medicina | 2 | 0,8 | 1 | 0,2 |
Sistema digestório | 2 | 0,8 | 10 | 2,1 |
Imunopatologia | 2 | 0,8 | 4 | 0,9 |
Psicologia do desenvolvimento humano | 2 | 0,8 | 2 | 0,4 |
Psicologia médica | 2 | 0,8 | 3 | 0,6 |
Pneumologia | 2 | 0,8 | 5 | 1,1 |
Terapia intensiva | 2 | 0,8 | 9 | 1,9 |
Princípios de técnica operatória | 2 | 0,8 | 5 | 1,1 |
Cirurgia ambulatorial | 2 | 0,8 | 10 | 2,1 |
Oftalmologia | 2 | 0,8 | 3 | 0,6 |
Gênese e desenvolvimento | 1 | 0,4 | 3 | 0,6 |
Aparelho locomotor | 1 | 0,4 | 6 | 1,3 |
Sistema endócrino | 1 | 0,4 | 6 | 1,3 |
Hematologia | 1 | 0,4 | 7 | 1,5 |
Reumatologia | 1 | 0,4 | 6 | 1,3 |
Otorrinolaringologia | 1 | 0,4 | 2 | 0,4 |
Bioética e cidadania | 0 | 0,0 | 3 | 0,6 |
Biologia celular e molecular | 0 | 0,0 | 1 | 0,2 |
Total | 241 | 100,0 | 468 | 100,0 |
As 20 áreas mais abordadas nos dois tipos de exame representam cerca de 75,0% dos temas de cada prova, sendo as mais mencionadas: sistema nervoso, princípios de farmacologia, relação parasito-hospedeiro e endocrinologia. As áreas clínicas e cirúrgicas estão entre as 20 mais frequentes no Enade e não constam das áreas avaliadas no Revalida. As áreas fundamentos da prática e da assistência médica, sistema cardiovascular, sistema digestório, terapia intensiva e cirurgia ambulatorial apresentam situação inversa, ou seja, estão entre as mais abordadas no Revalida. Deve-se destacar também que medicina legal e deontologia, psiquiatria e sistema geniturinário, apesar de figurarem entre as 20 principais áreas nos dois exames, apresentam posições ou pesos diferentes entre eles.
Quando se comparam os temas abordados de acordo com o tipo de exame, observa-se que 241 temas (32,2% da Matriz Revalida) foram abordados nas duas edições do Enade e 468 (62,5%) foram no Revalida, e 34 (4,5%) foram abordados apenas no Enade e outros 261 apenas no Revalida (Tabela 4).
Tipo de exame | Enade | Revalida | Total | |||
---|---|---|---|---|---|---|
N | % | N | % | N | % | |
Temas abordados apenas em uma edição do exame | 34 | 4,5 | 261 | 34,8 | 295 | 39,4 |
Temas abordados nas duas edições do exame | 207 | 27,6 | 207 | 27,6 | 207 | 27,6 |
Total de temas abordados | 241 | 32,2 | 468 | 62,5 | 502 | 67,0 |
Temas não abordados | 508 | 67,8 | 281 | 37,5 | 247 | 33,0 |
Total | 749 | 100,0 | 749 | 100,0 | 749 | 100,0 |
Enade | 2013 | 2016 | Total | |||
N | % | N | % | N | % | |
Temas abordados em apenas uma edição | 64 | 8,5 | 132 | 17,6 | 196 | 26,2 |
Temas abordados nas duas edições | 45 | 6,0 | 45 | 6,0 | 45 | 6,0 |
Total de temas abordados | 109 | 14,6 | 177 | 23,6 | 241 | 32,2 |
Temas não abordados | 640 | 85,4 | 572 | 76,4 | 508 | 67,8 |
Total | 749 | 100,0 | 749 | 100,0 | 749 | 100,0 |
Revalida | 2015 | 2016 | Total | |||
N | % | N | % | N | % | |
Temas abordados apenas em uma edição | 115 | 15,4 | 106 | 14,2 | 221 | 29,5 |
Temas abordados nas duas edições | 247 | 33,0 | 247 | 33,0 | 247 | 33,0 |
Total de temas abordados | 362 | 48,3 | 353 | 47,1 | 468 | 62,5 |
Temas não abordados | 387 | 51,7 | 396 | 52,9 | 281 | 37,5 |
Total | 749 | 100,0 | 749 | 100,0 | 749 | 100,0 |
Quando se avalia apenas o Enade, observa-se que a edição de 2013 cobriu apenas 14,5% dos temas da Matriz Revalida, enquanto a de 2016 cobriu 23,6% dos temas. Houve 45 temas comuns às duas edições, e 508 temas (67,8%) não foram abordados em nenhuma das duas edições.
Em relação ao Revalida, os resultados são mais homogêneos, as duas edições cobriram cerca de 48,0% dos temas da Matriz Revalida, e 281 temas (37,5%) não foram abordados em nenhuma das duas edições analisadas.
Quando se analisa o número de vezes que determinado tema foi abordado em cada exame (Tabela 5), observa-se que, no Enade, abordou-se a maior parte dos temas uma única vez, com 84,4% e 77,4% nas edições de 2013 e 2016, respectivamente. Quando se consideram os temas abordados uma ou duas vezes na mesma edição do Enade, esse percentual sobe para cerca 95,0% (Tabela 5). Já no Revalida, os temas se repetem com maior frequência: cerca de 50,0% apareceram apenas uma única vez em cada uma das edições do exame, enquanto aproximadamente 35,0% foram mencionados duas ou três vezes em cada uma delas.
Número de observações | Enade 2013 | Enade 2016 | Revalida 2015 | Revalida 2016 | ||||
---|---|---|---|---|---|---|---|---|
n | % | n | % | n | % | n | % | |
1 | 92 | 84,4 | 137 | 77,4 | 180 | 49,7 | 184 | 52,1 |
2 | 11 | 10,1 | 29 | 16,4 | 83 | 22,9 | 61 | 17,3 |
3 | 5 | 4,6 | 7 | 4,0 | 51 | 14,1 | 55 | 15,6 |
4 | 1 | 0,9 | 3 | 1,7 | 25 | 6,9 | 26 | 7,4 |
5 | --- | --- | 1 | 0,6 | 14 | 3,9 | 17 | 4,8 |
6 | --- | --- | --- | --- | 6 | 1,7 | 4 | 1,1 |
7 | --- | --- | --- | --- | 1 | 0,3 | 2 | 0,6 |
8 | --- | --- | --- | --- | 1 | 0,3 | 2 | 0,6 |
9 | --- | --- | --- | --- | 1 | 0,3 | 1 | 0,3 |
12 | --- | --- | --- | --- | --- | --- | 1 | 0,3 |
Total | 109 | 100,0 | 177 | 100,0 | 362 | 100,0 | 353 | 100,0 |
Entre os temas mais abordados nos dois tipos de exame, destacam-se:
abdome agudo inflamatório;
urgências cirúrgicas;
conhecimento de conceitos básicos e as suas principais características semiológicas;
elaboração do diagnóstico clínico: anatômico, sistêmico, sindrômico, nosológico e etiológico;
hipertensão arterial e suas complicações;
abordagem do paciente, bases fisiopatológicas e terapêuticas das grandes síndromes: insuficiência respiratória, insuficiência cardíaca, insuficiência circulatória aguda (choque), insuficiência renal, insuficiência hepática, coma.
DISCUSSÃO
No Brasil, as avaliações do Enade e do Revalida são de grande importância, pois analisam, respectivamente, a qualidade das escolas médicas brasileiras e certificam o exercício da medicina para egressos de escolas estrangeiras. Por seu caráter regulatório, o Enade influencia a qualidade, reputação e sobrevida das escolas médicas. No caso do Revalida, a relação estabelecida é com o destino individual do egresso de escolas estrangeiras, em seus diversos contextos de vida pessoal e profissional. Apesar dos objetivos distintos, as duas avaliações se propõem a mensurar a qualidade da formação profissional de médicos que atuarão em nossa sociedade, portanto é desejável que tenham semelhanças quanto à sua elaboração e abordagem. Alguns estudos brasileiros também compararam avaliações análogas, mas não idênticas, como foi proposto pelo presente trabalho. Hamamoto Filho et al.16 analisaram a correlação entre desempenho no Teste de Progresso e em provas de seleção para Residência Médica em um curso de Medicina. Os autores observaram que os alunos com desempenho mais elevado no Teste de Progresso também apresentavam pontuação mais elevada nas provas de residência. Eles concluíram que, apesar de serem instrumentos com objetivos diferentes, ambos avaliavam o conhecimento e a competência cognitiva, e, por isso, apresentaram resultados correspondentes.
Embora os resultados obtidos no Enade sejam utilizados para a classificação das IES, Gontijo et al.17 apontaram falhas metodológicas nos processos de avaliação do Enade de 2004 e 2007, especialmente no que concerne à variação das matrizes e das fórmulas utilizadas em cada ciclo de avaliação, o que inviabiliza a comparabilidade dos resultados, essencial para a melhoria permanente da qualidade da educação médica no país. Segundo os autores, a ausência de eixos de competências pode levantar questionamentos sobre o processo de elaboração das matrizes de referência das provas do Enade para os cursos de Medicina. Os autores ainda acrescentam que a Matriz de Avaliação do Enade, ao misturar conteúdos com competências, torna-se confusa e dificulta a elaboração do perfil da prova e, consequentemente, dos itens. A ausência de matriz de referência de acesso público, com definição das competências estruturantes da formação da graduação em Medicina, com base nas DCN, é apontada no artigo como uma das possíveis causas das falhas observadas nos exames de 2004 e 200717.
Alguns atributos dos métodos e sistemas de avaliação podem ser avaliados quando se pretende analisar a sua qualidade. São eles: validade (propriedade de avaliar exatamente aquilo que se pretende avaliar e a abrangência do conteúdo avaliado em relação ao conteúdo total), confiabilidade ou fidedignidade (atributo que diz respeito a qualidades como a precisão, acurácia e reprodutibilidade), viabilidade (característica relacionada à existência dos recursos necessários para realizar a avaliação), aceitabilidade (característica que permite à avaliação ser reconhecida como adequada e justa), impacto educacional (repercussão sobre o próprio processo de ensino e aprendizado) e efeito catalisador (transformações positivas pelas quais as pessoas e as instituições podem passar)3),(18.
Os resultados deste estudo indicaram maior abrangência do conteúdo pelo Revalida, quando comparado ao Enade em todas as análises realizadas. Observou-se maior número de temas abordados nas provas do Revalida, o que pode ser explicado pelo número maior de itens presentes em cada avaliação (de 100 a 110 no Revalida versus 30 no Enade). Além de abranger mais temas, o Revalida apresenta maior repetição de temas numa mesma edição, o que aumenta a validade e confiabilidade da avaliação.
A análise das áreas de concentração indicou que dez áreas não foram abordadas no Enade 2013 e seis não foram abordadas no Enade 2016. Em relação ao Revalida, duas áreas não foram abordadas em 2015 e todas as áreas foram contempladas na edição 2016, demonstrando maior abrangência da segunda avaliação.
Ainda em relação ao Enade, os resultados indicam que houve repetição de grande parte dos temas nas duas edições analisadas. Identificou-se concentração de grupos específicos de temas que, embora sejam comuns no dia a dia da atuação do médico, representam pequeno percentual da Matriz Revalida. Isso pode indicar pequena abrangência de conteúdos no Enade e/ou o superdimensionamento da Matriz Revalida, que procuraria cobrir todos os temas “possíveis” na tentativa de avaliar a qualificação dos médicos formados no exterior de maneira mais ampla. O número de edições avaliadas neste estudo pode ser um limitante dessa análise. Há a expectativa de que, com o aumento das edições, novos temas sejam incluídos ou excluídos. Contudo, como ainda há a expectativa de que o candidato realize a prova uma única vez, principalmente em relação ao Enade, é imprescindível que a validade do conteúdo de cada edição isolada seja considerada.
Além das questões já discutidas, relativas à validade de conteúdo, outra limitação do Enade é o fato de avaliar exclusivamente a dimensão cognitiva da formação do futuro médico. Será possível avaliar a qualidade da formação do concluinte, ou de um programa de ensino, em uma única avaliação pontual, apenas cognitiva, ao final do curso? Sabidamente, o aumento de número de avaliações e a realização de avaliações com enfoques diferentes sobre o mesmo tema aumentam a confiabilidade3),(18. No Revalida, a inclusão da prova prática de habilidades e atitudes permite avaliação multidimensional e aumenta a confiabilidade do resultado.
No entanto, deve-se considerar que a inclusão de prova prática no Enade pode ser operacionalmente inviável, devido à complexidade logística e ao custo elevado, em razão do grande número de alunos a serem avaliados. Dessa forma, outras alternativas precisam ser analisadas, de modo a garantir maior confiabilidade à avaliação.
Embora não tenha sido objeto de análise neste estudo, devem-se considerar ainda a aceitabilidade, o impacto educacional e o efeito catalisador das duas avaliações, principalmente quando se considera o ranking estabelecido entre as escolas com base no resultado do Enade. O fato de o concluinte não ter a nota do Enade discriminada em seu histórico escolar, já que ela não interfere em sua graduação, pode levar ao descompromisso do concluinte com a avaliação do Enade e, como consequência, gerar um resultado negativo para a escola médica. Já no Revalida, por tratar-se de prova certificativa, há a expectativa de maior compromisso e interesse pessoal do participante, o que pode impactar significativamente e de modo divergente os resultados das duas avaliações. Os órgãos reguladores e as instituições de ensino precisam intensificar as discussões com o intuito de tornar mais fidedignos os resultados do Enade, gerando um impacto educacional e efeito catalisador positivos.
Para garantir um processo avaliativo efetivo, alguns cuidados precisam ser considerados, como a formulação de provas com maior abrangência de conteúdos, com itens que privilegiem o raciocínio clínico, a resolução de problemas e a tomada de decisão. Além disso, para que se possa tornar a avaliação confiável, válida e factível, em lugar de uma única avaliação ao final do curso, o ideal seria que essa avaliação ocorresse de forma progressiva em diferentes momentos do curso, tendo como base uma matriz de referência de conhecimento público, conforme proposto por Gontijo et al.19. A divisão do processo avaliativo poderia tornar viável a realização de provas práticas de habilidade e competências, seguindo o modelo do OSCE ou outros, que seriam complementares à avaliação cognitiva.
É necessário considerar também as características peculiares da atuação médica, carregada de valores morais e éticos. Embora tais características estejam também presentes em inúmeras outras profissões, pesa sobre o médico grande expectativa de êxito, o qual depende de formação acadêmica sólida. Cabe às escolas médicas a responsabilidade de oferecer essa boa formação, e aos órgãos públicos (MEC/INEP) ou às agências independentes (Sistema de Acreditação de Escolas Médicas (Saeme) vinculado ao Conselho Federal de Medicina e à Associação Brasileira de Educação Médica) criar e gerenciar mecanismos eficazes de avaliação que garantam a qualidade da formação.
Por fim, ressalta-se que os resultados deste estudo refletem a análise de apenas dois avaliadores que realizaram a decomposição dos itens, sendo possível que um terceiro avaliador obtivesse um resultado diferente, ainda que próximo. Além disso, embora alguns conteúdos não estejam presentes de forma explícita nos itens analisados, poderiam ser indiretamente necessários para a resolução destes, o que pode subestimar o número de temas da Matriz Revalida abordados nas avaliações. A análise de avaliações de anos anteriores ou posteriores pode também modificar os resultados obtidos neste estudo. No entanto, essas limitações não invalidam os achados do estudo, todas as avaliações foram analisadas pelos mesmos professores, o que torna os eventuais erros de análise comuns aos dois tipos de prova.
CONCLUSÃO
Os resultados indicam que as edições de 2013 e 2016 do Enade apresentam baixa abrangência de conteúdos em comparação com as edições de 2015 e 2016 do Revalida, tendo-se como referência a Matriz Revalida. Identificaram-se também concentração da abordagem em grupos específicos de temas e repetição de um pequeno grupo de temas nas edições analisadas do Enade.