INTRODUÇÃO

A partir da década de 1970, aprofundou-se no Brasil e em toda a América Latina a discussão sobre como tornar a formação médica congruente com a característica do profissional necessário para atender às demandas da sociedade. O modelo flexneriano, caracterizado por fragmentação do ensino e tendência à hiperespecialização, num contexto em que a formação se dá basicamente nos hospitais escola, não vinha conseguindo atender a essa demanda, apesar de ainda hoje estar bastante presente¹.

Seguindo esse raciocínio, tem sido descrito que as metodologias ativas de ensino aprendizagem apresentam uma oportunidade de modificar a formação médica no sentido de gerar o profissional necessário. Como características dessas metodologias, temos a maior integração com a realidade sociocultural na qual o estudante está inserido e a necessidade de construir o conhecimento coletivamente, valorizando conhecimentos prévios. Além disso, oferecem a possibilidade de formar um profissional capaz de ter as ferramentas necessárias para o constante aprimoramento profissional, tão necessário em uma realidade em que o conhecimento médico cresce exponencialmente².

A aprendizagem baseada em problemas (ABP) é uma das mais difundidas metodologias ativas de ensino. Na ABP, um dos ambientes de aprendizagem mais importantes é a sessão tutorial, que se caracteriza pela presença de grupos em média de oito a dez estudantes que seguem passos preestabelecidos para a construção do conhecimento. Na ABP, o tutor tem um papel que é bastante diferente do papel docente nas metodologias tradicionais de ensino, em que predomina a transmissão de conhecimentos. Um bom tutor deve ser capaz de motivar seus estudantes a trabalhar em equipe no intuito de solucionar situações-problema colocadas a eles, direcionando-os a encontrar o melhor caminho para gerar a produção do conhecimento, num papel de suporte conhecido como scaffoldin^3)-(4.

O tutor tem um papel essencial para o bom funcionamento de um grupo tutorial. Entretanto, como boa parte dos tutores foi formada na metodologia tradicional, isso pode causar-lhes um certo desconforto ao exercerem a função e levá-los a não exercer o papel de dar o verdadeiro suporte para o aluno construir o próprio conhecimento. Dessa maneira, encontramos tutores com papel excessivamente passivo, que permanecem praticamente alheios ao processo. Há outros que, ao sentirem uma preocupação excessiva na cobertura completa dos conteúdos propostos, monopolizam o processo e dificultam que o aluno exerça sua desejada autonomia⁵.

Como condição indispensável para que o tutor exerça seu papel adequadamente, está a avaliação que é realizada nesses estudantes. O reconhecimento de que a avaliação direciona o processo de aprendizagem e não deve ter caráter meramente somativo, mas ser um processo contínuo de ajuste de rumo, faz com que se busquem novas formas de avaliar. Essa reflexão, porém, torna ainda mais complexa e difícil a prática avaliativa¹.

Quando se realiza uma avaliação, vem à tona a necessidade de discutir o conceito de competências, indo além da simples noção de saber fazer uma determinada atividade. É necessário inferir a capacidade do sujeito de discernir as diferentes situações em que estão inseridas essas ações. Dessa forma, ultrapassaremos o “saber fazer” e chegaremos ao “saber agir”⁶.

Para que a avaliação de discentes em sessões tutorias dentro da metodologia ABP alcance seus objetivos, é necessário atentar ao fato que existem características como a subjetividade humana e a limitação do tempo, que nem sempre estão presentes em outras formas de avaliação⁷. Vários métodos diferentes já foram utilizados, desde os mais tradicionais, como testes de múltipla escolha, até formas mais recentes, como autoavaliação e avaliação entre pares. Uma metanálise realizada em 2005 ressaltou a importância da congruência entre as atividades desenvolvidas na ABP e a avaliação⁸.

Para alcançar esse objetivo, o uso de instrumentos de avaliação é extremamente relevante. Para que possa atingir esse propósito, um instrumento deve ser válido, o que significa ser capaz de efetivamente mensurar aquilo a que se propõe. Precisa também apresentar confiabilidade, que está relacionada à reprodutibilidade dos escores que são obtidos de uma avaliação. Além desses dois tradicionais critérios, podemos incluir viabilidade, efeito educacional e aceitabilidade como importantes características de um instrumento. A viabilidade refere-se a custo acessível. O efeito educacional compreende o direcionamento da motivação dos estudantes para o cumprimento de um determinado objetivo, e a aceitabilidade significa que o público interessado endossa a proposta de avaliação⁹.

Os instrumentos de avaliação já reportados na literatura compartilham a intenção de avaliar a performance discente em domínios como capacidade de raciocínio, aplicação de conhecimento, resolução de problemas, profissionalismo, trabalho em grupo e estudo independente. Esses estudos foram realizados na escola de origem dos autores, não havendo publicação de trabalhos que englobem diferentes países ou regiões^10)-(15.

Observa-se que os instrumentos validados utilizados para avaliação de estudantes em sessões tutoriais não apresentam divergências, principalmente no tocante à quantidade de itens, sendo necessária a realização de novos estudos para estabelecer que itens devem compor um instrumento que irá avaliar da melhor maneira possível a performance dos discentes. Salienta-se também a importância de que tais instrumentos sejam elaborados de acordo com a realidade de cada local, respeitando-se, assim, particularidades culturais, socioeconômicas e epidemiológicas, entre outras.

Verifica-se a escassez de estudos em língua portuguesa, com incorporação de características culturais da região, o que justifica o desenvolvimento de um novo instrumento.

Este estudo teve como objetivos desenvolver e realizar a validação de conteúdo para um instrumento de avaliação de estudantes de Medicina em sessões tutoriais, em língua portuguesa.

MÉTODO

O estudo foi realizado em duas etapas. Inicialmente, fez-se uma revisão sistemática rápida, baseada no protocolo produzido pela plataforma PRISMA, com o objetivo de identificar as competências que devem ser avaliadas em estudantes de Medicina, em sessões tutoriais. Elegeram-se artigos, em inglês ou português, que apresentavam instrumentos de avaliação de estudantes de Medicina em sessões tutoriais ou que descrevessem competências que estes devem ter em sessões tutoriais na metodologia ABP.

A pesquisa foi realizada nas bases de dados PubMed, Ebsco e BVS, no período de 2 a 28 de dezembro de 2017 e de 4 a 31 de janeiro de 2018, sem restrição de ano de publicação. Além disso, fez-se também uma pesquisa manual nas referências bibliográficas dos artigos selecionados.

Para a base de dados PubMed, empregou-se a seguinte combinação de palavras-chave (Mesh terms): tutorial AND assessment OR evaluation OR competencies AND medical education AND problem based learning, sendo considerados apenas artigos em inglês e português, no período de 2 a 18 de dezembro de 2017.

Para a base de dados Ebsco, a combinação de palavras-chave foi: tutor OR tutorial AND assessment OR evaluation AND problem based learning AND medical education OR medical school OR medical students OR medical curriculum, no período de 4 a 31 de janeiro de 2018.

Já na base de dados BVS, utilizaram-se as seguintes palavra-chave avaliação AND tutoria AND aprendizado baseado em problemas OR PBL, no período de 28 a 31 de janeiro de 2018.

Para a validação do conteúdo para o instrumento identificado na revisão sistemática rápida, utilizou-se o método Delphi, que se caracteriza por realizar um consenso entre experts no tema¹⁶. Para a composição do painel de especialistas, optou-se por selecionar docentes da Faculdade Pernambucana de Saúde (FPS) com pelo menos cinco anos de atuação como tutores na metodologia ABP. Dessa forma, garantiu-se que o corpo de especialistas tivesse maturidade e experiência profissionais suficientes. Foram excluídos tutores participantes da pesquisa e tutores afastados para qualificação profissional, por licença-maternidade e por problemas de saúde. A FPS possui um curso de Medicina que oferece 192 vagas por ano, e oito turmas já o concluíram. A metodologia utilizada é, desde o início do curso, a ABP. A instituição também oferece mestrado profissional em Educação para o Ensino na Área de Saúde e em Psicologia da Saúde. O programa começou em 2011 e utiliza metodologias ativas de ensino.

O conteúdo para o instrumento, em sua versão preliminar, foi enviado por correspondência eletrônica ao painel de especialistas. Os itens foram apresentados em formato de escala de Likert, sendo solicitado o grau de concordância com a presença do item na versão final do instrumento: 1 = concordo totalmente, 2 = concordo parcialmente, 3 = não concordo nem discordo, 4 = discordo parcialmente e 5 = discordo totalmente.

Para o envio do referido conteúdo, utilizou-se o software LimeSurvey. Neste estudo, adotou-se o valor de 70% de consenso na concordância total ou parcial de um determinado item como nível mínimo a ser alcançado para a inclusão do item na versão final do conteúdo para o instrumento, valor comumente utilizado em estudos similares. Previu-se um total de duas ou três rodadas.

Para a avaliação dos estudantes, é utilizado atualmente na FPS um instrumento que inclui os seguintes critérios: pontualidade; uso do conhecimento prévio para explicar e identificar o problema; participação no fórum do ambiente virtual de aprendizagem entre as sessões de abertura e fechamento, e contribuição com informações para o estudo do grupo; exposição de ideias de forma clara e organizada no grupo; bom desempenho da função de coordenador, secretário ou membro do grupo; interação harmônica com os demais membros do grupo. A avaliação é realizada ao final de cada grupo tutorial.

A coleta de dados iniciou-se em outubro de 2018, quando da primeira rodada Delphi, após aprovação do Comitê de Ética em Pesquisa da FPS, e estendeu-se até janeiro de 2019.

RESULTADOS

Na revisão sistemática rápida, consultaram-se três bases de dados. Na base de dados PubMed, identificaram-se inicialmente 1.637 artigos, e mais um foi identificado na verificação manual das referências dos artigos selecionados. Desses, 1.571 foram descartados pelo título, por não fazerem referência ao tema da pesquisa. Dos 66 artigos restantes, descartaram 42 após leitura do resumo e 17 depois da leitura na íntegra. Por fim, incluíram-se sete artigos.

Quanto à base de dados Ebsco, inicialmente se identificaram 3.865 artigos, sendo 3.841 descartados pelo título, por não se referirem ao tema da pesquisa. Dos 24 restantes, dez foram descartados por já terem sido identificados na pesquisa feita na plataforma PubMed e 12 após leitura do resumo. Finalmente, dois artigos foram lidos na íntegra, não sendo nenhum deles incluído no estudo. Por fim, na base de dados BVS, foram inicialmente identificados 199 trabalhos, sendo 178 descartados pelo título e 21 pelo resumo, todos por não fazerem referência ao objeto desta pesquisa.

Ao final da revisão, identificaram-se sete artigos científicos que traziam instrumentos de avaliação (Quadro 1)^{10)-(15), (17}. Após, elaborou-se uma versão inicial do conteúdo para o instrumento, baseado na síntese dos instrumentos analisados. Buscou-se incorporar pontos de todos os instrumentos selecionados, criando domínios que resumissem os principais tópicos presentes nos instrumentos identificados. Para não tornar o número de itens extremamente elevado, retiraram-se aqueles que estariam contemplados em outros, sem prejuízo do conteúdo final. Finalmente, a versão inicial do conteúdo para o instrumento foi composto por itens divididos nos domínios de aprendizagem utilização de recursos de aprendizagem, compreensão e raciocínio, profissionalismo e trabalho em equipe, e resolução de problemas e efetividade no grupo, cada um com oito itens (Quadro 2).

O conteúdo para o instrumento, em sua versão preliminar, foi enviado por correspondência eletrônica aos 32 tutores da FPS com pelo menos cinco anos de atuação. Do total de tutores, 20 aceitaram participar da pesquisa, dos quais três foram excluídos por não terem preenchido o questionário completo. Dos 17 participantes, cinco eram do sexo masculino, e 12, do sexo feminino. O tempo médio de formado em medicina foi de 29 anos, variando de 14 a 36. O tempo de exercício na função docente em uso da metodologia ABP variou de cinco a 12 anos. Entre os participantes, 11 tinham doutorado e seis eram mestres, sendo dois com mestrado na área de educação. Dos 17, sete eram membros do Núcleo Docente Estruturante do curso, e dois eram docentes também do mestrado em Educação para o Ensino na Área de Saúde da instituição.

Verificou-se nível de concordância total ou parcial superior a 70% para todos os itens da versão preliminar do conteúdo para o instrumento. Assim, concluída a análise dos dados dessa primeira etapa, optou-se por incluir no instrumento apenas os itens que apresentaram 70% ou mais de concordância total sobre cada item. Retiraram-se quatro itens do domínio utilização de recursos de aprendizagem, três do domínio profissionalismo e trabalho em equipe e quatro do domínio resolução de problemas e efetividade no grupo. Diante do alto grau de concordância verificado, foi considerada desnecessária a realização de uma segunda rodada de apreciação do instrumento pelos especialistas (Tabela 1).

DISCUSSÃO

A avaliação como direcionadora do processo de aprendizagem tem sido considerada um importante ponto de discussão na educação médica, buscando ultrapassar a concepção de avaliação da aprendizagem para alcançar uma avaliação para a aprendizagem¹⁸. Nesse contexto, a elaboração de instrumentos validados oferece a possibilidade tornar a avaliação mais fidedigna e capaz de alcançar seus objetivos.

Os instrumentos selecionados na revisão sistemática trazem itens que não necessariamente são de fácil interpretação, o que caracteriza uma dificuldade para o grupo de experts. Como exemplo, pode-se analisar o item “Demonstra esforços para melhorar”, que permite o entendimento sobre a referência a uma melhora puramente individual ou uma evolução na capacidade coletiva do grupo tutorial em alcançar os objetivos de aprendizagem.

O conteúdo para o instrumento validado neste estudo, com um alto grau de concordância entre os painelistas já na primeira rodada, foi realizado em um contexto sociocultural específico, diferente dos locais sedes dos outros estudos já publicados. Entretanto, isso não representou diferenças substanciais dos instrumentos já publicados na literatura^10),(12)-(15. Atribui-se isso ao fato de a versão preliminar do conteúdo para o instrumento apresentada aos especialistas ter contemplado itens já descritos na literatura, que estão de acordo com os instrumentos anteriores e com os objetivos de aprendizagem da ABP, e ao fato de o painel ter sido formado por tutores experientes, com no mínimo cinco anos de atuação na área.

O número de itens da versão final desse instrumento foi de 13, tendo sido verificados na literatura instrumentos que variaram de quatro a 50 itens. Por um lado, um instrumento muito extenso pode tornar a avaliação cansativa, exigir muito tempo para sua aplicação e comprometer sua viabilidade. Por outro lado, uma quantidade maior de itens pode representar uma capacidade de abranger maior número de competências que poderiam ser esperadas do estudante.

No intuito de contribuir para a discussão quanto ao número de itens, podemos fazer uma análise mais pormenorizada de itens excluídos da versão final do conteúdo para esse instrumento. No domínio 1, notemos a exclusão do item “Demonstra conhecimento prévio referente à situação-problema”. É inerente ao arcabouço epistemológico da ABP a percepção de que o aluno deve construir seu conhecimento a partir de situações-problema tendo como ponto de partida conhecimentos prévios, sejam individuais ou adquiridos dos demais membros do grupo. Dessa forma, a exclusão desse item não pode significar uma negativa a esse paradigma. O que se espera é a interpretação por parte do avaliador que essa característica pode contribuir para a melhor performance em outros itens, como os itens “É capaz de formular conclusões sobre o problema”, “Usa os dados essenciais fornecidos pelo caso” e “Participa ativamente na definição dos objetivos de aprendizagem”.

Já no domínio 3, de maneira similar, a exclusão do item “Utiliza e oferece ao grupo referências bibliográficas adequadas para a resolução da situação-problema” não significa que a capacidade de um estudante em buscar conhecimento nas melhores fontes de aprendizagem não deva ser valorizada como algo crucial para o desempenho dele, particularmente no cenário médico-científico atual de enorme divulgação de informações, algumas delas de origem não confiável. Espera-se, portanto, que itens como “Propõe hipóteses diagnósticas e tratamentos” serão bem avaliados quando o estudante os propuser respaldado nas melhores evidências científicas.

O instrumento atualmente utilizado na instituição-sede deste estudo apresenta apenas seis itens. Entre eles, podemos citar o item pontualidade, que não esteve presente em nenhum instrumento selecionado na revisão sistemática rápida, sendo apenas citado como relevante para a avaliação do critério profissionalismo no estudo de Lee et al.¹⁵. Outro item a destacar é a participação no fórum do ambiente virtual de aprendizagem. Os estudos selecionados não descrevem a presença ou não desse ambiente de aprendizagem nas suas escolas.

Além de não contemplar esses dois pontos anteriormente citados, o conteúdo validado neste estudo mostra uma presença maior de itens que serão mais observáveis na primeira sessão tutorial, em detrimento de itens que avaliem questões mais relacionadas à sessão de fechamento. Assim, características como as relacionadas a aspectos cognitivos, à capacidade de síntese e à aquisição de conhecimentos podem não ser avaliadas satisfatoriamente.

Verifica-se, na maioria das escolas médicas brasileiras que utilizam a ABP, a presença de docentes com excelente formação técnica na área de saúde, mas nem sempre com a formação pedagógica adequada. Essa deficiência na formação docente pode fazer com que alguns entendam a avaliação apenas como função burocrática para definição de critérios com o propósito de selecionar os alunos que irão avançar no curso, não considerando toda a magnitude da avaliação como direcionadora da aprendizagem. Dificilmente um docente fará uma boa avaliação sem total conhecimento dos seus propósitos. Tem sido descrito que alguns tutores, ao não compreenderem a complexidade da ABP, privilegiam na avaliação apenas aspectos cognitivos, em detrimento de aspectos como trabalho em equipe, cooperação e construção coletiva do conhecimento¹⁹.

Outro aspecto que deve ser pontuado é que a grande maioria dos docentes teve sua formação na metodologia tradicional baseada em aulas expositivas e memorização de conteúdos. Esse aspecto faz com que alguns não exerçam adequadamente sua função de tutor, tendo uma excessiva preocupação com a cobertura dos conteúdos. Isso coíbe o protagonismo do estudante e o impede de exercer seu potencial em questões como liderança, trabalho em equipe e estímulo à participação dos colegas. Sem espaço para desenvolverem essas habilidades e atitudes, os alunos não poderão ser avaliados adequadamente em todos os aspectos do instrumento⁴.

É muito importante que seja realizada, entre os tutores da instituição que utilizam um instrumento de avaliação, a uniformização sobre como interpretar cada item, o que, por vezes, pode ser bastante complexo. Podemos citar, por exemplo, a dificuldade de conceituar uniformemente o termo profissionalismo, que, por vezes, mostrou-se descrito de formas diferentes na literatura²⁰. No conteúdo para instrumento validado neste estudo, observamos itens como “Identifica situações de oportunidades para aquisição de novos conhecimentos”, que pode não ser facilmente observável ou ser interpretado de forma desigual por parte dos tutores, ou “Usa os dados essenciais fornecidos pelo caso”, que pode levar à conclusão, às vezes equivocada, de que os tutores têm a mesma clareza sobre quais são esses dados, a partir da noção de que estes serão os tópicos do caso mais importantes para a resolução da situação-problema.

CONCLUSÃO

Observou-se que a revisão sistemática previamente realizada identificou um número pequeno de instrumentos de avaliação. Esse fenômeno pode ter ocorrido porque muitas instituições de ensino usuárias da metodologia ABP não possuem seus instrumentos de avaliação publicados na literatura. É de se esperar que, se mais instrumentos estivessem disponíveis, novas informações e novos itens poderiam ter sido avaliados pelos experts como importantes para a composição dessa versão final. Além disso, não fica claro se a exclusão de determinados itens da versão inicial foi baseada na necessidade de diminuir o tamanho do instrumento ou na percepção de alguns experts que tais competências seriam dispensáveis.

Conclui-se que o conteúdo para o instrumento apresentou validade de conteúdo, com alto percentual de concordância, de um instrumento que engloba os domínios utilização de recursos de aprendizagem, compreensão e raciocínio (quatro itens), profissionalismo e trabalho em equipe (cinco itens) e resolução de problemas e efetividade no grupo (quatro itens), o que está congruente com os objetivos da metodologia ABP descritos na literatura

Este estudo tem como outra limitação a característica de ter validado um instrumento com a participação de tutores de apenas uma instituição, que tem missão e cultura organizacional diferentes de outras. Além disso, necessitamos da utilização do instrumento por um período considerável de tempo para atestar sua capacidade de direcionar a aprendizagem dos estudantes. Sugerem-se também novos estudos que avaliem a possibilidade de refinar ainda mais o instrumento, diminuindo a quantidade de itens, aumentando assim sua viabilidade e aceitabilidade por parte dos avaliadores, sem com isso diminuir a importância de considerar a avaliação de alunos em tutorias em toda a sua magnitude.