INTRODUÇÃO

As diversas mudanças ocorridas no campo da educação médica nas últimas décadas, em direção à construção de currículos baseados em competências (CBC) e à avaliação de resultados e performance^1),(2, têm levado a várias propostas de intervenção na formação de profissionais de saúde, gerando uma nova missão social das instituições de ensino superior (IES)³. Matrizes de competências para o ensino médico, tanto para graduação, como a proposta pela Association of American Medical Colleges (AAMC), quanto para residência médica, como o CanMEDS, do Royal College of Physicians and Surgeons canadense, e o Milestones Project, do Accreditation Council for Graduate Medical Education norte-americano, formam a base de treinamento para a maioria dos jovens aprendizes médicos no mundo ocidental e são exemplos para escolas médicas em todo o mundo^4)-(8.

No Brasil, as Diretrizes Curriculares Nacionais (DCN) propõem a centralização do ensino da formação médica na atenção primária à saúde (APS)^9),(10. Desse modo, há um crescente interesse pela busca de maneiras inovadoras de ensino que envolvam uma formação ética, crítica, reflexiva e transformadora¹⁰ e que atraiam os estudantes para APS e saúde coletiva^8),(11. Preconiza-se a criação de currículos integrados que apresentem a integração precoce dos estudantes desde os primeiros anos da graduação com profissionais e usuários dos serviços de saúde, em práticas clínicas de forma longitudinal^12)-(14.

Paralelamente ao desenvolvimento dos conceitos relacionados ao ensino, ao longo dos anos no Brasil, sistemas nacionais de avaliação institucional do ensino superior foram criados e aprimorados, incluindo processos de acreditação¹⁵. Usualmente, a avaliação engloba aspectos relacionados à concordância com as DCN, entre outros: o ensino, a pesquisa, a extensão, a responsabilidade social, as instalações, o desempenho dos alunos e o corpo docente¹⁶.

A integração ensino-serviço indicada pelas DCN pode encontrar obstáculos, como a presença de preceptores e professores com formação insuficiente para a docência¹⁴. O docente exerce papel de protagonista nas mudanças curriculares¹⁷, e, para sua efetivação, é necessário desenvolver instrumentos de avaliação do processo de ensino e de avaliação global dos programas e currículos¹⁸.

Em sua maioria, as pesquisas sobre a avaliação do ensino médico focam o uso de vários instrumentos, baseados na visão da competência formada por conhecimentos, habilidades e atitudes, de forma desintegrada^19)-(21. Quanto à avaliação docente, não há padronização, sendo a maioria das iniciativas baseada em avaliações feitas por estudantes, com critérios excessivamente amplos, subjetivos, muitas vezes respondidos com base na personalidade do professor e não em suas competências, sujeitos a fatores de confusão^22)-(25.

Um método avaliativo de docentes precisa apresentar algumas características para ser eficaz: ser contínuo e sistemático; incluir todos os atores envolvidos no processo de ensino-aprendizagem; gerar informações sobre o diagnóstico educacional; levar a reflexões que possam contribuir para melhorias do curso e aprimoramento docente. Há também a necessidade de assegurar o anonimato dos estudantes e garantir que os professores não estejam presentes durante a avaliação²⁶.

A maioria dos professores de Medicina é formada por um modelo hospitalocêntrico, no qual a maior parte de suas experiências deriva mais do seu conhecimento clínico do que de uma formação específica em docência. Assim, é fundamental o aperfeiçoamento do professor para o desenvolvimento da educação baseada em competências, visto que é inegável que o treinamento clínico isolado não fornece preparo adequado para o desenvolvimento de profissionais de saúde em professores¹⁷.

Compreendendo a importância da avaliação dos docentes, principalmente preceptores clínicos, e constatando a escassez de instrumentos e avaliação da prática e formação de competências médicas de maneira satisfatória, um grupo de pesquisadores holandeses desenvolveu um instrumento para avaliação docente por residentes chamado Evaluation and Feedback for Effective Clinical Teaching (questionário EFFECT), validado com base na literatura sobre ensino médico no local de trabalho e incorporando as competências do CanMEDS^27),(28.

Para o melhor desempenho estudantil e para a formação de novos médicos, percebe-se quão fundamentais são os processos contínuos de formação do corpo docente e de preceptores clínicos, e a maior aplicação das ferramentas que auxiliam esse processo. Portanto, é indubitável a relevância da tradução e adaptação para a realidade brasileira de um instrumento de avaliação capaz de avaliar de forma ampla todos os aspectos inerentes à prática docente, visando ao estímulo à avaliação contínua entre discentes, docentes e instituição de ensino, e à promoção da integração teórico-prática e ensino-sociedade.

Este artigo tem como objetivo apresentar o processo de tradução e adaptação transcultural do questionário EFFECT para português do Brasil, que inclui a testagem da sua validade e confiabilidade, a fim de que possa ser utilizado para a avaliação docente por estudantes em cursos de Medicina brasileiros.

MÉTODOS

DISCUSSÃO

Ao longo das últimas décadas, ocorreram profundas mudanças no cenário da educação médica, como a introdução de novas técnicas de ensino e de avaliação, bem como modificações no perfil e no envolvimento dos estudantes universitários⁴⁵. Estes são pertencentes à “geração Z” e cresceram imersos nessa realidade de inovações tecnológicas^46),(47. Para essa geração, é preciso utilizar metodologias centradas no aluno, privilegiando a colaboração, a interdisciplinaridade, a autonomia e a formação crítica e cidadã, de modo a favorecer a aquisição de habilidades de comunicação, liderança, pesquisa e gestão⁴⁶.

Para seguir essas mudanças, é necessário revisar o papel do professor, o que significa abandonar o conceito de professor acadêmico ou enciclopédico, que apenas transmite conhecimento, e de especialista técnico⁴⁸, de modo que o docente passe a exercer uma variedade de atribuições³⁷. Assim, as IES têm enfatizado a avaliação de seus professores com base em competência clínica, habilidades de ensino, qualidades pessoais, envolvimento com os alunos, qualidade na prestação de cuidados aos pacientes, além da capacidade de fornecimento de feedback e orientações ao longo das atividades de ensino⁴⁹.

Neste estudo, foram realizadas tradução, adaptação transcultural e avaliação da validade e confiabilidade do questionário EFFECT em português do Brasil, evidenciando que o instrumento se mostrou válido e confiável para uso no contexto de educação médica brasileira. Pode-se observar, pelos resultados, que não houve grandes dificuldades durante as etapas de tradução, tradução reversa, adaptação e validação por especialistas, considerando que muitos conceitos e valores educacionais são comuns a várias escolas médicas em todo o mundo. Destaca-se a importância de as dificuldades e dúvidas dos respondentes em relação ao questionário terem sido observadas e consideradas para a elaboração da versão final.

Os resultados deste estudo indicam que a versão brasileira do questionário EFFECT tem propriedades psicométricas aceitáveis e pode ser usada para a avaliação do ensino clínico de docentes sob a ótica de estudantes na graduação médica. Todos os domínios demonstraram coeficiente de confiabilidade satisfatório. Destaca-se que os alunos participantes indicaram que alguns itens não podiam ser ainda julgados (NAE). A maior parte desses itens se deve ao domínio “avaliação”, apesar de ele ter sido respondido somente por aqueles que indicaram “sim” na pergunta introdutória do domínio (“Seu(sua) preceptor(a)/supervisor(a) conduz revisões de progresso ou entrevistas de avaliação com você?”). Tal fato pode estar associado a uma não padronização de processos avaliativos das competências discentes ou que estes são avaliados de outras maneiras, não necessariamente a que consta no questionário. Apenas quatro itens do total de 55 do questionário obtiveram pontuação média menor que 5 (resposta equivalente a “bom, continue assim”), demonstrando uma boa avaliação do corpo docente pelos estudantes. Quando analisados os domínios, todos obtiveram média superior a 5.

No domínio “o(a) preceptor(a) como modelo”, os itens 6 (“aplicar resultados de pesquisas acadêmicas”) e 14 (“pede a opinião de outros sobre seu próprio desempenho”) foram os únicos com média inferior a 5. Já no domínio “planejamento de atividades de treinamento”, obteve-se uma alta pontuação (média 5,52) no questionamento sobre a disponibilidade do docente quando o estudante julga necessário. Contudo, houve uma queda na pontuação (5,38) quando indagado se o preceptor separa tempo para o estudante quando este necessita, e uma queda maior (5,15) quando abordado se o docente reserva um tempo para supervisionar/aconselhar o estudante. Em “fornecendo feedback”, dois itens obtiveram média menor que 5: “me deixa pensar sobre meus pontos fortes e fracos” e “retoma feedbacks dados previamente”.

Esses resultados demonstram o quanto é importante e valorizado pelos estudantes que professores estejam abertos para acolher suas necessidades e que planejem momentos específicos para avaliação. A estratégia de feedback proporciona ao aluno uma autoavaliação e deve gerar impacto no seu desenvolvimento. São momentos de interação aluno-professor complexos e dinâmicos⁵⁰. O feedback eficaz deve ser: assertivo, respeitoso, descritivo, oportuno e específico⁵¹. Espera-se que o professor seja capaz de mediar, ouvir e dialogar, privilegiando a troca de ideias e a articulação entre os saberes⁵².

Observa-se que, no domínio “habilidades de ensino”, houve uma boa pontuação em relação ao estímulo à participação ativa em discussões e de estímulo à realização de perguntas (médias de 5,37 e 5,33, respectivamente). Paralelamente a isso, obteve-se pontuação um pouco mais baixa em diversos aspectos, como na revisão dos objetivos de aprendizagem (média 5,0), discussão de questões éticas (média 5,02) e da integração da medicina de evidências no trabalho (média 5,15). Esse resultado corrobora a importância de os professores se manterem atualizados sobre as estratégias de ensino-aprendizagem para garantir práticas pedagógicas eficientes⁵³.

É sabido que, entre os professores médicos, há falta de profissionalização docente, principalmente quanto às habilidades para o ensino, o que muitas vezes está associado a um desconhecimento da estrutura curricular e do perfil do egresso almejado pelas instituições de ensino. Há a necessidade de vencer o ensino conteudista, em que o professor se concentra na técnica e na transmissão simples de informações, sem fazer a integração de disciplinas, e usa métodos de avaliação discente com caráter por vezes punitivo. Tal situação pode ser um obstáculo para médicos que não consideram a docência como sua principal atividade profissional⁵⁴.

Pode-se entender a formação docente universitária de duas maneiras: a não profissional, que entende o ato de ensinar como a repetição de modelos prévios baseados na experiência prática cotidiana; e a profissional, que defende o ensino como um ato complexo constituído por habilidades que podem ser adquiridas, melhoradas e ampliadas por meio de um processo consistente de formação⁵⁵. O critério de ser considerado um bom profissional médico em uma específica área de atuação clínica, apesar de comum em contratações de docentes para cursos de Medicina, não é suficiente para garantir um ensino de qualidade.

Sobre o domínio “características gerais do(a) preceptor(a)”, o item com maior média (5,81) foi quanto a uma relação respeitosa entre aluno-professor (item 43). As médias mais baixas foram as dos itens 45 (“deixa claro que posso contar com ele(a)’’), média 5,57, e 47 (“está aberto(a) a questões/problemas pessoais’’), com média 5,24. Embora tradicionalmente as ações de guiar, orientar e aconselhar na realização de objetivos pessoais, buscando também o desenvolvimento interpessoal e psicossocial para além do ambiente profissional, sejam atribuídas ao “mentor”, e não especificamente ao “preceptor” ou “supervisor”, papéis mais ligados ao ensino em situações clínicas reais⁵⁶, esses resultados demonstram que há ainda espaço para a melhoria da relação aluno-professor.

A dificuldade em obter a adesão dos docentes de Medicina às reformas curriculares tem sido recorrente e pode ser explicada por vários fatores, como a não profissionalização da função docente, dedicação parcial às escolas e insegurança. Um estudo buscou analisar como características dos professores de Medicina de uma universidade de Minas Gerais repercutiam na forma como os alunos avaliam o ensino. Os dados mostraram que professores com menos tempo de graduação, de atuação docente e de experiência, mas que possuem como motivação o prazer de ensinar, são mais bem avaliados que professores mais antigos e experientes⁵².

No Brasil, foi realizado um estudo transversal com 28 discentes acerca das competências de docentes do curso de Medicina da Universidade Federal do Amapá, utilizando grupos focais. Os alunos enfatizaram a importância de oferecer um feedback formativo aos professores. Para eles, a avaliação colabora para que o docente identifique suas deficiências e possa buscar meios de saná-las, além de aumentar o vínculo com os estudantes. A pesquisa também revelou, na opinião discente, que a melhor maneira de avaliar os professores seria por meio de um questionário estruturado com itens objetivos e subjetivos²⁶.

Qualquer instrumento projetado para avaliar a qualidade da educação deve possuir boa validade e confiabilidade. Além disso, os resultados gerados precisam ser úteis para proporcionar melhoria do ensino, apoio e motivação para os professores, avanço e promoção acadêmica, evolução curricular, além de fornecer subsídios para a criação de programas de desenvolvimento docente⁵⁷. Tais características estão presentes no EFFECT.

Em comparação com o estudo original de desenvolvimento do questionário EFFECT²⁷ e um outro estudo prévio sobre sua validação para o lituano³³, existem algumas diferenças em nossa pesquisa que podem influenciar os resultados. O presente estudo foi realizado com um número menor de participantes. Além disso, os estudos prévios utilizaram o EFFECT com médicos residentes, enquanto o nosso estudo aplicou em graduandos. Outra limitação do presente estudo é que não foi realizado reteste.

A versão brasileira do questionário EFFECT se mostrou eficaz e de fácil aplicação, gerando informações que podem ser úteis para as instituições de ensino elaborarem planos de desenvolvimento docente. Na universidade em que este estudo foi desenvolvido, há o Programa de Desenvolvimento Profissional em Educação (PDPE), coordenado em parceria pelas assessorias pedagógicas dos centros e pelo Núcleo de Tecnologias Educacionais, em que são sistematicamente oferecidos cursos para todos os docentes da universidade. O PDPE propõe formação continuada sobre temas atuais e inovadores no âmbito da educação superior para os docentes. Dessa forma, há a expectativa de que o instrumento seja adotado na geração de informações para o processo de planejamento de ações institucionais de formação continuada docente.

CONCLUSÕES

Os resultados deste estudo indicam que a versão em português do Brasil do EFFECT possui propriedades psicométricas aceitáveis para avaliação de professores clínicos por estudantes em cursos de Medicina de IES brasileiras. Destaca-se que não há ainda na literatura local um instrumento validado disponível que possa medir as mesmas competências docentes que o EFFECT.