Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
As últimas décadas têm sido palco de algumas mudanças de paradigma na educação médica, entre elas um interesse crescente e renovado sobre a educação baseada em competências1),(2. Apesar de o conceito de competência despertar alguma controvérsia3),(4, uma definição aceita refere-se ao “uso habitual e criterioso de comunicação, conhecimento, habilidades técnicas, raciocínio clínico, emoções, valores e reflexão na prática diária para o benefício do indivíduo e da comunidade que está sendo servida”5) (p226). A educação baseada em competências é focada nos resultados educacionais, por meio do ensino-aprendizado, contínuo e flexível, de conjuntos de conhecimentos, habilidades e atitudes que serão necessários para as situações com que um médico terá de se confrontar em sua prática6.
No Brasil, a Comissão Nacional de Residência Médica (CNRM) acompanha essa mudança e participa dela, e, nos últimos anos, aprovou e publicou matrizes de competências de várias especialidades. Essas matrizes delineiam esses conjuntos de competências para cada especialidade médica.
A implementação dessas mudanças não trouxe apenas novos desafios para os programas de residência médica (PRM), mas também oportunidades para reavaliação dos programas como um todo, desde a estruturação do ensino até a sistematização da avaliação.
A avaliação constitui um dos pilares centrais da educação médica baseada em competências, devendo ser contínua, fundamentada em critérios claros e com caráter eminentemente formativo, sendo indispensável o provimento de feedback7),(8. Para tanto, deve-se buscar a sistematização com métodos ou instrumentos de avaliação que atinjam alguns padrões de qualidade.
A medida da utilidade prática de um instrumento de avaliação envolve a análise de variáveis como confiabilidade, validade, aceitabilidade, impacto educacional e custo9. A confiabilidade consiste na reprodutibilidade de um teste e é influenciada por fatores como conteúdo, tempo e número de avaliadores. A validade se refere à adequação de um teste para a avaliação de determinado conteúdo ou propósito. A aceitabilidade está relacionada à crença dos avaliadores e avaliados no processo e nos resultados. E o impacto educacional envolve o benefício educativo que a preparação para o processo avaliativo determina naquele que será avaliado9),(10.
O fato de a radiologia não ser uma especialidade puramente clínica nem cirúrgica cria uma limitação na escolha de instrumentos avaliativos, ou seja, instrumentos disponíveis e já validados para avaliação de habilidades clínicas ou para habilidades relacionadas a procedimentos invasivos nem sempre se enquadram bem no contexto dessa especialidade.
Nos Estados Unidos, o Accreditation Council for Graduate Medical Education (ACGME) e o American Board of Medical Specialties (ABMS) desenvolveram, nas duas últimas décadas, um programa de Milestones que se baseia na observação e no acompanhamento de marcos significativos para o desenvolvimento dos residentes. Esses marcos são definidos para cada nível, por meio de várias ferramentas de avaliação, como observação direta, casos simulados, feedback com múltiplas fontes, entre outras11)-(13. No Reino Unido, o Royal College of Radiologists (RCR) utiliza um sistema de atividades profissionais confiáveis (APC)14),(15 e introduziu, em 2010, algumas ferramentas para avaliação, como o mini-Imaging Interpretation Exercise (mini-IPX) e o Radiology Direct Observation of Procedural Skills (Rad-DOPS)16),(17, embora os estudos acerca de sua utilização ainda sejam bastante escassos.
Historicamente, os PRM no Brasil têm utilizado formas mais tradicionais de ensino e avaliação, com priorização do aspecto cognitivo. Além de relatos sobre avaliações anuais seriadas realizadas pelo Colégio Brasileiro de Radiologia18 - que testa os residentes com questões de múltipla escolha e disponibiliza as médias obtidas pelas turmas de residentes para os supervisores dos programas, com valor para a prova de título de especialista, ou seja, de natureza somativa -, não encontramos, na literatura médica brasileira, estudos sobre sistemática ou métodos de avaliação formativa em programas de residência de radiologia.
Nesse contexto, buscando a adequação e o aprimoramento da formação dos residentes do Programa de Radiologia e Diagnóstico por Imagem do Hospital Universitário Onofre Lopes (Huol) da Universidade Federal do Rio Grande do Norte (UFRN), este estudo se propôs a elaborar e implementar um método avaliativo com caráter essencialmente formativo, que englobasse conhecimentos, habilidades e atitudes, não se prendesse aos métodos tradicionais de avaliação informal e subjetiva, e criasse oportunidades para feedback nos cenários de prática da residência.
MÉTODO
Trata-se de um estudo de abordagem descritiva, exploratória e de intervenção, que consistiu em três etapas.
Na primeira etapa, foi realizada uma oficina com residentes e preceptores do Programa de Residência Médica em Radiologia e Diagnóstico por Imagem (PRM-RDI) do Huol-UFRN, com o objetivo de discutir os tipos e instrumentos de avaliação e seu papel na formação do residente. Os pesquisadores utilizaram metodologias ativas para a conceituação e compreensão da avaliação por competências, com apresentação de alguns instrumentos de avaliação de habilidades largamente utilizados na educação médica, como o Objective Structured Clinical Examination (OSCE)19, o Mini-Clinical Evaluation Exercise (mini-CEX)20),(21 e o Direct Observation of Procedural Skills (DOPS)22, e promoveram uma posterior discussão de formas e técnicas que podem ser adotadas para provimento de feedback nessas avaliações.
Como exemplo de atividade desenvolvida em que se utilizaram metodologias ativas nessa primeira oficina, realizou-se um exercício visando à compreensão da avaliação baseada em competências. Os participantes foram divididos em três grupos, cada qual com a tarefa de planejar um processo de avaliação do residente em três domínios: conhecimentos (exemplo: os princípios da física na radiografia), habilidades psicomotoras (exemplo: ultrassonografia Doppler dos vasos hepáticos) e atitudes (exemplo: informar os familiares sobre uma complicação grave de biópsia hepática guiada por tomografia). Após a apresentação da tarefa por cada grupo, foi feita a discussão da atividade com todos. Ao final, os pesquisadores fizeram um compilado da discussão e uma breve apresentação dos pontos mais relevantes sobre avaliação baseada em competências.
A segunda etapa consistiu em uma segunda oficina com o objetivo de construir coletivamente um instrumento avaliativo que se adequasse à realidade do PRM-RDI do Huol-UFRN. Dividiram-se os participantes em dois grupos (ambos incluindo preceptores e residentes), e, tendo em mãos o mini-CEX, eles foram estimulados a pensar em competências a serem avaliadas nos cenários de prática da radiologia clínica, com seus respectivos descritores. Ao final de duas horas, o material proposto pelos dois grupos foi exposto e discutido por todos, sendo então sintetizado em um único instrumento.
Como última atividade das oficinas, realizou-se uma dinâmica denominada “Que bom! Que pena! Que tal?”, na qual os participantes registraram em post-it, em poucas palavras, pontos positivos, negativos e sugestões quanto ao desenvolvimento das oficinas.
A participação nas oficinas foi livre, sendo convidados todos os preceptores e residentes do serviço, sem critérios de inclusão ou exclusão, e sem número predeterminado de participantes.
Na terceira e última etapa, foi feita a aplicação do instrumento pelos preceptores, com acompanhamento inicial pelos pesquisadores, para resolução de dúvidas e refinamento do instrumento e dos descritores das competências.
Em todas as etapas, impressões e comentários dos participantes (preceptores e residentes) foram registrados em um caderno de campo pelos pesquisadores.
RESULTADOS
As duas oficinas ocorreram nos meses de junho e julho de 2019. Participaram os três pesquisadores, 16 preceptores (dos dezenove em atividade no programa) e cinco residentes (dos doze matriculados). Quanto à área específica de formação dos preceptores, constatou-se a presença de 11 (69%) especialistas em radiologia e diagnóstico por imagem e de cinco (31%) especialistas em ultrassonografia, com tempo de atuação em preceptoria entre dois e 11 anos (média de sete anos). Apenas três (19%) dos preceptores referiram alguma formação relacionada ao ensino. Os preceptores atuavam nos setores de radiologia convencional (25%), tomografia computadorizada (56%), ultrassonografia (50%), ressonância magnética (44%), mamografia (6%) e densitometria óssea (6%), vários deles em mais de um setor.
Os cinco residentes participantes constituíam 42% da turma de residentes ativos no momento das oficinas, tendo sido convidados com o objetivo de contribuírem com a sua visão em relação ao processo avaliativo.
O instrumento de avaliação resultante das oficinas está demonstrado na Figura 1. Contém inicialmente um cabeçalho com os nomes do residente e do preceptor, o local da avaliação, o exame realizado, além de informações relacionadas à experiência prévia do residente com esse exame e o seu grau de dificuldade. A seguir, são apresentadas sete competências que devem ser graduadas em relação ao esperado para o nível do residente, descritas no Quadro 1, e uma escala para conceito geral. Há ainda um local para marcação de competências que eventualmente não puderem ser avaliadas e, ao final, campos para comentários do preceptor e do residente sobre a avaliação.
Quadro 1 Descritores das competências do instrumento avaliativo.
| Competência | Descritivo |
|---|---|
| Conhecimento do método, da técnica e do protocolo do exame | Demonstra conhecimento dos fundamentos físicos do método de imagem utilizado, reconhecendo e ajustando, quando possível, os parâmetros técnicos e o protocolo do exame; utiliza efetivamente as ferramentas de aquisição e/ou de avaliação das imagens; identifica e corrige, quando possível, erros de técnica ou protocolo que possam afetar a qualidade da avaliação. |
| Conhecimento da anatomia relevante | Demonstra conhecimento da anatomia normal da região estudada; identifica variantes da normalidade, especialmente as que influenciam a evolução, o prognóstico ou o tratamento do paciente. |
| Detecção de alterações do exame | Adota uma sequência lógica e efetiva de avaliação; identifica as alterações e anormalidades relacionadas à indicação clínica; identifica alterações incidentais, especialmente as que podem afetar o prognóstico e tratamento. |
| Interpretação clínico-radiológica | Sintetiza e interpreta os achados de imagem em correlação com sinais, sintomas e demais dados clínicos e/ou cirúrgicos; identifica corretamente pseudolesões ou outras “armadilhas” do exame. |
| Busca ativa de informações clínicas | Procura ativamente informações clínicas e cirúrgicas relacionadas ao exame, especialmente quando estas são insuficientes, de forma cordial e precisa, com o paciente e/ou assistente; busca inconformidades de informações clínicas em relação às alterações de imagem observadas; busca informações adicionais no prontuário ou nos sistemas eletrônicos de informações do paciente. |
| Qualidade do laudo elaborado | Descreve os achados de forma organizada, sucinta e clara; prioriza os achados mais importantes na conclusão; sugere novos exames ou condutas de forma apropriada e racional; segue corretamente as regras de ortografia e gramática. |
| Profissionalismo e qualidades humanísticas | Apresenta-se adequadamente ao paciente ou a outros profissionais, quando necessário; mostra respeito, compaixão, empatia, estabelece confiança, atende às necessidades de conforto, confidencialidade e modéstia. |
Fonte: Oficinas de avaliação.
As avaliações e os comentários dos participantes sobre as oficinas são apresentados por meio de nuvens de palavras nas Figuras 2, 3 e 4.
Fonte: Elaborada pelos autores.
Figura 2 Representação do exercício de avaliação das oficinas, item “Que bom!”, em síntese de palavras no WordArt.com™.
Fonte: Elaborada pelos autores.
Figura 3 Representação do exercício de avaliação das oficinas, item “Que pena!”, em síntese de palavras no WordArt.com™.
Fonte: Elaborada pelos autores.
Figura 4 Representação do exercício de avaliação das oficinas, item “Que tal?”, em síntese de palavras no WordArt.com™.
Na terceira etapa, antes do início da aplicação do instrumento avaliativo, foi realizada uma reunião do coordenador do PRM-RDI do Huol-UFRN (primeiro autor) com todos os residentes, para exposição dos conceitos de avaliação por competências, feedback e apresentação do instrumento. Ficou definido que a identificação de oportunidades para aplicação do instrumento poderia ser feita tanto pelos residentes quanto pelos preceptores.
O instrumento foi aplicado 33 vezes, num período de seis meses. Todos os residentes do serviço foram avaliados pelo menos uma vez. Nove dos 16 preceptores (56%) aplicaram as avaliações. Os motivos para a não aplicação referidos por alguns preceptores foram o tempo, o esquecimento e o receio ou sentimento de despreparo em relação ao provimento de feedback. A maioria das avaliações foi realizada no setor de ultrassonografia (55%), seguido da tomografia computadorizada (27%), radiologia geral (9%) e ressonância magnética (9%).
DISCUSSÃO
A avaliação dos residentes nos PRM em radiologia e diagnóstico por imagem no Brasil geralmente é baseada em testes de múltipla escolha e observação não sistematizada da prática diária. O presente estudo propõe um instrumento de avaliação ampliado, que vai além do conhecimento cognitivo, contemplando as principais habilidades e atitudes necessárias à formação.
Entre os principais desafios e dificuldades no processo avaliativo, destacamos a falta de formação pedagógica da equipe de preceptores, que é um problema comum em nosso país. Esse problema está relacionado ao baixo interesse dos profissionais, à falta de estímulos e à pouca oferta de treinamentos disponíveis23. Em nosso serviço, apesar de todos os preceptores terem no mínimo especialização ou residência médica, apenas uma pequena porcentagem refere algum tipo de treinamento formal em ensino.
No presente estudo, a realização das oficinas de avaliação foi fundamental para a introdução dos conceitos de avaliação de competências e para o entendimento da importância da avaliação formativa. Com esses conceitos em mente, os preceptores, antes acostumados com avaliações estritamente cognitivas, ampliaram seus horizontes para as habilidades e atitudes. A discussão de competências a serem avaliadas entre os preceptores levou a uma segunda constatação: a avaliação deve ser utilizada para nortear o ensino. Algumas atitudes simples levantadas no processo de construção do instrumento suscitaram autoquestionamentos sobre as atitudes dos próprios preceptores. Por exemplo, um dos pontos incluídos no instrumento, entre as qualidades humanísticas, o “apresentar-se ao paciente”, foi referido como esquecido muitas vezes pelos preceptores do setor de ultrassonografia. Isso se deve à rotina de os residentes fazerem a primeira avaliação sozinhos e o preceptor entrar posteriormente na sala de exame, analisar ou refazer as imagens, discutir os achados com o residente e sair. Incluir esse ponto no instrumento faz-nos lembrar que tecnologias duras em saúde são utilizadas e operadas por pessoas, e devem fazer parte dos esforços de humanização da formação.
A avaliação de competências na radiologia apresenta ainda alguns outros desafios importantes. Recentemente, em dezembro de 2020, foi publicada a matriz de competências para a radiologia pela CNRM24, no entanto ela não detalha que instrumentos devem ser utilizados para avaliação dessas competências. Instrumentos como o mini-CEX, amplamente validado para a avaliação de competências clínicas, como habilidades de entrevista e exame físico, não são exatamente adequados para a radiologia. O instrumento elaborado assemelha-se ao mini-CEX, tanto no desenho quanto na proposta de utilização, porém a maioria das competências incluídas está, direta ou indiretamente, contemplada na matriz da CNRM para a radiologia.
O instrumento apresentou, ainda, vários pontos convergentes com outra ferramenta avaliativa específica para a radiologia, o mini-IPX - que também avalia conhecimentos anatômicos, habilidades interpretativas e clareza do laudo, por exemplo -, embora ele não tenha sido usado como base nas nossas oficinas. Uma diferença fundamental entre eles é que o mini-IPX foi desenvolvido para utilização no sistema de APC do Reino Unido16),(17, sendo, por conseguinte, um pouco mais complexo.
Consenso recente ressalta que, para ser formativa, a avaliação deve ser informal e aproveitar oportunidades de inserção prática na rotina de trabalho, com o objetivo principal de estimular o aprendizado, de modo a buscar um “efeito catalítico” que consiste em prover resultados e feedback que motivem os envolvidos a criar, melhorar e apoiar a educação25. O mesmo consenso elenca como principais características almejadas em uma avaliação formativa: validação, viabilidade e aceitabilidade.
Em relação à viabilidade da aplicação de instrumentos de avaliação, o tempo é referido como um limitador a ser lembrado. De maneira geral, os serviços de radiologia seguem uma rotina de trabalho taylorístico, ou seja, assemelhada a uma linha de produção, em que os radiologistas participam de várias etapas, como orientação, execução e análise do exame, além de confecção dos relatórios ou laudos. O residente está inserido nessa “engrenagem”, e quaisquer tarefas adicionais propostas ao preceptor devem buscar minimizar o seu impacto na rotina de trabalho, para se tornarem factíveis. O instrumento desenvolvido apresenta um perfil de aplicação intuitivo e rápido, com baixo impacto no fluxo de trabalho, em geral com menos de 15 minutos para o preenchimento e provimento direto de feedback.
Observamos, nas oficinas e na fase de aplicação do instrumento, que o provimento de feedback é um dos pontos cruciais de nosso estudo. Tanto preceptores quanto residentes relatam dificuldades nesse processo, sendo comuns o estranhamento ou o receio em receber ou em dar as devolutivas, dependendo das circunstâncias. A utilização do instrumento avaliativo oportuniza o provimento de um feedback significativo, inserido na prática e individualizado. Isso fortalece, por exemplo, a regularidade das devolutivas, o reforço e a correção de comportamentos observados, e a confirmação do entendimento - características que aumentam a efetividade do feedback26.
CONCLUSÕES
Este estudo teve como objetivo construir um instrumento de avaliação formativo para o PRM-RDI do Huol-UFRN, já que não estão disponíveis ferramentas de avaliação desse tipo, específicas para essa especialidade, no país. Observou-se que, para a construção e aplicação desse instrumento, foi fundamental e necessária a realização de oficinas de capacitação para o corpo de preceptores, introduzindo uma nova cultura de avaliação no programa.
O instrumento elaborado apresentou viabilidade, baixo custo e teve boa aceitabilidade entre preceptores e residentes, servindo como marco inicial na busca por uma avaliação sistematizada na residência médica. Como indicação para futuros estudos, entendemos que um instrumento avaliativo, independentemente do propósito, deve ser amplamente validado, sendo necessária a sua utilização em outros PRM com esse objetivo.
