Etapa 1 - Diagnóstico situacional

Participaram dessa etapa, relativa ao diagnóstico do problema, todos os professores e preceptores que atuavam na residência médica em pediatria e que preencheram os critérios de inclusão, totalizando 21, sendo 15 docentes e seis preceptores. Desses, 76% (16/21) são do sexo feminino, com idades variando de 29 a 62 anos (média de 46,5 anos); tempo de formação, de sete a 38 anos (média de 22,3 anos); e tempo de docência, de um a 37 anos (média de 13,6 anos). Quanto à titulação, 23,8% (5/21) possuem doutorado; e 33,3%, mestrado (7/21).

Dos 21 participantes, dez (48%) informaram que não tinham capacitação formal em avaliação e que utilizavam métodos avaliativos tradicionais, por experiência própria no ambiente de serviço. Nesse percentual, estão inclusos todos os preceptores, o que recai sobre o fato de não haver uma exigência de formação pedagógica para o exercício da preceptoria¹⁷, apesar de ser papel do preceptor ensinar, acompanhar na prática diária e avaliar os médicos em formação. Os preceptores, além do bom conhecimento específico na área de atuação, precisam de atividades de desenvolvimento docente e de apoio institucional permanente que os auxiliem no aprimoramento de suas habilidades de ensino¹⁸.

Quanto aos métodos avaliativos, 81% (17/21) dos participantes informaram utilizar mais de um, com finalidade somativa, para obter uma avaliação mais abrangente e fidedigna. Segundo Norcini et al.¹⁹, a estrutura para uma boa avaliação consiste na combinação organizada de métodos, com o intuito de compor um sistema de avaliação, contudo nenhum dos docentes/preceptores utiliza uma avaliação sistematizada de habilidades clínicas, psicomotoras ou afetivas do médico residente, nem fornece feedback. Dessa forma, apesar da diversidade de métodos avaliativos, não há garantia de ausência de fragilidades²⁰.

Nos depoimentos dos docentes e preceptores, pode-se evidenciar uma preocupação coletiva com essa inadequação nos métodos avaliativos:

Ótima pesquisa. Sempre me incomodou a avaliação sem recursos. Acredito que há riscos de injustiça (D2).

Reconheço a pobreza nos métodos tradicionais de avaliação. Talvez por acomodação e resistência às mudanças ainda não conseguimos sair desta zona de conforto. Aberto a novas experiências (D6).

Esses depoimentos corroboram os resultados obtidos por Zimmerman et al.²⁰, em que docentes afirmaram dificuldade em avaliar e formular provas por falta de embasamento teórico, além da ausência de padronização no curso de Medicina.

A importância da avaliação de desempenho, nesse nível de formação, deve-se à sua potencialidade para verificar habilidades clínicas (comunicação, exame físico e procedimentos), e a avaliação contínua e formativa permite a correção de falhas e reduz a possibilidade de erros.

Ross et al.²¹, em um estudo de coorte retrospectivo, analisaram o desempenho e a progressão dos médicos residentes quando avaliados por um sistema tradicional de avaliação somativa, comparado a um sistema de avaliação baseado em competências. Nessa perspectiva, evidenciaram a eficácia da abordagem dos residentes com dificuldades, com foco na possível correção das falhas. Os métodos avaliativos tradicionais identificavam os problemas dos residentes, mas não eram eficazes na correção das lacunas apresentadas, talvez porque as avaliações fossem desconectadas das observações diárias.

Nesta pesquisa, observou-se que o método mais utilizado é a avaliação global, com 76,2% (16/21) das respostas, seguida da observação do aluno em ambiente real, utilizada por 43% (9/21) dos participantes. Quanto à avaliação em ambiente simulado, dois participantes (9,5%) relataram alguma formação para esse modelo, embora não o utilizem com os residentes. Os outros instrumentos citados referiam-se a métodos avaliativos cognitivos, como discussão de casos clínicos (10/21 ou 47,6%), testes de múltipla escolha (7/21 ou 33,3%) e avaliação oral (7/21 ou 33,3%) (Gráfico 1).

Gráfico 1. Distribuição dos métodos avaliativos utilizados pelos docentes e preceptores da residência médica em pediatria do Hospital Universitário da Ufal, 2018. 

A avaliação global consiste em uma escala que avalia conhecimento, pontualidade e atitude. Segundo dados da literatura que corroboram os achados deste artigo, a avaliação global é o instrumento mais utilizado por todos os cursos de pós-graduação para avaliação de competências nos Estados Unidos²², por exemplo. Contudo, os autores observaram duas grandes limitações da avaliação global. A mais importante delas diz respeito ao fato de que um médico com deficiência em uma área poderá atingir uma classificação global satisfatória se demonstrar destaque em outra competência. A outra limitação é que esse instrumento fornece pouca ou nenhuma informação para um feedback construtivo, um componente importante do desenvolvimento dos médicos residentes²³.

Para validar o conceito global, a proposta é a construção de uma matriz com itens específicos, que reflitam a combinação de atributos necessários ao bom desempenho profissional, além de o residente ser avaliado por diversos docentes²³.

A observação do aluno em ambiente real é um método usual de avaliação, de fácil operacionalização, propício à provisão de feedback imediato e com boa aceitação dos participantes². No entanto, a ausência de sistematização, a não utilização de formulário de avaliação (checklist) ou a falta de feedback gera um baixo grau de fidedignidade.

A avaliação em ambiente simulado permite abordar tarefas clínicas que representam o que é comum na prática médica, em nível de dificuldade compatível com o estágio da formação, e assegurar que todos os alunos sejam avaliados em condições semelhantes, com observação cuidadosa e com a utilização de checklist². No entanto, nenhum dos participantes utiliza esse método com os residentes, apesar de dois deles o conhecerem. Esse fato pode sugerir a ausência de um processo institucionalizado de avaliação, a falta de interação entre os participantes e a própria dificuldade para sua operacionalização, por ser um método que demanda um trabalho em equipe, uma execução prolongada e uma logística mais onerosa (cenários, atores, formulários de avaliação).

Utilizar métodos avaliativos de habilidades clínicas, quer em ambientes reais ou simulados, não é uma tarefa fácil, pois envolve a escolha do método mais apropriado e que recaia em uma técnica válida, fidedigna, viável e aceitável por todos os envolvidos no processo². Implica, também, a formação docente em avaliação, o trabalho em equipe, a participação em pesquisas-ação e outras estratégias, além de padronização e sistematização. Alguns participantes manifestaram-se positivamente em relação à pesquisa e à necessidade de padronização da avaliação:

Que a partir dessa pesquisa e dos resultados obtidos, haja uma padronização dos métodos avaliativos utilizados na Faculdade de Medicina. É muito importante padronizar as avaliações (D1).

Ser projeto, cadastrado na gerência de ensino, incluindo preceptores de todas as clínicas (D4).

Nesse sentido, 90% dos participantes referiram a necessidade de treinamento em métodos avaliativos e demonstraram interesse em participar de uma capacitação sobre um método avaliativo específico em ambiente simulado, como explicitado na fala de P2: “Tenho interesse em capacitações para a docência”. Ou, ainda, quando se aborda a necessidade de um método avaliativo de desempenho como o OSCE: “Inserir o OSCE como avaliação integrada no internato de pediatria no 9º e 10º períodos (ao menos 1x/semestre)” (D5).

O aprimoramento do docente e preceptor em avaliação assegura a qualidade do avaliar e do processo ensino-aprendizagem, uma vez que a avaliação permite a revisão do planejamento educacional e ajustes na sua prática docente²⁰.

Um dos depoimentos remete à necessidade de feedback comentada por D3: “Avaliação contínua, no cotidiano, é fundamental para o processo de aprendizagem, sempre com feedback para o seu fortalecimento”. Observa-se, nesse depoimento, que o docente sintetiza todo o processo de uma avaliação com função formativa.

O feedback é o substrato de uma avaliação formativa e uma ferramenta efetiva para melhorar o desempenho do estudante, principalmente quando é feito de imediato, após a tarefa clínica¹⁰. Para tanto, deve se dar de forma dialógica, com o aluno executando um papel importante na avaliação do seu próprio desempenho²⁴.

Na educação médica, o feedback é essencial tanto para os educadores, de modo que possam promover aprendizagens de qualidade, quanto para os alunos. O feedback fornece informações sobre a qualidade do trabalho realizado, com o propósito de gerar melhorias²⁵.

Os resultados mostraram que a preocupação dos participantes com os métodos avaliativos dos residentes era coletiva, considerando ser esse o primeiro passo para a institucionalização de mudanças dentro do cenário de ensino-aprendizagem.

Etapa 2 - Workshop: dinâmica integradora e interativa

Após a identificação do problema, evidenciado pela ausência de sistematização, institucionalização e formação docente quanto a métodos avaliativos para o residente em pediatria, uma intervenção foi planejada e executada como estratégia de desenvolvimento docente em avaliação. A maioria dos participantes optou no treinamento pelo OSCE.

O OSCE é um instrumento de avaliação em ambiente simulado, situado na dimensão “mostrar como faz” da pirâmide de Miller. É um dos métodos avaliativos mais utilizados e apreciados em várias partes do mundo. Quando bem elaborado, fornece informações importantes para a atuação do futuro profissional.

No workshop com atividade simulada, compareceram nove (43%) participantes da pesquisa: sete docentes e dois preceptores, pouco menos de 50% da amostra total, apesar dos horários previamente consensuados. Compareceram, ainda, observadores e convidados, como gestores da residência em pediatria, médicos residentes e monitores da disciplina de pediatria. A atividade foi realizada na Faculdade de Medicina da Ufal, localizada ao lado do Hupaa. Segundo descrito por Steinert⁴, a proximidade do local de trabalho é um dos fatores facilitadores para aumentar a participação, a motivação e o acesso desses educadores. Dos presentes, oito eram docentes e preceptores vinculados ao Hupaa. Observou-se que apenas um dos seis participantes vinculados às outras instituições compareceu. Justificativas sobre a ausência foram comunicadas.

O workshop consistiu em dois momentos sequenciais: no primeiro, os pesquisadores expuseram dados gerais sobre avaliação e sobre o método OSCE (em sala de aula); a segunda parte foi direcionada à prática do workshop, realizado, nas salas de tutoria da Faculdade de Medicina, com os atores e manequins do laboratório de habilidades.

Nesse momento, os participantes da pesquisa foram orientados a rodiziar pelos vários cenários, em grupos de três ou quatro. Enfatize-se que o deslocamento nas estações, no OSCE, é feito pelo estudante avaliado, porém, nessa ocasião, o objetivo não foi avaliar o residente, mas possibilitar que o docente e o preceptor participantes pudessem vivenciar uma experiência com diferentes cenários, formulários de avaliação e feedbacks.

Ao final do circuito, os participantes retornaram à sala de aula, onde foram apresentados os passos do OSCE realizado, com os registros fotográficos do workshop.

Etapa 3 - Avaliação do impacto do workshop

Nessa etapa, para avaliar o desdobramento do workshop sobre o OSCE, empregou-se o método de Kirkpatrick. Nesse sentido, o nível 1 do método de Kirkpatrick (reação), utilizado na avaliação do treinamento, dimensiona as impressões dos participantes em relação ao conteúdo, aos instrutores, aos materiais e recursos, ao ambiente e às instalações. De acordo com Kirkpatrick, todos os programas devem ser avaliados, nesse nível, como forma de promover melhorias. A reação positiva não garante, necessariamente, a aprendizagem, mas a reação negativa e a insatisfação, com certeza, reduzem as possibilidades de aprendizagem^26),(27. Nesse aspecto, os 12 itens da avaliação obtiveram predomínio de avaliações positivas, sendo dez itens avaliados entre excelente e bom.

No item relativo à aplicação do método avaliativo em treinamento (OSCE), todos os participantes mostraram-se favoráveis a utilizá-lo em sua prática de ensino-aprendizagem com os médicos residentes e, também, com os estudantes da graduação. Isso corrobora os comentários sobre a motivação para frequentar o workshop, quando se referem, basicamente, ao desenvolvimento docente em métodos avaliativos mais inovadores:

Novas aprendizagens (D1).

Avaliação dos discentes (D3).

Aprimorar o processo de avaliação (D6).

Melhorar minha atuação com os residentes e estudantes (P1).

Na atividade, oportunizou-se, também, a participação de mestrandos, do mestrado profissional em ensino na saúde, da disciplina de avaliação do ensino, como uma forma de aprendizagem por meio da observação da execução do método em tempo real.

Reforça-se que uma ação positiva em equipe sofre uma idealização e gera uma nova ação, conforme os ciclos da pesquisa-ação educacional. Destaca-se, ainda, que o treinamento atingiu o nível 3 de Kirkpatrick, visto que os participantes utilizaram o método avaliativo do aprendizado na sua prática cotidiana, agora com os internos. A atividade ocorreu na mesma estrutura do workshop realizado, o que corrobora o pensamento de Steinert⁴, quando diz que levar as atividades de desenvolvimento docente para o local de trabalho aumenta a participação, a motivação e o acesso, e, com o engajamento individual, um sequenciamento de atividades e orientação continuada dos participantes assegura uma melhor eficácia do treinamento.

O efeito borboleta²⁸ causado pela intervenção (workshop), na proposição da pesquisa-ação educacional, e pelo método avaliativo em si transformou-se, também, em um ambiente de ensino-aprendizagem para alunos de outros níveis de formação. Espera-se que esse efeito, metáfora usada na ciência, descrito por Edward Lorenz em 1972²⁸, causado por uma pequena mudança no início de um evento, possa trazer consequências futuras positivas e que se desdobre em novas intervenções em métodos avaliativos na instituição, para todos os níveis de graduação e pós-graduação. Nesse sentido, é na educação e nas reflexões daí advindas que se dá o potencial transformador de mudanças.

As limitações do estudo apontam para a dificuldade em agregar todos os participantes envolvidos (docentes, preceptores e atores), por conta da conciliação de horário, local e trabalho. Além disso, em razão da logística e praticidade da organização, o estudo abordou apenas um método de avaliação.