Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A avaliação do ensino dentro do processo formativo é essencial, tanto para acompanhar o desenvolvimento dos alunos quanto para planejar ações educativas futuras1. Provas escritas (ex. respostas curtas, múltipla escolha ou redações) ao avaliar apenas conhecimentos objetivos e factuais, muitas vezes limitam o potencial do exame a um conhecimento superficial1)-(3. No contexto de Urgências e Emergências em que - além de se saber - é preciso saber fazer e saber fazer rápido, uma avaliação limitada é especialmente perigosa4. Em comparação, as avaliações em cenário real são mais abrangentes; no entanto, estão mais susceptíveis à subjetividade do avaliador. Ademais, devido à imprevisibilidade das emergências e a impossibilidade de erros, essas avaliações práticas são mais inconsistentes.
Para contornar esses problemas, alguns métodos avaliativos foram propostos, mas pecaram principalmente em sua subjetividade, baixa confiabilidade e reprodutibilidade5. Nesse contexto, o Exame Clínico Objetivo Estruturado (OSCE) - que se constitui em um circuito de múltiplas estações com simulação de cenários reais - ganhou espaço como método avaliativo, pois consegue, de forma padronizada, avaliar competências médica1),(3),(4),(6)-(8. Por definição, as competências médicas são os atributos essenciais que o profissional deve ter para exercer uma boa prática. Não há um consenso global sobre quais são as competências médicas, pois elas variam conforme diretrizes e locais; em geral, engloba grandes temas como saber fazer uso criterioso da comunicação, ter conhecimento, habilidade técnica, raciocínio clínico, emoções, valores e reflexão da prática diária em benefício do paciente1),(3),(5),(9)-(11. O OSCE permite avaliar um conjunto de competências clínicas pré-determinadas em que cada competência clínica é composta por componentes menores que - por sua vez - são avaliados individualmente em checklists predeterminadas3),(5),(12),(13.
O OSCE também é integrado por um sistema de feedback no qual os avaliadores expõem aos alunos o que deles é esperado e como foi seu desempenho em cada estação, e recebem relatos dos alunos acerca de suas experiências no exame. Essa troca proporciona um alinhamento de expectativas e facilita o ajuste dos parâmetros de avaliação5),(14),(15. O sistema de feedbacks permitiu o uso do OSCE como ferramenta de ensino (OSCE formativo), em que a nota final não determina se o aluno é aprovado ou não na disciplina4. O uso do OSCE formativo permite maior preparo ao OSCE avaliativo, e seu uso é bem aceito na literatura7),(16)-(18.
No Brasil a implementação do OSCE ainda é lenta, e o número de escolas médicas que aderiram ao método OSCE é restrito. Acredita-se que isso se deva - principalmente aos altos custos de criação e manutenção de laboratórios de simulação, e à complexidade de aplicação17),(19. No entanto, a literatura mostra a simulação como uma tendência mundial que permite o treinamento interprofissional e a inserção da discussão de temas como profissionalismo, comunicação efetiva e ética9),(20. Outro indício do seu crescente uso é que - desde 2004 - a Comissão Nacional de Residência Médica (CNRM) acatou a possibilidade de existirem provas práticas para residência, integrando os vários domínios esperados de um profissional médico21)-(23. As Diretrizes Curriculares Nacionais (DCNs) - publicadas em 2014 - enaltecem o uso da simulação do cenário de emergência como meio de aprimorar a tomada de decisões e gestão clínica do paciente, a consequente prevenção de iatrogenias e a promoção de segurança ao indivíduo9. Nesse contexto, o OSCE está entre os exames padrão ouro para avaliar objetivamente competências médicas5. Estima-se que o ambiente de urgências será vivenciado por 70% dos médicos recém-formados, vinculados ou não em programas de residência médica9. Apesar disso, as DCNs não são claras em como deve ser a aplicação do ensino de Urgências e Emergências, apenas apontam a necessidade de o estudante “aprender em situações e ambientes protegidos e controlados, ou em simulações da realidade, identificando e avaliando o erro, como insumo da aprendizagem profissional e organizacional e como suporte pedagógico”24.
No cenário atual, seja em âmbito nacional ou global, percebe-se um aumento na prevalência de casos de urgências e emergências, atribuído principalmente à maior longevidade, sobrevida a doenças crônicas, aumento de acidentes automobilísticos e de violência civil; no entanto, é preocupante o despreparo profissional, em âmbito individual e nos trabalhos multiprofissionais9.
O exame clínico objetivo estruturado (OSCE) vem à tona em um contexto de fomento às metodologias ativas pelas DCNs e de aumento na demanda de profissionais aptos a trabalhar com situações de urgências e emergências. Uma combinação que pode render frutos para uma disciplina tão fundamental à formação médica e à saúde pública9),(25),(26.
É possível que a utilização da metodologia OSCE apresente resultados mais fidedignos que o método tradicional e que - pela interpretação dos dados e do seu sistema de feedback - possa se observar a melhoria do ensino. O presente estudo teve o objetivo de avaliar o desempenho dos alunos que fizeram uso da metodologia OSCE ao longo de um ano de avaliações na disciplina de Urgência e Emergência em um curso de Medicina de uma Universidade do Sul do Brasil.
MÉTODO
Trata-se de um estudo com delineamento retrospectivo, realizado com alunos do 6º ano do curso de medicina da Universidade Positivo ao longo no ano de 2019. O instrumento de análise utilizado foram checklists avaliativos de três exames clínicos objetivos estruturados (OSCE) consecutivos, da disciplina de Urgência e Emergência. Foram incluídos alunos do 6º ano de medicina da Universidade Positivo e que estivessem cursando a disciplina de urgência e emergência no ano de 2019. Foram excluídos os alunos que não tiveram três avaliações OSCE consecutivas ou que apresentassem checklists incompletos.
Os itens avaliados nos checklists foram divididos em quatro grupos, conforme os componentes que estavam avaliando, sendo eles: interação (do aluno para com o paciente), reconhecimento (realização de diagnóstico sindrômico), conduta (instituição das primeiras medidas de tratamento) e seguimento (orientações dadas ao paciente).
Este estudo foi aprovado pelo Comitê de Ética e Pesquisa da Universidade Positivo sob número de parecer 4.260.982 em 05/09/2020.
O OSCE
A avaliação OSCE foi aplicada a todos os alunos do sexto ano de medicina, em três momentos diferentes, um a cada trimestre do internato, com a mesma graduação de dificuldade. Os temas escolhidos foram retirados do conteúdo programático do curso; sendo assim, nenhuma situação a ser avaliada estava além do plano de ensino de cada matéria.
O exame foi aplicado em um único dia e período para todos os alunos. Inicialmente o grupo foi confinado em duas salas, sem acesso a meios de comunicação e redes a fim de manter o sigilo da questão a ser resolvida, evitando viés durante a execução. Quatro alunos - por vez - eram convocados para cada rodízio avaliativo: composto de quatro estações de simulação: clínica médica (CM), urgência e emergência (UE), saúde mental (SM) e clínica cirúrgica (CC).
Cada aluno tinha um minuto para ler a questão a ser resolvida, previamente fixada na porta, e cinco minutos para atuar dentro do cenário. O cenário de prática acontecia numa sala de espelhos que simulava um consultório. Nela, o aluno era observado por dois avaliadores em cada estação, sem que esses fossem vistos ou ouvidos pelo avaliado.
Dentro de cada estação, diferentes recursos poderiam estar disponíveis, tais como atores simulando pacientes, bonecos de simulação realística, protótipos anatômicos, equipamentos hospitalares, materiais de uso médico. Os atores eram voluntários e capacitados por meio de um treinamento prévio com um profissional de artes cênicas. O aluno não carregava nenhum material didático durante a prova; tampouco recebia ajuda do avaliador. O professor avaliador somente intervinha quando o aluno completava a questão ou havia alguma questão pontual a ser respondida. Concluída a resposta, seguia para a estação seguinte, até que completasse as quatro áreas.
Concluído o exame, os alunos eram direcionados para uma nova sala, onde era realizado o feedback sobre os casos vividos em cada estação - uma maneira de retorno comentado sobre as situações - envolvendo o que era esperado de cada estação, bem como alguns erros comuns cometidos, mantendo sempre a confidencialidade. A partir da interação entre docente e discente, esse momento atua como ferramenta de resolução de conflitos educacionais, auxiliando o aluno a crescer com as dificuldades, lidar com suas potencialidades e sensações após a simulação.
O método padrão foi baseado em checklists impressos, identificados e pré-agrupados de acordo com o rodízio de alunos, e preenchidos pelos docentes avaliadores. Os checklists foram confeccionados pelo docente responsável da cadeira, avaliando - objetivamente - pontos essenciais na postura, raciocínio e atendimento de situações prevalentes na prática médica. Contemplando aspectos de comunicação, raciocínio diagnóstico da situação, tomada de conduta e terapêutica e seguimento na finalização do caso. A avaliação de cada ponto acontecia sob ótica objetiva, na qual o papel do avaliador era julgar se o aluno cumpriu ou não tal tarefa. Cada um dos aspectos a serem avaliados possuíam pesos diferentes, totalizando dez pontos caso todas as demandas fossem cumpridas.
Os dados coletados foram computados com auxílio do programa Excel. As variáveis contínuas foram expressas como média ± desvio-padrão e comparadas com o teste de Wilcoxon Matched-pairs. As variáveis categóricas foram expressas em porcentagens e comparadas com o teste do qui-quadrado ou teste exato de Fisher, conforme apropriado. Valores de p menores que 0,05 foram considerados estatisticamente significativos.
RESULTADO
Foram triados 100 alunos (300 checklists) e - após aplicados os critérios de exclusão - tornaram-se elegíveis ao estudo 90 alunos (270 checklists). Do total de alunos estudados, 51 (56,7%) eram do gênero feminino e 39 (43,3%) do masculino. Em relação a idade, a média foi de 25,6 ± 2,3 anos: 69 (76,7%) tinham entre 23 e 26 anos.
A mediana na primeira nota foi de 6,0 (IIQ=5 - 7,25); na segunda 6,0 (IIQ= 5 - 9) e na terceira 7,5 (IIQ 6,5 - 8,5). Entre o primeiro e o terceiro exame, a mediana aumentou 1,5 ponto (p<0,0001). O mesmo acréscimo também pode ser notado na comparação das medianas 2 e 3 (p=0,03) - um aumento de 1,5 ponto (Tabela 1).
Tabela 1 Análise das notas finais nos três checklists.
| Nota 1 | Nota 2 | Nota 3 | |
|---|---|---|---|
| Número de checklists | 90 | 90 | 90 |
| Mínimo | 1,250 | 3,000 | 2,500 |
| 25% | 5,000 | 5,000 | 6,500 |
| Mediana | 6,000 | 6,000 | 7,500 |
| 75% | 7,250 | 9,000 | 8,500 |
| Máximo | 9,250 | 10,00 | 10,00 |
A nota máxima no primeiro OSCE foi de 9,25 e a mínima, 1,25. No terceiro OSCE, a nota máxima foi 10,0 e a mínima 2,5 (Tabela 1).
No gráfico 1, é possível observar que houve um significativo aumento nas notas quando se comparou as medianas dos OSCEs 1 e 3 (p < 0,0001) e entre as medianas dos OSCEs 2 e 3 (p=0,03). Não houve diferença significativa entre os OSCEs 1 e 2 (p=0,07).
Nota-se que 57 (63,3%) alunos obtiveram acréscimo nas notas finais quando comparamos o primeiro e o terceiro exame clínico objetivo estruturado (OSCE). Há também os casos de alunos que mantiveram suas notas; porém, na comparação entre a primeira e a última avaliação OSCE, esses casos limitaram-se a três ocorrências (Gráfico 2).
No gráfico 2, estão disponibilizados os dados sobre as alterações nas notas no decorrer do ano estudado. Observa-se que a nota final no OSCE 3 foi a maior em relação aos anteriores.
Em relação aos 4 componentes analisados: interação, reconhecimento, conduta e seguimento foram encontradas diferentes evoluções, como pode ser observado na Tabela 2. Observa-se que quando comparados os OSCEs 1 e 3, nos componentes interação e seguimento houve menor número de acertos, enquanto que para reconhecimento e conduta houve aumento.
No componente interação, pode-se inferir que houve redução no percentual médio de acertos. De 18,3 pontos percentuais do primeiro para o segundo OSCE e de 1,1 pontos percentuais do segundo para o terceiro.
Observou-se no componente reconhecimento um decréscimo de 3,6% entre o primeiro e segundo exame, enquanto do segundo para o terceiro exame houve um acréscimo de 3,7 pontos percentuais.
Com relação ao componente conduta, a taxa de acerto subiu, tanto entre o primeiro e segundo exame (em 7,8 pontos percentuais) quanto do segundo e terceiro (em 7,7 pontos percentuais).
No componente seguimento, houve queda de 10,5 pontos percentuais entre primeiro e segundo exames e de 5,6 pontos percentuais entre o segundo e terceiro (Tabela 2).
DISCUSSÃO
Os dados encontrados em nosso estudo indicam que houve um acréscimo no desempenho geral dos alunos. Atribui-se esse aumento ao ganho de conhecimento obtido, à medida que o tempo de exposição ao internato aumentava; ao ganho de prática, à medida que mais avaliações eram realizadas e que recebiam instruções de melhorias nos seus feedbacks15),(16),(27. Esse resultado também parece estar de acordo com aquele preconizado pela literatura. Segundo estudos anteriores, esse aumento já era esperado, em função da vivência prática nos serviços, pelas aulas teóricas, e pela preparação para a prova de residência - caminho escolhido pela maioria dos médicos recém formados28)-(31.
As avaliações tradicionais possivelmente revelariam resultado semelhante ao do presente estudo no quesito nota geral ou em conhecimento. No entanto, diferentemente dessas avaliações, acredita-se que o OSCE possibilita uma avaliação de mais componentes dentro de uma mesma competência médica, e sua análise sinalize pontos importantes dentro do processo de aprendizado.
Desempenho na Interação
A avaliação do componente interação abrangeu o vínculo com o paciente por meio da comunicação verbal e não-verbal. Observou-se uma redução na porcentagem de acertos ao longo do ano. Esse declínio totalizou 18,3 pontos percentuais, do primeiro para o segundo OSCE; de 1,1 ponto percentual, do segundo para o terceiro.
O componente interação se destacou por ser o único em que houve decréscimo dentre as categorias avaliadas. Isso reafirma a dificuldade de ensino desta habilidade no currículo médico e, por consequência, na prática clínica. Estudos vão ao encontro dos resultados, revelando que 20% dos pacientes adultos relatam ter problemas de comunicação com seu médico assistente32. Os problemas mais comumente relatados pelos pacientes incluem falta de informações ou informações incorretas, falta de atendimento, incapacidade dos profissionais de saúde em atender às necessidades e expectativas dos pacientes e falta de respeito e envolvimento4),(33.
A má comunicação entre profissionais tem sido descrita como um fator comum de atrasos no atendimento, erros médicos e eventos adversos, que acabam por gerar desde a diminuição da interação profissional até conflitos jurídicos34.
Desempenho no Reconhecimento
É fundamental aos médicos de serviço de emergência saber reconhecer uma situação de emergência e - principalmente - estarem aptos a fazê-la de maneira ágil e em qualquer circunstância. Num cenário em que a doença é potencialmente fatal, priorizam-se diagnósticos sindrômicos abrangentes, que levem a uma conduta assertiva de estabilização do quadro, para então se instaurar um raciocínio clínico de longa duração9.
No componente reconhecimento (capacidade de fazer diagnóstico sindrômico), houve aumento discreto, de 0,1 pontos porcentuais, na comparação entre o primeiro e o último OSCE (Tabela 2); contudo, essa manutenção do percentual de acerto pode ser vista como um aspecto positivo. As notas se mantiveram acima dos 90% durante todo o período analisado, sendo este o componente com maior taxa de acerto entre os 4.
O ensino da abordagem diagnóstica no cenário de urgência e emergência é preconizado pelas DCNs9; disso a formação atual parece estar de acordo.
Desempenho em Conduta
No componente conduta - primeiras medidas de tratamento - houve um crescente nas notas, que culminou no aumento de 15,5 pontos percentuais observados entre o primeiro e o terceiro exame. Ao longo dos três exames, esse foi o componente que apresentou o aumento mais significativo (Tabela 2).
Condutas assertivas têm importância ainda maior no cenário de Urgências e Emergências, uma vez que a instauração de medidas iniciais de suporte garantem maior estabilização do quadro e, por sua vez, redundam em redução da mortalidade9.
Desempenho em Seguimento
O componente seguimento, que avaliou as orientações dadas ao paciente, revelou uma queda de 10,5 pontos percentuais entre primeiro e segundo exames, e de 5,6 pontos percentuais entre o segundo e terceiro: não houve incremento no desempenho e conhecimento dos alunos (Tabela 2).
A orientação sobre as terapêuticas instituídas e a comunicação de uma forma clara influem na compreensão do doente sobre sua enfermidade e no bom tratamento. Assim, a competência médica exigida neste momento do atendimento também envolve comunicação médico-paciente.
Há fortes indícios de que melhores competências de comunicação e profissionalismo são cruciais para melhores resultados em saúde, uma vez que promovem a tomada de decisão compartilhada e melhora a adesão às instruções terapêuticas, para a satisfação tanto de pacientes quanto de médicos4),(34),(35.
Discrepância entre o Comunicar e o Fazer
Analisando por competências dentro do exame clínico objetivo estruturado (OSCE), o presente trabalho revelou que os futuros médicos melhoram suas capacidades de estabelecer um tratamento adequado e eficaz no cenário de emergência. Por sua vez, o desempenho desse mesmo grupo regrediu em competências comunicativas durante o período avaliado, tal evidência reafirma o papel do OSCE como ferramenta para detecção de falhas no ensino, uma vez que outros métodos não teriam condições de avaliar e reconhecer a comunicação como problema36. O ensino de habilidades de comunicação, apesar de preconizado pelas DCNs, ainda é pouco inserido no contexto da educação médica, bem como em outros cursos da área da saúde34.
Ainda que a falha nas habilidades técnicas tenham um papel importante, as deficiências não-técnicas estão entre as principais causas de erro na área da saúde. Estudos estimam que causas não técnicas estão associadas a 82% dos 359 incidentes anestésicos evitáveis. A questão nesse caso não é sobre negar o erro; em qualquer sistema que envolve humanos, o erro se torna inevitável. No entanto, há que se minimizar, reconhecer e diminuir os efeitos do erro ao invés de simplesmente ignorá-lo e culpar e repreender quando ele ocorrer37.
Pressupõe-se que a queda no componente interação também possa ser sintoma da construção do ensino médico baseado no modelo Flexneriano, que recruta grande parte da grade curricular para o estudo da doença, das suas causas e tratamentos, mas negligencia pontos importantes do cuidado e da assistência à saúde - como a importância das ferramentas comunicativas38)-(40.
Por um lado, os métodos tradicionais de avaliação, objetivos e com graduação de nota se mostram insuficientes para avaliar requisitos como habilidades clínicas, conhecimento, atitudes, comunicação e profissionalismo; por outro, provas práticas estão sujeitas à subjetividade do examinador. O OSCE aparenta ser instrumento promissor, uma vez que avalia objetivamente e de forma padronizada as questões subjetivas, do atendimento clínico7),(10),(17),(41),(42.
CONCLUSÃO
Ao longo do período analisado - comparativamente - o exame clínico objetivo estruturado (OSCE) revelou um aumento progressivo das notas finais, elevando a mediana e o percentual de acertos globais nas situações simuladas de urgência e emergência. Apesar deste incremento na nota final, foram encontrados diferentes desempenhos em cada um dos quatro componentes avaliados.
O componente reconhecimento teve uma taxa de acerto estável e superior a 90% pela maioria dos alunos. O componente conduta apresentou uma curva crescente ao comparar o primeiro com o último OSCE, revelando um incremento importante no aprendizado. Porém, nos dois outros componentes - interação e seguimento - houve decréscimo na curva de aprendizado.
Os diferentes desempenhos em cada um dos componentes analisados contrasta com o aumento global da nota final. Não sendo possível determinar as causas destes fenômenos, são sugeridos novos estudos com número de alunos e de OSCEs maior, bem como a análise de OSCEs em diferentes disciplinas e universidades, podendo, assim, aprofundar e solidificar o entendimento desta metodologia avaliativa de ensino.
LIMITAÇÕES DO ESTUDO
O estudo realizado apresenta limitações quanto à sua amostra, população e tempo de análise. A amostra pode ser considerada um fator limitante visto que essa não se deu por seleção aleatória e apresentou um número reduzido. Igualmente, a população correspondia a apenas uma série e disciplina, não possibilitando a realização de um grupo controle. Outro fator limitante é o tempo em que as avaliações aconteceram, de apenas um ano. Isso permite considerar os resultados encontrados apenas para a turma e matéria em questão, não podendo inferir com uma característica de uma população mais ampla.
