INTRODUÇÃO
No ano de 1991, em um editorial do periódico ACP Journal Club, Gordon Guyatt utilizou pela primeira vez na literatura médica a expressão Medicina Baseada em Evidências (MBE) para descrever uma nova forma de se pensar e praticar a medicina, privilegiando habilidades de pesquisa na literatura, avaliação crítica de artigos científicos e síntese de informação para a tomada de decisões clínicas individualizadas, em detrimento do apelo à autoridade dos profissionais mais experientes e dos livros-texto1.
David Sackett, um dos pioneiros da epidemiologia clínica, definiu a MBE como “o uso consciente, explícito e judicioso da melhor evidência para a tomada de decisões no cuidado a pacientes individuais” (2. A prática da MBE incorpora, portanto, a melhor evidência científica, a experiência e expertise do profissional e as particularidades, incluindo valores e preferências do paciente, para uma melhor escolha2.
A prática de MBE e, portanto, o seu ensino e a sua avaliação devem compreender cinco passos (ou domínios), como sumarizado pela Sicily Statement: perguntar (ask), pesquisar (search), avaliar criticamente (appraise), integrar (integrate) e avaliar a prática (evaluate), conforme demonstrado no Quadro 1 3.
Perguntar (ask) | Compreender o cenário clínico e desenvolver uma pergunta estruturada que possa ser respondida. |
Pesquisar (search) | Construir uma sintaxe de busca apropriada, com descritores e operadores booleanos, e identificar as bases de dados apropriadas. |
Avaliar criticamente (appraise) | Avaliar criticamente a metodologia e os resultados de um artigo em relação às suas validades interna e externa. |
Integrar (integrate) | Integrar os resultados da pesquisa avaliada criticamente ao cuidado de um paciente específico. |
Avaliar a prática (evaluate) | Avaliar mudanças em sua prática médica atual e identificar oportunidades para melhoria. |
Fonte: Adaptado de Daes et al. (3.
A ferramenta Assessing Competencies in Evidence-Based Medicine (ACE) é um questionário para avaliação de competências para a MBE, proposto e validado por Ilic et al.4, no qual os respondentes são apresentados a um cenário clínico, uma pergunta clínica, uma estratégia de busca e um resumo de um artigo hipotéticos. Em seguida, apresentam-se 15 perguntas fechadas, que devem ser respondidas com “sim” ou “não”, abordando quatro das cinco etapas para a prática baseada em evidências: a construção da pergunta clínica (questões 1 e 2); a pesquisa de literatura científica em bancos de dados (questões 3 e 4); a análise crítica da evidência encontrada (questões de 5 a 11); e a aplicação da evidência ao cenário clínico específico (questões de 12 a 15) (4.
O objetivo deste estudo foi validar a versão brasileira da ferramenta ACE.
MÉTODOS
Desenho, participantes e ética
Trata-se de um estudo transversal de validação. Estudantes do curso de Medicina da Universidade Federal do Rio Grande do Norte (UFRN), matriculados em uma disciplina complementar ou em um curso de extensão sobre MBE, foram convidados a responder ao questionário após a primeira aula. Convidaram-se também professores e preceptores do curso de Medicina, identificados, segundo os pesquisadores, com a temática, a fim de avaliar a capacidade discriminatória do questionário. O protocolo de pesquisa foi revisado e aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário Onofre Lopes (Huol-UFRN) com Certificado de Apresentação para Apreciação Ética nº 30445120.0.0000.5292 e Parecer nº 4.074.739.
Tradução e adaptação do questionário de avaliação
Dois pesquisadores com experiência no tema e fluência em língua inglesa realizaram a tradução inicial do questionário de forma independente, e estabeleceu-se uma versão única. Essa versão consensual, em português, foi submetida à retrotradução para o inglês por um tradutor profissional, que não participou das etapas prévias. Comparou-se então a versão retrotraduzida com a versão original do questionário em inglês, e novos ajustes foram realizados até a obtenção de uma versão final consensual entre os pesquisadores e o tradutor. No Quadro 2, constam os itens do questionário final, e a versão completa traduzida e adaptada da ferramenta ACE em português é apresentada no material suplementar.
Fazendo uma pergunta passível de resposta | Sim | Não |
---|---|---|
1. Todos os elementos PICO estão descritos no cenário do paciente? | ||
2. A questão construída após o cenário produz uma pergunta objetiva e direcionada? | ||
Buscando na literatura | ||
3. A estratégia de busca (a ser utilizada no Medline) encontrará estudos relevantes relacionados à pergunta? | ||
4. A estratégia de pesquisa utiliza descritores em saúde (MeSH/DeCS), palavras-chave e operadores booleanos de forma co/rreta e efetiva? | ||
Avaliando a evidência | ||
5. Há informações suficientes para determinar a representatividade dos pacientes do estudo? | ||
6. O método de alocação dos participantes para a intervenção/exposição e a comparação foi adequado? | ||
7. Alguma forma de ajuste foi necessária? | ||
8. Todos os participantes estavam cegos para o tratamento/exposição? | ||
9. Todos os pesquisadores estavam cegos para o tratamento/exposição? | ||
10. Todos os avaliadores dos desfechos estavam cegos para o tratamento/exposição? | ||
11. Todos os pacientes foram analisados nos grupos para os quais foram randomizados? | ||
Aplicando a evidência | ||
12. O paciente do cenário compartilha características/circunstâncias semelhantes às dos participantes no estudo? | ||
13. O tratamento/terapia é factível no contexto do cenário clínico proposto? | ||
14. Todos os desfechos relevantes foram considerados? | ||
15. Os benefícios do tratamento/terapia superam os potenciais danos e custos? |
Fonte: Traduzido e adaptado de Ilic et al.4.
Aplicação do questionário
O questionário foi aplicado por meio de plataforma on-line para ser respondido em tentativa única sem limite de tempo. Todos os participantes forneceram consentimento livre e esclarecido para participação.
Análise estatística
Coletaram-se as seguintes variáveis: grupo (estudantes e professores/preceptores); período cursado pelo aluno; respostas a cada item do questionário ACE; número total de acertos. Foi estimado um tamanho amostral de 75 estudantes (cinco participantes por item do questionário). Avaliaram-se a dificuldade dos itens do questionário, a consistência interna e a confiabilidade. A dificuldade dos itens foi avaliada pela porcentagem de candidatos que responderam corretamente à questão. Avaliou-se a consistência interna do questionário por meio de alfa de Cronbach. Um alfa de Cronbach entre 0,6 e 0,7 foi considerado como consistência interna aceitável; entre 0, 7 e 0,9, como consistência interna boa; e acima de 0,9, como consistência interna excelente. Avaliou-se a confiabilidade pela correlação item-total (CTI). Uma CIT 0,15 foi considerada aceitável5. Os resultados dos alunos foram comparados com o resultado de professores/preceptores por meio de teste t de Student para amostras independentes. Consideraram-se estatisticamente significantes valores de p menores que 0,05.
RESULTADOS
Obtiveram-se 88 respostas, sendo 76 estudantes de graduação (distribuídos do primeiro ao décimo período do curso) e 12 professores/preceptores do curso de Medicina.
O Gráfico 1 mostra a distribuição do número de acertos na avaliação dos estudantes de acordo com o período do curso.
Dificuldade e confiabilidade e consistência internas da versão traduzida da ferramenta ACE
A Tabela 1 demonstra a análise dos itens individuais.
O valor de alfa de Cronbach foi de 0,61.
Item | Passo | Índice de dificuldade | Correlação item-total |
---|---|---|---|
1 | Pergunta clínica | 63% | 0,28 |
2 | Pergunta clínica | 28,4% | 0,15 |
3 | Pesquisa na literatura | 77,3% | 0,36 |
4 | Pesquisa na literatura | 62,5% | 0,18 |
5 | Análise crítica | 67% | 0,36 |
6 | Análise crítica | 15,9% | 0,28 |
7 | Análise crítica | 51,1% | -0,03 |
8 | Análise crítica | 97,7% | 0,23 |
9 | Análise crítica | 80,7% | 0,33 |
10 | Análise crítica | 67% | 0,20 |
11 | Análise crítica | 30,7% | 0,16 |
12 | Integração | 86,4% | 0,21 |
13 | Integração | 69,3% | 0,29 |
14 | Integração | 55,7% | 0,36 |
15 | Integração | 44,3% | 0,27 |
Fonte: Elaborada pelos autores.
Validade de construto
Compararam-se as médias obtidas pelos alunos com as médias obtidas pelos professores/preceptores, a fim de observar a capacidade do questionário em discriminar diferentes graus de expertise. A média de número de acertos dos professores/preceptores foi significativamente maior que a média dos 76 alunos (10,25 ± 1,71 versus 8,73 ± 1,80, diferença média de 1,52, IC95% 0,47-2,57, p = 0,005).
Sumário das propriedades da versão traduzida da ferramenta ACE
O Quadro 3 sumariza as propriedades da versão traduzida da ferramenta ACE.
Propriedade | Teste utilizado | Resultados aceitáveis | Performance da versão traduzida |
---|---|---|---|
Validade de conteúdo | Opinião de especialista | Avalia os passos 1-4 da prática baseada em evidências. | Aceitável. |
Índice de dificuldade dos itens | Porcentagem de acertos | Amplo intervalo permite implementação em diferentes grupos de participantes. | Variou de 15,9% a 99,7%. |
Consistência interna | Alfa de Cronbach | Alfa de Cronbach 0,6-0,7 é considerado aceitável; 0,7-0,9, bom; e > 0,9, considerado excelente. | Alfa de Cronbach de 0,61. |
Confiabilidade interna | Correlação item-total (CIT) | CIT ≥ 0,15 é considerada aceitável. | ≥ 0,15 para todos os itens, exceto para o item 7 (-0,03). |
Validade de construto | Comparação entre médias de grupos com diferentes níveis de conhecimento | Diferença significativa entre professores/preceptores e alunos. | Em uma escala de 15 pontos, a média dos alunos foi de 8,73; e a dos professores, 10,25 (p = 0,005). |
Fonte: Elaborada pelos autores.
DISCUSSÃO
Os nossos resultados demonstram que a versão traduzida da ferramenta ACE mantém a capacidade discriminatória para diferentes níveis de expertise e confiabilidade e consistência internas aceitáveis, de acordo com a formulação original. Em nosso estudo, os estudantes de graduação obtiveram um número médio de acertos de 8,73, e os professores, de 10,25 pontos, comparáveis aos 8,6 do nível “iniciante” e aos 10,4 do nível “avançado” do estudo original. Os índices de confiabilidade e consistência em nosso estudo também mantiveram os resultados do estudo prévio4. É necessário chamar a atenção para o valor relativamente baixo de consistência interna (alfa de Cronbach entre 0,6 e 0,7), tanto em nosso trabalho quanto no estudo original de Ilic et al.4, considerado apenas “aceitável”. O próprio objetivo do questionário, abordando competências em domínios distintos (construção da pergunta clínica, busca na literatura, avaliação crítica e integração ao cenário clínico), contribui para um menor relacionamento entre as variáveis e, portanto, um valor numérico de alfa de Cronbach menor. Por sua vez, cada um dos 15 itens tem relevância própria, à medida que aborda uma competência específica, como identificar a adequação de randomização, de cegamento, de intenção de tratar etc., de modo que a resposta a cada pergunta tem um significado importante, mesmo quando se afasta da resposta a outras questões.
A ferramenta ACE é uma entre diversos questionários padronizados para avaliação de competências em MBE, como o questionário de Berlin6 e o Teste de Fresno7, este último também com validação brasileira8. O questionário de Berlin aborda apenas a avaliação crítica. O Teste de Fresno, por sua vez, avalia três domínios (“perguntar”, “pesquisar” e “avaliar criticamente”) por meio de questões abertas, mas demanda um tempo elevado para ser respondido (aproximadamente uma hora). A ferramenta ACE permite uma avaliação ampla (“perguntar”, “pesquisar”, “avaliar criticamente” e “integrar”), com estímulo ao raciocínio clínico, elevada praticidade e um tempo de resposta curto. De fato, a ferramenta ACE vem sendo utilizada internacionalmente para a avaliação de estudantes9),(10 e de estratégias educacionais11)-(14, embora Buljan et al.15 tenham observado uma menor “sensibilidade à mudança”, isto é, uma menor capacidade da ferramenta ACE em discriminar o conhecimento obtido após cursos, limitando seu uso como “avaliação pós-teste” em relação ao questionário de Berlin e ao teste de Fresno. É importante notar ainda que a ferramenta ACE é direcionada especificamente para uma questão terapêutica, e importantes focos da atividade clínica, como diagnóstico e prognóstico, não estão contemplados. Questionários padronizados próprios para o raciocínio diagnóstico e prognóstico baseado em evidências são uma lacuna na literatura.
As Diretrizes Curriculares Nacionais (DCN) do curso de graduação em Medicina reconhecem a necessidade de tomada de decisões com base na análise crítica e contextualizada das evidências científicas e efetivamente apontam como “ação-chave” a promoção do pensamento científico e crítico e o apoio à produção de novos conhecimentos16. A ferramenta ACE aborda quatro dos cinco passos da prática baseada em evidências e permite discriminar conhecimentos e competências específicos. Dessa forma, configura-se como uma ferramenta importante para entender o conhecimento prévio dos participantes, planejar e/ou adequar o currículo, bem como compreender necessidades educacionais particulares.