SciELO - Scientific Electronic Library Online

 
vol.9Contribuciones de la Literatura Sobre el Comienzo de la Enseñanza en un Nivel SuperiorLa formación continua en una universidad comunitaria desde la perspectiva de sus profesores índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Revista Internacional de Educação Superior

versión On-line ISSN 2446-9424

Rev. Int. Educ. Super. vol.9  Campinas  2023  Epub 26-Dic-2024

https://doi.org/10.20396/riesup.v9i00.8661400 

Artigo

Adaptação transcultural do Questionnarie to evaluation the quality of PBL problems para uso no Brasil.

Adaptación transcultural del Questionnarie to evaluate the quality of PBL problems para su uso en Brasil

Marcela de Araújo Cavalcanti Maciel1  , Conceituação, referencial teórico-metodológico, curadoria de dados e redação
lattes: 8430575193140459; http://orcid.org/0000-0001-5174-1907

Luciana Marques Andreto2  , Orientação, revisão & edição
lattes: 3130999007786844; http://orcid.org/0000-0002-1560-1541

Tatiana Cristina Montenegro Ferreira3  , Coleta de dados, revisão da redação e análise de dados
lattes: 5207692858296351; http://orcid.org/0000-0002-6759-8209

1Faculdade Pernambucana de Saúde. E-mail: marcelamacielmm@hotmail.com

2Faculdade Pernambucana de Saúde. E-mail: lucianandreto@fps.edu.br

3Faculdade Pernambucana de Saúde. E-mail: tatiana.ferreira@fps.edu.br


RESUMO

Introdução:

Os grupos tutoriais contribuem para aprendizagem ativa, na Aprendizagem Baseada em Problemas, estimulando o estudante a desenvolver raciocínio crítico-reflexivo e autonomia, direcionando-o à construção de competências necessárias a futura profissão. Para que tal construção teórica seja efetiva, os problemas, norteadores dos grupos tutoriais, devem ser avaliados adequadamente a fim de garantir sua qualidade. Deste modo o presente estudo objetiva-se em adaptar o Questionnarie to evaluation the quality of PBL problems para o português brasileiro.

Método:

Estudo metodológico de adaptação transcultural. Foram seguidas as etapas: equivalência conceitual dos itens, tradução, síntese das traduções, retradução, resíntese, avaliação pelo comitê de especialista de revisão e pré-teste. O comitê foi composto por uma amostra de 7 especialistas e o pré-teste por 111 estudantes de graduação em Enfermagem. Os dados foram analisados pelo software SPSS®, verificando-se medidas de dispersão e tendência central. A confiabilidade foi verificada por meio do alfa de Cronbach.

Resultados:

Foram realizadas traduções, síntese, retraduções e resíntese buscando adequar culturalmente o instrumento e preservando o conteúdo da versão original. O comitê de juízes propôs substituições por sinônimos de palavras mais usuais no ensino superior, assim como ajustes para favorecer a concordância verbal e coerência. No pré-teste as questões foram analisadas quanto a sua clareza, todas tiveram média maior que 3. O alfa de Cronbrach variou entre 0,73 a 0,89.

Conclusão:

O processo de adaptação transcultural seguiu todas as etapas sistematicamente baseada na literatura. Sendo assim, o Questionnarie to evaluation the quality of PBL problems encontra-se adaptado para uso no Brasil.

PALAVRAS-CHAVE: Tradução; Ensino Superior; Aprendizagem

RESUMEN

Introducción:

Los grupos tutoriales contribuyen al aprendizaje activo, en Aprendizaje Basado en Problemas, estimulando al alumno a desarrollar el razonamiento crítico-reflexivo y la autonomía, dirigiéndolo a la construcción de habilidades necesarias para la futura profesión. Para que dicha construcción teórica sea efectiva, los problemas que orientan a los grupos tutoriales deben ser evaluados adecuadamente para garantizar su calidad. El presente estudio tiene como objetivo adaptar el Cuestionario para evaluar la calidad de los problemas de ABP para el portugués brasileño.

Método:

Estudio metodológico de adaptación transcultural. Se siguieron los pasos: equivalencia conceptual de ítems, traducción, síntesis de traducciones, retrotraducción, resíntesis, evaluación por el comité de revisión de expertos y pre-test. El comité estuvo compuesto por 7 especialistas y el pre-test por 111 estudiantes de pregrado en Enfermería. Los datos fueron analizados mediante el software SPSS®, verificando medidas de dispersión y tendencia central. La confiabilidad se verificó mediante el alfa de Cronbach.

Resultados:

Se realizaron traducciones, síntesis, retrotraducciones y resíntesis con el fin de adecuar culturalmente el instrumento y preservar el contenido de la versión original. El comité de jueces propuso sustituciones por sinónimos de palabras más comunes en la educación superior, así como ajustes para favorecer la concordancia verbal y la coherencia. En la prueba previa, las preguntas se analizaron cuando estaban claras, todas tenían una media superior a 3. El alfa de Cronbrach osciló entre 0,73 y 0,89.

Conclusión:

El Cuestionario para evaluar la calidad de los problemas de ABP está adaptado para su uso en Brasil.

PALABRAS CLAVE: Traducción; Enseñanza superior; Aprendizaje

ABSTRACT

Introduction:

The tutorial groups contribute to active learning, in Problem-Based Learning, stimulating the student to develop critical-reflective reasoning and autonomy, directing him to the construction of skills necessary for the future profession. For such a theoretical construction to be effective, the problems that guide the tutorial groups must be properly evaluated in order to guarantee their quality. Thus, the present study aims to adapt the Questionnaire to evaluation the quality of PBL problems for Brazilian Portuguese.

Method:

Methodological study of cross-cultural adaptation. The steps were followed: conceptual equivalence of items, translation, synthesis of translations, back-translation, resynthesis, evaluation by the expert review and pre-test committee. The committee was composed of a sample of 7 specialists and the pre-test by 111 undergraduate students in Nursing. The data were analyzed using the SPSS® software, verifying measures of dispersion and central tendency. Reliability was verified using Cronbach's alpha.

Results:

Translations, synthesis, back-translations and resynthesis were carried out in order to culturally adapt the instrument and preserve the content of the original version. The committee of judges proposed substitutions for synonyms of more common words in higher education, as well as adjustments to favor verbal agreement and coherence. In the pre-test, the questions were analyzed when they were clear, all had a mean higher than 3. Cronbrach's alpha ranged from 0.73 to 0.89.

Conclusion:

The process of cross-cultural adaptation followed all stages systematically based on the literature. Therefore, the Questionnaire to evaluation the quality of PBL problems is adapted for use in Brazil.

KEYWORDS: Translation; Higher education; Learning

1 Introdução

Nas metodologias ativas de ensino-aprendizagem, em especial a Aprendizagem Baseada em Problemas (ABP), o estudante tem papel ativo busca do conhecimento, o qual é estimulado à análise, discernimento e reflexão-crítica. A construção teórica do aprendizado na ABP é centrada no estudante e estruturada a partir de pequenos grupos, chamados grupos tutoriais, composto por 8 a 12 estudantes e um tutor que atua como facilitador. O aprendizado é iniciado, orientado e estruturado por meio da resolução de problemas que são elaborados pelos docentes com base nos conteúdos curriculares propostos na matriz curricular do curso relacionando-o com a vida cotidiana e/ou com relato de casos clínicos, fenômenos ou eventos que necessitam de explicação. Deste modo, o estudante gradativamente constrói o conhecimento necessário para a resolução de problemas reais presentes no futuro da profissão escolhida (BORGES et al., 2014); (MOALLEM, HUNG, DABBAGH, 2019).

Para Hung (2016), o designer do problema não só impulsiona a construção dos objetivos de aprendizagem como também interfere em todo processo de aprendizado em ABP. A priori, ele contextualiza o conhecimento do conteúdo e fornece um espaço de trabalho para os estudantes aplicarem o conhecimento. Deste modo, quando estudante encontrar um problema em seu cenário prático, saberá aplicar o conhecimento que já detém e identificar o conhecimento que lhe falta.

Para uma elaboração satisfatória, o problema deve desafiar e estimular o estudante a aprender, adequando-se aos seus conhecimentos prévios, ser autêntico, interessante e apresentar orientações e pistas estimulantes para a análise do pensamento e raciocínio. Também deve estimular o estudo individual, contextualizando o conhecimento abstrato do conteúdo para um conhecimento prático. Dentre suas finalidades estão a condução dos estudantes a atingirem os objetivos de aprendizagem, o envolvimento nas discussões e estímulo ao interesse para aprendizagem autodirigida (BORGES et al., 2014); (BOROCHOVICIUS, TORTELLA, 2014).

Ademais, o problema é um componente significativo para o aprendizado eficaz em ABP, sendo imperativo garantir sua qualidade (BORGES et al., 2014).

Diante da relevância dos problemas para o aprendizado em ABP e crescente número de instituições brasileiras de graduação e pós graduação que buscam métodos inovadores de ensino-aprendizagem perante os desafios na ruptura com os modelos tradicionais, fez-se necessário buscar instrumentos comprovados experimentalmente que avaliassem a qualidade dos problemas de forma adequada. Alguns estudos destacaram-se na literatura.

“A protocol to assess the curricular validity of cases for PBL” elaborado por Kanin e Hawkins (1997) foi o primeiro instrumento de avalição dos problemas a ser publicado, observando a relação entre conteúdo a ser estudado e os objetivos de aprendizagem propostos. Neste estudo foi enfatizado a análise da relação dos objetivos de aprendizagem com conteúdo curricular que está inserido, não avaliando outros pressupostos relevantes ao problema no grupo tutorial. A mesma limitação observou-se no estudo “Validation of a short questionnaire to assess the degree of complexity and structuredness of PBL problems” por Jacobs et al (2003), propôs uma avaliação da estrutura e complexidade dos problemas utilizados nos grupos tutoriais.

Por fim, Munshi, Zayat, Dolmans (2008), realizaram estudo intitulado “Development and utility of a questionnaire to evaluate the quality of PBL problems” no qual elaborou-se um questionário analisando a qualidade dos problemas baseados nos principais pressupostos teóricos do ABP. O instrumento compreende 6 fatores sendo eles: estimula o pensamento, a análise e o raciocínio; estimula a aprendizagem auto direcionada; leva ao estudo dos conteúdos pretendidos; melhora o interesse pelo assunto; relevância a futura profissão com contexto realístico, corresponde ao nível de conhecimento prévio. Cada fator tem sua temática detalhada em itens, totalizando 18 itens. Quanto as alternativas de respostas obedecem a uma escala de gradação de concordância variando de 1 (discordo totalmente) a 5 (concordo totalmente).

Devido ao fato do estudo proposto por Munshi, Zayat, Dolmans (2008) ser a publicação mais recente dentre os estudos analisados e subsidiar uma avaliação dos problemas em sua completude, optou-se por aprofundar-se os estudos no mesmo.

A existência deste instrumento na língua vernácula, permitirá o fortalecimento método assegurando que os problemas sejam construídos com base em seus pressupostos teóricos, assim como facilitará a construção dos problemas atuando como guia de avaliação de sua qualidade.

Nesse sentido, buscando embasamento empírico e reconhecendo satisfatório o instrumento “Questionnarie to evalution the quality of the PBL problems” desenvolvido no estudo de Munshi, Zayat, Dolmans (2008) optou-se por adaptá-lo ao português brasileiro, sendo, portanto, este o objetivo do presente estudo.

2 Métodos

2.1 Tipo de estudo

Trata-se de um estudo metodológico de adaptação transcultural a fim de adaptar o Questionnarie to evaluation the quality of PBL problems para língua portuguesa-Brasil.

2.2 Cenário do estudo, População, amostra e critérios de elegibilidade

O estudo deu-se na Faculdade Pernambucana de Saúde - FPS, uma instituição privada que utiliza o ABP de forma integral em todos os cursos, sendo eles: medicina, odontologia, nutrição, fisioterapia, psicologia e enfermagem.

Em duas etapas do processo de adaptação houve seleção de amostra, para tanto serão descritas separadamente.

A amostragem para seleção dos juízes foi do tipo conveniência. Deste modo, os pesquisadores buscaram em sua rede de contatos profissionais que tinha expertise reconhecida em estudos de adaptação e conhecimento teórico-prático em ABP comprovados no currículo lates. Também foram recrutados especialistas em língua português.

A amostra para o número de juízes participantes nesta etapa, seguiram as recomendações da literatura composta por dois especialistas em língua portuguesa, dois em medidas psicométricas e estudos de adaptação e três em educação com experiência em ABP. (REGNAULT E HERDMAN, 2015); (GUILLEMIN, BOMBARDIER E BEATON, 1993); (REICHEINHEIM E MORAES, 2007); (GÓIS, 2018).

Foi enviada uma carta convite via e-mail para todos os juízes selecionados, esclarecendo o objetivo do estudo e a versão objeto do estudo para análise prévia. Assim como agendando dia e horário do encontro presencial.

Todos os convidados, selecionados inicialmente aceitaram participar e assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

Na seleção dos participantes para o pré-teste, a opção pelo curso de enfermagem, deu-se por conveniência, visto que as pesquisadoras estão vinculadas a este curso.

Sendo assim, população foi composta pelos estudantes regularmente matriculados no curso de graduação em enfermagem, totalizando 130 estudantes.

A seleção desta amostra seguiu inicialmente os critérios estabelecidos no estudo original (objeto da adaptação transcultural): estudantes de cursos de saúde que vivenciam a metodologia ABP em sua integralidade no currículo e possuem familiaridade com problemas. Construiu-se a partir dos critérios estabelecidos anteriormente um plano amostral incluindo todos os estudantes matriculados do 2º ao 10º período no curso de graduação em enfermagem. Este mesmo fator de inclusão foi empregado no estudo original de Munshi, Zayat, Dolmans (2008).

Foram excluídos do estudo os estudantes do 1º período pois eles ainda estavam em processo de adaptação ao método assim como os estudantes matriculados nos demais períodos que haviam ingressado naquele semestre, transferidos de outras instituições, pelo mesmo motivo relativo ao processo de adaptação. Obteve-se como amostra 111 participantes.

2.3 Referencial teórico metodológico

Para o processo de adaptação transcultural, partiu-se do pressuposto que o contexto geográfico e a cultura podem interferir no modo em que cada conceito é interpretado, cabendo adaptações de equivalência transcultural (REGNAULT E HERDMAN, 2015).

A etapas da adaptação deram-se de forma sistemática a partir das recomendações de relevantes literaturas, sendo elas: Regnault e Herdman (2015); Guillemin, Bombardier e Beaton (1993); Reicheinheim e Moraes (2007). Conforme ilustrado na figura 1 por Góis (2018).

Fonte: Adaptado de Góis (2018).

Figura 1 Processo de adaptação transcultural 

2.4 Equivalência conceitual dos itens

Nesta etapa foi realizada uma revisão de literatura, buscando artigos na língua portuguesa, a fim de consolidar conceitos básicos sobre o ABP e a construção dos problemas utilizados nos grupos tutorias, descritos na literatura.

Esta etapa buscou fomentar o embasamento teórico dos pesquisadores.

2.5 Tradução do instrumento para o português brasileiro

A tradução do Questionnarie to evaluation the quality of PBL problems para língua portuguesa foi realizada individualmente por dois tradutores independentes, de nacionalidade brasileira e habilitados em inglês. Tendo-se as duas primeiras versões: T1 e T2.

2.6 Síntese das traduções

Posteriormente os tradutores comparam suas versões traduzidas e realizaram a síntese elaborando uma versão única consensual, buscando termos e palavras que julgaram mais adequadas.

2.7 Retradução ou back translation

A versão consensual construída na etapa anterior foi retraduzida para a língua inglesa, por dois tradutores que tinham como língua nativa o inglês e habilitação na língua portuguesa. Produzindo a versões B1 e B2.

2.8 Resíntese

Um quarto tradutor bilíngue verificou formalmente a equivalência da versão original do Questionnarie to evaluation the quality of PBL problems com as duas versões (B1 e B2) produzidas na etapa anterior e construindo uma síntese. Após a verificação das possíveis divergências entre a síntese e o constructo original. O mesmo tradutor, responsável por essa etapa retraduziu esta última versão para o português.

2.9 Avaliação pelos especialistas

Esta etapa objetivou em avaliar a equivalência idiomática e do conteúdo por um comitê de especialistas formado por dois experts língua portuguesa, dois em medidas psicométricas e estudos de adaptação e três em educação com experiência em ABP.

A discussão iniciou-se quando todos os convidados se fizeram presentes, por meio da leitura em voz alta de cada item pelo pesquisador responsável, em seguida o espaço foi aberto para considerações de cada especialista. Seguindo-se somente para o item posterior após consenso entre todo o grupo.

2.10 Pré-teste

Por fim, 111 estudantes avaliaram a versão produzida pelo comitê de especialista a fim de verificar a compreensão de cada questão. Os estudantes analisaram item a item verificando na escala de gradação de Likert o seu nível de compreensão a cada afirmativa, sendo 1 nada compreensível e 5 totalmente compreensível.

2.11 Tabulação e análise de dados

Os dados foram digitados em dupla entrada no Microsoft Excel®, versão 2013 e com auxílio de um profissional estatístico analisados na ferramenta SPSS (Statistical Package for the Social Sciences) ®, versão 22.

Foi verificada as médias e desvio padrão individualmente para cada item.

Quanto a avaliação de confiabilidade, a consistência interna foi medida por meio do coeficiente alfa de Cronbach. Considera-se que o intervalo ideal de valores do alfa esteja entre 0,7 e 0,9. (TERWEE, 2007).

Assim, diante de um instrumento com vários subcomponentes (fatores), o alfa foi calculado individualmente para cada fator, uma vez que existem teoricamente vários construtos em questão.

2.12 Aspectos éticos

O estudo atendeu à Resolução 466/2012, a qual se refere a pesquisas envolvendo seres humanos, tendo aprovação do Comitê de Ética da Faculdade Pernambucana de Saúde- PE, CAAE no19150213.9.0000.5569.

Para realização do estudo também se obteve autorização do autor para utilização do instrumento original, assim como todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) em duas vias.

3 Resultados e discussão

Hung (2016), evidencia que o problema é parte essencial da Aprendizagem Baseada em Problemas, não somente para que o estudante identifique os objetivos de aprendizagem mas que o seu designer está relacionado com todo processo da aprendizagem em ABP. Entretanto ainda são escassos os estudos que exploram, desenvolvem e testam sua construção

No cotidiano dos grupos tutoriais da ABP é recorrente a inquietação dos docentes quanto a efetividade do problema. Por não ter uma ferramenta ou modelo norteador, muitas vezes só se sabe da efetividade do problema após utilizá-lo. E caso não seja funcional seguirá para uma reformulação. Entretanto, os danos aos estudantes que se deparam com um problema que apresenta fragilidades, não será reavido. Cabendo ao tutor uma maior intervenção, na tentativa de cumprir a atribuição que seria do problema.

Para Hung, Mehl, & Holen (2013) é indiscutível a relevância do tutor, mas colocar nele todo o processo de facilitação pode comprometer a construção do aprendizado. No caso de problemas difíceis para nível do estudante ou vagos, corre-se o risco de o estudante desenvolver dependência do facilitador, comprometendo premissas da ABP como raciocino crítico e autonomia do estudante.

O instrumento apresentado por Munshi, Zayat, Dolmans (2008), propõe a avaliação da qualidade dos problemas de forma rápida tendo uma estrutura descomplicada e de fácil compreensão por docentes e discentes. Sendo sua adaptação transcultural de grande valia para os que trabalham com ABP.

Sabe-se que o processo de adaptação de um instrumento para outro idioma deve-se considerar além das terminologias específicas da temática abordada, as questões culturais, sociais e linguísticas. Sendo muitas por vezes encontradas algumas pequenas distorções. Deste modo é necessário um trabalho minucioso na busca de possibilitar um entendimento efetivo por parte da população em estudo, sem desvirtuar as ideias da versão original (SOUZA APR, MARQUES JM, SCOTT, 2010).

Nessa perspectiva, considerando as necessidades de adaptações culturais, semânticas e linguísticas, seguiu-se as etapas baseado nas recomendações de (REGNAULT E HERDMAN, 2015); (GUILLEMIN, BOMBARDIER E BEATON, 1993); (REICHEINHEIM E MORAES, 2007); (GÓIS, 2018).

3.1 Equivalência conceitual dos itens

Os pesquisadores realizaram uma revisão livre em bases de dados a fim de aprofundar seus conhecimentos sobre os conceitos básicos sobre ABP e os problemas. Esta etapa deu-se de modo satisfatório visto que os pesquisadores já possuíam experiências teóricas e práticas com o método. Não sendo necessário portanto uma revisão sistemática.

3.2 Tradução, síntese das traduções, retradução e resíntese

Na primeira versão ocorreram algumas divergências entre as versões das duas tradutoras independentes (T1/T2). O título do questionário que consta a sigla PBL não foi traduzida por uma das tradutoras. E a escala de tipo Likert, representando o número 2 houveram as traduções: não concordo e discordo.

Na versão consensual (síntese das traduções) as tradutoras optaram por usar a forma traduzida ABP justificando que no Brasil utiliza-se a forma traduzida do método de Problems Based Learning (PBL) para Aprendizagem baseada em problemas (ABP). Quanto a escala ade tipo Likert, foi adotada para o número 2 a forma não concordo.

Ainda na síntese das traduções, ao analisar cada item percebeu-se a utilização de palavras semelhantes, contudo foram adotadas na versão consensual as que mais se aproximavam da semântica proposta em cada afirmativa, como nos itens: 2, 3, 4, 6, 12, 13, 17. Pode-se observar no quadro 1 a versão original ainda na linga inglesa e a versão consensual produto das tradutoras.

Quadro 1: Avaliação da equivalência semântica -Tradução do Questionnaire to evaluate the quality of PBL problems. 

Documento original Síntese das traduções
1. The problem is open enough to sustain discussion O problema é suficientemente aberto para sustentar uma discussão
2. The problem provides optimal directions for discussion (i.e. not too many or too few) O problema fornece instruções ideais para a discussão (nem muitas, nem poucas)
3. The problem contains appropriate stimulating cues O problema contém pistas que estimulam o usuário/aluno a resolvê-lo.
4. The problem stimulates students to formulate their various learning issues O problema estimula os alunos a formular seus diversos problemas de aprendizagem
5. The problem stimulates students to search for relevant literature O problema estimula os alunos a buscar a literatura relevante
6. The problem stimulates students towards an effective discussion O problema estimula os alunos em direção a uma discussão efetiva
7. The problem is formulated to guide to one or more of the general block objectives O problema é formulado para guiar a um ou mais objetivos gerais do conteúdo programado
8. The problem encourages integration of various disciplines O problema encoraja a integração das diversas disciplinas
9. The problem encourages to consult literature linked to block objectives O problema encoraja a consulta à literatura relacionada aos objetivos do conteúdo programado
10. The problem is formulated in such a way that it enhances students` interest in the subject matter O problema está formulado de tal forma que ele aumenta o interesse dos alunos pelo assunto
11. The problem is phrased to students` perception of their own environment and culture O problema é elaborado para a percepção dos alunos de seu próprio meio ambiente e cultura
12. The scenario in the problem appears appealing to students. O cenário do problema parece atraente aos alunos
13. The problem shows clear linkage to the future profession O problema demonstra clara conexão com a futura profissão.
14. Basic science concepts are presented in a context of a clinical problem Conceitos básicos de ciência são apresentados num contexto de um problema clínico.
15. The problem is related to a patient not to a disease only O problema está relacionado a um paciente e não somente a uma doença.
16. The problem adapts to the level of the student´s prior knowledge O problema se adapta ao nível do conhecimento prévio do aluno.
17 The problem is in alignment with the curricular material previously covered O problema está de acordo com o conteúdo curricular previamente trabalhado.
18. Students are familiar with part of the knowledge necessary for discussing the problem Os alunos estão familiarizados com parte do conhecimento necessário para a discussão do problema.

Fonte: As autoras.

No processo de retradução o título do questionário apresentou divergência da versão original no uso dos termos evaluation e assessment, infere-se que o tradutor nativo da língua inglesa não atentou para diferença no uso das expressões, visto que ambas se tratam de avaliação, entretanto empregadas em situações diferentes.

No entanto, durante a resíntese o tradutor identificou para tal divergência e optou por empregar o substantivo evaluation.

Os dois termos são utilizados por educadores. O assesment fornece feedback sobre conhecimentos, habilidades, atitudes e produtos de trabalho com a finalidade de elevar desempenhos futuros. Já evaluation é utilizado para determinar o nível de qualidade de um desempenho ou resultado e permite a tomada de decisões com base no nível de qualidade demonstrado. Esses dois processos são complementares e necessários para educação, mas não são sinônimos (BAEHR, 2010).

Por tratar-se de uma retradução, onde anteriormente as expressões já haviam sido adaptadas à coerência textual, é comum encontrar tais divergências que foram solucionadas na ressíntese.

3.3 Comitê de juízes: análise semântica e análise do construto.

Participaram desta etapa 7 juízes especialistas na área de educação com experiência em ABP, medidas psicométricas e adaptação de instrumento e linguística.

Todos os juízes receberam anteriormente e analisaram a versão consensual produzida pelos tradutores. Optou-se por um encontro presencial com todos os juízes a fim de oportunizar troca de conhecimentos e fomentar discussões em diferentes áreas. Deste modo, todos os itens foram discutidos e esgotados somente quando houve consenso.

No título foi adotado o termo “casos/problemas” por ser uma expressão comumente utilizada no método ABP e para evitar possíveis ambiguidades que o termo “problemas” poderia causar.

Também foi retirado “Aprendizagem Baseada em Problemas”, ficando somente a sigla ABP devido ao seu uso corriqueiro.

Na escala do tipo Likert, o no 1 definido como “discordo plenamente” foi substituído por “discordo totalmente” e o no 3 foi alterado o termo “neutro” por “não concordo, nem discordo”.

Em todas as afirmativas o termo “alunos” foi substituído por “estudantes”, assim como “disciplinas” foi substituído por “conteúdos”, “blocos” por “módulos” e “problemas de aprendizagem” por “objetivos de aprendizagem”. Sendo em todos esses casos adaptações sobre nomenclaturas adotadas pelo método ABP.

As questões 3, 6, 11, 14, 17, 18 sofreram alterações a fim de manter a coerência, semântica e concordância verbal e nominal, conforme apresentado no quadro 2.

Quadro 2 Comparativo entre as versões de resíntese e versão após o comitê de juízes. 

Resíntese Versão após comitê de juízes
1. O problema é suficientemente aberto para sustentar uma discussão. O caso/problema fornece instruções ideais para a discussão (Nem demais, nem de menos)
2. O problema fornece instruções ideais para a discussão (nem muitas, nem poucas.) O caso/problema contém pistas estimulantes apropriadas.
3. O problema contém pistas que estimulam o usuário/aluno a resolvê-lo. O caso/problema estimula os estudantes a formular os diversos objetivos de aprendizagem do grupo
4. O problema estimula os alunos a formular seus diversos problemas de aprendizagem O problema estimula os alunos a formular seus diversos problemas de aprendizagem
5. O problema estimula os alunos a formular seus diversos problemas de aprendizagem O caso/problema está formulado para guiar a um ou mais dos objetivos gerais do módulo
6. O problema estimula os alunos em direção a uma discussão efetiva O caso/problema estimula a integração dos diversos conteúdos
7. O problema é formulado para guiar a um ou mais objetivos gerais do conteúdo programado O caso/problema está formulado de tal forma que ele aumenta o interesse dos estudantes pelo assunto
8. O problema encoraja a integração das diversas disciplinas O caso/problema permite a percepção do estudante quanto ao meio ambiente e cultura
9. O problema encoraja a consulta à literatura relacionada aos objetivos do conteúdo programado O cenário do caso/problema parece atraente aos estudantes
10. O problema está formulado de tal forma que ele aumenta o interesse dos alunos pelo assunto Conceitos básicos de saúde são apresentados num contexto de um caso/problema clínico.
11. O problema é elaborado para a percepção dos alunos de seu próprio meio ambiente e cultura O caso/problema está relacionado a um paciente e não somente a uma doença.
12. O cenário do problema parece atraente aos alunos. O caso/problema se adapta ao nível do conhecimento prévio dos estudantes
13. O problema demonstra clara conexão com a futura profissão. O caso/problema permite aos estudantes identificar parte do conhecimento necessário para discussão do problema
14. Conceitos básicos de ciência são apresentados num contexto de um problema clínico. Conceitos básicos de saúde são apresentados num contexto de um caso/problema clínico.
15. O problema está relacionado a um paciente e não somente a uma doença. O caso/problema está relacionado a um paciente e não somente a uma doença
16. O problema se adapta ao nível do conhecimento prévio do aluno. O caso/problema se adapta ao nível do conhecimento prévio dos estudantes
17. O problema está de acordo com o conteúdo curricular previamente trabalhado. O caso/problema está de acordo com o material curricular previamente estudado
18. Os alunos estão familiarizados com parte do conhecimento necessário para a discussão do problema. O caso/problema permite aos estudantes identificar parte do conhecimento necessário para discussão do problema.

Fonte: As autoras.

3.4 Pré-teste

Após as alterações recomendadas pelo comitê de juízes, o instrumento analisado por uma amostra de 111 estudantes do curso de graduação em Enfermagem, a fim de verificar o nível de entendimento dos estudantes quanto as afirmativas propostas no instrumento.

Para tanto, manteve-se a escala de gradação mudando-se a nomenclatura para o grau de compreensão visto que o objetivo do pré-teste é analisar o instrumento em si. Seguindo a gradação apresentada no quadro 3.

Quadro 3 Itens da escala de intangibilidade. 

Nível de intangibilidade Descrição para leitura
Nada compreensível Não entendo nenhuma palavra ou a mensagem que está dizendo.
Pouco compreensível Entendo poucas palavras com dificuldade, mas não o sentido da mensagem.
Compreensível Entendo algumas palavras o suficiente para entender boa parte da mensagem.
Muito compreensível É possível entender maior parte das palavras e da mensagem
Totalmente compreensível É possível entender todas as palavras e toda a mensagem.

Fonte: Adaptado de Souza, Marques e Scott (2010).

A partir de então, realizou-se uma análise quantitativa por meio de identificação das médias e desvio- padrão.

Tabela 1 Média e Desvio-padrão do Questionnarie to evaluation the quality of PBL problem- versão brasileira. 

Média ± DP
Fator 1: Estimula o Pensamento, Análise e Raciocínio
1 O problema é suficientemente aberto para sustentar uma discussão 3,46 ± 1,16
2 O problema fornece instruções ideais para a discussão (nem demais, nem de menos) 3,53 ± 0,99
3 O problema contém sugestões estimulantes apropriadas 3,39 ± 1,00
Fator 2: Estimula a Aprendizagem Autodirecionada
4 O problema estimula os alunos a formular suas diversas questões de Aprendizagem 3,95 ± 1,02
5 O problema estimula os alunos a buscar a literatura relevante 3,95 ± 1,02
6 O problema estimula os alunos em direção a uma discussão efetiva 3,93 ± 0,99
Fator 3: Leva ao Estudo dos Conteúdos Pretendidos
7 O problema está formulado para guiar a um ou mais dos objetivos de bloco Gerais 3,60 ± 1,12
8 O problema encoraja a integração das diversas disciplinas 3,86 ± 0,97
9 O problema encoraja a consulta à literatura ligada aos objetivos de bloco 3,89 ± 1,06
Fator 4: Melhora o Interesse pelo Assunto
10 O problema está formulado de tal forma que ele aumenta o interesse dos alunos pelo assunto 4,04 ± 1,02
11 O problema é elaborado para a percepção dos alunos de seu próprio meio ambiente e cultura 3,77 ± 1,07
12 O cenário do problema parece atraente aos alunos 3,76 ± 1,05
Fator 5: Relevância à Profissão Futura com Contexto Realístico
13 O problema demonstra clara conexão com a profissão futura. 4,10 ± 1,02
14 Conceitos básicos de ciência são apresentados num contexto de um problema clínico. 3,78 ± 1,12
15 O problema está relacionado a um paciente e não somente a uma doença. 3,96 ± 1,10
Fator 6: Corresponde ao Nível de Conhecimento Prévio
16 O problema se adapta ao nível do conhecimento prévio do aluno. 3,76 ± 1,17
17 O problema está de acordo com o material curricular previamente trabalhado. 3,97 ± 0,97
18 Os alunos estão familiarizados com parte do conhecimento necessário para a discussão do problema. 3,76 ± 1,17

Fonte: As autoras.

A fim de verificar a confiabilidade do instrumento traduzido, também foi mensurada sua consistência interna por meio do alfa de Cronbach.

A confiabilidade refere-se a quão estável e consistente é um instrumento. A consistência interna, é um critério para mensurar tal confiabilidade. Esta, refere-se a homogeneidade entre as subpartes do instrumento ou seja, se elas medem as mesmas características. Desde a década de 50 o alfa de Cronbach é a medida mais utilizada para testar consistência interna. Ele reflete o grau de variância entre os itens do instrumento (SOUZA, A.C; ALEZANDRE; N.M.C.; GUIRARDELLO, EB, 2017).

Tabela 2: Alfa de Cronbach do Questionnarie to evaluation the quality of PBL problem- versão brasileira. 

Fator Alfa de Cronbach
Fator 1: Estimula o Pensamento, Análise e Raciocínio 0,732
Fator 2: Estimula a Aprendizagem Autodirecionada 0,742
Fator 3: Leva ao Estudo dos Conteúdos Pretendidos 0,783
Fator 4: Melhora o Interesse pelo Assunto 0,749
Fator 5: Relevância à Profissão Futura com Contexto Realístico 0,770
Fator 6: Corresponde ao Nível de Conhecimento Prévio 0,810

Fonte: As autoras.

Os indicadores de consistência interna que mensuraram a confiabilidade de cada fator. Percebe-se valores semelhantes entre os fatores componentes do instrumento. O fator 6 foi o que apresentou maior variação entre os seus itens do constructo. Vale ressaltar que seus valores não se referem a uma característica da escala em si e sim da população estudada. (SOUZA, A.C; ALEZANDRE, N.M.C.; GUIRARDELLO, EB, 2017).

Embora não haja consenso quanto a seus valores e interpretações, alguns estudos consideram que valores superiores a 0,7 sejam os ideais, tendo o valor máximo 0,9. Deste modo, pode-se considerar satisfatório o teste de confiabilidade (TERWEE, 2007).

Na versão original do instrumento não foi utilizada análise de confiabilidade, apenas as medidas de dispersão(desvio-padrão) e de tendência central(média) de cada item. Desde modo não foi viabilizada a comparativa entre as duas versões do instrumento quanto a consistência interna.

4 Conclusão

Os resultados encontrados são favoráveis a utilização do instrumento em estudo na versão brasileira.

Tem-se como pontos fortes, sua estrutura compartimentalizada em fatores permitindo uma contextualização da temática que será abordada. Quanto as afirmativas dispostas em cada fator, a simplicidade que foram escritas na versão original, de forma clara e concisa facilitaram o processo de adaptação.

Devido a origem do método ABP ter sido em universidades estrangeiras, como MacMaster no Canadá e Maastricht na Holanda, muitos termos em inglês já eram conhecidos, facilitando o processo de tradução e ajustes pertinentes.

O processo de adaptação transcultural foi executado de forma sistemática seguindo todas as etapas propostas pela literatura além de apresentar um bom coeficiente de confiabilidade, sendo, portanto, satisfatório. Assim, o Questionnarie to evaluation the quality of PBL problems encontra-se adaptado ao português brasileiro.

Concluindo-se, que o “Questionário de avaliação da qualidade dos casos/problemas em ABP- versão brasileira” pode ser utilizada como instrumento de avaliação dos problemas em ABP.

Recomenda-se para estudos posteriores o aprofundamento de análises psicométricas a fim de realizar o processo de validação do constructo.

Reconhecimentos:

Não aplicável.

Referências

BAEHR, Marie. Distinction between assessment and evaluation. In: Faculty guidebook. Lisle, IL: Pacific Crest. v. 4, p. 7-10, 2010. [ Links ]

BORGE, Marcos et al. Aprendizado Baseado em Problemas. Medicina (Ribeirão Preto online), v. 47, n. 3, p. 301-307, 2014. Acesso em: maio, 2010. Disponível em: http://www.revistas.usp.br/rmrp/article/view/86619. Acesso em: 19 abr. 2020. [ Links ]

BOROCHOVICIUS, Eli; TORTELLA, Jussara. Aprendizagem Baseada em Problemas: um método de ensino-aprendizagem e suas práticas educativas. Ensaio: aval. pol. púb. Educ., v. 22, n. 83, p. 263-294, 2014. Disponível em: https://www.scielo.br/pdf/ensaio/v22n83/a02v22n83.pdf. Acesso em: 10 mar. 2020. [ Links ]

GÓIS, Joselice; et al. Cross-cultural adaptation of the General Comfort Questionnaire to Brazilian patients with myocardial infarction. Rev Bras Enferm, v. 71, n. 6, p. 2998-3005, 2018. Disponível em: https://doi.org/10.1590/0034-7167-2017-0557. Acesso em: 5 jan. 2020. [ Links ]

GUILLEMIN, Francis; BOMBARDIER, Claire; BEATON, Dorcas. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol., v. 46, n. 12, p. 1417-1432, 1993. Disponível em: https://doi.org/10.1016/0895-4356(93)90142-N. Acesso em: 2 dez. 2019. [ Links ]

HUNG, Woei; MEHL, Katherine; HOLEN, Jodi. The relationships between problem design and learning process in problem-based learning environments: Two cases. The Asia Pacific Education Researcher, v. 22, n. 4, p. 635-645, 2013. Disponível em: http://dx.doi.org/10.1007/s40299-013-0066-0. Acesso em: 21 dez. 2019. [ Links ]

HUNG, Woei. All PBL Starts Here: The Problem. Interdisciplinary Journal of Problem-Based Learning, v. 10, n. 2, 2016. Disponível em:https://doi.org/10.7771/1541-5015.1604. Acesso em: 20 out. 2019. [ Links ]

JACOBS, Alexandra; et al. Validation of a short questionnaire to assess the degree of complexity and structuredness of PBL problems. Med Educ, v. 37, n. 11, p. 1001-1007, 2003. Disponível em: https://doi.org/10.1046/j.1365-2923.2003.01630.x. Acesso em: 3 mar. 2020. [ Links ]

KANIN, Carol.; HAWKINS, Jaqueline. A Protocol to Assess the Curricular Validity of Cases for PBL. Teaching and Learning in Medicine. v. 9, n. 3, p. 215-220, 1997. Disponível em: https://doi.org/10.1080/10401339709539844 Acesso em: 7 ago. 2019. [ Links ]

MOALLEM, Mahnaz.; HUNG, Woei.; DABBAGH, Nada. Problem Design in PBL. The Wiley Handbook of Problem‐Based Learning. John Wiley & Sons, Inc. p. 249-272, 2019. Online ISBN:9781119173243. Disponível em: https://onlinelibrary.wiley.com/doi/book/10.1002/9781119173243, Acesso em: 10 jan. 2020. [ Links ]

MUNSHI, Fadi; ZAYAT, El Sayet; DOLMANS, Diana. Development and utility of a questionnaire to evaluate the quality of PBL problems. South East Asian Journal of Medical Education. v. 2, n. 2, p. 32-40, 2008. Disponível em: http://seajme.md.chula.ac.th/articleVol2No2/OR5_Fadi%20Munshi.pdf. Acesso em: 3 fev. 2019. [ Links ]

REGNAULT, Antoine; HERDMAN, Michael. Using quantitative methods within the Universalist model framework to explore the cross-cultural equivalence of patient- reported outcome instruments. Qual Life Res., v. 24, n. 1, p. 115-124, 2015. https://doi.org/10.1007/s11136-014-0722-8 Acesso em: 7 jan. 2019. [ Links ]

REICHEINHEIM, Michael; MORAES, Cláudia. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública, v. 41, n. 4, p. 665- 673, 2007. Disponível em: http://dx.doi.org/10.1590/S0034-89102006005000035. Acesso em: 17 jan. 2020. [ Links ]

SOUZA, Ana Claudia de; ALEZANDRE, Neusa Maria; GUIRARDELLO, Edinês. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol. Serv. Saude, Brasília, v. 26, n. 3, p.647-657, 2017. Disponível em: http://dx.doi.org/10.5123/s1679-49742017000300022. Acesso em: 17 jan. 2020. [ Links ]

SOUZA, Ana Paula; MARQUES, Jair; SCOTT, Lisiane. Validação de itens para uma escala de avaliação da inteligibilidade de fala. Pró-Fono Revista de Atualização Científica, v. 22, n. 3, p. 325-332, 2010. Disponível em: http://dx.doi.org/10.1590/S0104-56872010000300028. Acesso em: 22 jun. 2020. [ Links ]

TERWEE, Caroline et al. Quality criteria were proposed for measurement properties of health status questionnairres. J Clin Epidemiol, v. 60, n. 1, p. 34-42, 2007. Disponível em: https://pubmed.ncbi.nlm.nih.gov/17161752/. Acesso em: 28 mai. 2020 [ Links ]

Financiamento: Não aplicável.

Aprovação ética: Comitê de Ética da Faculdade Pernambucana de Saúde- PE, CAAE no19150213.9.0000.5569.

uninformed

Disponibilidade de dados e material: Não aplicável.

Recebido: 26 de Setembro de 2020; Aceito: 01 de Junho de 2022; Publicado: 24 de Setembro de 2022

Conflitos de interesse:

Os autores certificam que não tem interesse comercial ou associativo que represente um conflito de interesses em relação ao manuscrito

Editores de Seção:

Rodrigo Pivetta Werlang, Maria de Lourdes Pinto de Almeida

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons