SciELO - Scientific Electronic Library Online

 
vol.45 número3Uso de psicotrópicos por acadêmicos da área da saúde: uma análise comparativa e qualitativaPrevalência de empatia, ansiedade e depressão, e sua associação entre si e com gênero e especialidade almejada em estudantes de medicina índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Revista Brasileira de Educação Médica

versão impressa ISSN 0100-5502versão On-line ISSN 1981-5271

Rev. Bras. Educ. Med. vol.45 no.3 Rio de Janeiro  2021  Epub 17-Ago-2021

https://doi.org/10.1590/1981-5271v45.3-20200517.ing 

ARTIGO ORIGINAL

O significado do feedback: um olhar de estudantes de medicina

Silvia Cristina Marques Nunes Pricinote1 
http://orcid.org/0000-0003-3237-7040

Edna Regina Silva Pereira1 
http://orcid.org/0000-0001-7177-3893

Nilce Maria da Silva Campos Costa1 
http://orcid.org/0000-0003-2531-1430

Marcos Rassi Fernandes1 
http://orcid.org/0000-0001-8078-528X

1 Universidade Federal de Goiás, Goiânia, Goiás, Brasil.


Resumo:

Introdução:

O processo ensino-aprendizagem em saúde envolve um binômio: por um lado, o ensino (o docente e a instituição) e, por outro, o aluno e sua capacidade de interagir adequadamente nesse contexto. Assim como o ensinar demanda competências específicas, o aprender também exige dos alunos a capacidade de dominar as habilidades necessárias à aprendizagem. O feedback também deve ser entendido nesse sentido. Apesar de o feedback ser um tema frequente na literatura, poucas pesquisas abordam o seu significado e impacto na perspectiva dos discentes. Além disso, existe uma lacuna entre a literatura e a prática sobre o seu poder real no processo de ensino-aprendizagem.

Objetivo:

Este estudo objetivou avaliar a compreensão de feedback por alunos de cursos de Medicina.

Método:

Trata-se de uma pesquisa qualitativa com enfoque descritivo e exploratório, na modalidade de estudo de caso, com a utilização da técnica de grupo focal na coleta de dados e análise de conteúdo temática. Os participantes foram discentes do quarto ano ou oitavo período de três faculdades de Medicina localizadas no estado de Goiás.

Resultado:

As seguintes categorias emergiram: compreensão de feedback, frequência do feedback recebido, impacto dele no processo de ensino-aprendizagem e percepção sobre o feedback recebido. Os alunos compreenderam parcialmente o conceito de feedback, mas não reconheceram o feedback interno. Foi relatada uma baixa frequência de feedback e de sua relação com o professor, a disciplina e o tempo no curso relacionado ao tipo de currículo. Mesmo assim, os estudantes reconheceram os pontos impactantes do feedback no processo de ensino-aprendizagem, estando receptivos ao feedback efetivo.

Conclusão:

Embora conhecessem apenas parcialmente o significado de feedback e o vivenciassem de forma irregular, os estudantes de Medicina reconheceram o impacto dessa ferramenta no processo ensino-aprendizagem. Num contexto de alunos capacitados em conhecer sobre seu próprio conhecimento, verdadeiramente os emponderando no processo de ensino-aprendizagem, eles desenvolverão uma prática reflexiva constante de gerar o feedback interno, possibilitando que o impacto real do feedback no processo de ensino-aprendizado possa ser observado na prática conforme descrito na literatura.

Palavras-chave: Retroalimentação Psicológica; Estudantes de Medicina; Ensino; Aprendizagem; Avaliação Educacional

Abstract:

Introduction:

The teaching-learning process in health involves a binomial: on the one hand, teaching (the teacher and the institution) and, on the other hand, the students and their ability to adequately interact in this context. Just as teaching requires specific skills, learning also requires students to be able to master the necessary skills for learning. Feedback should also be understood in this regard. Although feedback is a frequent topic in the literature, few studies have addressed its meaning and impact from the students’ perspective. Moreover, a gap has been identified between theory and practice regarding the real power of feedback in the teaching-learning process.

Objective:

This study aimed to assess medical students’ understanding of feedback.

Method:

This is a qualitative research with a descriptive and exploratory focus, carried out using in the case study modality, with the focus group technique in data collection and thematic content analysis. The participants were medical students attending the fourth-year or eighth-semester at three schools located in the state of Goiás, Brazil.

Results:

The following categories emerged: understanding of feedback, frequency of received feedback, impact of feedback on the teaching-learning process and perception about the received feedback. Students understood in part the concept of feedback, not recognizing the internal feedback. A low frequency of feedback was reported and depended on the teacher, subject and year/semester of the course related to the type of curriculum. Even so, the participants recognized the points of feedback that impact on the teaching-learning process and were receptive to effective feedback.

Conclusion:

Even though they knew the meaning of feedback only partially and experienced it irregularly, medical students recognized the impact of this tool on the teaching-learning process. In a context of students trained to know about their own knowledge, truly empowering them in the teaching-learning process, they will develop a constant reflective practice of generating internal feedback, allowing the actual impact of feedback on the teaching-learning process to be observed in practice, as described in the literature.

Keywords: Feedback; Students Medical; Teaching; Learning; Educational Measurements

INTRODUÇÃO

O processo de aprendizagem é o modo pelo qual os seres humanos adquirem novos conhecimentos, desenvolvem competências e mudam o comportamento. Há aprendizados que podem ser considerados natos, mas a maioria da aprendizagem se dá no meio social em que o indivíduo convive. Na área educacional, as técnicas de ensino podem contribuir para o processo de aprendizagem, principalmente vinculado às aprendizagens básicas: aprender a aprender, aprender a fazer, aprender a ser e aprender a viver juntos1.

Segundo as Diretrizes Curriculares Nacionais (DCN), o graduando deve se corresponsabilizar pelo seu aprendizado na formação inicial, continuada e em serviço, destacando a importância do aprender a aprender2. O aprender a aprender relaciona-se à competência de compreensão da informação, à assimilação, à interpretação e ao modo de aplicação na prática, por meio do desenvolvimento da habilidade de construção do conhecimento, quando o sujeito exerce um papel ativo na própria aprendizagem1),(3. Nesse contexto de aprendizagem continuada, emerge a importância da prática constante do feedback1.

Feedback é uma informação específica sobre a comparação entre a observação da performance ou do conhecimento de um aluno no desempenho de uma tarefa e o padrão desejado. Ele busca aprimorar esse desempenho e reduzir a distância existente entre o ideal e o real4),(5. O feedback é considerado efetivo quando é capaz de gerar resultados, promovendo um desenvolvimento positivo e desejável6),(7.

No processo de feedback ativo, ao professor cabe o papel de facilitador (escolher a tarefa adequada, estabelecer padrões desejados e auxiliar no processo da prática reflexiva). Nesse modelo, a tarefa acadêmica estipulada pelo professor (avaliação ou não) é o ponto inicial do processo8.

O engajamento nessa tarefa requer que o estudante mobilize seu conhecimento prévio, sua motivação e interpretação adequada sobre qual o intento da tarefa proposta. Assim, pode reformular seus próprios objetivos com a tarefa aplicando táticas e estratégias para cumprir sua missão, de modo a gerar com isso resultados. O feedback interno resulta da comparação entre o progresso individual, os objetivos próprios e o padrão definido. O feedback externo vem para ser o gatilho e para aumentar o caminho de aprendizagem percorrido com o qual o indivíduo pode concordar ou conflitar. Como etapa seguinte, são postas em prática ações para preencher os espaços entre eles, direcionando e sedimentando o conhecimento8.

Com essa prática reflexiva, o estudante pode atravessar os estágios da teoria de conscientização de competências (incompetente inconsciente, incompetente consciente, competente consciente e competente inconsciente) descritos no ciclo de Kolb, principalmente do primeiro para o segundo estágio9),(10.

Ao mobilizar os processos internos do aprender, o feedback torna-se um processo metacognitivo de aprendizagem. O termo metacognição surge na década de 1970 com Flavell11, sendo definido como o conhecimento, a consciência e o controle que a pessoa tem de seus processos cognitivos. Traduz-se na capacidade de o aprendiz identificar conscientemente o que aprendeu e aquilo que ainda necessita aprender, bem como lançar mão de recursos para atender às suas necessidades de aprendizagem, tornando-se parte importante do processo ensino-aprendizagem12),(13.

O processo ensino-aprendizagem em saúde envolve um binômio: por um lado, o ensino (o docente e a instituição) e, por outro, o aluno e sua capacidade de interagir adequadamente nesse contexto. Assim como o ensinar demanda competências específicas, o aprender também exige dos alunos a capacidade de dominar as habilidades necessárias à aprendizagem3.

O feedback também deve ser entendido nesse sentido. Embora essa estratégia tenha a capacidade de influenciar consideravelmente o processo de ensino-aprendizagem4),(6),(14)-(17, alguns estudos afirmam que isso ocorre raramente ou de forma ineficaz, principalmente no ensino médico18)-(23. Será que essa lacuna não se correlaciona à etapa terminal desse processo: a aprendizagem do aluno? Assim, o objetivo deste trabalho foi avaliar a compreensão de feedback por alunos do curso de Medicina.

MÉTODO

Desenho

O presente estudo caracterizou-se como uma pesquisa qualitativa com enfoque descritivo e exploratório. Optou-se pela modalidade de estudo de caso com a utilização da técnica de grupo focal na coleta de dados e análise de conteúdo temática24)-(31.

A pesquisa qualitativa trabalha com o universo dos significados, dos motivos, das aspirações, das percepções, das crenças, dos valores e das atitudes como parte da realidade social humana, visto que o ser humano não se caracteriza apenas por suas ações, e sim por pensá-las e interpretá-las dentro do contexto vivido30. Esse entendimento é vital na exploração de experiências e percepções de alunos em pesquisas em ensino da saúde26.

O estudo de caso se caracteriza como um tipo de pesquisa cujo objeto é uma unidade que se analisa profundamente e de forma mais direcionada. Ao envolver dois ou mais sujeitos, duas ou mais instituições, pode-se falar de casos múltiplos. A escolha da unidade a ser investigada é feita tendo em vista o problema ou a questão que preocupa o investigador, visando ao exame detalhado de uma situação em particular; neste estudo: o feedback nos cursos de Medicina em Goiás25),(27.

A principal característica da técnica de grupos focais reside no fato de trabalhar com a reflexão expressa pela fala dos participantes, permitindo que eles apresentem simultaneamente seus conceitos, impressões e concepções sobre determinado tema. Além disso, pode-se captar a tendência humana de formar opiniões e atitudes na interação com outros indivíduos28),(29. Os grupos focais são, portanto, apropriados para pesquisas exploratórias, ou seja, pesquisas em áreas pouco compreendidas ou que necessitam de melhor definição28.

Já o processo de análise de conteúdo temática consiste no conjunto de técnicas de análise das enunciações visando obter, por procedimentos sistemáticos e objetivos, a inferência sobre o conteúdo tematizado nas discussões dos grupos focais com a finalidade de interpretá-lo30),(31.

Local e participantes

O critério de inclusão para participar da amostra foi: indivíduo que estivesse cursando o quarto ano (entrada anual) ou oitavo período (entrada semestral) de uma das faculdades de Medicina do estado de Goiás. Esse estado localiza-se na Região Centro-Oeste do Brasil, com uma população de seis milhões de habitantes32.

No Brasil, o curso de graduação em Medicina tem carga horária mínima de 7.200 horas e prazo mínimo de seis anos para sua integralização, sendo os dois últimos anos caracterizados por estágio curricular obrigatório de formação em serviço, denominado internato2. Por isso, foi uma escolha intencional28) a constituição do grupo focal com discentes que já houvessem cursado a maior parte da graduação antes de iniciarem o internato.

No período da pesquisa, quatro instituições de ensino superior (IES) ministravam curso de Medicina33. Entretanto, o estudo foi conduzido em apenas três IES: Universidade Federal de Goiás (UFG), Centro Universitário de Anápolis (UniEvangélica) e Pontifícia Universidade Católica de Goiás (PUC Goiás). Isso ocorreu porque, no quarto curso de Medicina, os alunos ainda se encontravam, no período da pesquisa, nas séries iniciais33.

A instituição pública federal, criada em 1960, utiliza metodologia tradicional de ensino com algumas inovações curriculares desde 200333),(34. Nas outras duas instituições privadas, os cursos de Medicina foram criados após a publicação das Diretrizes Curriculares Nacionais para os Cursos de Graduação em Medicina pelo Conselho Nacional de Educação, em 2001, implementando currículos com metodologias ativas de ensino como a aprendizagem baseada em problemas33),(35.

Para o recrutamento dos participantes, foi estabelecido um contato prévio com as secretarias dos cursos de Medicina para obtenção da lista de matriculados que se encaixavam no critério de inclusão. Selecionou-se a amostra estudada de forma aleatória por meio de sorteio via Microsoft® Software Office Excel36. Os estudantes foram convidados, via contato telefônico, para discutir um tema sobre educação médica, não tendo sido feita referência à temática específica.

Foram convidados 18 alunos de cada instituição para garantir que cada grupo focal atingisse entre quatro e doze participantes25),(28, considerando-se imprevistos, faltas e impedimentos à presença de alunos confirmados no dia agendado.

Coleta de dados

Considerando a participação de cursos de Medicina na pesquisa, três grupos focais foram realizados com alunos de uma mesma instituição entre outubro e dezembro de 2013. Os grupos focais ocorreram em salas apropriadas na respectiva IES em horário compatível com a disponibilidade dos estudantes. A pesquisadora, responsável pela condução dos grupos focais, assumiu o papel concomitante de moderadora, relatora e operadora de áudio.

O roteiro de debate foi montado com base na literatura sobre o assunto abordado e nos objetivos da investigação. As questões norteadoras foram submetidas a um teste-piloto com recrutamento da amostra constituída por estudantes do quinto ano (internato 1). O Quadro 1 mostra o roteiro de questões utilizado para a condução dos grupos focais, que correspondem às categorias criadas a priori.

Quadro 1 Roteiro de debate sobre o feedback para condução dos grupos focais. 

Sobre o feedback durante a graduação:
1. Vocês já ouviram falar sobre a técnica de feedback ou devolutiva na avaliação? O que entendem desse assunto?
2. Vocês receberam o feedback em algum momento durante a formação? Em quais momentos? Com qual frequência?
3. A quantidade de feedback recebido foi suficiente durante a formação? Por quê?
4. Esse feedback contribuiu para o aprendizado/a formação de vocês? Justifiquem sua resposta

Cada grupo focal foi finalizado quando se obteve a saturação do tema proposto, pois não interessava a representatividade dos dados, mas sim a diversidade e a profundidade da informação28. Todas as discussões dos grupos focais foram gravadas em áudio e transcritas na íntegra.

Análise de dados

O software Atlas.ti versão 7.0.7737 foi utilizado, após transcrição das falas dos grupos focais, para selecionar aquelas semelhantes, facilitando a organização da codificação e categorização dos dados. Os grupos focais receberam um código com a letra inicial da expressão “grupo focal” (GF) seguido dos números 1, 2 ou 3, identificando sequencialmente as instituições - UniEvangélica, UFG e PUC Goiás -, de modo a garantir o anonimato dos discentes participantes.

A análise dos dados foi realizada por meio da técnica de análise de conteúdo temática fundamentada em Minayo et al.30 e Bardin31.

Os quatro pesquisadores em um processo indutivo analisaram as transcrições. Após a leitura inicial independente, foi realizada uma reunião para comparação das respectivas notas. Esse ciclo de leitura e reunião para discussão dos dados se repetiu até que o grupo chegasse a um consenso sobre as categorias e subcategorias que emergiam das falas dos participantes. Os resultados foram posteriormente tratados por meio de inferências e possíveis interpretações. Todos os membros da equipe de pesquisa - três mulheres e um homem, sendo três integrantes com título de doutor e uma mestranda no período da pesquisa - são engajados em projetos relacionados ao ensino médico, inclusive na avaliação do impacto educacional real do feedback no processo de ensino-aprendizagem.

A metodologia foi realizada mediante a aplicação de regras precisas (confirmação, credibilidade, segurança e transferência) a fim de se garantir o rigor científico24)-(26),(38),(39.

Aspectos éticos

A coleta de dados foi iniciada após aprovação pelos Comitês de Ética em Pesquisa da instituição proponente e das duas instituições coparticipantes, sob a inscrição nº 14771213.9.0000.5078 no Certificado de Apresentação para Apreciação Ética (CAAE) da Plataforma Brasil.

A realização dos grupos focais ocorreu após concordância dos estudantes participantes com os propósitos da pesquisa e assinatura do Termo de Consentimento Livre e Esclarecido. O estudo foi desenvolvido contemplando preceitos éticos conforme a Resolução nº 466/2012 do Conselho Nacional de Saúde brasileiro40.

RESULTADOS

Considerando os três grupos focais, o estudo contou com 25 alunos dos cursos de Medicina participantes. Os alunos estavam na faixa etária de 20 a 24 anos, sendo 11 homens e 14 mulheres. A duração do debate dos grupos focais variou de 60 a 90 minutos.

A seguir, serão apresentados os resultados provenientes das categorias estabelecidas a priori e das subcategorias obtidas a partir da análise temática das falas dos participantes nos grupos focais conduzidos pelo roteiro de debate.

Compreensão de feedback

Os alunos de todas as instituições afirmaram que compreendiam o significado do feedback, mas houve certa dificuldade em defini-lo. Indicaram-se exemplos para caracterizar a definição, em que o professor geralmente é a fonte externa do feedback com o papel de ressaltar os pontos positivos, apontar os erros e ensinar como fazer da forma correta:

Um professor vai explicar ao aluno o que ele errou, perguntar por que ele errou, qual foi a dificuldade por ele encontrada naquela disciplina ou problema e tentar solucionar (GF1).

Um professor vai me mostrar o que errei, como errei, o que eu poderia fazer melhor e ainda ressaltar alguns aspectos positivos (GF2).

Você errou, aqui é o caminho certo. Mude de lado porque você não está no caminho correto. Você acertou, permaneça nesse caminho (GF3).

A função reflexiva no processo de feedback, ou seja, o feedback interno, não foi apontada pelos alunos.

Frequência do feedback recebido

Houve um consenso de que foram poucos os momentos de feedback vivenciados durante o curso, levando a uma insatisfação e a um apelo de melhoria feito pelos alunos:

Mesmo existindo avaliação formativa, ela fica só no papel. A gente não sabe por que tirou aquela nota. O feedback nem sempre acontece. São poucos os momentos, poderia ser melhor (GF1).

A frequência é praticamente nula, eu lembro raros momentos em que recebi um feedback. Eu já estou terminando o quarto ano e indo para o internato, então acho que foi totalmente insuficiente. Eu acho que tem que melhorar muito (GF2).

A frequência não é tão alta, é mais baixa, porque somos avaliados constantemente aqui na faculdade. Tudo o que a gente faz tem uma avaliação. Acho que precisa muito ser melhorado (GF3).

A frequência relacionou-se também com o professor e/ou a disciplina e com o tempo no curso e o modelo de currículo:

Quando a gente foi evoluindo no curso, diminuiu a importância da avaliação formativa. No começo era mais na tutoria que tinha esse retorno (GF1).

Eu considero que comecei a ter mais feedback esse ano, a partir do quarto ano, porque antes o que tinha eram os gabaritos das provas, não era bem o feedback (GF2).

Do início até quase a metade do terceiro ano, principalmente nas atividades de tutoria, que a gente tinha e não tem mais (GF3).

Uma vez ou outra um professor dá uma devolutiva legal. Depende também da disciplina: tem umas que têm e outras não (GF3).

Segundo os participantes, a disciplina de Pediatria foi a que ofereceu maior frequência de realização do feedback em todas as instituições:

Na Pediatria, a gente tinha muito feedback. Os professores nos auxiliam mais, falam o jeito que você tem que fazer. É muito melhor assim (GF1).

O feedback mais frequente e positivo, que tivemos até agora durante a graduação, foi durante a Pediatria (GF2).

Eu adorava Pediatria. Sempre realizava feedbacks e estes sempre muito pertinentes (GF3).

Impacto do feedback no processo de aprendizagem

Apesar da pouca frequência, os participantes perceberam que o feedback foi muito importante para o processo de ensino-aprendizagem. Eles demonstraram essa opinião ressaltando os impactos positivos individuais (estado emocional, habilidade cognitiva e desempenho) e sua relevância na melhoria do ambiente de ensino-aprendizagem.

Reconheceram também que o feedback gerou impactos emocionais: segurança sobre o aprendido, tranquilidade, sensação de bem-estar e motivação para o estudo:

O feedback na Pediatria foi um ponto de destaque. Tanto que eu pelo menos tenho essa segurança e acho que todos aqui têm de atender uma criança hoje em dia e não se sentir tão inseguro em relação ao que você está fazendo (GF2).

Tem coisas que eu lembro até hoje que eu sei. Por exemplo, ao me perguntarem algo e após me questionar: “Você tem certeza?”. Tenho porque uma vez eu falei tal e tal coisa, e o professor falou que era errado e o certo era tal coisa. Então isso é muito importante (GF1).

Nas avaliações, você sempre fica nervoso. Em todos os pontos, somos testados. Depois que você termina a avaliação, uma pessoa valorizar e elogiar o que você fez certo é uma coisa que te deixa mais tranquilo e ao mesmo tempo você tem certeza de que o erro que você cometeu, você não vai cometer mais. Tranquiliza muito a gente! (GF2).

Você também pode ainda ter dúvidas, você está aprendendo, ainda está na faculdade. Se você tivesse errado depois, é uma coisa, mas errar aqui dentro você ainda pode (GF3).

Você se sente tão bem mesmo quando ele fala assim: “Você não foi bem neste aspecto e tal, mas você foi bem nesse ponto” (GF1).

Os professores que se preocupam em dar o feedback fazem muito bem, porque ele é muito bom para incentivar o aluno a se interessar no que errou e tentar aprender de verdade (GF2).

Do ponto de vista cognitivo, os alunos afirmaram que o feedback: sedimentou o aprendizado, tornando-o mais efetivo e evitando a simples memorização; ajudou a construir o conhecimento, possibilitando a tomada de consciência do que é certo e errado; facilitou o raciocínio e a tomada de decisão em casos semelhantes, diminuindo as chances de erros futuros; facilitou colocar a teoria na prática e aprender com o erro dos outros:

É uma forma de ensino muito efetiva. [...] quando você erra, você aprende o certo se alguém te orienta e aquilo sedimenta mais forte. Então, por exemplo, você viu que errou e acaba que você aprende aquilo de verdade, sem precisar decorar. É muito difícil você errar aquilo de novo ao vivenciar a mesma situação. Se eu não tivesse recebido o feedback, eu não lembraria (GF2).

Como a técnica de feedback não é só para criticar erros, mas também reforçar o que você acertou, eu acho que isso é muito importante porque a gente faz ali e nem percebe o que fez (GF2).

Numa próxima oportunidade semelhante, o aluno conseguirá raciocinar sozinho e desempenhar certo (GF1).

Outra coisa é o professor falar: é melhor fazer dessa forma porque o paciente vai entender melhor. Isso pode estar descrito lá no livro, mas sozinho a gente não consegue compreender, não faz correto. E quando o professor te direciona, fica mais fácil entender e colocar na prática (GF1).

Quando é um erro cometido por muitos alunos, o professor fala no coletivo. Talvez mesmo que você não esteja errando ou você ainda não teve um momento para cometer aquele erro, mas pode vir a cometer (GF3).

Os participantes relataram que houve uma melhora do desempenho nas atividades pela oportunidade de correção e pela aquisição de competências como melhor relação médico-paciente por meio do feedback:

Se eu sei que fiz errado e como fazer o certo, da próxima vez farei da melhor forma possível (GF1).

O feedback foi muito importante nesse período de transição da teoria para prática porque foi através dele, ressaltando os pontos positivos e negativos do encontro com os primeiros pacientes, que conseguimos aprender a estabelecer uma boa relação médico-paciente (GF2).

Quanto ao ambiente de ensino-aprendizagem, os discentes ressaltaram que o feedback melhorou o relacionamento aluno-professor, estimulou a participação do aluno, orientou o aprendizado e auxiliou a homogeneizar a turma, facilitando o andamento do curso.

Temos professores que se sentam e conversam. Sentava todo mundo, ele orientava e dava um aceite nas coisas que eram boas para seguir. O feedback às vezes é uma conversa, isso acaba aproximando alunos e professor. Isso faz com que você participe mais da aula, interaja tanto com seus colegas e professores. Não é só professor despejando conhecimento, mas os alunos contribuindo para a formação de conhecimento próprio e do colega (GF3).

Ele quis discutir o desempenho porque alguns da turma estavam com dificuldade e, após fazer isso, ele conseguiu que todos fossem adiante (GF3).

Serve para mostrar se estamos no caminho certo ou não, se estamos estudando de maneira certa ou não. Ele orienta o nosso aprendizado e mostra para o professor e para nós como prosseguir (GF2).

Percepção sobre o feedback recebido

Houve concordância de que, quando o feedback era efetivo, era bem-aceito pelos alunos:

Ela [a professora] me sentou um dia e me falou umas coisas, um feedback individual, e acho que mudou. Foi bom. Importante (GF3).

Eu acho que foi muito positivo porque é uma forma de ensino muito efetiva (GF2).

Os feedbacks de qualidade recebidos contribuíram para o nosso aprendizado e para a nossa formação (GF1).

DISCUSSÃO

Os alunos externaram uma compreensão parcial do significado de feedback. Eles não ressaltaram a importância do feedback interno. Também não abordaram a existência de outras fontes importantes de feedback externo além do professor. Isso pode explicar a baixa frequência relatada de feedback e a sua relação com o professor, a disciplina ou o tempo no curso e o tipo de currículo. Contudo, os participantes reconheceram os pontos impactantes do feedback no processo de ensino-aprendizagem, estando receptivos ao feedback efetivo.

No estudo de Poulos et al.41 com diversos cursos da área da saúde, também se observou uma dificuldade em definir de forma homogênea o que é e como utilizar o feedback. Similarmente, Hounsell et al.42 encontraram que os estudantes reconheciam a importância do feedback extrínseco no desempenho de tarefas específicas, mas, assim como neste estudo, não conseguiam formular o feedback intrínseco a partir das atividades diárias do processo de ensino-aprendizagem.

Bowen et al.43 conduziram um estudo com grupos focais em que forneceram aos alunos de graduação em Medicina um mapa das principais oportunidades de feedback em todo o programa. Os participantes indicaram que a sinalização tem o potencial de preparar melhor os alunos para reconhecerem o feedback. Entretanto, eles ficaram confusos com os feedbacks recebidos e afirmaram que não receberam a quantidade de feedback potencialmente disponível, revelando também a dificuldade em reconhecer o feedback.

Diferentemente, os alunos de graduação on-line na área da saúde, no estudo de Getzlaf et al.44, reconheceram o feedback como processo de contribuições mútuas, tanto dos graduandos quanto dos docentes. Os alunos queriam ser envolvidos no planejamento do feedback no que diz respeito aos objetivos de aprendizagem, às áreas que necessitariam de melhorias e ao tempo apropriado para as devolutivas. Os autores ressaltaram que essa visão envolve compartilhamento de poder entre alunos e docentes, algo que não é comum na educação superior. Em Maia et al.45, os autores também concluíram o estudo relatando que os alunos compreendem o feedback, mas, ao longo do trabalho apresentado, não deixaram explícito como ele acontece.

Reconhecer o feedback interno como um processo metacognitivo, em que o aluno tem consciência de como aprende melhor, de que forma aprende satisfatoriamente e ainda avalia a eficácia das estratégias que utiliza, torna-o uma etapa indissociável ao processo de aprendizagem intencional12),(13.

O feedback interno funciona como o sistema metacognitivo descrito por Nelson et al.46: dois níveis inter-relacionados (nível objeto e nível meta) por um fluxo contínuo de informação (controle e monitorização). O nível objeto é a tarefa em si (na qual ela é executada), e o nível meta é a tarefa no nível ideal resultante de um processo de construção pessoal passível de modificações e aperfeiçoamento. A monitorização é o fluxo em que os eventos do nível objeto podem ser identificados e comparados com o modelo da tarefa preexistente no nível meta (adequado ou não). Já o controle é o fluxo que o nível meta corrige ou confirma as ações no nível objeto (modifica) e emprega esforços para iniciar, continuar ou terminar a tarefa12),(46.

Esse sistema metacognitivo correlaciona-se com a estrutura metacognitiva proposta por Flavell11. Os conhecimentos metacognitivos referem-se à qualidade da informação enviada ao nível meta, tanto sobre a pessoa (conhecimentos e crenças adquiridos como processadores cognitivos, repercutindo no enfrentamento das dificuldades de aprendizagem), a tarefa (conhecimento acerca da complexidade e exigência) e a estratégia (a existência de diversos meios para alcançar os objetivos cognitivos pretendidos, tomando consciência das semelhanças e diferenças entre elas e de quando e onde deve ser usada cada uma delas). A habilidade metacognitiva refere-se ao funcionamento desse sistema metacognitivo. A experiência metacognitiva é o contexto em que os sentimentos (afetivo) e a conscientização (cognitivo) estão envolvidos no processo11),(12.

A eficácia da aprendizagem não é dependente apenas da idade, da experiência e do nível cognitivo, mas inclui a aquisição de estratégias cognitivas e metacognitivas que possibilitem ao aluno planejar e monitorar o próprio desempenho, isto é, que possibilitem a tomada de consciência dos processos que ele utiliza para aprender e a tomada de decisões apropriadas sobre que estratégias utiliza em cada tarefa, e ainda avaliar a sua eficácia, alterando-as quando não produzirem os resultados desejados47.

Sobre a frequência real do feedback no processo de ensino-aprendizado, há opiniões diversas entre docentes e estudantes. Carless19) ressaltou que 38,4% dos docentes acreditavam que davam com frequência um feedback detalhado que ajudava os alunos a melhorar sua performance, enquanto apenas 10,6 % dos discentes tiveram a mesma percepção.

Assim como neste estudo, Watling et al.20 constataram no curso de Medicina a falta da cultura do feedback, relatando a frequência deficitária de feedback na educação médica quando comparada aos cursos de Música e Pedagogia. Em outro estudo, Watling et al.18 perceberam que em áreas de elevado nível treinamento, como esporte e música, o feedback faz parte da rotina e tem papel central no aprendizado, entretanto, na educação médica, ele é marginalizado, e os estudantes de Medicina constituintes da amostra também sentiam a falta dele na graduação.

Já em Bates et al.48, os estudantes de Medicina em estágio clínico longitudinal reconheceram receber com maior frequência o feedback informal de seus preceptores no dia a dia durante o cuidado com o paciente

Sobre as diferentes percepções dos alunos em relação à ocorrência do feedback ao longo do curso na perspectiva do currículo da instituição, elas podem se relacionar ao fato de o feedback ser um dos passos na metodologia de aprendizagem baseada em problemas49, sendo a observância ao rigor metodológico maior nos anos iniciais do curso50. Diferentemente, na metodologia tradicional em que há separação das disciplinas em ciclos básico e profissional51, os alunos só têm contato com feedback quando vão para o ciclo profissional nos anos finais do curso.

Miranda et al.52 realizaram um estudo sobre feedback com abordagem quantitativa em uma instituição brasileira de ensino médico que utilizava a metodologia aprendizagem baseada em problemas no currículo. De acordo com os autores, até 95% dos estudantes dos semestres iniciais confirmaram a realização do feedback, enquanto 100% dos alunos do quinto período e 56,45% do oitavo período negaram a existência desse tipo de retorno. Já em uma escola de Medicina no Reino Unido, em que os anos iniciais correspondiam ao ciclo básico das ciências médicas e os anos finais ao ciclo clínico, os alunos dos anos iniciais tiveram maior dificuldade em reconhecer o feedback, enquanto os estudantes mais avançados no curso procuravam conscientemente por ele43.

Sobre o importante papel da disciplina Pediatria no contexto do feedback investigado por este estudo, trata-se de uma característica local, em que as faculdades compartilhavam os mesmos profissionais ou eles eram oriundos de uma mesma formação, o que propiciava a difusão da prática do feedback entre as instituições. Mas isso também pode estar relacionado à característica própria da especialidade em lidar com habilidades de comunicação com adolescentes, o que facilita a adoção de práticas andragógicas no ambiente de ensino-aprendizagem. Em Bowen et al.43, os alunos descreveram as relações positivas com supervisores e suas percepções de que esses educadores eram esforçados como principais determinantes do processo de feedback: reconhecimento, envolvimento e credibilidade.

Há também discussão em relação à percepção de discentes sobre o feedback recebido. Bailey21) e Carless19 demonstraram a percepção negativa dos estudantes sobre a utilidade do feedback, principalmente quando a qualidade dele foi considerada ruim. Outros trabalhos41),(43)-(45),(52)-(56) demonstraram que os alunos valorizavam o feedback efetivo e o seu papel importante no processo de ensino-aprendizagem, como o observado neste estudo.

Além de o feedback ser central no processo cognitivo, há trabalhos4),(14),(57)-(59) que reafirmaram sua importância no suporte ao desempenho técnico e profissional: encorajar o aluno a ter uma boa performance, assegurar a qualidade do cuidado com paciente e a segurança dele, ser essencial para a aquisição de competências profissionais (habilidades de comunicação, exame clínico, prescrição, empatia, profissionalismo e trabalho em equipe) e estimular a prática profissional voltada para resultados e para o desenvolvimento profissional contínuo.

Para Getzlaf et al.44, os alunos reconheceram que o feedback construtivo e positivo os ajudou a se sentir seguros e a desenvolver confiança, sendo uma experiência motivadora para o aprendizado, como apresentado neste estudo. Além disso, os alunos participantes reconheceram a importância do feedback para a prática futura em duas dimensões: identificar áreas que necessitam de melhoria e desencadear um plano de ação durante a graduação, e aplicar o feedback recebido na vida profissional posterior, evitando erros e facilitando a aplicação da teoria em novas experiências práticas.

Em Bates et al.48, o feedback informal emergido da supervisão clínica cotidiana de estágio clínico longitudinal promoveu uma relação de apoio e carinhosa entre preceptores e alunos, contribuindo para o desenvolvimento de sensação de segurança, capacitação para gerar o feedback interno e melhor aceitação do feedback negativo.

Assim, podem-se elencar três envolvidos no processo de feedback: o docente, o aluno e a instituição. As instituições se concentram em melhorar a capacidade docente em dar feedback, porém poucas se concentram em como envolver os alunos no processo. Acreditar que o feedback é uma habilidade exclusivamente docente é um mito60.

O feedback deve ser um processo, um diálogo entre o provedor e o receptor, importante em si, assegurando que a mensagem foi recebida, como foi interpretada e como precisa ser contextualizada e colocada em prática em nova oportunidade4),(61. O aluno também deve ser treinado na prática reflexiva do feedback, de modo a desenvolver um processo de automonitorização do aprendizado8.

Como relatado neste estudo, os alunos reconheceram apenas parcialmente o significado do feedback, mas não o feedback interno. Se, mesmo com a baixa frequência de feedback relatada no estudo, os alunos reconheceram o impacto do feedback no processo de aprendizado, num contexto de discentes capacitados em conhecer sobre seu próprio conhecimento, verdadeiramente os emponderando no processo de ensino-aprendizagem, eles desenvolverão uma prática reflexiva constante de gerar o feedback interno, possibilitando que o impacto real do feedback no processo de ensino-aprendizado possa ser observado na prática, conforme descrito na literatura.

Esta pesquisa apresentou como limitação o viés de seleção, uma vez que trabalhou com amostra aleatorizada extraída de um grupo específico de estudantes de Medicina que expôs apenas o seu ponto de vista sobre o feedback educacional. Por conta disso, pode-se inferir a existência, no discurso desses discentes, de elementos menos representativos de seu grupo social como um todo, ou seja, a percepção dos outros alunos pode ter elementos diferentes.

Apesar disso, o número de participantes de cada grupo focal e as falas registradas revelaram opinião homogênea sobre o assunto, e houve saturação dos dados coletados, cumprindo o verdadeiro interesse deste estudo que está na profundidade e na riqueza da informação colhida. Não se está sugerindo que resultados serão verdadeiros em outros contextos, uma vez que representatividade está ligada a contextos específicos e não à representação de uma população25),(28.

Pesquisas intervencionistas com o objetivo de capacitar os alunos nesse percurso metacognitivo, facilitando a formulação do feedback interno, devem ser realizadas para avaliar essa importante estratégia de aprendizagem no contexto de ensino médico.

CONCLUSÕES

Neste estudo, os discentes tiveram dificuldade em conceituar o feedback. Eles o compreenderam parcialmente, mas faltou a concepção do feedback interno. Conseguiram reconhecer a importância do feedback para seu processo de aprendizagem e se mostraram receptivos ao feedback efetivo. Entretanto, ressentiram-se da baixa frequência de feedback e da falta de regulamentação do uso dessa ferramenta.

Na percepção dos alunos, o feedback ocorreu de maneira irregular e dependente do professor ou da disciplina, independentemente de a instituição ser pública ou privada e do modelo de currículo vigente.

Assim, capacitar os alunos e professores para que possam conhecer e compreender plenamente o feedback no contexto metacognitivo e deixar de focar apenas no feedback externo, em que se trata do modelo utilizado em prática profissional de somente indicar o que deve ser feito, pode potencialmente preencher a lacuna existente entre a teoria e a prática quanto ao real poder que o feedback tem no processo de ensino-aprendizagem.

REFERÊNCIAS

1. Zeferino AMB, Passeri SMRR. Avaliação da aprendizagem do estudante. Cadernos da ABEM. 2007;3: 39-43. [ Links ]

2. Brasil. Resolução nº 3, de 20 de junho 2014. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. Diário Oficial União; 23 jun 2014 [access in 13 aug 2020]. Available from: Available from: https://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?data=23/06/2014&jornal=1&pagina=8&totalArquivos=64 . [ Links ]

3. Peixoto MAP, Silva RNMB. Estratégias de aprendizagem em alunos de medicina: pré-teste. Rev Bras Educ Med. 1999;23(1):18-31. [ Links ]

4. Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112. [ Links ]

5. Stone A. Online assessment: what influences students to engage with feedback? Clin Teach. 2014;11(4):284-9. [ Links ]

6. Archer JC. State of science in health professional education: effective feedback. Med Educ. 2010;44(1):101-8. [ Links ]

7. Iskander M. Offering effective feedback to trainees. Med Teach. 2015;37(1):92-3. [ Links ]

8. Nicol DJ, Macfarlane-Dick D. Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Studies in Higher Education. 2006;31(2):199-218. [ Links ]

9. Burr S A, Brodier E, Wilkinson S. Delivery and use of individualized feedback in large class medical teaching. BMC Med Educ . 2013;13(1):63. [ Links ]

10. Kolb D, Fry R. Towards an applied theory of experiential learning. In: Cooper CL, editor. Theories of group processes. London: John Wiley; 1972. p. 33-58. [ Links ]

11. Flavell JH. Metacognition and cognitive monitoring: a new area of cognitive-development inquiry. Am Psychol. 1979;34(10):906-11. [ Links ]

12. Peixoto MAP, Brandao MAG, Santos G. Metacognição e tecnologia educacional simbólica. Rev Bras Educ Med . 2007;31(1):67-80. [ Links ]

13. Jou GI, Sperb TM. A metacognição como estratégia reguladora da aprendizagem. Psicol Reflex Crit. 2004;19(2):177-85. [ Links ]

14. Ramani S, Krackov SK. Twelve tips for giving feedback effectively in the clinical environment. Med Teach. 2012;34(10):787-91. [ Links ]

15. Norcini J. The power of feedback. Med Educ . 2010;44(1):16-7. [ Links ]

16. Ramani S. Reflections on feedback: closing the loop. Med Teach. 2016;38(2):206-7. [ Links ]

17. Murdoch-Eaton D, Bowen L. Feedback mapping - the curricular cornerstone of an “educational alliance”. Med Teach. 2017;39(5):540-7. [ Links ]

18. Watling C, Driessen E, van der Vleuten CPM, Lingard L. Learning culture and feedback: an international study of medical athletes and musicians. Med Educ . 2014;48(7):713-23. [ Links ]

19. Carless D. Differing perceptions in the feedback process. Studies in Higher Education . 2006;31(2):219-33. [ Links ]

20. Watling C, Driessen E, van der Vleuten CPM, Vanstone M, Lingard L. Beyong individualism: professional culture and its influence on feedback. Med Educ . 2013;47(6):585-94. [ Links ]

21. Bailey R. Undergraduate students’ perceptions of the role and utility of written assessment feedback. Jldhe. 2009;1:1-14. [ Links ]

22. Kluger A, Denisi A. The effects of feedback interventions on performance: a historical review, a meta-analysis, and a preliminar feedback intervention theory. Psychol Bull. 1996;119(2):254-84. [ Links ]

23. Bing-You R, Hayes V, Varaklis K, Trowbridge R, Kemp H, McKelvy D. Feedback for learners in medical education: what is known? A scoping review. Acad Med. 2017;92(9):1346-54. [ Links ]

24. O’Brien BC, Harris IB, Beckman TJ, Reed DA, Cook DA. Standards for reporting qualitative research: a synthesis of recommendations. Acad Med . 2014;89 (9):1245-51. [ Links ]

25. Gray DE. Doing research in the real world. 3rd ed. London: Sage; 2014. [ Links ]

26. Ramani S, Mann K. Introducing medical educators to qualitative study design: twelve tips from inception to completion. Med Teach . 2016;38(5):456-63. [ Links ]

27. Godoy AS. Pesquisa qualitativa: tipos fundamentais. Revista de Administração de Empresas. 1995;35(3):20-9. [ Links ]

28. Stalmeijer RE, Mcnaughton N, Van Mook WNKA. Using focus groups in medical education research: AMEE Guide nº 91. Med Teach . 2014;36(11):923-39. [ Links ]

29. Iervolino AS, Pelicioni MCF. A utilização do grupo focal como metodologia qualitativa na promoção da saúde. Rev Esc Enferm USP. 2001;35(2):115-21. [ Links ]

30. Minayo MCS, Deslandes SF, Gomes RC. Pesquisa social: teoria, método e criatividade. 34a ed. Petrópolis: Vozes; 2015. [ Links ]

31. Bardin L. Análise de conteúdo. São Paulo: Edições 70; 2011. [ Links ]

32. Instituto Brasileiro de Geografia e Estatística. Atlas do censo demográfico 2010. Rio de Janeiro: IBGE; 2013. [ Links ]

33. Nassif ACN. Escolas médicas por estados. Curitiba: Escolas médicas do Brasil [access in 30 aug 2020]. Available from: Available from: http://www.escolasmedicas.com.br/escolas-medicas-estado.php . [ Links ]

34. Universidade Federal de Goiás. Projeto pedagógico. Goiânia: UFG; 2014 [access in 30 aug 2020]. Available from: Available from: https://www.medicina.ufg.br/p/1678-projeto-pedagogico . [ Links ]

35. UniEvangélica Centro Universitário. Projeto pedagógico de curso: Medicina. Anápolis: UniEvangélica; 2017 [access in 30 aug 2020]. Available from: Available from: http://v2.unievangelica.edu.br/wp-content/uploads/2018/10/medicina-ppc.pdf . [ Links ]

36. Microsoft Corporation. Microsoft Office Excel for Windows 7. Version 2007. Redmond, WA: Microsoft Corporation; 2007. [ Links ]

37. Atlas.ti Scientific Software Development GmbH. Scientific Software: qualitative data analysis. Version 7.0.77. Berlin: Atlas.ti Scientific Software Development GmbH; 2012. [ Links ]

38. Boet S, Sharma S, Goldman J, Reeves S. Review article: medical education research: an overview of methods. Can J Anaesth. 2012;59(2):159-70. [ Links ]

39. Frambach JM, van der Vleuten CPM, Durning SJ. AM last page: quality criteria in qualitative and quantitative research. Acad Med . 2013;88(4):552. [ Links ]

40. Brasil. Resolução n° 466, de 12 de dezembro de 2012. Aprova as diretrizes e normas regulamentadoras de pesquisa envolvendo seres humanos. Diário Oficial União ; 13 jun 2013. Seção 1, p. 59 [access in 13 aug 2020]. Available from: Available from: https://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=59&data=13/06/2013 . [ Links ]

41. Poulos A, Mahony MJ. Effectiveness of feedback: the students’ perspective. Assess Eval High Educ. 2008;33(2):143-54. [ Links ]

42. Hounsell D, McCune V, Hounsell J, Litjens J. The quality of guidance and feedback to students. Higher Education Research & Development. 2008;27(1):55-67. [ Links ]

43. Bowen L, Marshall M, Murdoch-Eaton D. Medical student perceptions of feedback and feedback behaviors within the context of the “educational alliance”. Acad Med . 2017;92(9):1303-12. [ Links ]

44. Getzlaf B, Perry B, Toffner G, Lamarche K, Edwards M. Effective instructor feedback: perceptions of online graduate students. The Journal of Educators Online. 2009;6(2):1-22. [ Links ]

45. Maia IL, Kubrusly M, Oliveira MCX, Oliveira CMC, Augusto KL. Estratégia adaptada de feedback voltado para ambulatórios de graduaçãoRev Bras Educ Med . 2018;42(4):29-36. [ Links ]

46. Nelson TO, Narens L. Why investigate metacognition? In: Metcalfe J, Shimamura AP, editors. Metacognition: knowing about knowing. Cambridge: The MIT Press; 1994. [ Links ]

47. Romanowski JP, Rosenau LS. A contribuição dos processos metacognitivos na formação do pedagogo. Intersaberes, 2006;1(1):8-27. [ Links ]

48. Bates J, Konkin J, Suddards C, Dobson S, Pratt D. Student perceptions of assessment and feedback in longitudinal integrated clerkships. Med Educ . 2013;47(4):362-74. [ Links ]

49. Azer SA. Introducing a problem-based learning program: 12 tips for success. Med Teach . 2011;33(10):808-13. [ Links ]

50. Azer SA, Mclean M, Onishi H, Tagawa M, Scherpbier A. Cracks in problem-based learning: what is your action plan? Med Teach . 2013;35(10):806-14. [ Links ]

51. Pagliosa FL, Da Ros MA. O relatório Flexner: para o bem e para o mal. Rev Bras Educ Med . 2008;32(4):492-9. [ Links ]

52. Miranda GRN, Pessoa TF, Marco LBMM, Borges ACB, Neves BLS, Miotto IA, et al. Desafios do feedback na avaliação formativa, no programa interinstitucional de interação ensino-serviço-comunidade: perspectiva de alunos. Rev Bras Educ Med . 2020;44(4):e122. [ Links ]

53. Hounsell D. Student feedback, learning and development. In: Slowey M, Watson D, editors. Higher education and the lifecourse. Buckingham, UK: Society for Research into Higher Education & Open University Press; 2003, p. 67-78. [ Links ]

54. Orsmond P, Merry S, Reiling K. Biology students’ utilization of tutors’ formative feedback: a qualitative interview study. Assess Eval High Educ . 2005;30(4):369-86. [ Links ]

55. Doan L. Is feedback a waste of time? The students’ perspective. Journal of Perspectives in Applied Academic Practice. 2013;1(2):3-10. [ Links ]

56. Zimmermann MH, Silveira RMCF, Gomes RZ. O professor e a arte de avaliar no ensino médico de uma universidade no Brasil. Rev Bras Educ Med . 2019;43(3):5-15. [ Links ]

57. Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physician’s clinical performance: BEME Guide nº 7. Med Teach . 2006;28(2):117-28. [ Links ]

58. Zeferino AMB, Domingues RCL, Amaral E. Feedback como estratégia de aprendizado no ensino médico. Rev Bras Educ Med . 2007;31(2):176-9. [ Links ]

59. Cushing A, Abbott S, Lothian D, Hall A, Westwood OMR. Peer feedback as an aid to learning - what do we want? Feedback. When do we want it? Now! Med Teach . 2011;33(2):e105-12. [ Links ]

60. Molloy E, Ajjawi R, Bearman M, Noble C, Rudland J, Ryan A. Challenging feedback myths: values, learner involvement and promoting effects beyond the immediate task. Med Educ . 2020;54(1):33-9. [ Links ]

61. Murdoch-Eaton D. Feedback: the complexity of self-perception and the transition from “transmit” to “received and understood”. Med Educ . 2012;46(6):538-40. [ Links ]

7Avaliado pelo processo de double blind review.

FINANCIAMENTO Declaramos não haver financiamento.

Recebido: 10 de Novembro de 2020; Aceito: 11 de Julho de 2021

Editora-chefe: Rosiane Viana Zuza Diniz. Editor associado: Maurício Abreu Pinto Peixoto.

CONTRIBUIÇÃO DOS AUTORES

Silvia Cristina Marques Nunes Pricinote e Edna Regina Silva Pereira desenvolveram a ideia e o desenho do projeto de pesquisa, coletaram, analisaram e interpretaram os dados, redigiram o manuscrito e o revisaram criticamente para garantir um trabalho com importante conteúdo intelectual. Nilce Maria da Silva Campos Costa e Marcos Rassi Fernandes analisaram e interpretaram os dados, redigiram o manuscrito e o revisaram criticamente para garantir um trabalho com importante conteúdo intelectual.

CONFLITO DE INTERESSES

Declaramos não haver conflito de interesses.

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License