Introdução

As metodologias ativas são entendidas como formas de desenvolver o processo de aprender e de construir uma formação crítica junto aos futuros profissionais nas mais diversas áreas. A utilização dessas metodologias pode favorecer a autonomia do educando, despertar a curiosidade e estimular tomadas de decisões individuais e coletivas, aproximando o contexto do estudante com as práticas sociais (BORGES, T.; ALENCAR, 2014). Além disso, o emprego das metodologias ativas é capaz de transformar o aprendizado em uma ferramenta multiplicadora de mudanças (ROMAN et al ., 2017).

As metodologias ativas de ensino promovem a participação e comprometimento do educando com seu aprendizado, estimulando-o nos processos de ensino-aprendizagem para um posicionamento crítico-reflexivo. Tais metodologias requerem ensino com formação de competências, que promova a aproximação crítica do estudante com a realidade, a reflexão dos problemas e a integração com o serviço de saúde e do ser humano ( ^{BELLAVER, 2019} ).

O uso das metodologias ativas nos cursos da área da saúde configura-se como importante corrente pedagógica a ser abordada, pois corrobora para a aprendizagem significativa e instiga o estudante na busca do conhecimento necessário à prática clínica para utilização futura (MELLO; ALVES; LEMOS, 2014).

Ao longo do tempo, a educação em saúde no ensino superior vem sofrendo mudanças positivas, visando a implementação de estratégias de ensino que promovam o aluno a provedor e detentor de seu próprio processo de ensino-aprendizagem (MELLO; ALVES; LEMOS, 2014).

A Resolução CNE/CES 3/2001, que institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem , orienta para a formação de um profissional generalista, humanista, crítico-reflexivo; qualificado para o exercício da profissão com base no rigor científico e intelectual, e pautado em princípios éticos; entre outras capacidades, o enfermeiro deverá estar apto à resolução de problemas de saúde, tanto em nível individual como coletivo; a tomar decisões apropriadas; ao exercício da liderança, da administração e do gerenciamento ( ^{BRASIL, 2001} ). Dessa forma, entende-se que as metodologias ativas corroboram para a formação desse perfil profissional.

No ensino com metodologias ativas o estudante é visto como protagonista de seu aprendizado, ficando a cargo do professor a mediação, a qual deve despertar a curiosidade epistemológica. Para o curso de enfermagem essa metodologia produz impactos positivos, pois capacita o futuro enfermeiro para o enfrentamento dos desafios reais da profissão. Nesse aspecto, as DCNs dos cursos de graduação em enfermagem vêm contribuindo para a formação de estudantes aptos e capazes de solucionar problemas ao seu redor e, acima de tudo, estimulando-os a serem cidadãos preocupados com o próximo ( ^{WEBER, 2018} ).

O curso de enfermagem do Instituto Federal do Paraná (IFPR) – campus Palmas utiliza metodologias ativas de ensino aprendizagem. A Sala de Aula Invertida, como uma das metodologias escolhidas pelo curso, possibilita que o conhecimento seja construído pelos alunos de forma dinâmica e autônoma, visto que prevê um estudo prévio, a ser realizado em casa, e um espaço de discussão em sala de aula para a síntese do conhecimento e da experiência sobre o assunto proposto. Para essa metodologia são disponibilizados artigos científicos para leitura prévia individual e, posteriormente, realizada a discussão e a contextualização dos mesmos, em grupo, com a mediação e orientação do professor, que participa da discussão e realiza questionamentos, explorando os saberes e as contribuições dos estudantes.

A Sala de Aula Invertida é uma proposta que exige mais dos atores envolvidos no processo de aprendizagem, exige do aluno autonomia e responsabilidade pelo seu aprendizado e, além disso, exige ação e reflexão em sala de aula. Já para o professor, exige planejamento, exatidão de exposição do conteúdo, reflexão e autocrítica acerca do conteúdo, e análise conjunta com os alunos. Os alunos deixam de ser meros espectadores para contribuirem como co-construtores do conteúdo que está em produção. Apesar das vantagens desse método, apenas inverter a sala de aula não quer dizer que está se aplicando uma metodologia reflexiva e crítica, ou que se esteja produzindo um estudante autônomo. Para que essa metodologia funcione são necessárias mudanças de estrutura pedagógica, planejamento e na forma de atuação de professores e alunos ( ^{BRANCO; ALVES, 2015} ).

A metodologia de Sala de Aula Invertida foi desenvolvida primeiramente nos Estados Unidos, pelos professores Jonathan Bergmann e Aaron Sams, como alternativa didática de ensino que apresentasse melhores resultados. A proposta ressalta a necessidade de uma mudança no papel docente, o qual deixa de transmitir conceitos para assumir funções de orientação/tutoria. De forma geral, a aula passa a girar em torno do próprio aluno, não mais do professor ( ^{LOSTADA, 2017} ).

Paiva et al . (2016) constatam benefícios nas metodologias ativas de ensino-aprendizagem, no rompimento com o modelo tradicional, nas modificações presentes no trabalho em equipe, na integração teoria-prática e no desenvolvimento da autonomia do aluno e da visão crítica da realidade, favorecendo a avaliação formativa.

Essa metodologia pressupõe que o ato de avaliar deve ser parte integrante de todo processo de ensino-aprendizagem, devendo ser contínua e de todas as informações produzidas pela interação entre professores e alunos, bem como, daquelas produzidas entre os alunos. A avaliação de pares é relevante para a avaliação do aprendizado e para eventuais ajustes necessários, a fim de que o estudante consiga atingir os objetivos definidos de maneira individual e coletiva (BORGES, M. et al ., 2014).

A Metodologia Ativa de ensino-aprendizagem requer avaliação condizente com a forma de ensino, considerando a maneira de produzir o conhecimento e a contribuição de cada aluno para seu aprendizado e para o grupo. Tendo em vista a importância deste estudo para o curso de enfermagem, questiona-se a validade e a confiabilidade do instrumento de avaliação da Metodologia Ativa de Sala de aula Invertida. Assim, o presente estudo objetiva validar o instrumento de avaliação utilizado na Metodologia Ativa de Sala de Aula Invertida no curso de enfermagem do IFPR, campus Palmas.

Percurso metodológico

Trata-se de um estudo de validação do instrumento de avaliação que já vem sendo utilizado na Metodologia Ativa de Sala de Aula Invertida no curso de enfermagem do Instituto Federal do Paraná – campus Palmas. O instrumento passou por avaliação de conhecedores das metodologias ativas para dizer se é valido e confiável. A validação psicométrica de validade e confiabilidade ocorreu no período de junho a dezembro de 2020.

Ressalta-se que o instrumento de avaliação submetido à validação foi desenvolvido por um grupo de professores do curso de enfermagem do Instituto Federal do Paraná – campus Palmas e, apesar da experiência dos docentes, carece de análise.

O instrumento contém cinco (5) critérios avaliativos, cada um com quatro (4) itens referentes aos conceitos A, B, C e D, totalizando vinte (20) itens a serem avaliados.

População, critérios de inclusão e exclusão

Os critérios de inclusão dos participantes no estudo compreendem: possuir titulação de doutor ou mestre na área da saúde; experiência profissional (clínica, pesquisa ou ensino) e artigo publicado em periódico indexado na área de interesse do estudo. Para avaliar a representatividade e abrangência dos itens do instrumento efetuou-se convite formal, mediante e-mail , aos cursos de medicina e enfermagem de universidades que utilizam metodologias ativas de ensino aprendizagem, porém obteve-se resposta de apenas 2 contatos interessados em participar do estudo. Havendo dificuldade em recrutar participantes com essa abordagem, buscou-se nos anais de um evento nacional sobre metodologias ativas o contato de e-mail de profissionais da área da saúde, que atendessem aos critérios de inclusão do estudo. Foram convidados por intermédio de e-mails 21 profissionais, destes, apenas 7 responderam aceitando participar. No entanto, ao enviar o questionário um contato desistiu da participação, restando 6 para serem incluídos no estudo. Objetivou-se alcançar no mínimo 5 participantes para a pesquisa, porém conquistou-se 8 participantes para avaliar o instrumento. Quanto a estes 8 participantes, não houve problemas com atraso na devolução do questionário respondido.

Aspectos éticos

O desenvolvimento do trabalho atendeu às normas éticas obrigatórias para pesquisas com seres humanos da Resolução 466/12 do Conselho Nacional de Saúde – CNS ( ^{BRASIL, 2013} ), com aprovação do Comitê de Ética em Pesquisa do Instituto Federal do Paraná. Todos os indivíduos envolvidos na pesquisa foram esclarecidos quanto aos objetivos e procedimentos, e receberam o Termo de Consentimento Livre e Esclarecido (TCLE) que, após leitura e concordância, assinaram-no.

Entende-se que a participação na pesquisa poderia gerar riscos como cansaço em responder ao questionário com vinte (20) itens e desconforto em relação à exposição da opinião. No entanto, para minimizá-los, a participação ocorreu via e-mail , proporcionando ao participante o tempo que fosse necessário para responder o questionário, assim como a garantia do anonimato assegurada com o TCLE e a possibilidade de deixar de participar do estudo em qualquer etapa do mesmo.

Os questionários com as respostas dos participantes permanecerão armazenados por cinco (5) anos a partir do término da pesquisa.

Instrumento submetido à validação

O instrumento de avaliação da metodologia de Sala de Aula Invertida foi elaborado com base na taxonomia de Bloom et al. (1956).

Segundo ^{Ferraz e Belhot (2010)} , para Bloom, interessava proporcionar uma ferramenta prática e útil que fosse coerente com as características dos processos mentais superiores (nível de conhecimento e abstração complexa) do modo como eram consideradas e conhecidas.

A Taxonomia de Bloom do Domínio Cognitivo é estruturada em níveis de complexidade crescente, ou seja, para adquirir uma nova habilidade pertencente ao próximo nível, o aluno deve ter dominado e adquirido a habilidade do nível anterior. As categorias do domínio cognitivo da Taxonomia de Bloom compreendem: 1. Conhecimento, 2. Compreensão, 3. Aplicação, 4. Análise, 5. Síntese e 6. Avaliação ( ^{FERRAZ; BELHOT, 2010} ).

Muitos educadores se apoiam nos pressupostos teóricos desse domínio cognitivo para definirem em seus planejamentos educacionais objetivos, estratégias e sistemas de avaliação. Duas vantagens de se utilizar a taxonomia no contexto educacional são o fato de oferecer a base para o desenvolvimento de instrumentos de avaliação e a utilização de estratégias diferenciadas para facilitar, avaliar e estimular o desempenho dos alunos em diferentes níveis de aquisição de conhecimento. Além de estimular os educadores a auxiliarem seus discentes, de forma estruturada e consciente, a adquirirem competências específicas a partir da percepção da necessidade de dominar habilidades mais simples (fatos) para, posteriormente, dominar as mais complexas (conceitos) ( ^{FERRAZ; BELHOT, 2010} ).

A taxonomia trouxe a possibilidade de padronização da linguagem no meio acadêmico e, com isso, também novas discussões ao redor dos assuntos relacionados à definição de objetivos instrucionais. Neste contexto, instrumentos de aprendizagem puderam ser trabalhados de forma mais integrada e estruturada, inclusive considerando os avanços tecnológicos que podiam prover novas e diferentes ferramentas para facilitar o processo de ensino e aprendizagem ( ^{FERRAZ; BELHOT, 2010} ).

Concebida dentro do contexto e perspectiva de ser mediadora no progresso da aprendizagem, foi elaborado o referido instrumento para avaliação, entendendo, por meio da concepção de Sirley L. Freitas, Michele G. N. Da Costa e Flavine A. De Miranda (2014), que a avaliação pode ser percebida como processo, que não se limita à aplicação de provas diárias, mas sim uma ação conjunta em que o professor acompanha o aluno em relação ao seu rendimento, desenvolvimento e apropriação do conhecimento.

Validação do instrumento

Para determinar a qualidade do instrumento foram utilizadas as propriedades psicométricas denominadas validade e confiabilidade.

A confiabilidade é a capacidade de um instrumento medir fielmente um fenômeno. A validade é a capacidade de um instrumento medir com precisão o fenômeno a ser estudado (PILATTI; PEDROSO; GUTIERREZ, 2010).

A psicometria consiste na medida do comportamento do organismo por meio de processos mentais (lei do julgamento comparativo). Ela procura explicar o sentido que têm as respostas dadas pelos sujeitos a uma série de itens ( ^{PASQUALI, 2009} ).

Os itens foram submetidos a avaliação dos participantes e posteriormente as respostas foram analisadas quanto à validade e confiabilidade.

A avaliação do instrumento deu-se por meio da escala ^{Likert (1932)} , de quatro (4) pontos, para investigar a clareza e pertinência de cada item, possibilitando a análise individual de conteúdo pelos avaliadores.

A escala Likert apresenta, normalmente, três ou mais pontos, onde o respondente da pesquisa diz se concorda, se está em dúvida ou se discorda do que é afirmado no item em relação à capacidade de medir o que o instrumento se propõe ( ^{PASQUALI, 1996} ).

Para viabilizar a demonstração da validade do instrumento utilizou-se a validação de conteúdo ( ^{PASQUALI, 2009} ).

A validação de conteúdo clareza/pertinência foi realizada de forma quantitativa por meio do Índice de Validade de Conteúdo (IVC) utilizando uma escala tipo Likert de 4 pontos, sendo 1- Discordo, 2 - Indiferente, 3 - Concordo parcialmente e 4 - Concordo totalmente. A partir das respostas foi calculado o percentual de avaliadores que concordam totalmente e parcialmente com o item do instrumento, obtida por meio da soma das respostas “3” e “4” de cada avaliador em cada item do instrumento, e dividindo esta soma pelo número total de respostas, resultando na proporção de avaliadores que julgam o item válido (MEDEIROS et a l., 2015).

Uma concordância de pelo menos 80% entre os avaliadores servirá de critério de decisão sobre a pertinência e/ou aceitação do item a que teoricamente se refere ( ^{PASQUALI, 2010} ).

A clareza e pertinência busca avaliar se o conceito expressa adequadamente o que se espera medir e se atinge os objetivos propostos (ALEXANDRE; COLUCCI, 2011).

A confiabilidade, que avalia se um instrumento é capaz de medir sempre da mesma maneira o que se pretende medir, foi estudada utilizando-se o coeficiente alfa de Cronbach que corresponde à medida da consistência interna de uma escala. O cálculo de seu coeficiente requer apenas a administração de um único teste para fornecer uma estimativa da confiabilidade de toda a pesquisa (VELOSO; SHIMODA; SHIMOYA, 2015).

O coeficiente alfa de Cronbach apresentado por Lee J. Cronbach, em 1951, estima a confiabilidade de um questionário aplicado em uma pesquisa, através da correlação média entre perguntas, ou seja, medindo a correlação entre respostas de um questionário através da análise do perfil das respostas dadas pelos respondentes. Dado que todos os itens de um questionário utilizam a mesma escala de medição, o coeficiente α é calculado a partir da variância dos itens individuais e da variância da soma dos itens de cada avaliador através da seguinte equação:

onde: K corresponde ao número de itens do questionário; S²i corresponde a variância de cada item; S²t corresponde à variância total do questionário, determinada como a soma de todas as variâncias (HORA; MONTEIRO; ARICA, 2010).

Para André L. P. Freitas e Sidilene G. Rodrigues (2005), a classificação da confiabilidade do coeficiente alfa de Cronbach com valores < 0,60 é considerada baixa, de 0,60 a ≤ 0,75 considerada moderada, de 0,75 a ≤ 0,90 considerada alta e > 0,90 considerada muito alta.

Resultados e discussão

O instrumento de avaliação foi submetido à avaliação de 8 participantes, que analisaram o instrumento quanto à validade de conteúdo. Segundo Moura et al . (2008), 6 avaliadores são suficientes para realizar a tarefa. Os participantes são profissionais da área da saúde, todos atuam na docência, sendo 3 doutores em enfermagem, 2 mestres em enfermagem, 1 doutor em medicina, 1 doutorando em medicina e 1 mestre em psicologia. O Quadro 1 apresenta o instrumento submetido à avaliação dos participantes.

A Tabela 1 ilustra as respostas dos participantes de acordo com a concordância de cada item do instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida, representada pela escala Likert de 4 pontos, sendo 1 – Discordo, 2 – Indiferente, 3 – Concordo parcialmente e 4 – Concordo totalmente.

Após o retorno do questionário dos participantes, categorizados de A a H, o instrumento foi analisado quanto à sua validade e confiabilidade. A confiabilidade e a validade são duas propriedades de medida estreitamente relacionadas, que desempenham papéis complementares. A confiabilidade, medida através da consistência interna, diz respeito à homogeneidade das respostas dos distintos avaliadores, enquanto que a validade representa o grau de certeza sobre o conceito medido (DE BEM et al. , 2011).

O critério confiabilidade foi verificado através do software IBM SPSS® que apresentou valor para coeficiente alfa de Cronbach de 0,94, demonstrando que o presente instrumento é confiável, pois, de acordo com André L. P. Freitas e Sidilene G. Rodrigues (2005), valores de alfa acima de 0,90 são considerados de alta confiabilidade.

A validade de conteúdo é resultado da avaliação de especialistas na área do estudo, que analisam a representatividade dos itens em relação aos conceitos que se pretende medir (BITTENCOURT et al ., 2011). Para esse critério utilizou-se o IVC que, ao ser aplicado sobre todo o instrumento, obteve uma concordância de 70% entre os avaliadores, porém, ao analisar cada item separadamente, obteve-se concordâncias variadas. Para 9 dos 20 itens a taxa de concordância entre os avaliadores foi superior a 80%, para 3 itens essa taxa foi de 75% e para os demais 8 itens a taxa de concordância foi inferior a 70%. A Tabela 2 demonstra a taxa de concordância para cada um dos itens do instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida.

No que diz respeito aos itens com concordância superior a 80% (itens 1, 3, 5, 6, 9, 10, 13, 14 e 17), estes conquistaram taxa de concordância de 87% e, embora sugestões tenham sido feitas para aperfeiçoar o instrumento avaliativo, os itens demonstraram-se adequados para o que se propõem. A melhor avaliação destes itens esteve associada, em geral, à clareza na exposição e à compatibilidade entre o conceito avaliativo e as ações que se esperam alcançar de cada estudante dentro de cada critério.

Todavia, a maioria dos itens manifestaram taxa de concordância inferior a 80%. Alguns avaliadores justificaram a não concordância e sugeriram alterações, principalmente referentes à descrição do item, de maneira a diminuir as subjetividades na avaliação, tanto para o professor avaliador como para o estudante.

Estando a subjetividade inevitavelmente presente nos processos avaliativos, seja pela escolha dos itens, pelo modo como se apresentam ou pela linguagem utilizada, torna-se necessário definir claramente os critérios avaliativos para minimizá-la, quando na impossibilidade de eliminá-la ( ^{PARANÁ, 2013} ).

Apesar de haver uma orientação específica para cada atribuição de conceitos, os referenciais mínimos de qualidade estão substanciados por atributos subjetivos - adequados, adequadamente, suficientes, insuficientes -, requerendo do avaliador uma responsabilidade maior para asseverar coerência e justiça no julgamento ( ^{ANDRADE, 2014} ).

Na sequência, serão descritos e examinados os critérios e itens do instrumento de avaliação, tomando como base o julgamento e comentários realizados pelos participantes.

Análise dos critérios avaliativos do instrumento de avaliação

Os participantes do estudo realizaram apontamentos referentes aos critérios, notadamente com relação ao critério “Assiduidade e participação”, em que recomendou-se desassociar “assiduidade” de “participação”, haja vista que são critérios avaliativos distintos, podendo o aluno ser plenamente assíduo, mas com participação insuficiente. Outra sugestão foi para alterar a ordem dos critérios, dado que para avaliar a “Relação da síntese com os saberes e práticas da enfermagem” é imperativo vir antes a “Síntese”, dispondo-os da seguinte forma: 1. Assiduidade e participação; 2. Comunicação; 3. Trabalho em grupo; 4. Síntese; 5. Relação da síntese com os saberes e práticas da enfermagem.

Ao examinar a avaliação dos participantes por critérios, observou-se que alguns foram melhor avaliados que outros. O critério “Assiduidade e participação” obteve a melhor avaliação do instrumento enquanto os critérios “Comunicação” e “Trabalho em grupo” registraram as piores avaliações.

Ainda em relação ao critério “Assiduidade e participação”, foi comentado por um avaliador que o engajamento do aluno depende da formação no ensino básico e do acesso às ferramentas, como internet e livros, e da disponibilidade de tempo extraclasse, fatores que interferem no envolvimento por completo e na construção coletiva do conhecimento.

Análise dos itens avaliativos do instrumento de avaliação

A seguir, serão descritos e examinados os itens cujas taxas de concordância por parte dos participantes foram inferiores a 80%.

Os itens 2 e 4, referentes aos conceitos B e D do critério “Assiduidade e participação”, alcançaram 75% de concordância. O item 2 descreve: “participa ativamente em alguns dos momentos da discussão dos textos, colaborando na construção coletiva do conhecimento”, e o item 4 diz: “raramente participa dos momentos da discussão do texto, não contribuindo na construção coletiva do conhecimento”. Para estes itens não houve comentários.

O item 7 apresentou-se com a menor taxa de concordância do estudo, com apenas 25%. Tal item refere-se ao conceito Suficiente (C) do critério “Comunicação” e disserta: “Discute com coerência fazendo relação com o texto estudado, demonstrando nenhuma habilidade verbal, (clareza, coerência, espontaneidade) para expressar seus pensamentos”. A baixa avaliação do item se deve à equivocada descrição, ao afirmar “nenhuma habilidade”, a qual expressa melhor o conceito D, pois retrata insuficiência na comunicação. No mesmo sentido, o item 8, com taxa de concordância de 62%, carece de adaptações para representar com clareza o que está sendo avaliado. Esse item aborda o conceito D do critério “Comunicação” e coloca: “Discute o texto sem coerência utilizando exemplos empíricos e sem habilidade verbal”. Enquanto os demais itens do critério “Comunicação” levaram em consideração a clareza, a coerência e a espontaneidade, o presente item não detalhou esses fatores, limitando-se apenas à falta de coerência e habilidade verbal.

Indicou-se adequar a descrição de todos os itens deste critério, apontando quais elementos que estão sendo avaliados e quantos deles o aluno atingiu em cada conceito. Por exemplo, o conceito A engloba o alcance dos três elementos – clareza, coerência e espontaneidade -, o conceito B refere-se ao alcance de dois dos três, no conceito C apenas um e, por fim, o conceito D nenhum dos elementos. Ainda, foi apontada a necessidade de definir o entendimento sobre o que é coerência.

Os itens 11 e 12, que abordam, nesta ordem, “Apresenta dificuldades de relacionar a síntese aos saberes e/ ou prática de enfermagem” e “Não relaciona a síntese aos saberes e/ ou prática de enfermagem”, associados aos conceitos C e D do critério avaliativo “Relação da síntese com os saberes e práticas de enfermagem”, alcançaram 50% de concordância. Novamente a subjetividade foi o principal empecilho para a maior concordância. Por exemplo, para o conceito Suficiente (C) foi empregado o termo “dificuldades” e no conceito Parcialmente pleno (B) consta o termo “parcialmente”, que são expressões que se confundem por estarem dentro do mesmo critério. Uma alternativa proposta neste sentido foi quantificar os estudos citados pelos acadêmicos para avaliar a qual conceito discorre: cita 5 ou mais estudos para exemplificar a correlação (saberes e práticas da enfermagem) e complementa com vivências – conceito A; cita 3 a 4 – Conceito B; 1 a 2 - conceito C; não cita nenhum estudo, apenas vivências - conceito D. Outra sugestão foi trocar a palavra “síntese” por “síntese do texto estudado”, para deixar nítido a todos que usarem o instrumento do que se trata.

Os itens 15 e 16 obtiveram, respectivamente, 50% e 37% de concordância. Os itens condizem com “Demonstra parcialmente capacidade de trabalho em grupo fazendo críticas aos colegas e ao texto, contribuindo de maneira insuficiente para o processo de ensino aprendizagem” do conceito C e “Demonstra capacidade de trabalho em grupo insatisfatória, fazendo críticas aos colegas e não, contribuindo para o processo de ensino aprendizagem” do conceito D, ambos situados no critério avaliativo “Trabalho em grupo”. A baixa concordância com os itens deve-se à descrição subjetiva, assim como, à indefinição na apresentação. No item 15 a afirmativa “contribui de maneira insuficiente” não se encaixa no conceito Suficiente (C) e no item 16, que explica o conceito Insuficiente (D), foi proposto por um participante a seguinte descrição: “Não demonstra capacidade de trabalho em grupo, pois não faz críticas construtivas aos colegas e ao texto e não contribui de maneira positiva para o processo de ensino aprendizagem”, dessa forma elucidando a avaliação.

No que diz respeito à palavra críticas, sugeriu-se alterar para críticas construtivas ou críticas válidas, não considerando para a avaliação comentários ríspidos ou fora de contexto. Ainda, o termo em questão pode ser substituído por feedback . Essa sugestão é válida para todos os itens desse critério.

Sobre o critério “Trabalho em grupo” foi realçado por um participante a sua importância no relacionamento entre os colegas e, para além da sala de aula, no mercado de trabalho.

A comunicação e o relacionamento interpessoal estão inseridos na capacidade de interagir, conviver e contatar pessoas por meio de relações empáticas, tendo importância frente à produtividade e à qualidade do trabalho prestado entre a equipe de enfermagem, o que demanda processo de formação condizente com habilidades e competências para administrar os conflitos existentes (BOLONHEIZ; BALDISSERA; OLIVEIRA, 2011).

No item 18, que exibe “Realiza a síntese do texto com raciocínio lógico, propondo parcialmente formas alternativas de pensar a prática com domínio científico” para o conceito B do critério “Síntese”, obteve taxa de 75% de concordância. A principal observação remete-se à falta de objetividade na exposição do “parcialmente”, havendo a necessidade de detalhar ou exemplificar o sentido do termo.

Os itens 19 e 20, também do critério “Síntese”, obtiveram 62% de concordância e os principais apontamentos para esses itens reportam à falta de clareza do que se pretende avaliar e à subjetividade na definição. As críticas voltaram-se especialmente ao item 19, condizente com o conceito Suficiente (C), que descreve “Realiza parcialmente a síntese do texto com raciocínio lógico, propondo ou não formas alternativas de pensar a prática com domínio científico” e faz a confusão quando traz “propondo ou não”, pois entende-se que deve estar tangível para o aluno e para o avaliador o que se espera alcançar. O trecho “propondo ou não” possibilita que os alunos que propõem formas alternativas de pensar a prática da enfermagem com domínio científico reivindiquem um conceito B ou até mesmo A. Vale ressaltar, também, que “propondo ou não” confunde-se com parcial, o que transforma a descrição do item semelhante ao anterior.

A validade da medida depende da adequação do instrumento em relação aquilo que se quer medir. Portanto, a validade de uma medida nunca é absoluta, mas sempre relativa, ou seja, um instrumento de medidas não é simplesmente válido, mas, válido para determinado objetivo ( ^{MARTINS, 2006} ).

Considera-se, portanto, que o instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida do curso de enfermagem do IFPR, campus Palmas não pode ser considerado válido sem alterações, pois obteve taxa de concordância de 70% entre os avaliadores, inferior ao valor limite para validar sem alterações que é de 80%.

Segundo ^{Martins (2006)} , um instrumento de medidas pode ser confiável (apresenta confiabilidade) e não necessariamente ser válido, isto é, pode apresentar consistência nos resultados que produz, mas não medir aquilo que pretende. No entanto, para representar a realidade, um instrumento de medição deve ser confiável e válido.

Recomenda-se executar as alterações sugeridas pelos avaliadores e posteriormente submeter o instrumento a novo processo de validação, garantindo a validez do instrumento para ser utilizado com confiança no curso de enfermagem do IFPR – campus Palmas, e também para que possa ser um instrumento de referência para outras instituições de ensino que trabalham com metodologias ativas de ensino-aprendizagem.

Conclusão

Este estudo submeteu à validação o instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida do curso de enfermagem do IFPR – campus Palmas que, conforme as propriedades psicométricas estudadas, apresentou alta confiabilidade, com valor para coeficiente alfa de Cronbach de 0,94. No entanto, quanto ao critério validade, o instrumento não teve condições de ser validado, pois atingiu taxa de concordância de apenas 70% entre os avaliadores, desse modo, necessitando de ajustes para representar o que pretende. Para que o instrumento seja validado é necessário ser confiável e válido.

Acerca dos itens do instrumento que apresentaram-se adequados para o objetivo proposto, conquistando taxa de concordância entre os avaliadores de 87%, atribuiu-se, à tal desempenho, sua definição objetiva e a conformidade entre os conceitos avaliativos e a descrição dos itens.

Na análise dos itens com taxa de concordância inferior a 80%, notou-se que as principais fragilidades do instrumento apontadas pelos avaliadores são a falta de objetividade e a clareza em suas descrições. Estes itens receberam sugestões de adequações para diminuir ou eliminar as subjetividades que interferem na avaliação.

A participação dos avaliadores na validação do instrumento foi fundamental para a pesquisa, pois, além da avaliação, recomendações foram feitas para aperfeiçoar o instrumento, possibilitando uma descrição mais clara e objetiva dos itens, afim de proporcionar uma avaliação correta e justa da Metodologia Ativa de Sala de Aula Invertida.

Enquanto estudantes de enfermagem desse método ativo de ensino aprendizagem, consideramos que a validação do instrumento de avaliação é fundamental para a transparência do processo de ensino-aprendizagem, e para o bom relacionamento entre estudantes e professores. Uma vez estabelecidos os critérios e itens do instrumento de avaliação com clareza e objetividade, permite-se que docentes e discentes se sintam assegurados pelo instrumento avaliativo adotado, visto que este adquire a capacidade de elucidar fielmente o nível de desenvolvimento do aluno, possibilitando reflexões e mudanças de atitudes, quando necessário, de todos os envolvidos no processo, para juntos alcançarem o aprendizado desejado.