INTRODUÇÃO

A pesquisa qualitativa busca identificar os aspectos não quantificáveis da realidade, tentando compreender o porquê das coisas, realçando as explicações dinâmicas e procurando uma compreensão do objeto estudado (^{GERHARDT; SILVEIRA, 2009}). O termo qualitativo envolve uma ligação profunda entre pessoas, fatos e locais, estes por sua vez se constituem em objetos de pesquisa, o pesquisador tenta a partir deste convívio retirar significados expostos e encobertos através de uma visão sensível, e competência científica (^{CHIZZOTTI, 2003}). Nesse sentido, é papel do pesquisador captar os diferentes olhares que compõem a questão por meio dos sujeitos envolvidos, levando em conta todas as perspectivas relevantes, buscando assimilar a dinâmica do fenômeno (^{GODOY, 1995}).

Essa compreensão supracitada é algo que perpassa diferentes áreas do conhecimento, recobrindo segundo ^{Chizzotti (2003}) um campo transdisciplinar, com um gama de métodos de investigação para estudar o fenômeno em seu lugar, procurando dar sentido e interpretar seus significados de acordo com os indivíduos envolvidos.

Nesse contexto a Educação Física, que ao longo da sua composição história e de consolidação enquanto área produtora de ciência foi associada primariamente a pesquisas de ordem positivas, se torna um objeto passível e carente de pesquisas que buscam uma compreensão ampla e sensível.

A pesquisa qualitativa, então, aparece como meio de investigar as relações, compreender a realidade, reconhecer o ser humano como sujeito, que existe dentro de uma teia de relações, possuidor de crenças, significados, valores. Na Educação Física, pode se dizer que essa abordagem de pesquisa começou a se fazer notória a partir dos anos 80, e desde então pesquisas embasadas nesse pressuposto vem aumentando (^{SILVA; VELOZO; JÚNIOR RODRIGUES, 2008}). Assim pressupostos das ciências sociais são tomados como base para interpretar a Educação Física, perpassando suas relações, sujeitos, espaços, que se tornam passíveis de compreensão quando apreciada por um olhar amplo, sensível e relacional.

^{Chizzotti (2003}) em um de seus trabalhos faz uma retomada histórica e destaca cinco marcos da pesquisa qualitativa, o primeiro remonta uma pesquisa qualitativa no final do século XIX, que reivindica uma metodologia autônoma ou compreensiva. O segundo marco se posiciona na primeira metade do século XX, no qual a antropologia é concebida como distinta da disciplina história e existe uma busca em estudar como vivem grupos humanos. Nesse contexto, o estudo etnográfico e a morfologia das pesquisas se tornam exemplo.

O terceiro marco acontece entre o período o término da segunda guerra mundial até os anos 1970 e nele a pesquisa qualitativa se consolida como um modelo de pesquisa, conceitos como objetividade, validade, fidedignidade são reelaborados definindo uma formalização e uma análise rigorosa, mas ainda com grande influência do discurso positivista. Quarto marco, abarcou a década de 1970 e 1980, como a influência do marxismo e teorias críticas, alimentou a volta do debate qualitativo versus quantitativo no marco anterior. Assim surgiram novos temas originários que se desvincularam de referenciais positivistas e se direcionam para questões limitadas e locais, apreendidas a partir das interações dos sujeitos no seu ambiente natural.

O quinto marco se situa a partir da década de 1990, onde a onipotência do texto cientifico e a transcrição objetiva dos fatos são postas em questão, o padrão textual se torna poliformo, a legitimidade se liga ao percurso da investigação, questões teórico-metodológicas alimentam a discussão da pesquisa cientifica em ciências humanas e sócias (^{CHIZZOTTI, 2003}).

Com esse rápido percurso histórico da pesquisa qualitativa, é possível perceber determinados aspectos que se fazem presentes, mas que para esse momento, olha-se com mais atenção para o quinto marco, que diz respeito às questões de legitimidade e validade.

Em meio a tais questões, considerando que este trabalho é parte de uma pesquisa de mestrado de ordem qualitativa descritiva (^{GIL, 1989}), na área de Educação Física escolar, um dos dilemas encontrados durante o processo de pesquisa foi justamente a validade dos instrumentos empregados e a coerência nas etapas a fim de atingir o rigor metodológico que assegurasse a construção de um conhecimento válido, legitimo e cientificamente reconhecido.

Para ^{Ollaik e Ziller (2012}) a validade na pesquisa qualitativa assume uma concepção distinta, pois a mesma se relaciona intimamente ao fato da pesquisa ser bem desenvolvida, apresentando uma veracidade válida mais ligada a coerência do processo metodológico e a consistência dos resultados. Desta forma, sua fidedignidade fica atrelada a validade dos instrumentos nela utilizados, tornando a passagem destes por um processo de validação essencial.

Existem diferentes técnicas de aferir a validade de uma pesquisa cientifica (^{HERMIDA, ARAÚJO, 2006}; ^{OLLAIK, ZILLER, 2012}), desde métodos de validação interna que se referem mais ao processo, quanto externa que estão mais ligados aos resultados (^{OLLAIK, ZILLER, 2012}).

^{Hermida e Araújo (2006}) demonstram a necessidade da validação dos instrumentos dentro da pesquisa qualitativa e citam três tipos principais para consagrar tal validação: a validade de conteúdo, de constructo e relacionada a um critério. Para este estudo ateve-se a validade de conteúdo que implica na verificação da existência de lógica entre o proposto nos instrumentos e os objetivos da pesquisa, ela envolve a participação de juízes sobre o tema que atuam como juízes e podem sugerir modificações nos conteúdos e estruturas, como a retirada ou acréscimo de itens, caso necessários (CONTANDRIOPOULOS et al, 1997; POLIT et al, 1995 apud ^{HERMIDA; ARAÚJO, 2006}).

Juntamente com esse processo se decidiu que posterior ao processo de validação de conteúdo, os instrumentos iriam passar pelo teste piloto a fim de averiguar ainda a necessidade de modificações com representantes dos grupos a serem envolvidos na pesquisa. ^{Lakatos, Marconi (2003}) e ^{GIL (1989}) realçam a importância dessa etapa, pois a mesma tem como finalidade evidenciar algumas falhas existentes como inconsistência, complexidade, ordenação, número de questões, entre outras, além de possibilitar a transparência de dificuldades particulares que só são perceptíveis em contato com o grupo participante.

Dessa maneira, o presente trabalho tem como objetivo apresentar o processo de validação dos instrumentos empregados em uma pesquisa qualitativa em Educação Física escolar.

O DESENVOLVIMENTO DA VALIDAÇÃO

A primeira parte do processo de validação contou com a seleção dos instrumentos que seriam utilizados na pesquisa, bem como sua produção. Cabe mencionar que o objetivo da pesquisa, que viria a ser desenvolvida, tenha como centralidade buscar as compreensões das concepções da Educação Física por parte dos atores escolares de determinada rede de ensino, e para se chegar ao mesmo, optou-se por dois instrumentos de pesquisa: o questionário e o Grupo Focal (GF).

O questionário é definido por ^{Gil (1989}) como uma técnica de investigação que através de indagações na forma escrita procura-se captar crenças, opiniões, sentimentos do participante da pesquisa. Esse instrumento busca atingir os objetivos da pesquisa de forma redigida. A vantagem deste instrumento é a possibilidade de alcance de um maior número de sujeitos, além de permitir sua realização em momento julgado oportuno pelo participante, além de apresentar menos distorções nas respostas.

Já o GF se assemelha a uma entrevista em grupo, no qual a interação dos participantes garante seu diferencial, no diálogo entre as partes, discussões e problematizações são o ponto chave, assim a interação entre participantes é fundamental nessa técnica (^{BACKES, et al, 2011}). Através da expressão oral a interação dos participantes leva os mesmos a expor concepções e conceitos sobre os temas propostos, o dialogo então toma forma de debate a medida que os pontos de vista se diferem (^{CRUZ NETO; MOREIRA; SUCENA, 2002}). Um ponto a ser destacado dessa técnica é o nível de reflexão mais considerável quando comparada as demais, pois trazem dimensões de compreensões que ficam intrincados em técnicas convencionais de coleta (KITZINGER, 1994 apud ^{BACKES et al, 2011}).

A partir da escolha dos instrumentos deu-se início a confecção dos mesmos. A construção do questionário visou basicamente em exprimir os objetivos específicos da pesquisa em questões bem redigidas (^{GIL, 1989}) e contou com uma primeira parte de caracterização do participante, com questões como idade, formação, cargo que ocupa. Na segunda, foram realizadas nove questões sendo que estas foram apresentadas algumas de forma abertas (o participante responde com suas palavras), outras fechadas (as respostas possíveis são apresentadas ao participante) e por fim, duplas (reúne uma parte fechada e outra aberta, normalmente pedindo para que o participante explique a primeira parte (^{GIL, 1989}).

O segundo, o GF, seria realizado posteriormente aos questionários. ^{Becks et al (2011}) relataram que a maior parte dos pesquisadores recomendam uma homogeneidade nos grupos focais para aumentar as reflexões das experiencias comuns, dessa maneira cada grupo de participantes englobados na pesquisa que viria a ser realizada (professores, professores de educação física, gestores e alunos) participariam de um GF específico.

Para tal realização foram construídos dois roteiros, um destinado aos adultos outra às crianças sendo que o teor das indagações era o mesmo, mas houve modificação na maneira de abordagem. O roteiro de questões é a orientação usada pelo mediador para conduzir o GF, mas que não tem como objetivo lhe dar característica monolítica e estática, mas sim ser tópicos norteadores para que nenhum tema seja esquecido, servindo de orientação para que as questões levantem informações pertinentes aos objetivos da pesquisa (^{CRUZ NETO, MOREIRA, SUCENA, 2002}).

Após o momento de construção de ambos os instrumentos, partiu-se para o processo de validação que contou com o momento da validação do conteúdo e com o teste piloto. A validação de conteúdo, tem como função propor uma análise profunda dos conteúdos do instrumento objetivando a percepção se tais questionamentos consistem numa amostra representativa do que se pretende desvendar, para isso juízes sobre o tema são convidados a analisar os instrumentos e sugerir modificações (HERMINDA, 2005).

Já a realização do teste piloto segue o sugerido por ^{GIL (1989}) o qual defende que depois de confeccionado os questionários e antes dos mesmos serem aplicados definitivamente, o instrumento deva passar por uma prova preliminar, tentando evidenciar possíveis falhas, sendo que esse será aplicado na população a ser pesquisada.

Seguindo os referenciais supracitados, para a primeira etapa do processo de validação foram convidados cinco juízes sobre o tema, que deveriam avaliar e julgar os instrumentos como sendo pertinentes ou não aos objetivos da pesquisa, podendo propor melhorias em espaço apropriado. Posteriormente a avaliação de conteúdos tais instrumentos foram colocados à prova através da realização de um teste piloto.

1ª Etapa: Validação de Conteúdo

Para que o processo de avaliação pelos juízes fosse possível, o primeiro passo necessário foi chegar-se aos critérios de avaliação, pelos quais as indagações dos instrumentos seriam julgadas. Assim, os critérios selecionados foram: organização, objetividade, clareza, facilidade de leitura e compreensão do conteúdo. Para tal, foram confeccionadas planilhas de avaliação no Google Forms, na qual questão e/ou item poderia ser pontuado numa escala de 0 a 4 de acordo pertinência nos cinco critérios. Seguindo essa lógica, se a questão e /ou item não contemplasse de forma alguma o critério avaliado sua pontuação deveria ser 0 e se o item atendesse plenamente tal fator sua nota deveria ser 4. Além de avaliar individualmente cada item ao final os juízes foram convidados a fazer sugestões e tecer comentários sobre o instrumento num espaço reservado para essa finalidade.

Fonte: construção própria via Google Forms.

Figura 1 Exemplo da questão com os critérios pré-estabelecidos de avaliação. 

A seleção dos juízes, que avaliariam o conteúdo dos instrumentos, teve como princípio a busca por aqueles que de certa forma representassem os grupos de participantes os quais a pesquisa se dirigiria, pois assim os mesmos teriam aproximações metodológica e com o universo investigado.

Por se tratar de uma pesquisa acadêmica-científica o primeiro pré-requisito dos juízes foi o que tivessem a titulação de mestre e depois que compreendessem o cenário que seria investigado. Chegou-se a seleção de 5 juízes e os mesmos foram convidados, via e-mail, a participar do processo de validação.

No email enviado foi descrito os objetivos da pesquisa e a importância do processo de validação. Em caso de aceite, foram dadas orientações para o preenchimento das informações solicitadas no formulário que seria possível acessar por meio do link enviado e dado o prazo de 15 dias para o retorno.

Nesse período de tempo inicialmente estipulado apenas 2 juízes retornaram com suas contribuições. Forma reenviados os convites e estipulado novo prazo, mas nesse momento um juiz declinou e um outro com os mesmos critérios foi selecionado. Essa etapa se encerrou quando as três avaliações pendentes foram recebidas com suas contribuições e em seguida foi iniciada a etapa de adequação dos instrumentos.

Ficou-se decidido que se um item dos instrumentos tivesse pontuação média inferior a 50% por quesito avaliado, ou seja, uma média de 2 pontos em qualquer um dos critérios, organização, objetividade, clareza, facilidade de leitura e compreensão do conteúdo, ele seria excluído. Não houve pontuações inferior à média estipulada, sendo assim, nenhum item inicialmente proposto nos instrumentos foi excluído.

Apesar da não exclusão algumas modificações foram sugeridas pelos avaliadores nos quesitos de organização e clareza, tanto nos questionários quanto nos roteiros dos GF. As modificações foram realizadas e na sequência seguiu-se para a próxima etapa que seria a realização do teste piloto.

ALGUNS COMENTÁRIOS SOBRE O DESENVOLVIMENTO DA VALIDAÇÃO

O desafio inicial do processo de validação do conteúdo foi a escolha dos juízes, bem como a participação dos mesmos no prazo estabelecido. Nesse sentido, um primeiro registro é que se faz necessário calcular um tempo extra caso seja necessário um reenvio de documentos ou até mesmo propor um novo convite. Outro fator que necessitou de certo empenho foi o processo burocrático para se conseguir realizar o procedimento na escola municipal, pois existem regras particulares e é preciso se atendar par a demanda do tempo para não prejudicar as outras etapas.

O processo de validação de conteúdo demonstrado anteriormente mostrou algumas necessidades de ajustes tanto no instrumento questionário quanto nos roteiros dos grupos focais. Como referido, pelo critério adotado nenhuma questão foi removida ou adicionada. A média geral dos itens avaliados no questionário estão apresentados na Tabela 1. Considerando que a pontuação máxima era de 4 pontos pode-se perceber que em todos os aspectos foram obtidas boas pontuações dando destaque para facilidade de leitura como item que o questionário inicial melhor contemplou e clareza o item com menor pontuação.

Hermida e Araújo (2006) sugerem que para melhorar a clareza dos itens algumas modificações na escrita são necessárias, como a exclusão de palavras desnecessárias, troca de terminologias e a reescrita de itens. Tais sugestões conversam com o proposto pelos juízes, visto que a maioria dos avaliadores aconselharam a construção de um questionário específico para as crianças, com um linguajar adequado para a faixa etária bem como para o desenvolvimento das mesmas. Nesse sentido palavras como: conteúdos, currículo, disciplinas, foram revistas e alteradas buscando maior compreensão dos enunciados pelos alunos. Outra alteração sugerida que ainda pode ser englobada no quesito clareza foi a necessidade de melhorar a redação do enunciado para que facilitasse a compreensão deixando alguns questionamentos mais objetivos.

Com relação aos roteiros do GF, as médias gerais dos questionamentos no roteiro das crianças e dos adultos estão apresentados na Tabela 2. Cabe dizer, que os roteiros dos GF já haviam sido feitos em duas versões, uma para as crianças outra para os adultos, dessa maneira essa sugestão não se fez presente, porém outras ressalvas foram feitas nos dois roteiros.

Como é possível notar as médias dos itens foram ligeiramente maiores nos roteiros quando comparados a avaliação do questionário, os itens com maiores pontuações no roteiro dos alunos foram clareza e organização, enquanto no roteiro dos adultos foi facilidade de leitura. Já os itens que obtiveram menos pontos nas médias dos alunos e dos adultos foram respectivamente, facilidade de leitura e clareza.

No roteiro destinado aos alunos a principal sugestão foi quanto a escrita dos enunciados para facilitar a leitura e compreensão do que era proposto e no roteiro dos adultos as sugestões vieram no sentido de ampliar a discussão dos temas abordados e verificar a intensão do questionamento.

A avaliação de conteúdo dos instrumentos teve como consequência uma revisão de alguns aspectos relacionado a clareza e facilidade de leitura, sendo a confecção de um questionário específico para os alunos o maior feito, nos demais tópicos houveram apenas adaptações na maneira de articular as palavras ou troca por termos mais simples facilitar a compreensão e possibilitar maiores reflexões na pesquisa.

Após essa etapa, apesar de já ter os instrumentos validados com relação ao seu conteúdo, sentiu-se a necessidade de pô-los à prova, com representantes reais do público a ser investigado, dessa maneira, foi-se realizado um teste piloto.

O piloto tem como principal finalidade deixar a mostra possíveis falhas dos instrumentos (^{GIL, 1989}; ^{LAKATOS e MARCONI, 2003}) e nesse sentido, de fato, a realização de uma aplicação previa dos instrumentos ajudou a encontrar pontos falhos que ainda necessitavam de ajustes. Os apontamentos se fizeram presentes já nas questões de caracterização do questionário dos adultos. Um participante ao receber o questionário ficou confuso no preenchimento sobre sua formação, então as questões de caracterização foram modificadas para permitir melhor compreensão.

Na análise dos questionários advindos do piloto um fato percebido foi a necessidade de inversão na ordem de duas questões consecutivas. As mesmas tratavam de assuntos semelhantes, porém a primeira era de caráter fechado e a segunda aberto, foi percebido que devido a questão primeira trazer possibilidades de conceitos prontos influenciou a resposta da questão seguinte que deveria ser baseada nas crenças e imaginário do participante. Esse fato foi primordialmente notado na execução do questionário com os alunos, porém foi pensado que o mesmo poderia ter acontecido com os adultos, logo a necessidade de inversão das questões foi consagrada para evitar respostas tendenciosas.

Uma questão percebida com o procedimento foi a necessidade de acréscimo de itens pertinentes não antes pensados em duas questões, então esses foram incluídos em ambos questionários. Outro fato que surgiu ao realizar o teste com os alunos foi a percepção da dificuldade dos mesmos manterem a atenção em determinada questão, devido a sua extensão, a partir desse obstáculo foi pensada uma nova estratégia na tentativa de minorar essa situação, estipulando o uso de imagens que referenciassem as possibilidades de respostas da questão.

Dessa maneira essa estratégia foi adotada tomando-se cuidado para manter o mesmo grau estético das imagens para que não fosse gerado outro dilema. Nos demais itens do questionário não houveram pormenores a serem revisados, levando a constatação de que o primeiro instrumento já havia chegado no modelo a ser aplicado.

Finalizado o conteúdo dos questionários, foi-se iniciado o teste piloto com o roteiro do GF, para tal foi marcado com a escola uma data para a realização do mesmo com as crianças. Com relação aos conteúdos não foi constatado necessidade de alteração, mas o pré-teste mostrou a conveniência de inserir reflexões prévias para dar sequência às ideias e mesmo para deixar os participantes mais confortáveis durante a realização do GF. ^{Duarte (2002}) frisa que a realização de entrevistas, e podemos aqui transferir o conceito para a realidade do GF, obriga o pesquisador a rever o roteiro, levando a proposição de mudança quando a pergunta necessita de muita explicação ou leva a divagações gerando um material muitas vezes inutilizável.

Assim a simulação do GF com os alunos contribuiu, para rever o roteiro com a experiencia do pesquisador, servindo nesse caso específico, não para alteração do instrumento, mas para sinalizar que no contato com os participantes algumas formas de abordagem específicas se fazem necessária, servindo o piloto como um treinamento prévio. Abaixo o percurso de validação é apresentado na figura 2.

Para finalizar as discussões fica exposto aqui alguns limites e vantagens observados durante o processo. Um limite encontrado na realização do piloto com o questionário foi que como os participantes levavam para casa e o mesmo voltava respondido não foi possível saber a percepção que eles tiveram do instrumento de forma geral, apesar das questões virem respondidas de forma solicitada e coerente, talvez se juntamente com o questionário enviássemos uma ficha avaliativa teríamos opiniões que poderiam somar nas compreensões.

As principais vantagens percebidas com a realização do piloto foi ter um feedback do público alvo da pesquisa, ter a possibilidade de repensar alguns tópicos e fazer alguns ajustes, e por fim ter o contato com participantes, ir à prática e transformar compreensões.

Fonte: construção própria.

Figura 2 Etapas validação dos instrumentos 

CONCLUSÃO

O processo de validação dos instrumentos além de ser uma técnica para garantir que a pesquisa qualitativa atinja seus objetivos, e tenha certo rigor metodológico, se mostrou de suma importância também para a construção do pesquisador, e para gerar reflexões acerca da pesquisa em desenvolvimento.

Tal procedimento se mostrou importante a medida que ajuda a garantir que os instrumentos de fato permitam a exploração de aspectos relacionados com o objetivo da pesquisa. A validação de conteúdo trouxe reflexões sobre o que precisava ser repensado para garantir melhor compreensão e melhor eficiência dos instrumentos. Já a realização do pré-teste trouxe a compreensão das necessidades ainda de algumas modificações, principalmente estruturais dos instrumentos para garantir o alcance esperado e mostrou a importância de colocar os instrumentos à prova com o grupo real da pesquisa. Essa experiencia com o público alvo trouxe uma adequação de algumas questões que apesar de já terem sido examinadas por especialistas ainda precisavam refinamento após a validação do conteúdo.

Pode-se refletir com tais fatos a necessidade de se empregar mais de uma técnica de validação para melhor alcance das possibilidades.