Elaboração das questões: fundamentação e matriz de referência

Quando nos referimos a construção de questionários, testes de desempenho e demais instrumentos de pesquisa com intuito de avaliar indicativos de competências, atitudes e habilidades por meio de descritores e variáveis, devemos considerar como ponto de partida a elaboração de uma matriz de referência para organizar e descrever de forma específica os elementos avaliados (^{PAGAN; TOLENTINO-NETO, 2015}; ^{ALVES, 2019}).

Nessa perspectiva, o instrumento (Questionário) de Identificação de Vulnerabilidade Digital (Q-IVD) foi elaborado juntamente com uma matriz de referência específica, cujos objetivos, descritores e categorias foram estabelecidos previamente para nortear a construção das questões de maneira fundamentada. O processo de elaboração da primeira versão do Q-IVD, bem como de sua matriz de referência, foi fundamentado por meio da análise de conteúdo de pesquisas bibliográficas acerca das temáticas relacionadas para a definição dos construtos e das dimensões que foram abordadas e organizadas por categorias.

Inicialmente, nos respaldamos nas contribuições de ^{Ayres et al. (2003)}e Ayres, Paiva e França Júnior (2012) para definição e compreensão do conceito de vulnerabilidade, que, por sua vez, se mostra subjetivo e envolve fundamentos práticos e epistemológicos articulados com aspectos comportamentais, culturais, políticos e econômicos para compreender como determinados grupos populacionais, nas dimensões analíticas de caráter individual, social e programático, se tornam expostos a agravos e riscos à saúde. Com efeito, o entendimento de vulnerabilidade apresentado nesta pesquisa está inserido numa esfera multidimensional e relacionada com fatores biológicos, epidemiológicos, atitudinais e socioculturais.

Para associar o aporte teórico de vulnerabilidade com a segunda abordagem central do Q-IVD, ou seja, o uso inapropriado das tecnologias digitais, recorremos à revisão de diversos estudos voltados a essa temática, predominantemente nas áreas da saúde e educação, e com diferentes populações e abordagens metodológicas (^{YOUNG, 1998}; ^{WIDYANTO; McMURRAN, 2004}; ^{KING; VALENÇA; NARDI, 2010}; ^{CONTI et al., 2012}; ^{KING; NARDI; SILVA, 2014}; ^{YILDIRIM; CORREIA, 2015}; ^{GONZÁLEZ-CABRERA et al., 2017}; ^{LEE et al., 2017}; ^{SILVA, 2017}; ^{LOUREIRO; GALHARDO, 2018}; ^{SENADOR, 2019}; ^{KING et al., 2020}; ^{SILVA et al., 2021}).

Entre os estudos mencionados, alguns desenvolveram instrumentos próprios validados para avaliar uma série de fenômenos relacionados ao uso abusivo das tecnologias, como o Internet Addiction Test (IAT), proposto inicialmente por ^{Young (1998)} e aprimorado por ^{Widyanto e McMurran (2004)}, e que desde então vem sendo traduzido e adaptado para diversos contextos e inclusive serviu de base para a criação de outros instrumentos, como o Nomophobia Questionnaire (NMP-Q), por ^{Yildirim e Correia (2015)}, que corresponde a outra importante ferramenta para diagnosticar distúrbios provocados pela dependência patológica das tecnologias digitais. Além desses, com um olhar mais voltado ao contexto nacional contemporâneo, destacamos a contribuição de ^{King, Nardi e Silva (2014)} e ^{King et al. (2020)}, juntamente com demais pesquisadores e colaboradores do Instituto Delete: detox digital e uso consciente de tecnologias, do Departamento de Psiquiatria da Universidade Federal do Rio de Janeiro (UFRJ).

As questões do Q-IVD foram elaboradas com fundamentação nos estudos mencionados, porém com uma óptica voltada à área da educação e sem o intuito de avaliar a aprendizagem cognitiva acerca dos conceitos tecnológicos, e sim, numa esfera pluralista epistemológica, identificar possíveis relações do uso das tecnologias com diferentes níveis de vulnerabilidade por meio de uma escala do tipo Likert graduada em quatro pontos.

A princípio, o protótipo do Q-IVD contou com 40 questões organizadas igualmente em quatro categorias específicas, mas ao mesmo tempo inter-relacionadas, a saber: Exposição de dados; Dependência tecnológica; Agravamento físico/emocional; e Alienação virtual. O detalhamento dessas categorias está apresentado no Quadro 1, a seguir.

Além da matriz de referência¹, as questões do Q-IVD foram elaboradas mediante alguns critérios para que um grupo de especialistas pudesse estabelecer seu julgamento durante o processo de validação de conteúdo também por meio de uma escala do tipo Likert de quatro níveis de concordância, na qual a pontuação 1 (um) se refere à discordância total, e 4 (quatro) evidencia a concordância total do item avaliado perante os critérios estabelecidos: caracterização; relevância; vulnerabilidade; neutralidade; e objetividade. O detalhamento desses critérios está apresentado no Quadro 2, a seguir.

O estabelecimento desses critérios contribuiu para sistematizar a avaliação dos especialistas, sendo que, além de servir como um barema, correspondeu também ao potencial de predição das questões, garantindo, assim, maior qualidade na formulação dos itens a fim de evitar alguns vieses, como excesso de termos técnicos e linguagem inadequada que pudessem confundir ou induzir as respostas do público respondente.

Metodologia, aspectos éticos, formação do painel de especialistas e aplicação-piloto

A validação do Q-IVD seguiu os princípios éticos estabelecidos pelo Conselho Nacional de Saúde (CNS), conforme a Resolução nº 510/2016, que trata das pesquisas com seres humanos, mediante apreciação e aprovação pela Comissão de Ética em Pesquisa (CEP) da Universidade Federal de Sergipe (UFS), sob o Certificado de Apresentação de Apreciação Ética (CAAE) nº 35407520.4.0000.5546 e Parecer nº 4.490.395. Os atores sociais participantes desse processo estão classificados basicamente em dois grupos, sendo o primeiro composto por um painel de especialistas envolvendo professores/pesquisadores e profissionais da área da saúde, e o segundo, uma amostra de estudantes, e ambos contribuíram especificamente nos processos de validação do instrumento.

Inicialmente, para o processo de validação de conteúdo do instrumento elaborado, foi utilizado o método Delphi com o intuito de obter o consenso fundamentado entre um grupo de especialistas em relação aos conteúdos, categorias, descritores e critérios submetidos à avaliação. A escolha desse método se mostrou relevante por ser uma das principais técnicas psicométricas utilizadas para formação de painel de especialistas e, subsequentemente, determinação de consenso para definição de competências, conteúdos educacionais, planejamento de ações pedagógicas e estabelecimento de critérios e métodos avaliativos em processos de validação de questionários (^{PIRES; BRANDÃO; SILVA, 2006}; ^{JESUS, 2013}; ^{ANTUNES, 2014}; ^{MARQUES; FREITAS, 2018}; ^{ALVES, 2019}).

Os participantes que formaram o painel de especialistas atuantes nos processos de validação de conteúdo do Q-IVD foram convidados mediante o uso da técnica snowball, sendo predominantemente professores/pesquisadores que trabalham e desenvolvem pesquisas envolvendo o uso das tecnologias no âmbito educacional e com experiência na elaboração de questionários e testes de desempenho escolar, assim como profissionais da área da saúde, também pesquisadores, que trabalham ou se identificaram com as temáticas abordadas no instrumento, tendo em vista a importante relação das questões com os aspectos físicos, sociais, emocionais e demais dimensões biopsicossociais e socioecológicas da saúde.

Com efeito, o método snowball corresponde a uma técnica de amostragem não probabilística que utiliza cadeias de referências para definir e alcançar o número de participantes conforme a acessibilidade deles (^{BIERNACKI; WALDORF, 1981}). Nessa perspectiva, ^{Rowe e Wrigth (1999)}, ^{Powell (2003)}, ^{Jesus (2013)} e ^{Alves (2019)} reforçam a importância de se buscar uma formação heterogênea entre os participantes que irão compor o painel de especialistas atuantes em processos de validação por meio do método Delphi para garantir equilíbrio e maior imparcialidade dos julgamentos acerca dos critérios avaliados.

Vale a pena lembrar que, diante do cenário pandêmico no qual o estudo foi realizado, e em cumprimento às medidas sanitárias estabelecidas pelos órgãos competentes para diminuir a contaminação pela Covid-19, todo o processo de validação ocorreu de forma remota por meio das TMDIC. Assim, logo após a elaboração da primeira versão do Q-IVD, as questões foram transpostas e adaptadas à plataforma de Formulários do Google, também conhecida como Google Forms, que, por ser uma ferramenta on-line e gratuita para criação e armazenamento de formulários na nuvem; seu uso se intensificou notoriamente nas pesquisas científicas e atividades escolares remotas durante o período pandêmico.

Os avaliadores que constituíram o painel de especialistas, os quais também podemos chamar de juízes, assim como o grupo de estudantes, foram convidados a participar da pesquisa por livre e espontânea vontade, demonstrada através de um Termo de Consentimento Livre e Esclarecido (TCLE), redigido em forma de carta-convite e enviado por e-mail, Telegram e WhatsApp, juntamente com o link de acesso a um questionário para conhecer o perfil sociodemográfico dos participantes.

Convém ressaltar que a utilização do método Delphi em meio ao contexto de distanciamento físico e social mostrou-se vantajoso por permitir que o questionário e os demais instrumentos fossem avaliados pelos especialistas em mais de uma rodada, sem que eles estivessem reunidos no mesmo ambiente, até se obter o consenso pretendido. Assim, o processo de repetição de rodadas teve a finalidade de reduzir divergências e alcançar o consenso de pelo menos 80% entre os avaliadores acerca dos itens que compõem o Q-IVD, conforme recomendado pela literatura (^{WESTMORELAND et al., 2000}; ^{JESUS, 2013}; ^{ANTUNES, 2014}; ^{MARQUES; FREITAS, 2018}).

Após a conclusão do método Delphi com a obtenção do consenso satisfatório pelos juízes avaliadores, o Q-IVD foi submetido também a uma análise semântica com o público-alvo ao qual esse instrumento se destina, ou seja, uma amostra representativa de estudantes concluintes do 3º ano do Ensino Médio, para que eles pudessem explanar suas impressões acerca do questionário e apontar a necessidade de alterações para melhor compreensão das questões e sua aplicabilidade.

O uso das TMDIC se mostrou uma estratégia importante e eficaz nessas etapas, principalmente para intermediar a comunicação entre os pesquisadores e os participantes, garantindo acesso aos instrumentos e uma coleta de dados sem restrições de tempo e espaço. Sobre essa discussão do uso da internet e de demais tecnologias nas pesquisas, Flick (²⁰⁰⁹, p. 32) corrobora ao argumentar que “muitos dos métodos qualitativos [e quantitativos] existentes vem sendo transferidos e adaptados às pesquisas que utilizam a internet como ferramenta, como fonte ou como questão de pesquisa”.

Nesse sentido, após concretizar todas as etapas do processo de validação de conteúdo do Q-IVD, num segundo momento, desta vez presencialmente, submetemos esse instrumento a uma aplicação-piloto para uma amostragem maior de estudantes, com a finalidade de mensurar estatisticamente a confiabilidade desse questionário mediante análise de sua consistência interna no software Statistical Package for Social Science (SPSS), bem como permitir realizar correlações entre as variáveis e com outros instrumentos de pesquisa.

Resultados e análises do processo de validação do instrumento

O método Delphi permitiu que o grupo de especialistas pudesse avaliar as questões do Q-IVD tanto de forma quantitativa, mediante o Índice de Validade de Conteúdo (IVC)², acerca do nível de concordância dos juízes, quanto de forma qualitativa, a partir das considerações, orientações e sugestões enviadas pelos avaliadores nos formulários. Embora ^{Coluci, Alexandre e Milani (2015}, p. 931) não tenham encontrado em seu estudo de revisão um consenso na literatura que caracterize um determinado teste estatístico como padrão ouro para a análise de conteúdo, foi evidenciado que, além da abordagem qualitativa por meio das considerações do painel de especialistas, é importante realizar uma análise quantitativa mediante o IVC para medir a “proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens”.

Nesse contexto, o IVC foi calculado com a utilização da escala Likert, em que os descritores foram avaliados em quatro níveis, sendo o nível 1 (um) considerado não relevante ou não representativo, visto que os especialistas indicaram discordar totalmente do item avaliado, enquanto o nível máximo, ou seja, 4 (quatro), diz respeito à relevância e representatividade, tendo em vista a concordância total dos avaliadores acerca do item.

Para que os descritores e critérios avaliados na matriz de referência e no Q-IVD fossem considerados válidos ou satisfatórios, eles tiveram de obter um percentual de concordância mínimo de 80% favorável na análise entre os juízes (ou seja, IVC> 0,80), conforme recomendação dos estudos de ^{Polit e Beck (2006)}, ^{Alexandre e Coluci (2011)}, ^{Revorêdo et al. (2016)} e Souza, Alexandre e Guirardello (2017). Assim, tendo em vista que o IVC corresponde à razão entre o número de itens considerados satisfatórios ou adequados pelos especialistas e o quantitativo geral de itens, podemos representar essa equação para avaliar cada item individualmente por meio da seguinte fórmula:

Foi necessário fazer a tabulação dos dados quantitativos para mensurar o percentual de concordância da avaliação dos juízes, ou seja, do IVC, acerca das questões perante os critérios estabelecidos (conforme mostrado no Quadro 2), cujas respostas marcadas como “Discordo totalmente - (1)” e “Discordo - (2)” foram consideradas insatisfatórias, assim como as que foram sinalizadas com “Concordo - (3)” e “Concordo totalmente - (4)”, que tiveram o parecer considerado satisfatório na escala de Likert. Em síntese, cada questão para ser considerada válida teve de obter o percentual de concordância mínimo de 80% favorável (IVC>0,80) em todos os cinco critérios estabelecidos.

As questões que obtiveram o IVC abaixo de 0,80 foram reformuladas com base nas considerações dos especialistas e submetidas a uma segunda rodada de avaliação. No entanto, algumas recomendações acerca das demais questões com o IVC favorável também foram consideradas para análise e contribuíram para melhorar ainda mais a qualidade desses itens. Nesse sentido, além do IVC de cada critério avaliado por questão, calculamos também o IVC* geral de cada categoria. Apresentamos na Tabela 1, a seguir, os resultados referentes à categoria Exposição de Dados.

Embora o IVC geral da dimensão Exposição de Dados tenha sido considerado satisfatório, com valor de 0,84 perante a avaliação do painel de especialistas, nota-se que oito questões foram avaliadas como insatisfatórias por não atenderem a nenhum dos critérios atribuídos para o julgamento, sendo o quesito “Neutralidade” o mais apontado com necessidade de reformulação, especificamente nas questões ED1, ED2, ED3, ED4, ED5, ED7, ED8 e ED9; além desse critério, o de “Relevância”, na questão ED7, e o de “Objetividade”, na questão ED8, também foram considerados insatisfatórios.

Nessa perspectiva, antecipamos que o critério mais comentado entre as quatro categorias e que, de certa forma, também dividiu opiniões perante os juízes avaliadores foi o de “Neutralidade”. No entanto, ressaltamos que o propósito desse quesito seria identificar se o enunciado da questão apresentaria algum elemento tendencioso capaz de influenciar o direcionamento da resposta do respondente, visto que a redação das alternativas foi elaborada propositalmente com juízos de valor para identificar quais seriam as possíveis opiniões e atitudes que os respondentes poderiam demonstrar com a marcação das respostas.

Diante do exposto, ressaltamos a importante contribuição das juízas 18PSI_MEST e 25LET_MEST sobre esse quesito, reforçando bem o quanto a visão dos avaliadores poderá ser diferente em comparação com a dos adolescentes, público-alvo do Q-IVD.

Juíza 18PSI_MEST: Considero as sentenças bem elaboradas, com linguagem acessível e condizente como o público a ser pesquisado. Além disso, são compatíveis aos objetivos propostos e indicadores investigados.

Juíza 25LET_MEST: Eu gostei das questões, mas em relação a neutralidade eu coloquei sempre concordo, eu vou justificar porque, como eu trabalho com retórica e argumentação, é [...], eu não considero que haja nada neutro ou imparcial, sempre há um viés, seja ideológico ou algo do tipo que tenta convencer ou persuadir determinado público a respeito daquilo que se deseja [...]. Pra mim, lendo as questões, todas elas são apresentadas muito de forma irônica, mas assim, claro que esse questionário não é destinado à minha pessoa, mas serão para alunos adolescentes, e eles poderão ter outra visão. E eu acredito que eles terão outra visão e não irão perceber, pois a gente percebe, por exemplo, assim... não vejo necessidade de deixar meu perfil privado nas redes sociais, então, eu na idade que estou e diante de tudo que a gente ler e das coisas que a gente tem conhecimento, a gente acaba achando irônico, mas para eles já não seria. Por isso que eu coloquei essa neutralidade [...], é neutro do ponto de vista deles, mas do ponto de vista nosso, que estamos avaliando as questões eu já não considero neutro, então, só estou justificando.

Nessa perspectiva, foi necessário realizar diversas alterações nos enunciados das questões com base nas considerações dos juízes, e traremos algumas dessas narrativas para exemplificar, ou até mesmo justificar, as mudanças realizadas.

Juiz 07QUI_MEST: Considero que as questões ED1; ED2; ED3; ED4; ED5 e ED8 não apresentam Neutralidade em seus enunciados pois ao utilizar o termo "Não" denota-se algo no mínimo duvidoso e que pode influenciar na resposta do aluno. Gera medo, insegurança e influencia na resposta.

Juíza 25LET_MEST: Na questão ED2, eu completaria, apesar de não ter ficado ruim a pergunta, eu acrescentaria para a frase ficar completa [...] “pois quanto mais seguidores, melhor”, assim a questão não terá ambiguidade, quanto mais convites ou quanto mais seguidores, não é? Apesar de ser simples e eu estou entendendo que se refere aos seguidores, porém, como é para aluno do ensino médio, penso que é melhor deixar mais claro.

Para fins de consulta, apresentamos na Figura 2, a seguir, um QR Code que dará acesso aos quadros comparativos com os enunciados das questões tanto na primeira versão quanto após a reformulação delas durante as etapas de validação.

Na Tabela 2, a seguir, apresentamos o percentual de concordância do painel de especialistas, calculado por meio do IVC de cada critério por questão, referente à categoria Dependência Tecnológica, bem como o IVC* geral.

Apesar de a dimensão Dependência Tecnológica ter sido considerada válida perante o IVC geral do julgamento dos especialistas, sete questões foram avaliadas com o quesito “Neutralidade” insatisfatório. Embora já tenhamos discutido sobre o fundamento desse critério, as recomendações dos juízes foram levadas em consideração para reformular algumas dessas questões, conforme podemos observar a seguir.

Juíza 08LET_D_IN: Percebi que em algumas questões o quesito “neutralidade” ficou comprometido, no sentido de ficar “embutido” algum juízo de valor. Os demais quesitos, “caracterização, vulnerabilidade, relevância e objetividade” estão todos muito bem identificados.

Juíza 25LET_MEST: Essa segunda categoria, eu achei muito importante mesmo, e até a gente acaba se reconhecendo nessas partes [risos], pois a gente tem sim uma certa dependência do uso de tecnologias, eu [...] sinceramente percebi que têm umas duas questões aqui que foram diretamente para mim, pois eu fico com o celular o tempo inteiro, às vezes não estou usando, deixo a internet desligada, mas o celular está ali do lado, mesmo com a internet desligada, para estudar e tal.

A narrativa da juíza 25LET_MEST aponta fortes indícios de que esse instrumento também pode ser adequado para o público adulto, como acadêmicos, professores e a população em geral, desde que sejam realizadas adaptações transculturais para alinhar as questões às características de determinados grupos populacionais.

Entretanto, considerando algumas críticas, a juíza 19BIO_D_IN apontou que, ao responder algumas questões, o adolescente não estaria necessariamente indicando dependência patológica das tecnologias, e concordamos com essa consideração, inclusive não é esse o objetivo das questões, pois a dependência patológica das tecnologias diz respeito a um diagnóstico clínico e, inclusive, possui uma terminologia específica, nomofobia. Vale ressaltar que, diante do cenário globalizado atual, consideramos que todas as pessoas têm alguma relação de dependência com as tecnologias, seja para entretenimento, trabalho, estudo etc., assim, o foco dessa dimensão é investigar se o respondente apresenta indicadores de uso exagerado desses dispositivos por diversos fatores, mas sem adentrar esse contexto específico da área da saúde.

Apresentamos, na Tabela 3, o percentual de concordância do painel de especialistas mediante o IVC referente aos critérios avaliados em cada questão da categoria Agravamento Físico/Emocional, assim como o IVC* geral dessa categoria.

Observa-se novamente que a categoria “Neutralidade” permaneceu sendo a mais repercutida entre os juízes em comparação às demais, na qual as questões AG6, AG7 e AG10 foram avaliadas como insatisfatórias, mas, no geral, a categoria Agravamento Físico/Emocional foi considerada válida, visualizando-se o IVC* de 0,87.

Juíza 25LET_MEST: A respeito dessas duas últimas categorias, considero elas bem interessantes porque tem a ver com essa perfeição que é propagada nas redes sociais e acaba causando um certo sentimento de tristeza, sentimentos depressivos ao ponto de a pessoa acabar achando que sua vida não é, entre aspas, a vida que as pessoas das redes sociais têm, não é? Então eu acho importante abordar isso nas questões, pois se o jovem ou qualquer pessoa avalia sua vida de acordo com aquilo que ela ver nas redes sociais, é uma questão do consumismo também, se é influenciado, não sei se é esse o objetivo da pesquisa, mas acho que serve para tudo, até já conversei com alguns amigos sobre isso, de que as vezes a gente ver casais, ver pessoas sorrindo sempre, viajando sempre, e a gente acaba pensando, poxa como a minha vida é sem graça, como a minha vida não tem nada de tão bom assim. Então as vezes a gente acaba, inconscientemente ou conscientemente, se comparando a essas vidas perfeitas que são demonstradas nas redes sociais, mas que na verdade não é isso, e acredito que pode acontecer o mesmo com os adolescentes.

Finalmente, na Tabela 4, a seguir, apresentamos os dados quantitativos do julgamento dos juízes acerca das questões pertencentes à categoria Alienação Virtual, em que, novamente, o percentual de concordância desses especialistas perante os critérios de cada item está representado pelo IVC, assim como o IVC* geral da categoria.

Embora o IVC geral da categoria Alienação Virtual também tenha sido considerado satisfatório, novamente o critério “Neutralidade” foi avaliado como insatisfatório em três questões, AV2, AV7 e AV8, e, após a reformulação conforme as considerações dos juízes, as questões foram submetidas a uma segunda rodada de avaliação. Essa segunda etapa ocorreu exclusivamente por meio dos aplicativos WhatsApp e Telegram num prazo de sete dias, em que os avaliadores puderam comparar os enunciados das questões antes a após as alterações fundamentadas nos pareceres levantados pelo grupo.

Com a análise das novas considerações dos juízes, constatamos a necessidade de alterar significativamente apenas três questões, todas pertencentes à dimensão Exposição de Dados, e, após todas as questões reformuladas do Q-IVD terem sido consideradas válidas, a etapa seguinte correspondeu a uma testagem piloto desse instrumento, de forma comentada, com uma amostra do público-alvo para qualificar ainda mais a avaliação semântica das questões.

Essa nova etapa de validação semântica contou com a participação voluntária de 11 (onze) estudantes concluintes do 3º ano do Ensino Médio, matriculados em uma escola pertencente à rede estadual de educação de Sergipe, e ocorreu na modalidade remota, em que as questões foram previamente disponibilizadas por meio do Google Forms para serem analisadas e, posteriormente, foi agendada uma reunião coletiva de forma síncrona pela plataforma Google Meet, com duração de aproximadamente 40 minutos.

Todos os alunos participantes dessa etapa tinham idade superior a 18 anos e, por esse motivo, puderam confirmar sua participação por meio do TCLE enviado junto com o instrumento. Quanto à distribuição por gênero e faixa etária, sete estudantes eram do sexo feminino, com idade entre 18 a 20 anos, e os quatro restantes eram do sexo masculino, com variação de idade entre 18 a 22 anos.

De maneira geral, essa etapa teve basicamente o objetivo de verificar se o Q-IVD realmente estava compreensível para essa amostra de estudantes, ou seja, se os itens ofereciam clareza e objetividade, bem como identificar eventuais problemas de ambiguidade e demais inconsistências que pudessem comprometer a compreensão do público adolescente. Durante esse processo, os estudantes foram indagados sobre a fundamentação das questões, se elas estavam claras, ou se havia algum termo não compreendido por eles, assim como acerca da presença de algum item ou trecho que não fazia sentido ou então que os deixava incomodados, e se eles tinham alguma observação ou sugestão a fazer.

Ao término desse processo, foi constatado que os alunos mostraram boa aceitação ao Q-IVD, sem relatos de dificuldades de compreensão e nenhum outro fator que pudesse causar algum constrangimento ou desconforto ao eles. No entanto, a maioria desse público demonstrou um certo desânimo com a quantidade de perguntas, ou seja, 40 (quarenta) questões.

Convém ressaltar que essa preocupação já tinha sito alertada na etapa inicial de avaliação por alguns juízes, mas optamos por conservar o quantitativo para esse momento com o intuito de conhecer a opinião desses participantes sobre quais seriam os itens mais pertinentes e que deveriam ser mantidos na versão final do instrumento. Dessa forma, foi solicitado aos estudantes que apontassem quatro questões de cada categoria para serem excluídas do Q-IVD, o que, a princípio, resultou em divergências de opiniões quando indagados sobre por quais motivos as questões indicadas por eles deveriam ser excluídas. Para elucidar um pouco essa etapa, trouxemos alguns fragmentos das discussões levantadas.

Aluno 07: Não vi nenhum problema com as perguntas, não, pelo contrário, achei bem legal responder, tipo assim, tem umas duas perguntas que eu já acabei cometendo, tipo espalhar notícia sem saber se é verdade, instalar vírus no celular e ter que formatar, e até mesmo essa parada de fotos íntimas, mesmo sem mostrar o rosto não deixa de ser um perigo se o celular cair nas mãos erradas [...]. Outra coisa, não é o meu caso, mas eu conheço muita gente que fica doente quando não consegue causar ibope na internet, eu não ligo “pra” isso, não, mas tenho amigas que praticamente imploram “pra” gente seguir elas, curtir as fotos e comentar.

Aluna 09: [...] é muito difícil escolher quais perguntas devem ser excluídas, eu pensei nessa que fala sobre nudes, pois eu nunca mandei e nem penso em mandar, mas depois que o senhor me perguntou se eu tenho alguma amiga ou conheço alguém que já compartilhou esse tipo de foto, lembrei de algumas amigas minhas que já fizeram isso e se deram mal, então mudei de ideia, acho que é um assunto importante de se pensar [...]. Essa questão cinco da terceira categoria [AG5], na minha opinião, eu retirava do questionário porque é muito parecida com a primeira da categoria anterior [DT1], e essa última que fala da dependência, falta de ar e coração acelerado [DT10], também acho importante, mas a pergunta ficou muito grande, se tivesse como diminuir, ficaria melhor.

Foi possível perceber, com base nas narrativas dos estudantes, que o Q-IVD teve boa aceitação perante a amostra do público-alvo, na qual a maior dificuldade com que se depararam foi chegar a um consenso acerca de quais questões deveriam ser excluídas, mas, após algumas indagações sobre os motivos por que determinadas questões deveriam permanecer e outras não, novas reflexões e debates foram levantados, e, finalmente, a maioria dos estudantes concordou em eliminar as seguintes questões: ED1, ED5, ED7 e ED10 (categoria Exposição de Dados); DT2, DT3, DT4 e DT6 (categoria Dependência Tecnológica); AG3, AG5, AG9 e AG10 (categoria Agravamento Físico/Emocional); e AV2, AV4, AV6 e AV8 (categoria Alienação Virtual). Essa etapa permitiu realizar também novas alterações em algumas questões, tornando-as mais claras e condizentes com a realidade desse público.

Nesse contexto, ^{Hill e Hill (2012)}, ^{Cunha (2015)} e ^{Alves (2019)} corroboram ao apontarem que essa etapa de validação semântica contribui para qualificar o instrumento com perguntas ainda mais relevantes, permitindo avaliar o grau de compreensão, clareza e entendimento dos enunciados. Dessa forma, a versão final do Q-IVD validado contou com 24 questões distribuídas uniformemente em quatro categorias, conforme apresentado no Quadro 4.

Aplicação-piloto, confiabilidade e interpretação do Q-IVD

Após concretização dos processos de validação de conteúdo do Q-IVD, a etapa seguinte correspondeu à aplicação-piloto desse instrumento, juntamente com um questionário socioeconômico, que foram respondidos por estudantes do 3º ano do Ensino Médio matriculados em quatro escolas da Secretaria de Estado da Educação, do Esporte e da Cultura de Sergipe (SEDUC) no período de outubro e novembro do ano de 2021. Para fins de garantia da confiabilidade estatística, a escolha das diretorias regionais e das respectivas unidades escolares convidadas para a realização dessa etapa de pesquisa ocorreu por meio de técnicas de amostragem probabilística do tipo aleatória simples, na perspectiva de ^{Barbetta (2007)}, mediante sorteio não viciado.

É importante ressaltar que, embora o Estatuto da Criança e do Adolescente (ECA) considere a adolescência um complexo processo de crescimento e desenvolvimento biopsicossocial inserido na faixa etária de 12 a 18 anos, podendo se estender em algumas condições até os 21 anos, assim como o Estatuto da Juventude classifica como jovens as pessoas com idade entre 15 e 29 anos de idade, preferimos aderir neste estudo à classificação da OMS que circunscreve a adolescência à segunda década da vida, ou seja, de 10 a 19 anos, pois, além dos critérios cronológicos, consideramos que os fatores biológicos, psicológicos e sociais também são importantes e devem ser valorizados nessa abordagem conceitual ^{(BRASIL, 1990}, ²⁰⁰⁷, ²⁰¹³).

Nesse contexto, o total geral de estudantes com respostas válidas incluídas nesta pesquisa correspondeu a 147 participantes. Esse quantitativo é considerado satisfatório para realizar processamento e análises estatísticas no SPSS. Foi percebido um equilíbrio relativo à distribuição por gênero dos participantes, visto que a amostra foi constituída por 53% (n 78) de estudantes do sexo feminino e 47% (n 69) do sexo masculino, e, com relação à faixa etária, a idade mínima correspondeu a 16 e a máxima a 19 anos, com média de 17,37 anos e desvio padrão de 0,907, prevalecendo a faixa entre 17 a 18 anos, com frequência de 45,6% (n 67) e 25,2% (n 37), respectivamente

No que se refere à análise da consistência interna de instrumentos pesquisadas, vale ressaltar que a confiabilidade corresponde a uma medida estatística da reprodutibilidade ou estabilidade dos dados coletados de forma consistente no tempo e no espaço. Assim, partindo do pressuposto de que qualquer instrumento de avaliação que envolva coleta de dados está sujeito a erros de imprecisões e outros vieses, se faz necessário testar sua precisão por meio de técnicas de confiabilidade (^{PASQUALI, 2009}; ^{JESUS, 2013}; ^{ALVES, 2019}).

Considerando que a análise da confiabilidade é uma condição necessária para que os instrumentos de pesquisa possam apresentar resultados consistentes acerca do que se propõe mensurar, e com a menor quantidade de viés possível, dentre as inúmeras técnicas utilizadas, o coeficiente alpha de Cronbach é um dos mais utilizados devido à sua vasta consolidação e contribuição nos meios acadêmico e estatístico. Dessa forma, todas as respostas coletadas dos 147 participantes foram importadas para um banco de dados no software SPSS e submetidas a testes estatísticos para a avaliação da homogeneidade do Q-IVD por meio do coeficiente alpha de Cronbach, permitindo, assim, analisar a consistência interna das questões. Esse coeficiente permite analisar o perfil das respostas fornecidas pelos respondentes para calcular a confiabilidade entre os itens do questionário, cujos valores variam entre 0 e 1, no qual, quanto mais próximo de 1, maior será a fidedignidade das dimensões do construto (^{CRONBACH, 1951}; ^{PASQUALI, 2009}; ^{SILVA, 2017}).

É importante ressaltar que o nível de aceitabilidade desse coeficiente depende do tipo de pesquisa realizada, mas, no geral, Landis e Koch (1977) classificam os índices entre 0 a 0,20 como consistência pequena ou insatisfatória; 0,21 a 0,40 como razoável; 0,41 a 0,60 moderada; 0,61 a 0,80 substancial; e 0,81 a 1,0 quase perfeita. No entanto, a literatura mais recente aponta que valores acima de 0,80 são considerados ideais para as pesquisas no âmbito da saúde, enquanto para estudos relacionados à esfera social os valores de alpha de Cronbach acima de 0,60 são confiáveis (^{STREINER, 2003}; ^{HILL; HILL, 2012}; ^{ALVES, 2019}).

Nesse contexto, visando analisar a consistência interna do Q-IVD, calculamos inicialmente o coeficiente alpha de Cronbach de maneira geral com todas as 24 questões, e foi obtido o índice α = 0,821 (com base em itens padronizados), considerado satisfatório, o que evidencia a existência de consistência interna desse instrumento de pesquisa, sendo possível, assim, constatar sua validade no aspecto qualiquantitativo e criar a variável latente “Indicativos de Vulnerabilidade Digital” para a população estudada. Ao calcularmos esse coeficiente separadamente com relação às categorias apresentadas no Quadro 1: “Exposição de Dados”, “Dependência Tecnológica”, “Agravamento Físico/Emocional” e “Alienação Virtual”, de forma isolada, embora todas as categorias tenham apresentado índices satisfatórios (α > 0,600), percebemos que elas possuem melhor consistência e confiabilidade quando aplicadas em conjunto, conforme podemos observar na Tabela 5, a seguir:

Considerando que, embora o Q-IVD possua quatro blocos de categorias subdivididos em seis questões cada, esse instrumento foi elaborado para ter sua aplicabilidade de forma integral com todos os 24 itens, e, por esse motivo, os resultados obtidos por meio do coeficiente alpha de Cronbach são considerados satisfatórios e condizentes com o esperado, atendendo, desse modo, o propósito de sua elaboração. Apesar de o público-alvo dessa versão do Q-IVD corresponder a estudantes adolescentes concluintes do Ensino Médio, foi possível inferir, por meio das análises psicométricas, que esse instrumento, mediante processos de adaptação transculturais, poderá ter aplicabilidade validada também para diferentes públicos, podendo inclusive ser aplicado juntamente com os demais instrumentos para investigar correlações diversas por meio de análises estatísticas, de acordo com a finalidade dos aplicadores, contribuindo, assim, para novas pesquisas relacionadas ao uso das tecnologias digitais.

Apresentamos no Quadro 4, a seguir, a versão final do Q-IVD após concretização de todas as etapas de validação: validação de conteúdo, por meio da avaliação dos juízes com o método Delphi; validação qualitativa, mediante análise semântica com a amostra do público-alvo; e validação quantitativa, decorrente da aplicação-piloto e de análises estatísticas para calcular a consistência interna e confiabilidade.

No que se refere às diferentes possibilidades analíticas e interpretativas do Q-IVD à luz da literatura que norteou sua elaboração, definimos que, após respondido, os resultados poderão ser estabelecidos de duas formas de acordo com a pontuação obtida, “geral” e “por categorias”, com os seguintes níveis de indicativos de vulnerabilidade digital: ausência de vulnerabilidade; vulnerabilidade leve; vulnerabilidade moderada; e alta vulnerabilidade. Apresentamos no Quadro 5, a seguir, a classificação desses níveis conforme a pontuação do respondente.

Para fins de divulgação, apresentamos na Figura 3, a seguir, um QR Code que dará acesso ao protótipo da versão digital do Q-IVD compatível com diferentes interfaces e dispositivos digitais; no entanto, ressaltamos que essa versão será aprimorada em breve, com a vinculação de um banco de dados para que possa ser utilizado em novas pesquisas.

A análise dos resultados obtidos com a aplicação do Q-IVD, tanto de maneira geral quanto fragmentada por categorias, possibilitará estabelecer uma maior amplitude interpretativa desses resultados de forma qualificada e sistematizada, pois é possível, por exemplo, que determinado estudante não mostre um nível alarmante de vulnerabilidade digital na pontuação geral do questionário, mas, ao investigar os resultados de cada categoria, constatar que esse mesmo estudante se mostrou vulnerável em algumas delas, permitindo, assim, que o professor possa intervir educativamente com estratégias voltadas para o uso consciente e responsável das tecnologias.