1 Introdução
A modalidade de educação a distância (EaD) tem evoluído junto com o desenvolvimento das tecnologias da informação e comunicação (TIC) e possui uma importância particular por possibilitar o acesso de inúmeras pessoas, com variadas profissões, à educação ao longo da vida, sem restrições de tempo e de espaço (GAZZA; HUNKER, 2014). Organizações públicas e privadas estão se apropriando cada vez mais desses recursos, incluindo-os nos seus processos de ensino (STADLER et al., 2017). Nesse contexto, os processos educativos podem ser classificados a partir do envolvimento das variáveis tempo e espaço. Diferentemente dos processos de educação tradicionais, em que estudantes e professores encontram-se no mesmo espaço e ao mesmo tempo, na modalidade de educação a distância ocorre essa separação, o que exige do estudante disciplina e estratégias adequadas de estudo (GARCIA; CARVALHO JUNIOR, 2015).
A aprendizagem on-line ou e-learning, termos adotados por diversos estudos internacionais, vem transformando o cenário educacional com o surgimento de novas formas de ensinar e aprender, provocando mudanças significativas no papel desempenhado pelos professores e alunos, com ênfase na necessidade de desenvolvimento de competências transversais, como a autonomia e o trabalho em equipe (IGLESIAS-PRADAS; RUIZ-DE-AZCÁRATE; AGUDO-PEREGRINA, 2015). O desenvolvimento dessas competências é um desafio presente na modalidade EaD, mas não o único. Embora essa modalidade seja uma realidade que atende às necessidades de diversos profissionais, a manutenção dos estudantes nos cursos é uma dificuldade bastante reportada no contexto da EaD (GAZZA; HUNKER, 2014), além da necessidade de constantes revisões nas iniciativas de EaD, haja vista que influenciam na formação dos sujeitos e nas práticas pedagógicas presentes em nossa cultura (HABOWSKI; CONTE; JACOBI, 2019).
A avaliação contínua é crucial para promover a melhoria da qualidade e garantir a efetividade da formação profissional ofertada no contexto da modalidade EaD (KENEFICH et al., 2014). A expressão qualidade educacional tem sido utilizada para fazer referência à eficiência, eficácia e efetividade dos processos educacionais e de suas instituições (COSTA et al., 2018). Sander (1995, p. 43, 46-47) busca fazer uma distinção entre esses conceitos ao mencionar a eficiência como “o critério econômico que revela a capacidade administrativa de produzir o máximo de resultados com o mínimo de recursos, energia e tempo”; eficácia “é o critério institucional que revela a capacidade administrativa para alcançar as metas estabelecidas ou os resultados propostos”; e efetividade, fenômeno cujo instrumento analisado no presente estudo pretende avaliar, “é o critério político que reflete a capacidade administrativa para satisfazer as demandas concretas feitas pela comunidade externa”. Assim, de acordo com o autor, a efetividade reflete a capacidade de a educação responder às preocupações, exigências e necessidades da sociedade.
O estudo está delimitado à validação teórica do instrumento de efetividade da formação profissional ofertada em cursos na modalidade EaD, por parte de especialistas na área do construto. A consulta a especialistas visa a identificar se os itens do instrumento representam, adequadamente, determinado construto. Essa avaliação é ainda teórica, pois consiste em solicitar outras opiniões sobre a hipótese (PASQUALI, 2017). O estudo, portanto, tem como objetivo validar um instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD, no que se refere aos procedimentos teóricos. O instrumento proposto poderá auxiliar nos processos de gestão do ensino e da aprendizagem de instituições que ofertam cursos de formação profissional na modalidade EaD.
2 Referencial teórico
2.1 Efetividade da formação profissional
Diversos artigos científicos publicados nos últimos anos (2012-2018), tais como: Lavender et al. (2013), Wang et al. (2016), Aluko e Shonubi (2014), Lahti, Kontio e Valimaki (2016), têm utilizado o modelo mais conhecido para avaliação de efetividade de cursos de formação profissional, o modelo de Kirkpatrick (KIRKPATRICK; KIRKPATRICK, 2009). Esse modelo apresenta quatro níveis de avaliação: reação, aprendizagem, comportamento e resultados. No entanto, a maior parte desses estudos científicos utilizam os dois primeiros níveis do modelo, o que parece não fornecer uma indicação clara da efetividade da formação sobre o participante e sobre o ambiente de atuação profissional, aspectos identificados como uma lacuna na literatura (GOMES et al., 2017).
Neste sentido, revisamos estudos que tratam a transferência da aprendizagem como o principal indicador de efetividade (GOMES et al., 2017). Ao analisá-los, outro termo foi identificado – o “impacto” do treinamento no trabalho. Apesar de o termo não figurar com tanta frequência nos estudos de avaliação de efetividade realizados pela comunidade científica internacional, o conceito de impacto do treinamento no trabalho foi encontrado em diversos estudos nacionais e, por isso, também foi utilizado para constituir a definição de um modelo conceitual norteador deste estudo, conforme Quadro 1.
Conceito | Definição |
---|---|
Transferência da aprendizagem | Aplicação eficaz, no trabalho, das habilidades, capacidades e atitudes adquiridas no curso de formação profissional (KIRKPATRICK; KIRKPATRICK, 2009; HAMBLIN, 1974; PILATI; ABBAD, 2005) |
Impacto da formação no trabalho | Consequências positivas e duradouras do curso de formação profissional no desempenho global, na motivação e nas atitudes em relação ao trabalho e em atividades similares, bem como em outras que requeiram o uso das novas habilidades, capacidades e atitudes (MOURÃO; ABBAD; ZERBINI, 2014; FERREIRA; ABBAD, 2014) |
Fonte: Elaborado pelos autores (2018).
Neste estudo, o conceito de impacto da formação no trabalho foi considerado somente sob a perspectiva da amplitude, por abordar os efeitos gerais do curso sobre o desempenho do egresso (CARVALHO; ABBAD, 2006), e pela possibilidade de se estender o instrumento proposto à avaliação de cursos relacionados a diversos contextos de trabalho. Com base no esquema do modelo conceitual proposto, foi elaborada a seguinte definição constitutiva do construto efetividade da formação profissional, centrado no egresso: nível de desenvolvimento de habilidades, atitudes e motivação, relacionadas ao trabalho ou a atividades similares. As definições desses atributos foram elaboradas com base na literatura e estão apresentadas no Quadro 2.
Atributo | Definição |
---|---|
Habilidades | Capacidade de fazer uso do conhecimento adquirido, em ações relacionadas ao trabalho ou a atividades similares (BOTERF, 2003), a fim de alcançar um propósito específico (SANTOS, 2014); está associada ao saber-fazer. |
Atitudes | Predisposição do comportamento à modificação da forma de se realizar o trabalho (GAGNÉ; MEDSKER, 1996); envolve crenças e valores pessoais (ODELIUS et al., 2016) e está associada ao querer-saber-fazer (SANTOS, 2014). |
Motivação | Estado interno que sustenta o comportamento orientado para o objetivo (VELAYUTHAM; ALDRIGE; FRASER, 2011). Interesse em aplicar no trabalho os conteúdos aprendidos na formação (LACERDA; ABBAD, 2003). |
Fonte: Elaborado pelos autores (2018).
As medidas de avaliação de efetividade de cursos de formação profissional, no contexto da modalidade EaD, estão apresentadas na sequência.
2.2 Medidas de avaliação de efetividade da formação profissional ofertada em cursos na modalidade de educação a distância
Os estudos científicos que realizaram avaliações de cursos de formação profissional ofertados na modalidade EaD, publicados no período de 2012 a 2017, utilizaram, em geral, dois tipos de instrumentos de coleta de dados: questionários e entrevistas. Para análise de dados, o predomínio foi para a análise estatística clássica, realizada em 40 artigos científicos dentre 49 analisados.
Em relação aos estudos que realizaram análise de conteúdo, os instrumentos de coleta de dados utilizados foram questionários com itens abertos (DECOSTA; BERGQUIST; HOLBECK, 2015; LAHTI; KONTIO; VÄLIMÄKI, 2016), entrevistas semiestruturadas (TANG; LAM, 2014; WILSON, 2012) e atividade de ensaio reflexivo na plataforma do curso (LAHTI et al., 2014). Foram avaliadas, em geral, as percepções dos participantes dos cursos sobre o papel dos professores mediadores, a avaliação do ensino, a contribuição dos participantes na plataforma de ensino, o acesso aos conteúdos, o cronograma do curso, o senso de comunidade e relacionamento, o nível de interação dos participantes, a transferência da aprendizagem para o trabalho, as vantagens e desvantagens resultantes do curso, a recomendação do curso para outros profissionais, entre outros. Portanto, estudos qualitativos que recorreram à análise de conteúdo como procedimento de análise de dados avaliaram, essencialmente, a percepção dos participantes sobre suas experiências no curso de formação profissional.
Dentre os estudos que utilizaram testes estatísticos como procedimento de análise de dados, 24 aplicaram questionários de pré e pós-teste com o objetivo de avaliar diferentes aspectos dos cursos, com destaque para a avaliação do ganho de conhecimento (BRESSEM et al., 2016; MCLEOD; MORCK; CURRAN, 2014; LAVENDER et al., 2013; MOREIRA et al., 2015; MICHELAZZO et al., 2015; KULIER et al., 2012; ILOTT et al., 2014; BROWNLOW et al., 2015; WANG et al., 2016; BLAZER et al., 2012; KENEFICK et al., 2014; CHO; SHIN, 2014). Instrumentos de pré e pós-teste também incluíram perguntas relacionadas às características sociodemográficas dos participantes (BRESSEM et al., 2016; MCLEOD; MORCK; CURRAN, 2014; MOREIRA et al., 2015; O’BRIEN; BROOM; ULLAH, 2015; MATSUBARA; DOMENICO, 2016).
Nos questionários aplicados antes e após a intervenção do curso de formação profissional foram solicitadas informações relacionadas à experiência na área do curso (BRESSEM et al., 2016; MATSUBARA; DOMENICO, 2016), metas em relação ao curso (BRESSEM et al., 2016), tempo previsto para dedicação ao curso (BRESSEM et al., 2016), atitudes e crenças relacionadas à área do curso (BROWNLOW et al., 2015; CHO; SHIN, 2014), habilidades profissionais na área do curso (BROWNLOW et al., 2015; BLAZER et al., 2012; KENEFICK et al., 2014), desenvolvimento de competências profissionais (O’BRIEN; BROOM; ULLAH, 2015) e confiança para trabalhar na área do curso (BROWNLOW et al., 2015; O’BRIEN; BROOM; ULLAH, 2015).
Para confirmar a validade de conteúdo dos questionários, alguns estudos recorreram a especialistas com ampla experiência nas áreas de intervenção. A fim de validar o conteúdo de um questionário, elaborado a partir de uma revisão de literatura, pesquisadores convidaram cinco especialistas para comentar a redação e relevância dos itens, o formato das respostas e a concepção geral do questionário (CHONG et al., 2016). Utilizou-se, no estudo de Chong et al. (2016), um índice de validade de conteúdo para calcular as classificações dos especialistas sobre a relevância de cada item. Dentre os 28 itens, os índices variaram de 0,82 a 1, considerados adequados por ultrapassarem a concordância mínima de 0,80, sugerida por Davis (1992) e Grant e Davis (1997).
A técnica Delphi foi utilizada para validação de um questionário elaborado para avaliar a formação profissional ofertada em um curso na modalidade EaD, relacionado à área da saúde (MATSUBARA; DOMENICO, 2016). Essa técnica parte das opiniões, pontos de acordo e divergências entre peritos, com o objetivo de chegar a certos elementos de consenso, por meio de uma série de questionários estruturados, refinados a cada fase do processo (SOUSA; TURRINI, 2012; LIMA-RODRIGUEZ et al., 2013).
Salienta-se que, apesar de a revisão de literatura ter contemplado somente estudos que avaliaram cursos EaD, não há evidências científicas de que essas formas de avaliar sejam aplicáveis apenas a cursos EaD.
2.3 Procedimentos teóricos para construção e validação de instrumentos
Os procedimentos teóricos dependem da literatura existente sobre o construto que o instrumento pretende medir. O pesquisador deve levantar toda a evidência empírica sobre o construto e sistematizá-la, a fim de chegar a uma teoria que possa orientar a elaboração de um instrumento de medida para o construto (PASQUALI, 2017). Assim, é necessário estabelecer a dimensionalidade do construto, suas definições constitutivas e operacionais e operacionalizá-lo em tarefas comportamentais.
Os dados empíricos a serem coletados por meio de um instrumento irão demonstrar se a teoria acerca do construto, elaborada pelo pesquisador, tem ou não alguma consistência (CUNHA; ALMEIDA NETO; STACKFLETH, 2016). Após determinar a dimensionalidade do construto, é necessário conceituá-lo de forma detalhada, com base na literatura pertinente, nos especialistas da área e da própria experiência. Os resultados dessa conceituação, que deve ser clara e precisa, são as definições constitutivas e operacionais do construto. Boas definições constitutivas permitem a avaliação posterior da qualidade do instrumento, no sentido de verificar quanto de sua extensão semântica é coberta pelo instrumento (PASQUALI, 2017).
A definição operacional do construto define os comportamentos concretos que devem ocorrer ou que devem ser exibidos por parte dos participantes da pesquisa, no caso do instrumento proposto neste estudo, dos egressos de cursos de formação profissional ofertados na modalidade EaD. Quanto mais completa for a especificação das categorias de comportamentos, maior será a garantia de que o instrumento é válido e útil. O pesquisador deve recorrer à literatura referente ao construto, à opinião de especialistas e à própria experiência para realizar esse procedimento (CUNHA; ALMEIDA NETO; STACKFLETH, 2016).
A etapa subsequente, para elaboração de um instrumento, contempla a operacionalização do construto, que é o passo da construção dos itens. Os itens são a expressão da representação comportamental do construto, ou seja, são as tarefas que as pessoas, nesse caso, os egressos, deverão executar para que seja avaliada a magnitude da presença do construto (PASQUALI, 2017).
3 Procedimentos metodológicos
A partir do modelo conceitual, referente à efetividade da formação profissional ofertada em cursos na modalidade EaD, baseado na revisão da literatura, foi elaborado um questionário composto por 20 itens, relacionados ao desenvolvimento de habilidades, atitudes e motivação em decorrência do curso de formação profissional, cujas categorias de resposta apresentadas foram: discordo totalmente, discordo, concordo, concordo totalmente e não sei avaliar. Os itens do instrumento foram submetidos ao processo de validação de conteúdo, conforme o apresentado na sequência acima citado.
De acordo com Colucci, Alexandre e Milani (2015) e Polit e Beck (2016), pelo menos cinco especialistas na área do construto são suficientes para ajuizar se os itens estão-se referindo ou não ao traço latente. Entretanto, tal informação não é um consenso na literatura científica, pois essa quantidade depende do contexto da pesquisa e de fatores que não dependem do pesquisador, como a disponibilidade dos especialistas (MUNARETTO; CORRÊA; CUNHA, 2013).
Neste estudo, o traço latente que está sendo avaliado corresponde à efetividade da formação profissional ofertada na modalidade EaD, o qual engloba os atributos: habilidades, atitudes e motivação, sendo, portanto, um traço latente mais generalista. A validação de conteúdo do instrumento representa um necessário e importante avanço no sentido de possibilitar que sua aplicabilidade mensure de forma confiável aquilo que se pretende avaliar (BELLUCCI JÚNIOR; MATSUDA, 2012).
Optou-se pela utilização da técnica Delphi, que visa a obter consenso de opiniões de especialistas sobre um assunto por meio de uma série de questionários estruturados. As respostas para cada questionário foram consideradas para as aplicações e possíveis reformulações subsequentes dos questionários, a fim de refinar o questionário inicial. A síntese do processo de execução da técnica Delphi está apresentada na Figura.
Com a finalidade de selecionar os especialistas para participarem do processo de validação de conteúdo do instrumento, foi realizada uma consulta junto à base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq), aplicando-se os seguintes termos de busca nos nomes de grupos de pesquisa: “formação profissional”, “educação continuada” e “educação a distância”. Os resultados das buscas apresentaram um total de 154 grupos de pesquisa que possuíam o termo “formação profissional” no título; 45 grupos de pesquisa com o termo “educação continuada” no título; e 204 grupos de pesquisa com o termo “educação a distância” no título. Com a posse desse resultado, foram selecionados, aleatoriamente, 15 grupos de pesquisa de cada uma das três buscas e registrados os e-mails dos respectivos especialistas que lideravam esses 45 grupos de pesquisa de diferentes regiões do país. Além dos 45 especialistas selecionados, foram incluídos intencionalmente mais oito professores universitários, cujas atividades de pesquisa eram de conhecimento do pesquisador e estavam relacionadas ao conteúdo do instrumento a ser validado, totalizando, portanto, 53 especialistas convidados a participar do processo de validação de conteúdo do instrumento.
Dessa forma, um e-mail foi encaminhado aos 53 especialistas selecionados na primeira rodada de realização da técnica Delphi, dos quais 13 aceitaram participar da pesquisa, representando uma adesão de 24,52%. Na segunda e última rodada da técnica Delphi, um e-mail foi encaminhado novamente aos 53 especialistas, contendo somente três itens que necessitavam ser reavaliados. Nessa etapa, nove especialistas participaram da pesquisa (16,98%).
A abordagem aos especialistas se deu por meio da internet, por contato via correio eletrônico, no qual foram explicitados os objetivos do estudo e as concepções teóricas adotadas para os atributos do construto. O primeiro questionário foi encaminhado aos especialistas no dia 6 de novembro de 2017, e ficou disponível para respostas até o dia 6 de dezembro de 2017. Os especialistas foram convidados a participar voluntariamente, com garantia da confidencialidade e demais aspectos preconizados pelo Comitê de Ética em Pesquisa com Seres Humanos (CEPSH) da Universidade Federal de Santa Catarina (UFSC), cuja aprovação a tal estudo consta no Parecer Consubstanciado nº 2.051.634.
O grau de adequação de cada item foi estabelecido de acordo com uma pontuação de 1 até 5, em que 1 representa na adequação menor e 5 representa na maior adequação. Foram propostos, inicialmente, 20 itens e oportunizado aos especialistas sugerirem melhorias ou novos itens. Os itens foram validados ou eliminados de acordo com os seguintes critérios propostos por Lima-Rodriguez et al. (2013):
validar o item quando a média ≥ 3,5 e mediana ≥ 3, e quando o percentual de classificações elevadas (4-5) > 80% ou desvio-padrão < 0,90;
eliminar o item quando a média < 3,5 e mediana < 3.
Os itens não validados na primeira rodada foram reaplicados, passando, assim, para a fase seguinte. Variáveis demográficas dos especialistas também foram coletadas, tais como: sexo, idade, local de residência, nível de escolaridade e área de dedicação profissional, cuja finalidade foi caracterizar o perfil da amostra de peritos.
4 Resultados
Na primeira rodada de aplicação da técnica Delphi, a média de idade dos especialistas foi de 48 anos, com desvio-padrão de 11 anos. Os especialistas do sexo feminino totalizaram 11, e dois do sexo masculino. Quanto ao local de residência, cinco respondentes são provenientes do Estado de Santa Catarina, quatro do Paraná, dois do Rio de Janeiro, um do Rio Grande do Sul e outro de Minas Gerais. Em relação ao nível educacional, dez especialistas possuem doutorado, dentre os quais três cursaram pós-doutorado, e os outros três especialistas possuíam mestrado.
Dos 20 itens aplicados inicialmente, um foi invalidado pelos especialistas e excluído das análises subsequentes: Quando aplico o que aprendi no curso, executo meu trabalho com maior rapidez. Na opção de resposta aberta, alguns especialistas registraram que a velocidade com que alguém executa seu trabalho não está relacionada necessariamente com a qualidade dessa execução, indicando, assim, a inadequação do item em relação ao que o instrumento pretende medir.
Com a exclusão do item invalidado pelos especialistas, permaneceram no processo de validação de conteúdo 19 itens. Desses 19 itens, 16 apresentaram os índices de acordo com os critérios propostos por Lima-Rodriguez et al. (2013), tais como: média ≥ 3,5 e mediana ≥ 3, e classificações elevadas (4-5) > 80% ou desvio-padrão < 0,90. Dentre os 19 itens, os itens 8, 9 e 11 não cumpriram todos os critérios para validação de conteúdo, no entanto, também não cumpriram os critérios para invalidação automática, que seriam: média < 3,5 e mediana < 3. Esses itens não apresentaram percentuais de classificações elevadas (4-5) > 80% e desvio-padrão < 0,90, porém a média e mediana apresentaram resultados aceitáveis, o que justificou uma nova consulta aos especialistas.
Na Tabela 1, estão apresentados os 16 itens validados na primeira fase do processo de validação de conteúdo, bem como os três itens que passaram para a segunda fase desse processo, destacados em negrito, com seus respectivos resultados.
Atributo | Item | Média ≥ 3,5 | Mediana ≥ 3 | Desvio-padrão < 0,90 | % (4-5) > 80% |
---|---|---|---|---|---|
Habilidades | 1. Após realizar o curso, passei a utilizar com frequência o que aprendi. | 4,46 | 4,0 | 0,51 | 100% |
2. Ensinei aos meus colegas de trabalho novas habilidades desenvolvidas no curso. | 4,23 | 5,0 | 1,09 | 84% | |
3. As habilidades que desenvolvi no curso fizeram com que eu cometesse menos erros em meu trabalho atual. | 4,23 | 4,0 | 0,83 | 92% | |
4. Recordo-me bem dos conteúdos abordados no curso. | 4,33 | 4,0 | 0,65 | 84% | |
5. A qualidade do meu trabalho melhorou nas atividades relacionadas diretamente ao conteúdo do curso. | 4,30 | 4,0 | 0,85 | 92% | |
6. Adquiri conhecimentos que melhoraram meu desempenho individual no trabalho. | 4,46 | 5,0 | 0,87 | 92% | |
7. Reconheço situações de trabalho em que é adequado aplicar o conteúdo aprendido. | 4,46 | 5,0 | 0,87 | 92% | |
Atitudes | 8. Após realizar o curso, passei a sugerir com mais frequência mudanças nas rotinas de trabalho. | 4,00 | 4,0 | 1,08 | 76% |
9. Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho. | 3,69 | 4,0 | 1,25 | 69% | |
10. A partir da realização do curso, passei a buscar conteúdos atualizados relacionados à minha área de atuação. | 4,30 | 4,0 | 0,85 | 92% | |
11. A partir da realização do curso, passei a cooperar com mais frequência com meus colegas de trabalho na realização de suas atividades. | 4,00 | 4,0 | 0,91 | 76% | |
12. Tenho aproveitado as oportunidades para colocar em prática o que foi ensinado no curso. | 4,23 | 4,0 | 0,83 | 92% | |
Motivação | 13. Após a participação no curso, me sinto um profissional mais motivado do que antes. | 4,33 | 4,0 | 0,65 | 91% |
14. Após realizar o curso, tenho mais confiança em minha capacidade de executar meu trabalho com sucesso. | 4,63 | 5,0 | 0,67 | 91% | |
15. Tenho interesse em continuar compartilhando com meus colegas de trabalho o que aprendi no curso. | 4,25 | 4,0 | 0,62 | 91% | |
16. Tenho interesse em ler conteúdos relacionados ao tema do curso. | 4,50 | 5,0 | 0,67 | 91% | |
17. Tenho interesse em aplicar no trabalho os conteúdos aprendidos no curso. | 4,33 | 4,0 | 0,65 | 91% | |
18. Sinto-me capaz de compartilhar com outras pessoas os conhecimentos adquiridos no curso. | 4,33 | 4,0 | 0,49 | 100% | |
19. Sinto-me motivado para participar de outro curso de formação profissional ofertado a distância. | 4,16 | 4,5 | 1,11 | 83% |
Fonte: Elaborado pelos autores (2018).
Os itens 8, 9 e 11 foram encaminhados novamente por e-mail aos 53 especialistas, no dia 9 de janeiro de 2018, para que reavaliassem ou propusessem reformulações, caso julgassem necessário. Os resultados da segunda fase do processo de validação de conteúdo indicaram a validação do seguinte item: Após realizar o curso, passei a sugerir com mais frequência mudanças nas rotinas de trabalho, o qual apresentou média de 3,77, mediana 4, desvio-padrão igual a 0,83 e 77% de classificações altas (4 e 5). O critério de classificações altas não alcançou os 80%, conforme sugerido por Lima-Rodriguez et al. (2013), porém, o desvio-padrão inferior a 0,90, combinado com a média e mediana dentro dos valores recomendados, contemplaram os requisitos para validação de conteúdo desse item. Os especialistas não indicaram a necessidade de reformulação do item. Por outro lado, os seguintes itens: Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho, passei, assim, a cooperar mais com meus colegas de trabalho, que não atingiram os valores recomendados em relação ao desvio-padrão e ao percentual de classificações altas. Assim, optou-se pela exclusão desses itens.
O instrumento final, composto por 17 itens, está apresentado na sequência.
Item | Discordo totalmente | Discordo | Concordo | Concordo totalmente | Não sei avaliar |
---|---|---|---|---|---|
1. Após realizar o curso, passei a utilizar com frequência o que aprendi. | |||||
2. Ensinei aos meus colegas de trabalho novas habilidades desenvolvidas no curso. | |||||
3. As habilidades que desenvolvi no curso fizeram com que eu cometesse menos erros em meu trabalho atual. | |||||
4. Recordo-me bem dos conteúdos abordados no curso. | |||||
5. A qualidade do meu trabalho melhorou nas atividades relacionadas diretamente ao conteúdo do curso. | |||||
6. Adquiri conhecimentos que melhoraram meu desempenho individual no trabalho. | |||||
7. Reconheço situações de trabalho em que é adequado aplicar o conteúdo aprendido. | |||||
8. Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho. | |||||
9. A partir da realização do curso, passei a buscar conteúdos atualizados relacionados à minha área de atuação. | |||||
10. Tenho aproveitado as oportunidades para colocar em prática o que foi ensinado no curso. | |||||
11. Após a participação no curso, sinto-me um profissional mais motivado do que antes. | |||||
12. Após realizar o curso, tenho mais confiança em minha capacidade de executar meu trabalho com sucesso. | |||||
13. Tenho interesse em continuar compartilhando com meus colegas de trabalho o que aprendi no curso. | |||||
14. Tenho interesse em ler conteúdos relacionados ao tema do curso. | |||||
15. Tenho interesse em aplicar no trabalho os conteúdos aprendidos no curso. | |||||
16. Sinto-me capaz de compartilhar com outras pessoas os conhecimentos adquiridos no curso. | |||||
17. Sinto-me motivado para participar de outro curso de formação profissional ofertado a distância. |
Fonte: Elaborado pelos autores (2018).
Na sequência, estão apresentadas as considerações finais acerca do processo de validação de conteúdo do instrumento de avaliação.
5 Considerações finais
A validação teórica do instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD é um processo necessário e prévio à utilização do instrumento na prática. Os procedimentos para validação teórica e seus respectivos resultados estão relacionados à verificação da garantia de que o instrumento irá medir aquilo que foi proposto. Para isso, o estudo concentrou-se na busca de consenso na opinião de especialistas.
A técnica Delphi tem sido utilizada amplamente para validação de escalas e questionários a partir da opinião de especialistas e possui critérios específicos para o refinamento dos itens. A possibilidade de aplicação dessa técnica de forma on-line permitiu maior rapidez e a inclusão de especialistas de diversas regiões do Brasil. Em relação ao tamanho da amostra, constatou-se que o processo de validação de conteúdo do instrumento de avaliação de efetividade foi ao encontro do número de especialistas proposto em outros estudos de validação de conteúdo, cuja quantidade de mais de 10 respondentes na primeira fase de validação foi considerada adequada na aplicação da técnica Delphi (LIMA-RODRIGUEZ et al., 2013; BELLUCCI JÚNIOR; MATSUDA, 2012). Neste estudo, a primeira rodada do processo de validação de conteúdo contou com a participação de 13 especialistas, superando a quantidade comumente utilizada em outros estudos que utilizaram a técnica para validação de conteúdo.
A inclusão de um campo para registro de contribuições qualitativas em cada item também possibilitou o aprimoramento do instrumento em seu processo de validação. Quanto às limitações do processo de validação de conteúdo do instrumento, denota-se não ser possível gerar um verdadeiro consenso entre os especialistas, mas, sim, uma proximidade para tal. Ao evitar o contato direto entre os especialistas, portanto, sem oportunidade de discussões de ideias entre os participantes, a técnica Delphi busca eliminar possíveis decisões precipitadas e a inibição de novas ideias, pois é proposta a formação gradual de uma opinião por parte de cada especialista nas fases que se sucedem.
Sugere-se que, em futuras investigações, o questionário proposto neste estudo seja validado empiricamente, com a realização de análise fatorial, contemplada pela Teoria Clássica dos Testes (TCT), bem como com a aplicação da Teoria da Resposta ao Item (TRI), que possibilita a identificação dos parâmetros de dificuldade e discriminação dos itens, individualmente, além de fornecer informações sobre o instrumento como um todo.
Análises estatísticas, portanto, poderão completar a validação do instrumento, de forma empírica, haja vista que a primeira etapa do processo de validação do instrumento foi apresentada neste estudo, no que se refere aos procedimentos teóricos. A aplicação futura de análises estatísticas também possibilitará a construção de uma escala de efetividade da formação profissional ofertada em cursos na modalidade EaD, a ser interpretada qualitativamente, de modo que se compreenda em que medida determinado curso foi efetivo, e o que pode ser aprimorado em seu processo formativo.