1 Introdução
Nas instituições de ensino superior são crescentes a procura e a oferta de cursos modalidade de Educação a Distância (EaD), fazendo com que os decisores busquem constante aperfeiçoamento nas formas de gestão, com vistas ao alcance e manutenção de um bom desempenho. Algumas lacunas relacionadas à avaliação de cursos ofertados na modalidade EaD foram identificadas na literatura científica publicada entre os anos de 2012 a 2017, tais como: pesquisas são necessárias para determinar se há relação entre as notas obtidas no curso e a aplicação do que foi aprendido, na prática (LAVENDER et al., 2013; PULSFORD et al., 2013); uma das limitações do estudo de Kim, Lee e Skellenger (2012) está relacionada ao uso de um instrumento de avaliação não validado; alguns autores recomendam a inclusão de variáveis que podem estar relacionadas ao grau de satisfação dos estudantes com seus programas; oportunidades para futuras pesquisas incluem a sustentabilidade do efeito da aprendizagem em cursos EaD (ILOTT et al., 2014); estudos futuros poderão avaliar o impacto do curso, em longo prazo, na retenção de conhecimento e na mudança de práticas profissionais (WANG et al., 2016).
A avaliação constante da qualidade e da efetividade das ações educacionais ofertadas na modalidade EaD e, em muitos casos, para um grande número de pessoas, é fundamental para garantir que os objetivos inicialmente propostos sejam alcançados (ZERBINI; ABBAD, 2005). Assim, com o desenvolvimento das tecnologias e o número cada vez maior de cursos de graduação ofertados nessa modalidade, são necessárias novas formas de avaliação que possibilitem o estudo da efetividade desses cursos. A avaliação de desempenho, além de ser um instrumento de gestão, possui um importante efeito no sentido de identificar em que medida o curso está sendo efetivo, seja em relação ao desenvolvimento da aprendizagem, de habilidades, de atitudes e de motivação, e até mesmo em relação aos impactos sociais da formação.
Nesse contexto, a medição/mensuração e a gestão de desempenho caracterizam-se como fenômenos sociais, onde o comportamento é moldado pelos sentimentos, valores e crenças básicas dos indivíduos, da organização, da comunidade e da sociedade (ENSSLIN et al., 2010; BITITCI et al., 2012; SMITH; BITITCI, 2017). A medição e a gestão de desempenho são reconhecidas como fundamentais para qualquer organização, pois informam o nível atual de desempenho e comparam com o nível desejado. A utilização de sistemas de medição e de gestão de desempenho é recomendada para facilitar a implementação da estratégia e melhorar o desempenho organizacional (MELNYK et al., 2014). Assim, este estudo está orientado para o desempenho sob a perspectiva dos cursos e/ou das próprias organizações/instituições ofertantes, haja vista que no caso da modalidade EaD a avaliação de desempenho poderia transpassar três grandes dimensões: institucional, dos alunos e da sociedade.
Considerando que os trabalhos existentes acerca da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD encontram-se disponíveis em diferentes veículos de comunicação e com diferentes enfoques, e que esta pesquisa encontra-se alinhada à avaliação de desempenho como auxílio à gestão institucional, a pergunta que orienta a investigação é: Quais são as proposições para futuras investigações relacionadas à avaliação de desempenho de cursos de graduação ofertados na modalidade de educação a distância?
Para responder a esse questionamento, o objetivo deste estudo é analisar as oportunidades de pesquisa por meio das publicações que compõem o Portfólio Bibliográfico (PB) de artigos mais citados pela comunidade científica, referente à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD. Com o intuito de alcançar o objetivo proposto, foram contemplados os seguintes objetivos específicos: (i) seleção e filtragem do PB alinhado ao tema da pesquisa; e (ii) análise sistêmica dos artigos que compõem o PB.
2 Avaliação de desempenho na educação a distância
Historicamente, com os avanços tecnológicos do fim do século XIX e início do século XX, diversas iniciativas de desenvolvimento da EaD foram se configurando na Europa, África e América, com destaque para países como Suécia, Inglaterra, França, Canadá, Estados Unidos e Brasil, considerados como importantes impulsionadores da modalidade (MUGNOL, 2009). A criação da Universidade Aberta de Londres, em 1970, foi um dos marcos históricos que contribuiu para o desenvolvimento de métodos e técnicas que serviram para caracterizar os diferentes modelos de EaD existentes, além de contribuir para a evolução das tecnologias que deram mais solidez aos processos educacionais a distância. Outras iniciativas de projetos formais de EaD também marcaram o início da utilização dessa modalidade, como a Universidade Nacional de Educação a Distância (UNED), criada em 1972, em Madri, considerada uma das instituições de maior sucesso e que inspirou outros países (MUGNOL, 2009).
Com o desenvolvimento da EaD, alguns pesquisadores passaram a demonstrar seu interesse em conceituá-la e identificar suas características. Dentre esses estudiosos, Desmond Keegan (2013) apresentou alguns aspectos desses processos educacionais, como a distância física entre professores e estudantes, o uso da mídia para interligar professores e estudantes, a comunicação bidirecional e os estudantes vistos como indivíduos e não como grupos de alunos. Assim como Keegan (2013), outros autores clássicos na área da EaD também apresentaram as características básicas dessa modalidade, tais como: distância física entre os participantes; utilização de um processo de ensino e aprendizagem intermediado por tecnologias; aprendizado planejado; e possibilidade de maior autonomia por parte dos estudantes (BELLONI, 2001; PETERS, 2001). Além disso, geralmente é utilizado um ambiente virtual de ensino e aprendizagem para disseminação do conteúdo e interação entre os participantes, e o computador e a internet têm sido utilizados massivamente como possibilidade de acesso e inclusão (GARCIA; CARVALHO JUNIOR, 2015). A ênfase na aprendizagem centrada no estudante, a flexibilidade de tempo e espaço, a interação e a inclusão digital são apontadas como características e também como potencialidades da modalidade, devendo-se levar em conta que a educação é o fator primordial da EaD (VENDRUSCOLO; BEHAR, 2016).
A legislação brasileira apresenta uma definição para a modalidade EaD, como sendo aquela na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de meios e Tecnologias de Informação e Comunicação (TIC), além de desenvolver atividades educativas por estudantes e profissionais da educação que estejam em lugares e tempos diversos (BRASIL, 2017). Recorrendo ao estudo de Moore e Kearsley (2011, p. 2):
a educação a distância é o aprendizado planejado que ocorre normalmente em um lugar diferente do local de ensino, exigindo técnicas especiais de criação do curso e de instrução, comunicação por meio de várias tecnologias e disposições organizacionais especiais.
Destacam-se, dentre as características da EaD, os conceitos de autonomia e independência, mencionados por Keegan (2013), cujo fundamento é a aprendizagem, a qual remete à criação de oportunidades para que ela possa acontecer. Essas oportunidades de aprendizagem necessitam da criação de meios para que possam efetivamente ocorrer, como o comprometimento e a responsabilidade dos estudantes, as orientações e apoio dos professores mediadores, a utilização compartilhada de métodos e meios de transmissão das informações e o respeito às diferenças individuais de cada estudante (MUGNOL, 2009).
No que se refere à avaliação de desempenho de cursos ofertados na modalidade EaD, é importante evidenciar as características dos Sistemas de Avaliação de Desempenho (SADs) composto pelos subsistemas de mensuração/medição e de gestão de desempenho. Para Globerson (1985), um sistema de medição de desempenho deve incluir um conjunto de critérios mensuráveis bem definidos; padrões de desempenho para cada critério; rotinas para medir cada critério; procedimentos para comparar o desempenho real com as normas; e procedimentos para lidar com as discrepâncias entre o desempenho real e o desejado. Já na percepção de Neely (1999), um sistema de medição de desempenho abrange o processo para definir objetivos e para coletar, analisar e interpretar dados de desempenho, com o intuito de avaliar a eficácia e eficiência da ação (NEELY; GREGORY; PLATTS, 1995; NEELY, 1999). Um sistema de gestão de desempenho, por sua vez, engloba o processo de avaliar as diferenças entre os resultados reais e desejados, identificar e sinalizar as diferenças críticas, compreender os motivos das possíveis deficiências ocorridas e, quando necessário, introduzir e acompanhar ações corretivas (MELNYK et al., 2014).
Dentre os estudos científicos publicados a partir de 2010 pela comunidade científica, relacionados à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, destacam-se alguns estudos. O trabalho de Arbaugh (2002) concluiu que as características comportamentais são os preditores mais fortes de aprendizagem e satisfação dos estudantes. Alstete e Beutell (2004) concluíram que sexo e idade estão relacionados de forma diferente com o desempenho de estudantes de graduação e pós-graduação em cursos ofertados nessa modalidade, e que alguns fatores são críticos para os professores e gestores dos cursos, como a participação dos estudantes nos fóruns de discussão. Ao analisar os fatores que influenciam na satisfação dos estudantes em cursos a distância, Sun et al. (2008) concluíram que a ansiedade do estudante ao computador, a atitude do instrutor ao direcionar a aprendizagem, a flexibilidade, a qualidade do curso, a utilidade percebida, a facilidade de uso e a diversidade nas avaliações são os fatores críticos que afetam essa satisfação. Ozkan e Koseler (2009), ao avaliarem sistemas de aprendizado a distância, chegaram à conclusão de que seis dimensões do modelo proposto possuem efeito significativo sobre a satisfação dos estudantes: a qualidade do sistema, a qualidade do serviço, a qualidade do conteúdo, a perspectiva do aluno, as atitudes do instrutor e aspectos de suporte. Corlett et al. (2005), ao avaliarem um aplicativo móvel utilizado em cursos a distância, identificaram uma demanda por apoio institucional relacionado ao aplicativo de aprendizado móvel, especialmente para fornecer o conteúdo do curso e informações sobre horários. McConatha, Praul e Lynch (2008) também avaliaram um aplicativo de aprendizado móvel e concluíram que seu uso pode apresentar diferença positiva e significativa nos resultados de desempenho dos estudantes que utilizam os aplicativos. Segundo Holsapple e Lee-Post (2006), um fator crítico de sucesso em cursos ofertados na modalidade EaD é a disponibilidade dos estudantes. Além disso, é necessário equilíbrio na promoção de cursos a distância como meio para entregar melhorias reais em educação de qualidade, e não como meio de automatizar a educação (HOLSAPPLE; LEE-POST, 2006).
Quanto ao Brasil, o documento Referenciais de Qualidade para Educação Superior a Distância (MEC, 2007) possui caráter norteador para subsidiar atos legais do poder público em relação a processos de regulação, supervisão e avaliação em EaD. Apesar de não possuir força de lei, é complementar às determinações específicas da Lei de Diretrizes e Bases da Educação. Esse documento aponta para a complexidade e necessidade de uma abordagem sistêmica para avaliação de cursos ofertados na modalidade EaD, destacando fundamentalmente aspectos pedagógicos, de recursos humanos e de infraestrutura.
Atualmente, no Brasil, como forma de avaliação de desempenho do ensino superior (presencial e a distância), há o Exame Nacional de Desempenho dos Estudantes (ENADE) aplicado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Esse exame avalia o rendimento dos concluintes de graduação em relação aos conteúdos programáticos dos currículos dos cursos, ao desenvolvimento de competências/habilidades necessárias para aprofundamento da formação e ao nível de atualização em relação à realidade brasileira e mundial (BRASIL, 2018). Ressalta-se, entretanto, que esse exame é uma forma de avaliação externa da instituição e que há a necessidade da implementação de Sistemas de Avaliação de Desempenho internos, em que objetivos sejam definidos, resultados analisados, pontos críticos levantados e medidas corretivas implementadas quando necessário para melhorar o desempenho organizacional, o que impactará diretamente na avaliação externa (NEELY; GREGORY; PLATTS, 1995; NEELY, 1999; MELNYK et al., 2014).
3 Metodologia
O estudo possui dois critérios de delimitação: (i) foram contempladas seis bases de dados na etapa de seleção do portfólio bibliográfico (PB); e (ii) os artigos científicos selecionados foram publicados a partir do ano 2000. O recorte temporal definido a partir do ano 2000 justifica-se pela escassez de estudos publicados nos últimos cinco anos (2013-2017) alinhados ao tema da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD.
Os pesquisadores selecionaram um instrumento que orientasse à seleção do PB e à análise sistêmica da literatura, culminando na apresentação de proposições para novas investigações (VALMORBIDA et al., 2011; ENSSLIN; ENSSLIN; PINTO, 2013; THIEL; ENSSLIN; ENSSLIN, 2017; VALMORBIDA; ENSSLIN, 2016). Este instrumento é o processo estruturado de revisão bibliográfica denominado Knowledge Development Process-Constructivist (ProKnow-C) desenvolvido pelo Laboratório de Metodologia Multicritério de Apoio à Decisão - Construtivista (LabMCDA-C), vinculado ao Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina (UFSC), sob a coordenação do Professor Leonardo Ensslin.
A primeira etapa do ProKnow-C tem o objetivo de identificar as publicações científicas relativas ao tema definido pelos pesquisadores. Três subetapas compõem esta etapa: (i) seleção do banco de artigos bruto; (ii) filtragem do banco de artigos; e (iii) realização do teste de representatividade do PB (ENSSLIN et al., 2014; LACERDA, ENSSLIN, ENSSLIN, 2012; THIEL, ENSSLIN; ENSSLIN, 2017).
A segunda etapa, referente à análise sistêmica, contempla
o processo científico utilizado para, a partir de uma visão de mundo (afiliação teórica) definida e explicitada por suas lentes [termo adotado neste estudo e proposto Hammond e Stewart (2001) para representar as propriedades da afiliação teórica que serão averiguadas pelo pesquisador ao analisar os dados], analisar uma amostra de artigos representativa de um dado assunto de pesquisa, visando evidenciar para cada lente e globalmente, para a perspectiva estabelecida, os destaques e as oportunidades (lacunas) de conhecimento encontrados na amostra (VALMORBIDA et al., 2011, p. 129).
Desse modo, adotou-se a afiliação teórica de avaliação de desempenho como um
processo para construir conhecimento no decisor, (1) a respeito do contexto específico (2) que se propõe a avaliar, a partir da percepção do próprio decisor (3) por meio de atividades que identificam, organizam, (4) mensuram, ordinal e cardinalmente, e (5) integram os aspectos considerados como necessários e suficientes para sua gestão, (6) permitindo visualizar o impacto das consequências das ações e seu gerenciamento (ENSSLIN et al., 2010, p. 130, numeração adicionada para informar a origem da lente VALMORBIDA et al., 2011).
A finalidade da análise sistêmica, portanto, é a evidenciação das lacunas e proposições de pesquisa. A geração de conhecimento no pesquisador e, como consequência, na comunidade científica, é um resultado natural desse processo, decorrente das informações tangíveis apresentadas pela publicação acerca do estágio do fragmento da literatura de interesse, bem como da sinalização de oportunidades para continuidade de investigações na área.
O processo de seleção dos artigos científicos do PB consistiu na formação de um banco de artigos bruto e em sua filtragem em relação ao tema da investigação. Para isso, foram consultadas seis bases de dados e definidas palavras-chave para os três eixos de pesquisa: avaliação de desempenho, educação a distância e universidade. Os resultados da aplicação das palavras-chave nas bases de dados indicaram 2.581 publicações, que passaram pelo processo de filtragem em relação aos seguintes critérios: artigos científicos não duplicados; disponibilidade on-line e gratuita; título relacionado à avaliação de curso ofertado na modalidade EaD; reconhecimento científico confirmado ou com potencial para tal; resumo indicando a realização de avaliação de curso de graduação ofertado na modalidade EaD; texto integral indicando a realização de avaliação de desempenho de curso de graduação ofertado na modalidade EaD.
A etapa posterior à leitura dos títulos, denominada de análise do reconhecimento científico, consistiu na contagem de citações de cada artigo em outros trabalhos científicos, cujos dados foram coletados na Plataforma Google Scholar. Os artigos que, em conjunto, totalizaram mais de 90% do número de citações de todos os artigos com títulos relacionados ao tema, passaram para a próxima etapa do processo de filtragem. Os artigos publicados a partir de 2014 e que não possuíam reconhecimento científico confirmado também foram incluídos, sendo considerados com potencial para reconhecimento científico, haja vista que foram publicados em período mais recente.
Além da busca e da filtragem das publicações, foi realizado o teste te representatividade, caracterizado pela análise das referências dos 13 artigos científicos resultantes da etapa anterior, que passaram pelo mesmo processo de filtragem. O processo completo e detalhado de aplicação do Proknow-C para composição do banco de artigos está apresentado na Figura 1.
O PB contempla, portanto, 21 artigos científicos disponíveis on-line e relacionados ao tema da pesquisa.
Quanto à análise sistêmica, faz-se necessário explicitar as lentes que serão utilizadas pelos pesquisadores, as quais servem para informar “o que” e “como” os dados serão interpretados e analisados (VALMORBIDA et al., 2014). Em relação às lentes, o Quadro 1 apresenta suas terminologias e o que foi analisado em cada uma delas.
Lente | O que busca? | |
---|---|---|
1 | Abordagem | Harmoniza o modelo construído (abordagem e dados) com sua aplicação? |
2 | Singularidade | Reconhece que o problema é único em relação aos atores e ao contexto? |
3 | Processo para Identificar os objetivos | Utiliza processo para identificar os objetivos segundo a percepção do gestor? Como o processo de identificação dos objetivos do artigo lida com os limites do conhecimento do gestor? Como os valores e preferências do gestor interferem na identificação dos objetivos? |
4 | Processo para Mensuração | As escalas (descritivas, nominais, ordinais e cardinais) do modelo de avaliação atendem à Teoria da Mensuração e suas propriedades (mensurabilidade; operacionalidade; homogeneidade; e inteligibilidade)? |
5 | Integração dos objetivos | Utiliza processo para integrar os objetivos/escalas/indicadores do modelo a partir de níveis de referência estabelecidos segundo a percepção do gestor, que permitam uma visão holística do desempenho da organização? |
6 | Gestão | O conhecimento gerado permite a realização da atividade de gestão do desempenho organizacional em termos de: Diagnosticar a situação atual de forma numérica e/ou gráfica (conhecer pontos fortes e fracos)? Disponibilizar processo para gerar ações de aperfeiçoamento? |
Fonte: Adaptado de Bortoluzzi et al. (2014).
Na sequência, estão apresentados os resultados da análise sistêmica dos artigos do PB, sob a perspectiva de avaliação de desempenho adotada pelos pesquisadores.
4 Resultados
4.1 Lente 1 - Abordagem
Para a construção dos modelos de avaliação, verificou-se a abordagem em que o autor baseou a construção do modelo: (i) Normativista; (ii) Descritivista; (iii) Prescritivista; ou (iv) Construtivista (DIAS; TSOUKIÀS, 2004, p. 4). A abordagem Normativista não foi utilizada por nenhum autor na construção do modelo e um trabalho não foi classificado quanto à abordagem, pois se refere a uma revisão de literatura e não propõe a construção de um modelo ou ferramenta de avaliação de desempenho.
A abordagem Prescritivista, por sua vez, foi utilizada em 70% dos artigos, como nos trabalhos de Arbaugh e Duray (2002); Johnson, Hornik e Salas (2008); Ozkan e Koseler (2009); Howland e Moore (2002); Arbaugh (2002); Holsapple e Lee-Post (2006), Corlett et al. (2005); Sims, Dobbs e Hand (2002); Alstete e Beutell (2004); Roberts et al. (2005); Urtel (2008); Chaney et al. (2007); Gaba e Dash (2004); Admiraal, Huisman e Pilli (2015); Rodrigues et al. (2014).
A abordagem descritivista foi utilizada em 25% dos artigos que compõem o PB, nos trabalhos de Sun et al. (2008); McConatha, Praul e Lynch (2008); Urtel (2008); Arieira et al. (2009); Pinto Junior e Nogueira (2014);
Já a abordagem construtivista foi utilizada no trabalho de Kelly (2008). A utilização de abordagem construtivista, ou seja, a abordagem que incorpora os valores e preferências do decisor com foco na geração de seu conhecimento é uma oportunidade de investigação futura para estudos que visem apoiar a gestão/decisão.
Em relação ao contexto onde os dados foram coletados para construir os modelos, as possibilidades são: (i) Genéricos: contextos similares, literatura (ciência), especialistas, passado histórico, outros locais; e (ii) Específicos: com base no gestor e no curso/organização sob análise (VALMORBIDA et al. 2014). Verificou-se que há uma concentração de artigos (60%) que buscam critérios estabelecidos na literatura e na opinião de especialistas. Por outro lado, 40% dos trabalhos se preocupam com a busca de informações em contextos específicos para a construção do modelo.
Procedeu-se, na sequência, à análise da harmonia entre o local que deu origem ao modelo construído e o local onde o modelo construído foi aplicado. Observou-se que 87% dos artigos se preocuparam com a particularidade de cada situação, ou seja, coletaram dados e aplicaram o modelo nos mesmos contextos, portanto, evidenciam a existência de harmonia entre a origem e a aplicação dos modelos construídos. No entanto, 13% dos trabalhos não possuem aderência entre o contexto de origem e aplicação dos modelos.
Impende-se salientar que os trabalhos de Sims, Dobbs e Hand (2002); Roberts et al. (2005); Lei e Gupta (2010); Kelly (2008); Pinto Junior e Nogueira (2014) não aplicaram modelos, portanto, não foram analisados quanto à aderência entre a origem do modelo e o local de aplicação. Foi identificada uma oportunidade de contribuição para futuras investigações: a utilização de modelo de avaliação de desempenho no contexto que deu origem aos dados e para o qual foi construído, bem como a aplicação dos modelos que foram construídos, mas que ainda não foram aplicados/testados.
4.2 Lente 2 - Singularidade
A lente da singularidade busca reconhecer se o problema é único em termos de gestores e do contexto, entendido como a própria organização ofertante de cursos EaD, e também se há algum gestor dentro da organização que tenha transmitido a identidade institucional para o modelo proposto. Sob esta perspectiva, observou-se que 85% dos trabalhos reconhecem que o contexto é único e que o modelo deve ser utilizado para o contexto para o qual foi construído. Um artigo não avançou nesta análise, pois consiste em uma revisão de literatura. Os demais artigos (15%) não reconhecem que o ambiente físico é único, o que se constitui como uma oportunidade para futuras investigações: a consideração, em futuros trabalhos, de que cada contexto possui características distintas, mesmo que dentro do mesmo setor, com determinadas potencialidades e fragilidades.
Também buscou-se verificar o tipo de participação do gestor na construção do modelo, onde foi identificado que 75% dos artigos constroem o modelo sem a participação do gestor, portanto, somente baseados na perspectiva dos próprios pesquisadores e/ou baseados na literatura científica. Nenhum artigo trabalha com a participação do gestor em todas as etapas de construção do modelo e, por fim, 35% dos artigos científicos do PB consideram a participação do gestor em algumas etapas do processo de construção do modelo.
Evidencia-se como proposição para futuras investigações a incorporação dos gestores na construção dos modelos de avaliação, tendo em vista seu conhecimento acerca do contexto específico, e que são eles os principais interessados nas avaliações propostas.
4.3 Lente 3 - Processo para identificar objetivos (variáveis/critérios)
Foi possível identificar que 65% dos trabalhos não levam em consideração os valores e preferências do gestor ao identificar e operacionalizar os critérios a serem mensurados no processo de avaliação de desempenho. Referente à participação do gestor para validar o processo de identificação dos objetivos, 20% dos artigos apresentaram essa característica.
15% dos trabalhos (KELLY, 2008; PINTO JUNIOR; NOGUEIRA, 2014; RODRIGUES et al., 2014) figuraram na situação em que o processo para identificar os objetivos/variáveis/critérios está parcialmente fundamento nos valores e percepções do decisor. E, por fim, nenhum trabalho considerou os valores e percepções do gestor em todas as etapas do processo, o que indica uma oportunidade de pesquisa: melhorar o processo de avaliação de desempenho no sentido de deixá-lo cada vez mais preciso e adequado ao contexto sob análise, agregando ao processo as preferências do gestor.
4.4 Lente 4 - Mensuração
Buscou-se verificar se os trabalhos realizaram a mensuração de desempenho dos objetivos identificados, onde foi constatado que os trabalhos de Lei e Gupta (2010) - (revisão de literatura); Sims, Dobbs e Hand (2002); Kelly (2008) e Pinto Junior e Nogueira (2014), Rodrigues et al. (2014) não realizaram a atividade de mensuração, pois não aplicaram nenhum modelo/ferramenta. Verificou-se que dos trabalhos que realizaram a atividade de mensuração, dois deles não permitiram identificar a escala utilizada (HOWLAND; MORE, 2002; URTEL, 2008).
Dentre os trabalhos que realizam a atividade de mensuração de desempenho dos objetivos e permitiram identificar a escala, ou seja, 71,42% dos artigos do PB, buscou-se identificar se as operações realizadas eram compatíveis com a escala. Nos trabalhos de Corlett et al. (2005); Roberts et al. (2005); Rodrigues et al. (2014) as operações realizadas consideraram o cálculo da média e do desvio padrão para escalas ordinais, o que segundo Barzilai (2001), não atenderia à Teoria da Mensuração, apesar de a escala Likert, por exemplo, ser amplamente adotada em Ciências Sociais Aplicadas e tratada como uma grandeza escalar, com as devidas limitações.
Como oportunidade de investigação futura, sugere-se a utilização de operações matemáticas que atendam plenamente à Teoria da Mensuração, ou seja, compatíveis com a escala, visando atender ao conceito de validade do modelo matemático.
4.5 Lente 5 - Processo para integrar os objetivos/escalas/indicadores do modelo de AD
Quanto à realização do processo de integração dos objetivos/escalas/indicadores do modelo, buscou-se verificar se os autores realizaram esta integração e de que forma o fizeram. Os trabalhos de Howard e Moore (2002); Roberts et al. (2005); Pinto Junior e Nogueira (2014) não possuíam o propósito de integração. Os demais artigos do PB não realizaram a atividade de integração dos objetivos/escalas/indicadores.
Constatou-se que nenhum trabalho realizou a integração, portanto, não consideraram a percepção dos gestores na identificação dos níveis de referência, e também não realizaram a integração, mesmo sem a participação dos gestores. Esse resultado indica uma oportunidade para futuras investigações, no sentido de estabelecer níveis de referência para cada objetivo, com a participação dos gestores, com o objetivo de facilitar o processo de gestão do desempenho e permitir uma visão holística do contexto avaliado.
4.6 Lente 6 - Gestão
Esta lente possui a finalidade de analisar se o modelo construído ou utilizado nos artigos do PB permite realizar a atividade de gestão de desempenho do contexto que está sendo analisado. O trabalho de Lei e Gupta (2010), por consistir em uma revisão de literatura, não entrou na análise desta lente. No que se refere à possibilidade de diagnosticar a situação atual da organização de forma numérica e/ou gráfica, como conhecer pontos fortes e fracos, nenhum artigo apresentou essa característica, o que se coloca como uma oportunidade de melhoria, pois a apresentação gráfica e/ou numérica do diagnóstico do desempenho atual do contexto pode facilitar a visualização dos resultados de possíveis ações de melhoria aplicadas, permitindo a comparação entre o desempenho atual e o desempenho futuro. No entanto, o diagnóstico da situação atual da organização foi apresentado de forma textual em 35% dos trabalhos, nos quais também foram apresentados os pontos fracos do desempenho.
Quanto à apresentação de um processo para gerar ações de aperfeiçoamento na organização, verificou-se que 11% dos artigos apresentaram um processo para gerar ações de aperfeiçoamento, identificaram ações e as hierarquizaram (SUN et al., 2008; RODRIGUES et al., 2014). Outros trabalhos apresentaram um processo para gerar ações de aperfeiçoamento e sugeriram ações, porém, sem hierarquizá-las, somando 33%. Essas informações evidenciam a existência de uma lacuna na literatura em relação ao processo de aperfeiçoamento, onde poucos trabalhos sugerem ações de aperfeiçoamento e as hierarquizam, o que poderia fornecer ao gestor subsídios e orientações para a tomada de decisão acerca do que precisa ser melhorado no desempenho do contexto analisado.
4.7 Proposições para o avanço da área
Com a realização da análise sistêmica, os pesquisadores possuem o conhecimento necessário sobre o fragmento da literatura referente à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, o que permite apresentar as seguintes proposições gerais para futuras pesquisas relacionadas a essa temática, tais como:
Construir um modelo de avaliação de desempenho que incorpore os valores e preferências dos gestores da organização em todas as etapas de desenvolvimento do modelo;
Construir um modelo de avaliação de desempenho que possibilite a identificação dos objetivos da organização a serem mensurados;
Realizar análises quantitativas que atendam plenamente à Teoria da Mensuração;
Definir níveis de referência para todos os objetivos da organização a serem mensurados;
Diagnosticar gráfica e/ou numericamente o desempenho atual da organização;
Apresentar um processo estruturado de aperfeiçoamento da organização, com base no diagnóstico atual.
De modo mais específico, a análise dos artigos científicos com temática relacionada à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, com base na perspectiva das seis lentes de avaliação de desempenho, permitiu estruturar proposições científicas e práticas para o desenvolvimento desse fragmento da literatura, portanto, implicações para os pesquisadores e também para os gestores dos cursos/organizações, conforme Quadro 2.
Lentes Analisadas | Implicações para os pesquisadores | Implicações para os gestores no contexto da EaD |
---|---|---|
Abordagem | Construir modelo de AD construtivista, que incorpore os valores e preferências do decisor; Construir modelo de AD que possua harmonia entre o contexto de onde se originaram os dados do modelo e sua aplicação | Participar ativamente de todo o processo de construção de modelos de AD, socializando seus valores e preferências. |
Singularidade | Desenvolver modelo de AD que considere a participação do decisor da organização em todas as etapas do processo de construção. | Participar ativamente de todo o processo de construção de modelos de AD, caso haja interesse em conhecer e auxiliar este processo, socializando seus valores e preferências. |
Processo para identificar os objetivos | Construir um modelo de AD que identifique e operacionalize os objetivos/critérios a serem mensurados, com base nos valores e preferências do decisor, em todas as etapas do processo. | Relatar, ao pesquisador, todos os aspectos que podem afetar o desempenho do contexto em análise, para que estes sejam considerados no modelo de AD. |
Processo para mensuração | Elaborar modelo de AD que atenda aos critérios da Teoria da Mensuração, ou seja, que realize operações matemáticas compatíveis com a escala proposta. | Colaborar com o pesquisador na etapa de atribuição de graus aos indicadores que serão avaliados, ordenando-os em função de sua relevância. |
Integração dos objetivos | Desenvolver um modelo de AD que considere a percepção do decisor na identificação dos níveis de referência para cada objetivo, para facilitar o processo de gestão do desempenho. | Identificar níveis de referência para cada objetivo que será avaliado, socializando esta informação com o pesquisador. |
Gestão | Desenvolver um modelo de AD que contemple a atividade de gestão de desempenho, que diagnostique a situação atual do contexto, proponha e hierarquize sugestões de melhorias. | Refletir acerca do diagnóstico atual do contexto e, quando necessário, aplicar as ações de aperfeiçoamento aprendidas no processo de geração de conhecimento. |
Fonte: Elaboração pelos autores.
As informações evidenciadas no Quadro 2 podem ser úteis para pesquisares, enquanto responsáveis por ampliar os horizontes do conhecimento, e também para os gestores do contexto sob investigação, enquanto responsáveis pela melhoria do desempenho de sua organização. A partir das lacunas encontradas na literatura científica, evidencia-se a importância da participação dos gestores de organizações ofertantes de cursos de graduação na modalidade EaD na construção de modelos de avaliação de desempenho, socializando seus valores e preferências, identificando objetivos a serem avaliados, hierarquizando indicadores de avaliação, identificando os pontos fracos e fortes da organização e participando da aplicação de ações de aperfeiçoamento decorrentes da utilização do modelo de avaliação. Aos pesquisadores, sugere-se a elaboração de modelos de avaliação de desempenho que incorporem os valores e preferências dos gestores da organização que está sendo avaliada, em todas as etapas de desenvolvimento do modelo.
5 Considerações finais
Este trabalho teve como objetivo analisar as oportunidades de pesquisa referentes à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, por meio das publicações que compõem o PB de artigos mais citados pela comunidade científica. O instrumento selecionado para o alcance desse objetivo foi o Knowledge Development Process-Constructivist (ProKnow-C), por apresentar um processo estruturado e completo para a seleção e análise da literatura. Com a utilização do ProKnow-C, foi possível realizar as etapas de seleção de um PB, composto por 21 artigos alinhados ao tema da pesquisa; e (ii) análise sistêmica dos artigos do PB.
A análise sistêmica permitiu aos pesquisadores a identificação de lacunas na literatura científica relacionada ao tema da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD. Foi possível apresentar proposições gerais e específicas para futuras investigações relacionadas à temática, dentre as quais ressalta-se a importância de que sejam considerados os valores e preferências dos gestores das organizações ofertantes de cursos de graduação na modalidade EaD, durante o desenvolvimento e aplicação do modelo de avaliação de desempenho. Pesquisadores e gestores devem participar das etapas de desenvolvimento do modelo de avaliação, seja na definição dos objetivos a serem mensurados, na hierarquização dos indicadores de avaliação ou na aplicação de ações de aperfeiçoamento do contexto sob análise. Em linhas gerais, a análise dos artigos a partir das lentes de avaliação de desempenho culminaram nas seguintes proposições para futuras investigações: i) construir um modelo de avaliação de desempenho que incorpore os valores e preferências dos gestores da organização em todas as etapas de desenvolvimento do modelo; ii) construir um modelo de avaliação de desempenho que possibilite a identificação dos objetivos da organização a serem mensurados; iii) realizar análises quantitativas que atendam plenamente à Teoria da Mensuração; iv) definir níveis de referência para todos os objetivos da organização a serem mensurados; v) diagnosticar gráfica e/ou numericamente o desempenho atual da organização; vi) presentar um processo estruturado de aperfeiçoamento da organização, com base no diagnóstico atual
As proposições para futuras investigações puderam ser elaboradas em razão da utilização do método ProKnow-C, pois o mesmo incorpora critérios rigorosamente estabelecidos para seleção e filtragem dos artigos e parte de uma concepção teórica de avaliação de desempenho pré-definida, composta por seis lentes, que passaram a ser a visão de mundo dos pesquisadores durante a análise das publicações.
Com o conhecimento gerado pelo Proknow-C, foi possível apresentar proposições de ação para os pesquisadores e para os gestores. O tema da avaliação de desempenho de cursos de graduação, ofertados na modalidade Educação a Distância, configura-se, com base nos resultados apresentados, como um campo a ser explorado. A avaliação de desempenho, como visto no estudo, abarca diversos aspectos institucionais, pedagógicos, infraestruturais, que são características intrínsecas aos estudantes, entre outros. O aprofundamento, nessas relações entre as diferentes dimensões a serem avaliadas em cursos EaD, não constitui os objetivos do presente estudo, mas emerge como oportunidade de pesquisa.
Além dessas oportunidades, por se tratar de um direcionamento consistente e estruturado, baseado na literatura mundial relacionada à temática, a sistematização das informações pode fundamentar os processos de avaliação de cursos EaD, bem como de avaliação institucional das Instituições de Ensino Superior (IES) e de suas respectivas gestões, uma vez que o desenvolvimento de sistemas de avaliação de desempenho interno, que apresentem uma abordagem construtivista, considerando as peculiaridades e necessidades específicas da instituição, influencia diretamente nos resultados da avaliação de desempenho externa.
Como limitações da pesquisa, aponta-se a delimitação temporal dos artigos publicados entre os anos 2000 e 2017; a busca dos artigos científicos em seis bases de dados, que podem ser alteradas em futuras investigações sobre o tema, com a inclusão, por exemplo, de bases de dados mais específicas da área educacional.