Introdução

Atualmente os cursos das Instituições de Ensino Superior (IES) são avaliados regularmente (anualmente, e é repetida por curso a cada três anos). O ciclo de avaliação tem um papel imprescindível na educação, pois produz mudanças nos currículos, nas metodologias de ensino, nos conceitos e práticas de formação, na gestão, nos modelos institucionais, nas configurações do sistema educativo, nas políticas e prioridades de pesquisa (^{SOBRINHO, 2010}).

O programa de avaliação da educação superior começou a ser implementado em 2004 com o Sistema Nacional de Avaliação da Educação Superior (Sinaes), o qual é formado por três componentes principais: a avaliação das instituições; a avaliação dos cursos; e avaliação do desempenho dos estudantes (INEP, 2019). Ele avalia todos os aspectos que giram em torno dos três eixos, principalmente o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente e as instalações (INEP, 2019). Sendo assim a avaliação contempla a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das IES e dos cursos vinculados (BRITO, 2008). Nessa perspectiva o Exame Nacional de Desempenho de Estudantes (Enade) tem por objetivo avaliar o desempenho dos concludentes dos cursos superiores, tendo como foco os conteúdos programáticos, as competências e habilidades aprendidas em sua formação (ENADE, 2019).

Desde 2004, o Ministério da Educação (MEC) disponibiliza as avaliações e gabaritos aplicados no Enade. Os professores podem consultar as questões e aplicá-las em suas avaliações. Encontrar questões específicas que trabalhem um certo perfil, competência e objetos de conhecimento se torna difícil e pode levar dias, pois o site onde as provas estão disponíveis só permite filtrar por ano e curso.

No dia a dia da sala de aula dos cursos superiores (bacharelados, licenciaturas e tecnólogos), faz-se necessário utilizar questões no formato das avaliações externas (como o Enade) para que os estudantes possam conhecer e se conciliar aos formatos utilizados. No geral, as questões possuem uma certa abstração (isolação de fatores que diferem da realidade) e precisam de interpretação para que se chegue a uma resposta. Dessa forma, acredita-se que quanto mais o estudante conhecer o formato das questões, este tende a conseguir raciocinar e usar o que aprendeu para chegar às conclusões necessárias para um bom desempenho na questão. Para o professor, faz-se necessário a descoberta de quais competências (aptidão para cumprir alguma tarefa ou função) precisam ser mais bem trabalhadas em sala de aula para aprimorar seu planejamento e alcançar resultados cada vez mais satisfatórios na sua prática docente. Isso é muito relevante em relação ao aluno e depende dos sujeitos e suas relações em sala de aula. Uma determinada turma pode ter carência do conteúdo X, enquanto outra turma pode ter carência de um conteúdo Y.

Vários são os fatores que se relacionam a essa questão, notadamente um dos mais relevantes é que os sujeitos que se relacionam nas turmas são seres humanos, cada um com seu próprio tempo de aprendizagem.

Parte-se da perspectiva que a melhor forma de consolidar e fortalecer habilidades e competências escassas dos alunos dos cursos de Ensino Superior, seja desenvolver uma solução capaz de identificar as defasagens e dinamizar o processo de avaliação dos alunos, bem como trazer maior interatividade entre os alunos e professores, já que muitas vezes o sistema atual de avaliação não oferece tanta dinamicidade e interação dos alunos, o que pode fazer com que o aluno não se forme com as competências, habilidades e perfis desejados.

Tem-se como problema abordado por esta pesquisa: a falta de uma ferramenta que centralize questões correspondentes à estrutura das questões oferecidas pelas avaliações externas, e, que proporcione aos docentes a criação e personalização de provas com base nas competências e objetos de conhecimento que melhor precisam ser trabalhados em sala de aula. Ao analisar a problemática, esse trabalho tem por objetivo verificar se um software online que mantenha uma base de dados de questões para o ensino superior pode auxiliar o professor no diagnóstico de competências e habilidades que precisam ser reforçadas. Para tanto, foi necessário desenvolver o sistema web intitulado Banco de Questões do IFCE que é um instrumento capaz de identificar os níveis de proficiência dos estudantes nas competências e habilidades requeridas, oportunizando um meio de avaliação e intervenção por parte do professor.

Espera-se que após a validação do software, os docentes tenham acesso a uma base de questões centralizadas e organizadas de acordo com competências e objetos de conhecimento exigidos pelo MEC em relação às suas disciplinas, e, a partir da ferramenta possam criar avaliações e analisar as respostas dos participantes para, assim, conseguir diagnosticar mais rapidamente quais estudantes estão com carência de conteúdos, ou competências e habilidades.

Plataformas Colaborativas

A proposta abordada por este trabalho trata-se de uma plataforma colaborativa, que segundo ^{Abegg, Bastos e Müller (2010}), pode ser definida como um sistema baseado em um programa de computador, que possui um conjunto de pessoas envolvidas em um objetivo ou tarefa comum. Nessa ideia, diversas plataformas colaborativas foram desenvolvidas, um exemplo é a ferramenta Scholr, que é uma ferramenta inspirada em experiências de aprendizado colaborativo online a qual suporta o desenvolvimento, entrega, avaliação e administração de cursos educacionais (^{VICKERS et al., 2014}).

^{Kirchner e Razmerita (2015}) realizaram um estudo que identificou práticas colaborativas e fatores que impactam positivamente e negativamente a satisfação com a colaboração na Aprendizagem Colaborativa na Nuvem, e concluíram que a utilização de sistemas online (ou seja, na nuvem) tem o potencial de expandir a aprendizagem colaborativa e o ensino dos alunos.

^{Abegg, Bastos e Müller (2010}), realizaram um trabalho com o wiki do Moodle. O termo wiki é usado para a definição do software colaborativo que cria um conjunto de páginas interligadas do qual formam um hipertexto ou uma hipermídia. Abegg, Bastos e Müller (2010), afirmam que plataformas colaborativas como wikis acrescentam outras perspectivas no processo de ensino e aprendizagem, possibilitando novas e/ou diferentes maneiras de realizar atividades de estudo e, agregando valor ao planejamento colaborativo.

Legislação

O processo de avaliação da Educação Superior deu-se início com a Lei No 9.131, de 24 de Novembro de 1995 (BRASIL, 1995), denominado Exame Nacional de Cursos (ENC) - popularmente conhecido como “Provão”, era aplicado a todos os estudantes concluintes de campos de conhecimento pré-definidos.

Após o ENC, surge o Sistema Nacional de Avaliação da Educação Superior (Sinaes) criado pela Lei n 10.861, de 14 de abril de 2004, com o objetivo de assegurar o processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes (BRASIL, 2004).

Segundo Brasil (2004) o Sinaes tem como principais finalidades: melhorar a qualidade da educação superior; orientar a expansão da sua oferta; aumentar permanentemente a eficácia institucional acadêmica e social; aprofundar compromissos e responsabilidades sociais por meio de valores democráticos, respeito às diferenças e à diversidade e, fortificar da autonomia e identidade institucional.

Para tanto, ^{Verhine, Dantas e Soares (2006}) realizaram uma análise comparativa entre o ENC e o Enade e elencaram algumas críticas e desvantagens relacionadas ao ENC em comparação ao Enade:

O Enade sendo um dos pilares da avaliação adotados pelo Sinaes, tem em sua composição segundo Brasil (2019b):

Para a formulação e elaboração de questões do Enade é realizado o cadastro por docentes que se interessam em ser Elaboradores e Revisores de Itens da Educação Superior em editais que solicitam a participação de docentes de todo o País na elaboração e revisão de itens para o Banco Nacional de Itens da Educação Superior (BNI - ES) do qual confere legitimidade, pluralidade e transparência ao processo de construção dos exames em larga escala sob responsabilidade do próprio Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) (BRASIL, 2004).

O processo de avaliação abrange melhorar o mérito e o valor das instituições, áreas, cursos e programas, nas dimensões de ensino, pesquisa, extensão, gestão e formação; melhorar a qualidade da educação superior e orientar a expansão da oferta, além de promover a responsabilidade social das IES, respeitando a identidade institucional e a autonomia de cada organização (INEP, 2019).

Neste sentido, o Sinaes abriu novas possibilidades para avaliação do ensino superior, tendo a capacidade de uma abordagem mais democrática dos cursos de ensino superior em comparação ao ENC (BRASIL, 2004).

Percebe-se que a avaliação de cursos superiores vem evoluindo com o passar do tempo, e com isso a qualidade dos cursos está aumentado. Isso é importante para se verificar se as Instituições de Ensino Superior estão de fato formando profissionais condizentes com o Perfil do Egresso dispostos nas Diretrizes Curriculares Nacionais.

Metodologia

Esta pesquisa foi submetida ao Comitê de Ética e Pesquisa (CEP) do IFCE e encontra-se com situação de aprovada, com CAAE 07408819.1.0000.5589.

Inicialmente, foi realizada uma pesquisa bibliográfica, que segundo ^{Marconi e Lakatos (2017}), é uma atividade que se realiza para a investigação de problemas teóricos ou práticos com base em fontes disponíveis, como documentos impressos, artigos científicos, livros, teses ou dissertações. Para critério de inclusão dos resultados da pesquisa bibliográfica, foram utilizados resultados relacionados com a temática abordada e problema desta pesquisa, como: Competências e Habilidades do Ensino Superior, Avaliação dos cursos de ensino superior e ferramentas no processo de ensino-aprendizagem.

A pesquisa bibliográfica foi realizada em base de dados como o IEEE, SciELO, ACM, Biblioteca Digital FGV, Repositório da UFC, AEDB, periódicos da Universidade Estadual Paulista (Unesp), Associação Nacional de Política e Administração da Educação (ANPAE), Universidade Federal do Rio Grande do Sul (UFRGS) , repositório da Universidade Federal de Santa Catarina (UFSC), Fundação Carlos Chagas (FCC), Repositório Institucional da Universidade de Brasília (RIUnB), Congresso Nacional de Educação (EDUCERE) e em artigos relacionados a fim de se entender a respeito do que são os perfis, habilidades e competências exigidas pelas avaliações externas.

Quanto aos procedimentos técnicos, adotou-se a pesquisa documental, uma vez que a fonte de coleta de dados foi através de provas anteriores (documentos) das avaliações externas (^{MARCONI; LAKATOS, 2017}). A pesquisa documental proporcionou entender a estrutura das avaliações externas dos cursos superiores, bem como aprender as estruturas das questões exigidas e oferecidas nas avaliações; pesquisa esta, feita em domínios Públicos Federais - Inep.

O presente trabalho tem como natureza a pesquisa aplicada, da qual é usada para estudar o problema em um contexto, buscando soluções para os desafios enfrentados em um ambiente específico (^{MASCARENHAS, 2012}). É um trabalho original, pois segundo ^{Wazlawick (2017}), o trabalho de natureza original busca apresentar novos conhecimentos a partir de teorias ou observações que vão ser explicadas. Para tanto, a partir dos resultados obtidos através da pesquisa bibliográfica e pesquisa documental foi desenvolvido um software denominado Banco de Questões do IFCE, que será apresentado com detalhes na próxima seção. O Banco de Questões do IFCE é responsável por manter e centralizar questões no padrão das avaliações externas, além de auxiliar na montagem de avaliações e fornecer uma análise dos dados, para fortalecer requisitos exigidos para os egressos dos cursos superiores.

O estudo é empírico, pois não basta apenas acreditar na intuição ou nas palavras de mestres, é preciso verificar objetivamente se o fenômeno descrito é realmente verdadeiro (^{WAZLAWICK, 2017}); e ainda, manipulando um aspecto da realidade introduzindo uma ferramenta, objetivando averiguar se pode haver contribuição no processo de ensino-aprendizagem (WAZLAWICK, 2017). A pesquisa é de cunho experimental, pois, segundo ^{Marconi e Lakatos (2017}), a pesquisa experimental consiste em investigação de pesquisa empírica. Nesse contexto, a ferramenta foi apresentada aos professores, em seguida foi criado um usuário padrão para os professores terem acesso à ferramenta. Após a apresentação, foi disponibilizado o período de uma semana para que os professores pudessem usá-la e testá-la.

Os sujeitos da pesquisa foram nove professores que atuam no ensino superior. Foram incluídos na amostra apenas professores que atuam no IFCE campus Cedro, pois assim tornou-se possível treinar os professores e acompanhar a utilização.

Como critérios de exclusão, foram adotados: professores que lecionam menos que três disciplinas nos cursos superiores, uma vez que o IFCE campus Cedro contém cursos de nível técnico e superior, e a possibilidade dos professores lecionarem (também) disciplinas do nível médio é alta; e, que atuavam a menos de dois anos no ensino superior, visto que, foi importante que os docentes escolhidos tivessem experiência no ensino superior, pois assim estima-se que tenham o conhecimento básico da estrutura das avaliações externas.

Como instrumento para a coleta de dados foi utilizado o questionário, que é constituído por uma série ordenada de perguntas, que pode ser respondido sem a presença do entrevistador. Quanto à forma das perguntas do questionário, elas foram de múltipla escolha, foram perguntas fechadas, que apresentaram uma série de possíveis respostas (^{MARCONI; LAKATOS, 2017}). O questionário teve dez perguntas e foi desenvolvido no Google Forms e compartilhado com os professores através de um link.

Para a criação do questionário de validação da pesquisa e instrumento para coleta de dados, foi utilizada a plataforma Google Forms. Junto do questionário foi colocado o Termo de Consentimento Livre e Esclarecido (TCLE), que foi um pré-requisito para que os professores respondessem ao questionário. O Google Forms é uma ferramenta online, que proporciona o planejamento, gerenciamento e coleta de informações de pequena ou grande quantidade, através de enquetes, perguntas e formulários personalizados (GOOGLE, 2019). A ferramenta auxiliou na montagem dos questionários e geração de planilhas com dados das respostas.

A escala adotada para a métrica da pesquisa foi a escala Likert, a qual o usuário demonstra seu grau de concordância para com a questão abordada. Para, ^{Aguiar, Correia e Campos (2011}, p.2) a escala Likert é conceituada como: “uma das escalas de autorrelato mais difundidas, consistindo em uma série de perguntas formuladas sobre o pesquisado, onde os respondentes escolhem uma dentre várias opções, normalmente cinco, sendo elas nomeadas como: Concordo muito, Concordo, Neutro/indiferente, Discordo e Discordo muito”.

O passo a passo para a análise de dados consistiu em: i) Gerar a planilha eletrônica através do Google Forms; ii) alimentar uma base de dados no software R Studio na sua versão 1.1.3.83, com a linguagem R na sua versão 3.4.3 com a planilha gerada a partir do Google Forms; e iii) gerar os gráficos com o pacote Likert, para haver análise criteriosa das respostas submetidas.

O projeto R trata-se de um ambiente de software livre, que permite trabalhar com computação estatística e gráficos no qual compila e executa em diversas plataformas como Windows, MacOS e UNIX (R, 2019). O software R Studio é uma ferramenta profissional Open Source (código aberto) que permite analisar dados de forma gratuita, contribuindo para a ciência, educação e indústria (RSTUDIO, 2019). O package likert proporcionou uma melhor visualização dos resultados Likert, através de gráficos mais intuitivos (BRYER, 2016).

Análise dos Resultados

Participaram desta pesquisa nove professores dos cursos superiores do Instituto Federal de Educação, Ciência e Tecnologia do Ceará - campus Cedro, sendo: 03(três) que atuam no Curso Superior de Licenciatura em Matemática; 03(três) que atuam no Curso Superior de Licenciatura em Física; e 03(três) que atuam no Curso Superior de Bacharelado em Sistemas de Informação. Todos os professores atuam no ensino superior a mais de 02 anos e lecionam, no mínimo, 03(três) disciplinas no ensino superior.

Fonte: Os autores.

Figura 1 Tela Inicial do sistema Banco de Questões 

Na figura 1 é exibida a primeira tela do sistema. Por meio dessa tela o professor pode visualizar quantas questões estão ativas no banco de questões e que, portanto, podem ser utilizadas para aplicação em avaliações. A organização das questões é feita de acordo com os cursos, levando em consideração todas aquelas que já foram validadas.

Fonte: Os autores.

Figura 2 Visualização da Questão Completa 

A figura 2 representa a tela de visualização da questão. Por meio dela, o docente pode ter acesso ao perfil, competência e objetos de conhecimento que a questão trabalha. Essa visualização também mostra o texto base, o enunciado, o gabarito e as alternativas que não são corretas para o contexto da questão (os distratores). Por meio dessa tela pode-se também comentar cada item de resposta, esse comentário fica como feedback para o aluno (quando o aluno finaliza a resolução da prova).

Fonte: Os autores.

Figura 3 Visualização da questão na listagem de questões 

A figura 3 mostra a questão que os professores podem cadastrar. Após o cadastro da questão cadastrada ela pode ser enviada para validação. A validação permite que outros professores analisem se a questão possui ou não qualidade. Caso a validação tenha dois aceites a questão passa a compor o banco de questão do curso para a qual foi criada. A questão pode ser classificada pelos usuários que podem classificar com uma ou cinco estrelas, isso é importante para se analisar a visão de outros usuários sobre a questão.

Fonte: Os autores.

Figura 4 Listagem de avaliações  

A tela mostrada na figura 4 é a que o professor poderá cadastrar suas avaliações. Cada avaliação possui um código que deve ser compartilhado com os estudantes. Se a prova estiver ativa, os estudantes conseguem resolver as questões.

Fonte: Os autores.

Figura 5 Feedback da questão para o aluno 

A figura 5 apresenta o feedback dado ao aluno após a finalização da questão, nela o sistema mostra uma breve explicação da alternativa correta e o motivo da alternativa estar correta.

Para obtenção de resultados, foi inicialmente feita a apresentação do software Banco de Questões do IFCE para todos os entrevistados e disponibilizado um usuário e senha para que os participantes pudessem usá-lo por uma semana. Após o período de adaptação e testes dos participantes, foi enviado um questionário contendo dez perguntas, as quais foram possíveis Concordar Totalmente, Concordar, Ficar Neutro, Discordar ou Discordar Totalmente. A Tabela 1 apresenta as afirmações dispostas no questionário.

As afirmações dispostas na Tabela 1 tiveram como finalidade validar a ferramenta de acordo com os objetivos deste trabalho.

Na afirmação de identificador P1 os entrevistados aprovaram com 78% Concordando Totalmente e 22% Concordando, isso porque no processo de inserção de questões na base de dados, a ferramenta permite que os professores insiram questões altamente personalizadas com: Fontes em forma título, estilos (ou tipos) de fontes, imagens entre os textos; alinhamento dos textos, inserção de listas enumeradas e/ou sem números, tabelas ou citações.

Na afirmação P2 67% dos entrevistados Concordaram Totalmente e 33% Concordaram que a ferramenta proporciona uma base de dados de questões confiáveis; para que uma questão entre na base de dados do sistema ela precisa receber aprovação de dois professores de três escolhidos de forma aleatória pelo próprio sistema.

As respostas dos entrevistados perante a afirmação P3 foram: 67% Concordaram Totalmente, 22% Concordaram e 11% se mantiveram neutros; confirmando que o sistema proporciona a centralização das questões relacionadas à competências e objetos de conhecimento, assim, torna-se mais simples encontrar as questões (centralização) e a busca das mesmas, já que estão relacionadas às competências e objetos de conhecimento de determinado curso.

Na afirmação P4 com os resultados de 89% que Concordaram Totalmente e 11% que Concordaram. Os entrevistados afirmaram que na ferramenta Banco de Questões do IFCE é possível montar provas com base nas competências e habilidades que estão sendo trabalhadas em salas de aula. O sistema também possibilita emitir um relatório estatístico que segundo a afirmação de identificador P5 que teve como resultados 56% Concordo Totalmente e 44% Concordo por parte dos entrevistados, é possível analisar estatisticamente o rendimento individual de cada aluno.

A afirmação P6 com os resultados de 67% do entrevistados que Concordaram Totalmente e 33% que Concordaram, fortifica os resultados da afirmação P5, pois através de um relatório conciso, bem definido e íntegro é possível obter uma boa análise e posteriormente adotar medidas cabíveis para melhorar os resultados, que serve de base para a afirmação P7: da qual tem como resultados 56% dos entrevistados Concordaram Totalmente e 44% Concordaram que através da ferramenta é possível montar provas personalizadas capazes de reforçar habilidades que devem ser fortificadas.

A ferramenta pode ser utilizada no processo de avaliação das aulas para estimar a necessidade de cada turma, pois segundo os resultados da afirmação de identificador P8 tiveram 67% dos entrevistados que optaram Concordar Totalmente e 33% que optaram em Concordar referente à P9.

A ferramenta obteve um nível de aceitação satisfatório. Na afirmação de identificador P10 67% optaram por Concordar Totalmente e 33% optaram por Concordar. Dessa forma, pode-se afirmar que os professores pretendem fazer uso da plataforma em sala de aula como ferramenta educacional.

Sendo assim, pode-se dizer que a avaliação da aprendizagem é uma ferramenta importante na descoberta de possíveis deficiências de ensino nas salas, pois ela fornece dados para que se possam criar políticas que melhorem a eficiência do sistema de ensino e para que os professores e gestores possam aprimorar o processo de ensino-aprendizagem (CESPE, 2013). Portanto, o uso de ferramentas online de ensino-aprendizagem que impactem essa vertente não é recente, ela contribui para formulação/reformulação de metodologias para melhorar o ensino, bem como ajuda a direcionar os objetivos.

A pesquisa de fato resolve o problema exposto, pois de acordo com os resultados encontrados, todos querem fazer uso do sistema no âmbito de sala de aula, uma vez que a ferramenta fornece um ambiente o qual o professor pode criar e personalizar questões e/ou avaliações, auxiliar/melhorar o processo de avaliação dos alunos, contribuir para a dinamização desse processo e mostrar resultados que auxiliam o docente a diagnosticar quais conteúdos, competências e habilidades necessitam ser reforçados.

Considerações Finais

Pode-se concluir que, embora o Banco de Questões do IFCE seja um sistema de avaliação predominantemente somatório, ele vai além, pois, se propõe a avaliar o processo e melhorar as estratégias de ensino e aprendizagem.

Os dados analisados através das respostas dos entrevistados, puderam destacar a importância e intenção do uso da ferramenta Banco de Questões do IFCE no âmbito de sala de aula. É possível afirmar que, de fato, o instrumento produzido nesta pesquisa possibilita que os professores possam desenvolver questões com os requisitos necessário de uma questão para se identificar competências e habilidades dos estudantes, bem como desenvolver e aplicar avaliações de boa qualidade para os alunos. A ferramenta auxilia os professores a verificar as proficiências que melhor devem ser trabalhadas (caso seja necessário) em sala de aula para que os alunos se tornem egressos com competências e habilidades exigidas pelas Diretrizes Curriculares Nacionais dos cursos superiores. A ferramenta online Banco de Questões do IFCE é um instrumento de excelente qualidade para auxílio dos professores no processo de ensino-aprendizagem.

Este trabalho apresenta como limitação, o número reduzido de participantes no uso da ferramenta devido ao escasso tempo para a apresentação da proposta a todos os possíveis professores que lecionam no Ensino Superior. Com base nos resultados dos dados da pesquisa, a ferramenta se mostrou eficiente e eficaz. Porém existem possíveis melhorias e trabalhos futuros que podem ser feitas, como: a aplicação da ferramenta em sala de aula com uma determinada quantidade de alunos para verificar se de fato a ferramenta consegue auxiliar o professor a identificar as competências e habilidades que melhor devem ser trabalhadas nos alunos.