Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
De acordo com o que está previsto na Lei n. 9.394 (1996), a Lei de Diretrizes e Bases (LDB), a educação profissional e tecnológica (EPT) é uma modalidade de ensino que tem como foco o desenvolvimento de competências técnicas e habilidades específicas para a atuação profissional. A LDB se destaca por integrar teoria e prática, preparando os estudantes para ingressarem no mercado de trabalho de forma qualificada.
A educação profissional e tecnológica pode abranger cursos de formação inicial e continuada ou qualificação profissional, educação profissional técnica de nível médio e educação profissional tecnológica de graduação e pós-graduação. De acordo com Mondini et al. (2020, p. 107):
A atual estrutura da educação profissional, no Brasil, é composta por cursos de qualificação profissional, técnicos, superiores de tecnologia e pós-graduação profissional. Os cursos técnicos possuem duração de um a três anos, dependendo se sua oferta for integrada ao ensino médio, concomitante ao ensino médio, subsequente ao ensino médio ou integrada à educação de jovens e adultos.
A proposta da educação profissional visa, em sua maioria, a aprimorar o ensino médio público para formar jovens aptos a ingressar no mercado de trabalho e, em alguns casos, até no nível superior (Arraes & Mariano, 2020). É essencial que essa oferta de ensino contemple habilidades técnicas que permitam a aplicação prática dos conhecimentos adquiridos, visando a formação de uma mão de obra qualificada (Küçükkayhan & Adigüzel, 2021).
No Brasil, os institutos federais (IFs) são os principais responsáveis pela oferta de cursos profissionalizantes nas diversas modalidades da educação profissional, contribuindo para a empregabilidade dos egressos e dinamizando setores carentes de mão de obra capacitada (Mondini et al., 2020). Para compreender o progresso dos alunos em um curso, é necessário realizar avaliações internas por meio de diferentes instrumentos que captem as percepções e aspirações dos alunos em relação à sua formação e habilidade para atender às demandas do mercado de trabalho. Além disso, é fundamental obter as percepções de stakeholders que recebem os alunos no quadro de estágios profissionalizantes e que os recrutam para a sua força de trabalho já na qualidade de diplomados.
A avaliação contínua é uma ferramenta importante no processo avaliativo da educação profissional, que deve focar os aspectos qualitativos para desenvolver as competências e habilidades requeridas nos perfis profissionais de conclusão de curso. É fundamental que a análise considere a finalidade da formação, focando as competências desenvolvidas e os objetivos do curso, para identificar se os alunos estão preparados para atuar na área de formação que frequentaram (Almeida & Souza, 2020).
Ademais, a avaliação dos cursos permite reestruturar, melhorar a formação e a empregabilidade dos graduados. É possível acompanhar o curso de diversas maneiras, mas as colocações dos alunos após a conclusão e a vivência na realidade do mercado de trabalho são aquelas que melhor identificam as contribuições adquiridas pelos discentes para suas vidas profissionais (Almeida & Souza, 2020).
Algumas análises na educação profissional têm sido desenvolvidas com base em dados secundários, como indicadores de avaliações externas, número de matrículas, aprovação, reprovação e desistências. No entanto esses dados não representam a percepção sobre a qualidade do curso e não permitem saber se ele atingiu seus objetivos (Arraes & Mariano, 2020).
Como contribuição para a área de avaliação, os autores deste estudo apresentaram uma pesquisa preliminar no Congresso Ibero-Americano em Investigação Qualitativa (CIAIQ), que aborda a avaliação de programas da educação profissional nos IFs. No entanto, a partir da identificação de lacunas na investigação anterior, especialmente em relação às strings de busca utilizadas e às questões de pesquisa, é necessário aprofundar as descobertas e expandir as indagações (Alves et al., 2022).
O objetivo deste trabalho é apresentar um mapeamento sistemático de literatura (MSL) para investigar como as pesquisas relacionadas à tríade avaliação, educação profissional e institutos federais do Brasil vêm sendo desenvolvidas e disseminadas em revistas acadêmicas nacionais e internacionais nos últimos 10 anos (2012-2022). Buscou-se compreender o panorama das avaliações dos programas de cursos profissionalizantes e seu impacto na formação dos alunos. Para isso, examinaram-se aspectos como as abordagens de avaliação, suas contribuições e seus desafios, bem como as implicações dos resultados na melhoria dos cursos e na adequação às necessidades do mercado de trabalho.
Para atender a esses objetivos, selecionaram-se, no MSL, 25 artigos, nos quais se identificaram diversos fatores, como as abordagens avaliativas mais comuns na educação profissional nas modalidades de nível médio integrado, educação de jovens e adultos (EJA) e cursos de formação inicial e continuada (FIC), a investigação das contribuições e os desafios do processo de avaliação, a análise do momento em que as avaliações são realizadas e a compreensão das implicações dos resultados na melhoria e no aprimoramento desses cursos.
O artigo se divide em quatro seções. A seção I é a introdução, que apresenta o contexto, as motivações e os objetivos do trabalho. Na seção II, o processo de pesquisa e o método utilizado para a análise dos dados são descritos. Na seção III, apresentam-se os resultados encontrados e realizam-se as discussões decorrentes do mapeamento sistemático. Concluindo, a seção IV apresenta as considerações finais e sugestões para trabalhos futuros.
MÉTODO
Esta pesquisa apresenta um caráter exploratório, de abordagem qualitativa, cujo objetivo é realizar um MSL (Bordens & Abbott, 2018). “A pesquisa qualitativa é indutiva, desenvolve conceitos, insights e entendimentos a partir de padrões nos dados em vez de coletar dados para avaliar modelos, hipóteses ou teorias preconcebidas” (Taylor et al., 2016, p. 7). Com base nessa definição, objetiva-se compreender, por meio de uma MSL, como se desenvolveu, nos últimos 10 anos, a avaliação educacional em programas de educação profissional nos IFs no Brasil.
O MSL é uma forma de pesquisa baseada em evidências, visando a criar argumentos e conexões para a geração de novas hipóteses sobre um determinado assunto ou objeto de pesquisa. Constitui-se em uma metodologia utilizada para fornecer um conjunto concreto de dados e conhecimentos sobre um determinado tema (Rocha et al., 2018). O resultado do mapeamento permite traçar ideias sobre um determinado assunto de forma analítica-sintética no trato com as fontes, ajudando a identificar lacunas na área de pesquisa por meio da síntese dos resultados de diversos estudos.
Um mapeamento sistemático utiliza procedimentos transparentes para encontrar, avaliar e sintetizar os resultados de pesquisas relevantes na área em estudo (Rocha et al., 2018). Para que fosse garantida a credibilidade da MSL, adotou-se um protocolo de pesquisa com critérios preestabelecidos, baseado na literatura. Todas as etapas foram registradas e conferidas por um segundo pesquisador, sendo este doutor, professor do Instituto Federal de Educação Ciência e Tecnologia da Bahia (IFBA) e um dos autores deste trabalho. Nesse processo, delimitaram-se as questões de pesquisa, escolheram-se as bases de dados, selecionaram-se as palavras-chave e definiram-se os critérios de inclusão e exclusão de estudos, tudo a fim de explicitar aos leitores o caminho metodológico realizado. A próxima seção apresentará todos esses elementos da pesquisa realizada.
Objetivo e questões de pesquisa
Este estudo realiza um mapeamento sistemático para recuperar e avaliar estudos científicos que contribuem para a compreensão da avaliação de programas nos IFs. A questão principal que norteia esta pesquisa é: “Quais são os principais temas investigados e disseminados em revistas acadêmicas nacionais e internacionais relacionados à avaliação, educação profissional e IFs nos últimos 10 anos?”. Além disso, algumas perguntas mais específicas foram identificadas para guiar a pesquisa, como:
-
QP1 - Quais foram as causas que levaram à realização das avaliações de curso e/ou programas encontradas nos estudos?
-
QP2 - Quais foram os efeitos decorrentes da realização das avaliações?
QP3 - Em quais momentos as avaliações são aplicadas?
QP4 - Quem são os intervenientes do processo de avaliação?
QP5 - Quais são as abordagens de avaliação utilizadas para avaliar os programas/cursos?
Estratégia e processo de busca
Para realizar a busca de artigos confiáveis sobre a avaliação de programas em cursos na educação profissional nas modalidades de nível médio integrado, educação de jovens e adultos (EJA) e cursos de formação inicial e continuada (FIC) nos IFs do Brasil, adotaram-se estratégias de pesquisa em bases de dados renomadas e credíveis, sendo escolhidas para este estudo a Scopus, B-On e SciELO. Um protocolo foi adaptado para sintetizar a busca e permitir que a pesquisa possa ser aplicada e replicada em outros contextos (Tabela 1). O protocolo utilizado na metodologia da MSL inclui um conjunto de questões de pesquisa, as bases de dados utilizadas, as palavras-chave da pesquisa (conhecidas como strings de busca), um conjunto de critérios de inclusão e exclusão, o método de extração de dados e a análise dos resultados (Dermeval et al., 2020).
TABELA 1 Protocolo do mapeamento sistemático de literatura (MSL)
| Objetivo |
|---|
| Realizar um mapeamento das pesquisas publicadas em revistas acadêmicas nacionais e internacionais nos últimos 10 anos que abordam a tríade avaliação, educação profissional e institutos federais visando a identificar as principais tendências, lacunas e desafios nessa área de estudo. |
| Equações de pesquisa |
| ((assessment) OR (evaluation) OR (avaliação) OR (avaliação educacional) OR (educational evaluation) OR (Avaliação de Programas) OR (Program Evaluation) OR (Program evaluation) OR (Avaliação educacional)) AND ((Instituto Federal) OR (Federal Institutes) OR (federal institutes)) AND ( ((curso) OR (cursos) OR (course) OR (courses) OR (cursos técnicos) OR (technical courses) OR (formação profissional) OR (Vocational training)) OR ((Pronatec) OR (Vocational training) OR (Vocational Courses) OR (Evaluation of Public Policies) OR (Professional Education) OR (Formação Profissional) OR (Educação Profissional) OR (Avaliação de Políticas Públicas) OR (Cursos profissionalizantes)) ) |
| Bases de dados |
| Scopus B-On SciELO |
| Critérios de inclusão |
| Artigos publicados na íntegra em revistas científicas com revisão por pares, disponíveis para download integral e gratuito, e que tratem do tema de interesse em inglês ou português, assim como materiais de conferências relevantes para o tema. O período de publicação dos artigos deve ser de 2012 a 2022. |
| Critérios de exclusão |
| A seleção dos textos excluiu dissertações, teses, resumos, estudos de avaliação de programas no contexto do ensino superior e estudos sobre avaliação de programas no contexto do ensino fundamental e/ou ensino médio convencional. |
Fonte: Adaptado de Faria (2016); Alcântara et al. (2021).
A procura pelos artigos originais foi conduzida em duas etapas. Na primeira, utilizaram-se strings de pesquisa digitadas no campo de busca das bases de dados. Na segunda, realizou-se uma busca nas listas de referências dos artigos encontrados na busca primária, o que é conhecido como snowballing. Depois, aplicaram-se filtros nas bibliotecas digitais para limitar a seleção automática dos artigos (Figura 1).
Para realizar a extração dos dados, pesquisou-se nas bases de dados selecionadas usando as equações de pesquisa em português e em inglês, considerando trabalhos publicados nos últimos 10 anos. Foram encontrados 852 artigos, dos quais foram removidos os duplicados, deixando 643 artigos para serem considerados.
A seleção dos artigos foi realizada em quatro etapas de leitura adaptadas de Cardoso et al. (2010). Na primeira, foram lidos apenas os títulos, resultando na exclusão de 606 artigos que não atendiam aos critérios de seleção por não tratarem de avaliação de programas no contexto da educação profissional e nos IFs. Na segunda etapa, foi realizada a leitura dos resumos dos 45 artigos restantes, excluindo mais 9 textos que não estavam relacionados à proposta do mapeamento sistemático. Na terceira etapa, foram inseridos os artigos rastreados nas listas de referências (snowballing) com os artigos restantes após a segunda etapa, os quais foram lidos na íntegra. Após a terceira rodada de leitura, restaram 30 artigos que reuniam as características preconizadas pela sistematização proposta. Durante a extração das informações, uma leitura aprofundada desses 30 artigos foi feita e 5 artigos foram retirados, deixando o corpus final com 25 artigos (Figura 2). Em todas as etapas, dois dos autores participaram e conflitos foram discutidos com um terceiro autor deste trabalho.
Após a seleção dos 25 artigos para a análise, o corpus foi submetido a duas etapas de leitura. A primeira, interpretativa, teve como objetivo a compreensão do conteúdo dos textos selecionados. Na segunda, aplicou-se a análise de conteúdo (Bardin, 1977). Foram considerados os seguintes aspectos em cada uma das publicações: (i) referência completa; (ii) local (revista, journal, congresso, etc.); (iii) ano de publicação; (iv) nomes; (v) filiação dos autores; (vi) resumo e (vii) palavras-chave.
Após a análise do conteúdo dos estudos, mapearam-se os autores e as obras consideradas de referência sobre avaliação de programas da educação profissional nos institutos federais. Além disso, foram transcritas as respostas dos artigos às questões de pesquisa. Cada artigo foi identificado por um ID, em ordem crescente de acordo com o ano de publicação, como A1, A2, A3, etc.
Os resultados da compilação e análise dos dados são apresentados e discutidos nas seções seguintes.
RESULTADOS E DISCUSSÃO
O processo de busca resultou em um conjunto inicial de 852 artigos provenientes de diversas bases de dados eletrônicas, destacando-se a B-On, com 751 artigos, seguida pelo Scopus, com 71 artigos, e pela SciELO, com 30 artigos. Após a aplicação dos critérios de inclusão e exclusão, foram selecionados 25 artigos para análise e discussão dos resultados obtidos na MSL. Os resultados serão apresentados em subseções, começando pelos aspectos gerais dos artigos e, em seguida, pela síntese da análise do conteúdo referente às questões de pesquisa.
Visão geral dos estudos
Os artigos selecionados por meio das buscas descritas anteriormente foram listados na Tabela 2, apresentando as principais características do corpus de análise. Observa-se que a maioria dos estudos foram publicados no Brasil na área da educação, com poucos trabalhos encontrados na literatura internacional.
TABELA 2 Informações sobre os autores dos artigos selecionados: título, autores, ano e local
| ID | Título | Autor | Ano | Revistas/congressos |
|---|---|---|---|---|
| A1 | Análise da proposta curricular do Proeja do IFCE como possibilidade de formação |
Leal | 2012 | 7. Congresso Norte Nordeste de Pesquisa e Inovação (Connepi) |
| A2 | Currículo do Proeja: Desafios de identidade | Rosa | 2013 | Espaço do Currículo |
| A3 | Ensino técnico agrícola: Espaço de conflitos, descontinuidades e contradições | Carvalho & Carneiro | 2012 | 3. Seminário Nacional de Educação Profissional e Tecnológica (Senept) |
| A4 | Apresentação dos resultados de pesquisa de mercado e análise da demanda para o curso técnico de estradas ofertado pelo campus Natal Central do IFRN | Pereira et al. | 2016 | Holos |
| A5 | Fortalezas e fragilidades do curso técnico de enfermagem no Instituto Federal de Santa Catarina | Oliari et al. | 2016 | Revista Gaúcha de Enfermagem |
| A6 | Educação de jovens e adultos no campus Pelotas do IFSUL: Entre o proposto e o realizado | Bittencourt et al. | 2016 | Revista Educação e Emancipação |
| A7 | Projetos profissionais de estudantes de um curso técnico em agropecuária | Salvaro et al. | 2016 | Psicologia & Sociedade |
| A8 | Motivações e expectativas de jovens egressos do ensino técnico: Continuidade ou não dos estudos configuram trajetórias incertas | Ferreira & Raitz | 2017 | Revista Espacios |
| A9 | Características e fatores de sucesso no curso técnico de finanças do Instituto Federal de Rondônia | Aguiar & Silva | 2017 | 7. Colóquio Internacional de Gestão Universitária |
| A10 | Avaliação da expectativa e percepção da qualidade dos serviços educacionais na perspectiva de gestores, professores e estudantes de um instituto federal do estado de Minas Gerais (MG) | Galvão & Sadoyama | 2017 | Educação a Distância e Práticas Educativas Comunicacionais e Interculturais (EDaPECI) |
| A11 | O ensino médio integrado no contexto da avaliação por resultados | Silva & Ramos | 2018 | Educação e Sociedade |
| A12 | Escala Servqual e percepção de qualidade de ensino dos discentes: Uma aplicação em um Instituto Federal de Educação, Ciência e Tecnologia | Silva et al. | 2018 | Unifamma |
| A13 | Educação a distância e ensino profissionalizante: Um olhar sobre o acompanhamento do egresso | Moura & Albuquerque | 2018 | Acta Scientiarum: Human and Social Sciences |
| A14 | Avaliação institucional da qualidade em serviços educacionais na percepção de alunos de cursos técnicos a distância | Brito | 2018 | Revista Brasileira da Educação Profissional e Tecnológica |
| A15 | Avaliação do Programa de Educação Profissional (PEP): Estudo de caso em Minas Gerais, Brasil | Horsth et al. | 2018 | Arquivos Analíticos de Políticas Educativas |
| A16 | O impacto da formação profissional ofertada, por meio do programa Pronatec, para a ocupação de vagas de postos formais de trabalho, entre 2011 e 2015 |
Biavatti & Deitos | 2019 | Acta Scientiarum: Education |
| A17 | Indicadores educacionais e proficiência no Enem: Um estudo nos Institutos Federais do Brasil | Dutra et al. | 2019 | Meta: Avaliação |
| A18 | A educação em tempo integral no currículo do ensino médio integrado do IFMG |
Sá & Neira | 2020 | Espaço do Currículo |
| A19 | Avaliação dos egressos do curso técnico de administração do IFSC: Formação profissional, empregabilidade e continuidade dos estudos | Mondini et al. | 2020 | Revista Nupem |
| A20 | Evaluation of the Pronatec courses: Benchmarking with long-term technical courses | Almeida & Souza | 2020 | Meta: Avaliação |
| A21 | Formação do técnico agrícola no Brasil: Desafios e perspectivas | Carvalho et al. | 2020 | Holos |
| A22 | Formação dos egressos do curso técnico em administração do IFNMG - campus Arinos | Mota & Braga | 2020 | Trabalho e Educação |
| A23 | Avaliação do curso virtual no Moodle para a disciplina de Seminários de Formação Profissional sob a perspectiva dos alunos dos cursos técnicos presenciais do IFFluminense, Campus Campos Centro | Gomes et al. | 2022 | Vértices |
| A24 | Formación profesional, inserción social y secundaria integrada en IFRO, campus Ji-Paraná |
Cenci & Souza | 2022 | Revista Paradigma |
| A25 | Permanência e êxito dos egressos do Proeja do IFSP, campus Sertãozinho | Leite & Vieira | 2021 | Revista de Educação Popular |
Fonte: Elaboração dos autores com dados da pesquisa.
Considerando a temporalidade das publicações e seguindo o protocolo de sistematização proposto para este mapeamento, foi estabelecido um intervalo temporal de uma década para a busca por artigos, demarcado pelo período de surgimento das duas resoluções norteadoras do ensino médio integrado e profissionalizante nos IFs: Resolução n. 1/2021 (2021) e Resolução n. 6 (2012). A análise da Figura 3 revela que não foram encontrados trabalhos referentes à temática da revisão nos anos entre 2014 e 2015. Nos anos seguintes, houve um crescimento considerável de publicações e, nos últimos anos, é possível perceber um declínio, possivelmente devido à pandemia da covid-19. Dos 25 artigos selecionados, 88% foram publicados em revistas, 8% em conferências e 4% em colóquios.
Fonte: Elaboração dos autores com dados da pesquisa.
FIGURA 3 Número de artigos por ano e local de publicação
É importante destacar que, dos 25 artigos selecionados, somente 13 foram publicados em periódicos específicos da área de educação e apenas 2 em revistas voltadas para a avaliação de programas: Almeida e Souza (2020) e Dutra et al. (2019).
Ao analisar os 25 artigos selecionados, identificou-se que apenas três autores são considerados de referência nos estudos sobre avaliação na educação profissional nos IFs. Isso significa que apenas 5% dos 58 autores fizeram duas publicações sobre o tema, o que indica uma falta de continuidade nas pesquisas sobre avaliação nesse âmbito. Ressalta-se que dois desses três autores publicaram juntos em duas ocasiões, uma em 2012 e outra em 2020, o que reforça a falta de pesquisadores de referência e de continuidade nas publicações sobre esse tema nos IFs.
Dos 25 artigos selecionados, a maioria (14,56%) foi encontrada na biblioteca B-On, seguida por apenas 1 artigo na biblioteca Scopus e outro repetido nas duas bibliotecas. Isso sugere que a biblioteca B-On é uma fonte relevante para encontrar publicações sobre avaliação no ensino médio profissionalizante nos IFs. Além disso, os outros 9 artigos (36%) foram encontrados por meio do processo de snowballing.
Depois de levantar os dados gerais dos artigos que compuseram o corpus do estudo, fizemos uma análise de seu conteúdo, a fim de que pudéssemos responder às questões de pesquisa (QP), as quais serão apresentadas nas próximas subseções.
QP1 - Quais foram as causas que levaram à realização das avaliações de curso e/ou programas encontradas nos estudos?
Para responder às questões de pesquisa referentes aos fatores motivadores das avaliações de curso e/ou programas nos cursos da educação profissional do ensino médio nos IFs, foram criadas quatro subquestões.
QP1.1 - Quais são os objetivos/motivações das avaliações realizadas na educação profissional e tecnológica?
Com relação aos objetivos/às motivações das avaliações nos cursos da educação profissional nos IFs, a maioria dos estudos encontrados indicaram como principal fator motivador a avaliação do curso e/ou a qualidade do curso (32%) e a avaliação das motivações, as expectativas e a empregabilidade dos alunos a partir da formação recebida no curso (32%) (Figura 4). Por outro lado, uma minoria dos estudos (4%) identificou a avaliação inicial do curso como objetivo das avaliações. Esse resultado demonstra que as avaliações são em geral realizadas no final dos cursos, com o objetivo de identificar o nível de satisfação dos alunos com a formação recebida, bem como suas perspectivas futuras. Isso mostra um predomínio de avaliações ex post, em detrimento de avaliações diagnósticas e de monitorização dos processos de implementação.
QP1.2 - Quais foram as políticas e/ou resoluções citadas nos artigos?
Durante o escrutínio dos artigos, identificamos os diplomas legais que eles convocam. A Lei n. 11.892 (2008) é a mais recorrente nos estudos analisados nesta pesquisa. Essa lei trata da implementação dos IFs, estabelecendo a criação deles com a finalidade de ofertar a educação superior, básica e profissional, pluricurriculares e multicampi, com base na conjugação de conhecimentos técnicos e tecnológicos nas práticas pedagógicas dos seus docentes.
Em seguida, foram mais citados nos estudos o Decreto n. 5.154 (2004) e a Lei n. 9.394 (1996), a LDB. O Decreto n. 5.154 (2004) foi estabelecido para propor o retorno do ensino médio profissionalizante integrado que havia sido retirado da LDB por meio do Decreto n. 2.208 (1997) (Figura 5).
Fonte: Elaboração dos autores com dados da pesquisa.
Nota: É possível haver mais de uma lei/decreto apontada/o pelo mesmo estudo (por isso a soma supera 100%).
FIGURA 5 Leis e decretos que mais apareceram nos estudos
Nota-se que as políticas públicas educativas identificadas nos estudos de avaliação são ligadas aos momentos de mudanças propostas para a alteração dos objetivos e das diretrizes do ensino médio profissionalizante nos IFs. Embora as normativas citadas nos estudos estejam cronologicamente interligadas ao processo de mudanças/alterações propostas para o ensino médio profissionalizante nos IFs, nenhum estudo vincula as suas avaliações a tais normativas. Por outro lado, não se podem ignorar as perspectivas dos seus efeitos nos resultados das avaliações identificadas nos estudos.
Como apontado por Carvalho e Carneiro (2012, p. 8) em estudo no qual avaliaram a descontinuidade das políticas e seus efeitos na formação dos alunos do curso técnico agrícola no Instituto Federal Goiano (IF Goiano),
. . . o ato normativo por si não promove mudanças preconizadas em suas diretrizes, particularmente em relação ao processo educacional, visto que a transição depende da forma como ocorre efetivamente sua implantação na instituição, permeada na relação gestor/professor/aluno/comunidade, e a correlação de forças políticas, econômicas, das teorias pedagógicas e perfil de formação docente, dentre outras, [as quais] dão uma complexidade que nos impedem de apontar de forma simplista as fases analisadas tendo como referências assinaturas dos decretos e demais regulamentos inerentes ao objeto estudado.
QP1.3 - Quais são os tipos de instrumentos utilizados para avaliação da educação profissional e tecnológica?
Observou-se que as avaliações realizadas nos institutos federais utilizaram instrumentos diversos, como questionários, entrevistas, análise documental, dados abertos e grupo focal. Os artigos que utilizaram somente questionários predominaram entre os estudos (10), em seguida estão os que utilizaram somente entrevista (3) e, depois, somente análise documental (2), conforme a Figura 6.
Foi possível observar nos estudos que os instrumentos de avaliação são preparados internamente pelas instituições e têm um caráter subjetivo em sua elaboração. Isso ocorre provavelmente devido à falta de avaliações externas estabelecidas para o ensino profissionalizante. Essa realidade fomenta nas escolas a necessidade de um processo avaliativo mais autônomo, no qual elas criam seus próprios instrumentos, sem a existência de um padrão e sensíveis ao impacto provocado pelo desenvolvimento dos programas.
Na teoria da avaliação de programas, os instrumentos devem ser construídos para fornecer medidas que permitam inferências sobre a efetividade de um determinado programa (Borges & Rothen, 2019). As informações devem ser levantadas por intermédio de múltiplas coletas e diferentes tipos de instrumentos sensíveis à medida do impacto provocado pelo desenvolvimento de um programa (Vianna, 2010).
Outro fator que contribui para a escolha desses instrumentos é o objetivo dessas avaliações, as quais, no âmbito das formações, buscam identificar se os alunos atingem as competências necessárias desenvolvidas ao longo dos cursos para a inserção no mercado de trabalho. Dessa forma, a avaliação tem um cunho mais qualitativo e baseado nas percepções pessoais dos intervenientes (Fernandes, 2009).
QP2 - Quais foram os efeitos decorrentes da realização das avaliações?
Nesta categoria, o objetivo foi compreender os efeitos das avaliações realizadas nos cursos de educação profissional nos IFs e seu impacto na melhoria dos cursos. Para tanto, analisaram-se os estudos para identificar de que forma as avaliações contribuem para a agregação de melhorias e modificações nos cursos.
QP2.1 - Quais foram os resultados e as dificuldades encontrados durante o processo de avaliação dos programas que foram relatados nesses estudos?
Dos estudos analisados, a maioria (10) identificou que os cursos foram avaliados como de alta qualidade, atingindo seus objetivos. No entanto, um ponto importante é que seis estudos relataram que, embora os cursos atendam à formação teórica dos alunos, eles não conseguem desenvolver as habilidades práticas necessárias para o mercado de trabalho (Figura 7). Este dado chama a atenção já que um dos principais objetivos da formação profissional é preparar os alunos para atuarem no mercado de trabalho. Em vários estudos, é possível notar a insegurança dos alunos em relação às suas habilidades profissionais (Bittencourt et al., 2016; Pereira et al., 2016). Uma minoria dos autores se referiu aos cursos que não foram bem avaliados e/ou não atingiram seus objetivos de formação.
Fonte: Elaboração dos autores com dados da pesquisa.
FIGURA 7 Resultados das avaliações encontrados nos estudos
Procurou-se também identificar dificuldades encontradas pelos autores dos estudos durante o processo de avaliação. Foi possível perceber que esses autores não relataram as dificuldades encontradas para a realização das avaliações. Uma minoria sinalizou que houve pouco acesso ou participação dos envolvidos na avaliação e poucas pesquisas na área para comparação dos dados.
Como foi assinalado por Arraes e Mariano (2020), faltam avaliações e bases de dados exclusivas para as avaliações externas realizadas no Brasil no ensino profissionalizante. Esse fator pode ser uma das justificativas das instituições buscarem realizar avaliações internas e utilizarem instrumentos de avaliação propostos e aplicados por elas.
Uma das principais dificuldades encontradas pelos estudos diz respeito à falta de um banco de dados que armazene as informações dos alunos após a conclusão dos seus cursos. Essa lacuna dificulta a aplicação dos instrumentos de avaliação e impede que as instituições de ensino possam acompanhar (tracking) a trajetória dos seus ex-alunos no mercado de trabalho ou no mundo acadêmico. No estudo conduzido por Moura e Albuquerque (2018) destaca-se a importância de desenvolver um sistema de acompanhamento dos alunos concluintes para avaliar a efetividade da formação e acompanhar o seu desempenho no mercado de trabalho. Essas informações são valiosas para orientar melhorias nos níveis científico, pedagógico e didático e para fortalecer a relação entre a instituição de ensino e o mercado de trabalho.
QP2.2 - Como são utilizados os resultados obtidos a partir da aplicação desses instrumentos nas avaliações da educação profissional e tecnológica?
Os estudos analisados na MSL não abordam de maneira clara como os resultados das avaliações são utilizados para melhorar ou ajustar o currículo dos programas. Embora um artigo tenha mencionado brevemente que as avaliações influenciam na organização do trabalho pedagógico, nenhum estudo apresentou detalhes sobre como essas avaliações são incorporadas ao processo de melhoria contínua do currículo. Apenas um estudo realizado por Silva et al. (2018) destaca que a avaliação sistemática dos programas pode apoiar a reestruturação dos cursos, possibilitando melhorias na formação dos alunos e no currículo. Seria importante que futuras pesquisas abordassem mais detalhadamente como as avaliações são utilizadas pelos programas para promover aprimoramentos no currículo e na formação dos alunos.
Segundo Fernandes (2011), para que os programas e projetos possam cumprir cabalmente os seus desígnios, é necessário encontrar métodos e procedimentos que permitam proporcionar feedback oportuno, rigoroso e profundo que retrate o mais fielmente possível o que, como e por que funciona. A inexistência de feedback e/ou uso dos dados coletados na avaliação nos cursos torna praticamente impossível perceber se o programa está a desenvolver-se de acordo com o que se pretende e, consequentemente, não se consegue conhecer, compreender e progredir na resolução dos problemas.
Em geral, espera-se que os resultados da avaliação de um programa sejam utilizados direta ou indiretamente na tomada de decisões. Em alguns casos, os resultados de uma avaliação são utilizados de forma formativa ou somativa, para melhorar aspectos do programa ou para determinar se ele deverá ter continuidade, respectivamente (Fernandes, 2009).
Outro fator que concorre para a pouca utilização dos resultados das avaliações educacionais dos programas, ou para a melhoria ou continuidade dos programas: é a tradição presente no Brasil de, muitas vezes, privilegiar o caráter formal, não observando a valorização dos resultados da avaliação para revisão/reformulação das propostas e ações que constituem objeto dessa mesma avaliação (Bauer & Sousa, 2015).
QP3 - Em quais momentos as avaliações são aplicadas?
Os estudos analisados na MSL também abordaram o momento em que as avaliações foram aplicadas, além de outros aspectos relevantes do processo de avaliação, como os intervenientes envolvidos e as abordagens utilizadas nas intervenções.
Em geral, as avaliações foram realizadas no final do curso (60%) (Figura 8). Entretanto só uma minoria de estudos (12%) relatou a aplicação de avaliações durante o curso, e apenas um estudo mencionou a avaliação inicial (4%). Alguns dos estudos não especificaram em que momento a avaliação foi realizada (24%).
Embora poucos estudos tenham realizado avaliações no início e/ou ao longo do curso, é importante destacar que a avaliação dos alunos concluintes pode ser utilizada como indicador para reformulação da oferta formativa existente ou planejamento de novas ofertas de cursos. Essa avaliação pode contribuir para adequações nas ações administrativas e pedagógicas, visando a formar profissionais qualificados capazes de atender às demandas sociais e do mercado. Assim, é importante que futuros estudos incluam avaliações em diferentes momentos do curso para melhorar a compreensão dos resultados e permitir ajustes mais precisos no processo de formação.
A avaliação da eficácia dos cursos técnicos em oferecer educação de qualidade é fundamental não apenas para as instituições formadoras, mas também para o setor produtivo. Uma das formas de aferição é por meio do monitoramento dos alunos concluintes, identificando sua satisfação com a qualidade do ensino recebido, atuação na área de formação, evolução profissional, se optaram por outro curso técnico ou seguiram para a graduação (Ferreira & Raitz, 2017).
Além disso, é importante considerar as taxas de empregabilidade dos egressos, avaliando se o mercado de trabalho está demandando profissionais com o perfil formado pelo curso. Esses dados podem ser utilizados para promover a verticalização do ensino, ou seja, para fomentar a continuidade dos estudos e aprimoramento profissional dos alunos, além de contribuir para possíveis melhorias no currículo e nas ações administrativas e pedagógicas que estejam alinhadas com as demandas do mercado de trabalho.
QP4 - Quem são os intervenientes do processo de avaliação?
Entre os artigos pesquisados, a maior porcentagem quantitativa dos participantes envolvidos foi representada pelos alunos (60%), dentre os quais a maioria foi de discentes concluintes ou no final do curso. Em seguida, os participantes que mais apareceram nos estudos foram os gestores e os professores (12%). Os IFs e os profissionais das empresas também foram identificados como participantes das avaliações (Figura 9).
Fonte: Elaboração dos autores com dados da pesquisa.
FIGURA 9 Intervenientes envolvidos nas avaliações
Essa preferência pela participação dos alunos para o levantamento de dados para as avaliações tem uma relação muito forte com o tipo de abordagem adotado no processo da maioria das avaliações encontradas nos estudos, o qual é mais focado nos objetivos dos programas.
Segundo Vianna (2010, p. 4), consideram-se intervenientes todas as pessoas envolvidas ou afetadas pela avaliação, incluindo estudantes, pais/responsáveis, professores, administradores, orientadores, psicólogos, associações de pais e mestres, futuros empregadores, membros da comunidade e outros que tomam decisões que afetam a educação dos estudantes. Considera-se aqui a contribuição do que a literatura em língua inglesa designa por stakeholders, isto é, todos os que têm algo a ganhar, ou a perder, com o que ocorre em uma determinada organização, programa ou política (Ventura, 2016, pp. 166-168). Existem poucas avaliações que levam em consideração a perspectiva dos empregadores sobre a formação dos alunos.
Ao avaliar programas e projetos, é essencial considerar três aspectos distintos. Em primeiro lugar, a avaliação pode ter propósitos estritamente formativos, visando ao desenvolvimento ou aprimoramento do projeto. Por outro lado, pode ter aspectos somativos, que estão mais associados à prestação pública de contas ou à responsabilização das instituições de ensino. Em certos contextos, a avaliação pode combinar ambos os propósitos. Em segundo lugar, é importante ponderar se a avaliação deve ser interna, realizada por um grupo de participantes diretos no projeto ou programa, ou externa, conduzida por uma entidade ou grupo que não tem interesses diretos no desenvolvimento do projeto. Por fim, uma das questões cruciais na avaliação contemporânea de projetos e programas é a participação dos intervenientes. É importante que todos aqueles que de alguma forma têm relação com o desenvolvimento do programa sejam convidados a participar da avaliação, pelo menos os principais intervenientes, garantindo a diversidade de pontos de vista sobre o seu mérito e valor. Isso permite uma visão mais rigorosa e abrangente das realidades que se pretende avaliar (Fernandes, 2009). Quanto mais voz tiverem os intervenientes pertinentes no programa, mais representativo e democrático será o processo avaliativo.
QP5 - Quais são as abordagens de avaliação utilizadas para avaliar os programas/cursos?
Ao analisar o conteúdo dos artigos selecionados, foram identificadas informações sobre as avaliações realizadas com o objetivo de classificar as abordagens de avaliação utilizadas nos estudos. Essa classificação foi feita com base na proposta de Borges e Rothen (2019), que sugerem a utilização do termo abordagens de avaliação em vez de modelos de avaliação.
As abordagens de avaliação foram desenvolvidas por Borges e Rothen (2019) a partir de uma análise cuidadosa de estudos de autores de referência na área de avaliação de programas. As informações coletadas foram utilizadas para nomear cada uma das sete abordagens propostas e para caracterizá-las em relação aos seus propositores, objetivos, enfoques conceituais e orientações teóricas, decorrentes de pressupostos metodológicos.
Neste mapeamento sistemático, buscamos identificar as abordagens de avaliação utilizadas na avaliação de cursos profissionalizantes do ensino médio nos IFs (Figura 10). A partir dos dados coletados nos estudos analisados, foi observado que a maioria dos autores (56%) adotou a avaliação baseada em objetivos. Uma minoria dos trabalhos utilizou as abordagens de avaliação qualitativa (4%) e avaliação a serviço da decisão (4%). Essa preferência pela avaliação baseada em objetivos é refletida no perfil da maioria dos artigos, que geralmente realizam a avaliação no final do curso para julgar a qualidade do curso por meio das opiniões dos alunos concluintes e identificar se seus objetivos foram, ou não, alcançados. Também foi possível perceber maior destaque em outras duas abordagens utilizadas nos estudos analisados: a abordagem de avaliação centrada nos participantes (16%), baseada no valor agregado (12%) e abordagem da avaliação orientada para os consumidores (8%).
De acordo com Borges e Rothen (2019, p. 5), a avaliação proposta por Tyler, que é orientada pelos objetivos, deveria ser realizada ao final do processo de for- mação para evidenciar se os alunos alcançaram os objetivos estabelecidos. A informação resultante do processo de avaliação possibilitaria atingir uma dupla finalidade: a certificação dos alunos e a regulação do processo de formação.
Observa-se que as avaliações para o ensino médio profissionalizante ocorrem no final do curso, por meio da coleta de dados por questionários, direcionados principalmente aos alunos que estão no final ou já concluíram o curso.
Uma das características que merece destaque é a baixa participação de outros intervenientes, principalmente da comunidade externa, como as empresas empregadoras dos alunos. Apenas um estudo abordou essa perspectiva, ao analisar as empresas que absorvem a mão de obra formada nos cursos técnicos nos IFs (Moura & Albuquerque, 2018). Também é notável a pouca participação dos gestores e a falta de envolvimento de outros institutos nas avaliações, sendo que apenas um trabalho abrangeu a participação de mais de um instituto (Dutra et al., 2019).
Em geral, as avaliações são realizadas no final do curso, e apenas um trabalho avaliou o início do curso (Oliari et al., 2016), enquanto três pesquisas avaliaram o curso durante sua realização (Bittencourt et al., 2016; Brito, 2018; Gomes et al., 2022). Nota-se que os trabalhos que incluem avaliação ao longo do curso são mais recentes, demonstrando uma crescente preocupação com a monitorização em todas as etapas da formação.
CONSIDERAÇÕES FINAIS
Este artigo pesquisou os principais temas investigados e disseminados, nos últimos 10 anos, em revistas acadêmicas nacionais e internacionais relacionados à avaliação de cursos profissionalizantes em IFs. Para tanto, procedeu-se a um MSL, baseando-se no protocolo adaptado de Alcântara et al. (2021) e da análise de conteúdo (Bardin, 1977). Uma característica importante do mapeamento sistemático para a produção acadêmica é possibilitar a divulgação de pesquisas já realizadas e verificar tendências de pesquisa sobre uma determinada área.
Em nosso estudo, assumiram-se as pesquisas com foco na área da avaliação de programas voltados para a educação profissional. Embora não se tenha percebido uma produção significativa ao longo do período analisado (2012-2022), foi possível identificar algumas das potencialidades e limitações da avaliação dos programas na educação profissional nesses estudos que compuseram o corpus de análise.
Com relação às potencialidades, a partir da análise dos artigos deste MSL, foi possível perceber que as abordagens mais comuns de avaliação utilizadas nos programas de ensino profissionalizante são baseadas em objetivos e realizadas ao final do curso com alunos concluintes ou ex-alunos. Além disso, os resultados dessas avaliações não são em geral utilizados para melhorar, manter ou encerrar os programas, com exceção de um estudo que destacou a importância da utilização das informações geradas no processo de avaliação, embora não tenha detalhado como esse feedback foi dado à instituição (Silva et al., 2018).
Entre as limitações deste estudo estão a escassez e/ou produção incipiente de estudos sobre avaliação de programas no ensino médio profissionalizante nos IFs, mesmo quando se considera um intervalo de tempo mais amplo em relação à pesquisa anterior, sendo que antes se considerou o intervalo entre 2016 e 2021, e, agora, entre 2012 e 2022. Embora haja uma grande quantidade de estudos sobre avaliação no nível superior no Brasil, devido às avaliações institucionalizadas e obrigatórias, essa realidade é diferente no contexto dos cursos profissionalizantes. Também se observa uma falta de continuidade nas pesquisas nessa área, com poucos autores de referência e publicações com intervalos de tempo muito grandes entre si.
Devido à falta de avaliações institucionais estabelecidas de maneira geral, os processos avaliativos são autônomos e geralmente promovidos pelas próprias instituições, sem um padrão claro. Na pesquisa, verificou-se que os autores optam por trabalhar com instrumentos como questionários, entrevistas, análise documental e grupos focais, mas há pouca triangulação das informações coletadas nas avaliações dessas instituições. O feedback nesse contexto da avaliação no âmbito da educação profissional é fundamental para melhorar a formação oferecida e desenvolver um perfil mais adequado do profissional. No entanto, há uma baixa participação nessas avaliações das empresas contratantes desses alunos, o que dificulta a compreensão de todo o fluxo do início da formação até a entrada dessa mão de obra no mercado de trabalho.
Segundo Fernandes (2011, p. 205),
. . . a participação ativa dos stakeholders ou intervenientes no processo de avaliação incentiva o que se designa na literatura por utilização processual; ou seja, uma pessoa acaba por utilizar de forma mais ou menos consciente os resultados da avaliação porque a viveu por dentro e porque isso lhe permitiu ter outra visão das coisas.
Nesse sentido, é fundamental que as instituições trabalhem na perspectiva de criar mecanismos para garantir que a formação dada atenda às necessidades e expectativas dos intervenientes.
Nessa investigação foi possível perceber algumas lacunas nos estudos analisados. Primeiro, há poucas pesquisas envolvendo as avaliações de programas no ensino profissionalizante nos IFs (Dutra et al., 2019). Além disso, é preciso explorar a realização de avaliações em outros momentos dos cursos, permitindo assim uma melhor monitorização do curso e o seu atendimento aos objetivos da formação em questão. Os estudos também devem ampliar o público atingido nas avaliações, como empresas empregadoras, comunidade e outros institutos. Devem-se incluir nos estudos o feedback das avaliações realizadas e o detalhamento de como as informações geradas serão utilizadas pelas instituições.
Para trabalhos futuros, sugere-se identificar estudos que tenham realizado avaliações em etapas diferentes de formação dos alunos, melhorar as strings de busca, ampliar a busca na literatura internacional e incluir trabalhos relacionados com esta área e disponíveis na literatura cinzenta. Por fim, considera-se vantajoso realizar, no futuro, um mapeamento sistemático, levando-se em consideração as lacunas encontradas nos estudos avaliados nesta pesquisa.
