INTRODUÇÃO

As Instituições de Ensino Superior (IES) desempenham um papel fundamental na experimentação, disseminação e compartilhamento do conhecimento, sendo líderes na evolução da ciência e na transformação da realidade social.

Nesse contexto, faz-se necessário identificar fatores que contribuem para a eficácia dessas instituições a fim de promover o aperfeiçoamento dos currículos dos cursos e programas conforme as demandas do aluno, do mercado, do empregador e da sociedade (^{Blecich; Zaninovic, 2019}).

De acordo com ^{Hortale et al. (2014)}, a exigência por profissionais qualificados no mercado de trabalho, resultado das transformações sociais, políticas, econômicas e, sobretudo das inovações tecnológicas, demanda avaliação sistemática dos processos formativos em todos os níveis.

Nessa perspectiva, ^{Silva Neta, Monteiro e Santos (2020)} argumentam que avaliação envolve a emissão de julgamentos para orientar as decisões, podendo ser influenciada pelo contexto e pelo tempo. Destacam, ainda, que o referido processo vai além da simples verificação de conteúdos e da aplicação de instrumentos quantitativos.

Para compreender os significados de avaliação, é fundamental examinar sua aplicação e a experiência vivenciada por diferentes indivíduos, principalmente quando a expectativa é introduzir mudanças nas concepções tradicionais sobre quem deve realizar a avaliação e como deve ser conduzida em diferentes ambientes educacionais (^{Cristofari; Irala, 2023}).

^{Lamfri e Araújo (2018)} afirmam que num contexto caracterizado pela competitividade internacional, em que o conhecimento é um pré-requisito fundamental, as instituições de ensino com seus cursos e programas assumem notoriedade a partir da criação e transferência de saberes atualizados para as populações acadêmicas e profissionais. Ainda segundo os autores, os sistemas de pós-graduação evoluem de forma particular e cumprem funções nos contextos em que estão inseridos, razão da importância da investigação e da avaliação da sua qualidade.

^{Cunha (1974)} corrobora o entendimento de ^{Lamfri e Araújo (2018)} ao apontar que dentre as funções dos sistemas de pós-graduação estão duas principais: a função técnica e a social. A primeira trata da formação de professores competentes para o ensino superior, garantindo qualidade ao ensino, estímulo ao desenvolvimento da pesquisa científica com o preparo de pesquisadores e treinamento eficaz de profissionais para contribuir com o desenvolvimento econômico do país. Já a função social tem o objetivo de resgatar o valor econômico (elegibilidade para as ocupações mais bem remuneradas) e simbólico (atribuição de prestígio) que antes da expansão desenfreada era conferido ao ensino de graduação (^{cunha, 1974}).

Diante desse cenário, a avaliação de instituições de ensino e suas estratégias de formação, a partir da percepção de egresso, tem sido considerada uma fonte relevante de informação, uma vez que a análise de sua inserção profissional e posições ocupadas no mercado de trabalho é uma forma de verificar a qualidade da formação e do preparo recebidos (^{Buunaaisie et al., 2018}, ^{CAPES, 2019}; ^{Higa et al., 2013}; ^{Hortale et al., 2014}; ^{Ortigoza; Poltronieri; Machado, 2012}).

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), responsável por avaliar e assegurar a qualidade dos cursos Stricto Sensu no país, publicou, em 2019, uma proposta de revisão da Ficha utilizada para a Avaliação dos Programas de PósGraduação. Tal proposta abarca diretrizes que nortearam a nova Ficha de Avaliação, as quais contemplam três quesitos para o próximo ciclo de avaliação da pós-graduação. O 1º quesito, denominado de “Programa”, objetiva avaliar o funcionamento, a estrutura e o planejamento do programa de pós-graduação em relação ao seu perfil e seus objetivos. O 2º quesito, “Formação”, focaliza a qualidade dos recursos humanos formados, levando em conta a atuação dos docentes e a produção de conhecimento diretamente associada às atividades de pesquisa e de formação do programa. O 3º, “Impacto na Sociedade”, refere-se aos impactos gerados pela formação de recursos humanos e a produção do conhecimento gerado pelo programa, este quesito também considera o destino, a atuação e a avaliação dos egressos do programa em relação à formação recebida (^{CAPES, 2019}).

Assim, a questão que guiou a presente pesquisa foi: Quais são os aspectos avaliados, os procedimentos metodológicos e os instrumentos utilizados na avaliação de egresso de instituições de ensino superior, no espaço temporal correspondente ao período de 2010 a 2019, considerando diferentes abordagens ou estratégias de avaliação?

Embora o intuito deste estudo seja incentivar a prática de avaliação e o acompanhamento de egressos para os programas de pós-graduação, não se descartou conhecer as metodologias e os indicadores avaliados também nos cursos de graduação por possuírem elementos interessantes que possam servir de incremento para avaliação de egressos de pós-graduação.

A relevância deste estudo reside na necessidade crescente de adaptar os currículos acadêmicos às demandas contemporâneas, as quais abrangem transformações sociais, econômicas e tecnológicas. A análise proposta poderá revelar lacunas existentes nos processos de avaliação atualmente adotados pelas IES, oferecendo insights valiosos para aprimorar tanto os métodos de ensino, orientando futuros ajustes curriculares, quanto os critérios de avaliação de desempenho dos programas de pós-graduação.

Para tanto, foi realizada análise bibliométrica e uma revisão sistemática qualitativa de literatura em novembro de 2019, com base no protocolo desenvolvido por ^{Cronin, Ryan e Coughlan (2008)} que contempla 5 etapas, a saber: 1) Formulação da questão de pesquisa; 2) Conjunto de critérios de inclusão e exclusão; 3) Seleção e acesso à literatura; 4) Avaliação da qualidade da literatura incluída na revisão; e 5) Análise, síntese e disseminação dos resultados. Foram considerados artigos sobre avaliação de egressos, nos níveis de graduação e pós-graduação, publicados nas bases Scopus, Web of Science e Scielo, abrangendo o período de 2010 a 2019, em que foi realizada a pesquisa.

REFERENCIAL TEÓRICO

A avaliação educacional é considerada uma prática que promove a transparência das realizações institucionais, uma vez que fornece informações à sociedade e, sobretudo, à comunidade acadêmica, para fins de análise, quanto aos processos que permeiam a vida universitária (^{Câmara; Santos, 2012})

^{Souza et al. (2017)} apontam que avaliar as instituições educacionais se faz necessário a fim de verificar em que medida estas instituições estão cumprindo seus compromissos na produção e transferência de conhecimento.

Importante destacar que a legitimação do processo de avaliação requer cooperação para que os resultados promovam o aperfeiçoamento contínuo e o conhecimento das limitações e potencialidades que, por sua vez, levarão ao desenvolvimento da instituição (^{Almeida; Pinto; Piccoli, 2007}). Para tanto, deve ocorrer de forma planejada com o comprometimento da alta gestão, da equipe de pesquisadores e com a colaboração e o envolvimento dos interessados para que as informações geradas sejam confiáveis e a utilização dos resultados obtidos, efetivos (^{Hortale; Moreira, 2008}).

Nesse cenário, a avaliação educacional é um aspecto crítico da qualidade no ensino superior (^{Huybers, 2017}). Assim, ao se estabelecer controle e metodologia adequados, a avaliação dispõe de informações importantes, as quais promoveriam grandes avanços socioeducacionais e culturais a partir dos resultados, evitando a produção de um gasto social ineficiente e o desperdício de recursos financeiros valiosos (^{Cotta, 2014}; ^{Maciel et al., 2010}).

Entre as possibilidades de avaliação dos cursos universitários, seja em nível de graduação, mestrado ou doutorado, ^{Câmara e Santos (2012)} apontam como alternativa de avaliação investigar a percepção dos egressos, que, conforme ^{Hortale et al. (2014)}, é uma fonte relevante de informação por gerar subsídios para ajustes no processo de formação, considerando que o ex-aluno se encontra inserido no mercado de trabalho, enfrentando situações complexas que o levam a estabelecer uma comparação das competências desenvolvidas durante o curso com as requeridas no contexto profissional.

Do mesmo julgamento compartilham ^{Higa et al. (2013)}, ao se referirem à percepção do egresso como fonte de informação entre a aprendizagem e a prática, possibilitando reflexões sobre mudanças necessárias para se aprimorar o perfil profissional.

Adicionalmente, ^{Buunaaisie et al. (2018)} assinalam a importância de conhecer a percepção do egresso, inclusive de programas educacionais internacionais, quanto à sua formação e à relevância das habilidades adquiridas para a sua profissão ou para o seu país.

^{Vargas e Peixoto (2019)} destacam a relevância de analisar as percepções dos egressos acerca da matriz curricular, pois, de acordo com os autores, geram informações mais aprofundadas a todos os interessados, em especial às instituições formadoras, quanto à visão que seus alunos têm do processo formativo e quais sentidos são adquiridos a partir da formação ofertada.

Embora diversos autores considerem a avaliação, por ex-alunos, um trunfo por terem uma percepção moldada na realidade profissional, ela ainda é pouco explorada por avaliadores (^{Jeannot; Stoll; Chastonay, 2013}).

Ademais, no contexto atual de debates quanto ao papel e às finalidades da universidade, bem como da qualidade da formação que se propõe a entregar, é de grande importância uma sistemática de avaliação que envolva o egresso e permita uma reflexão sobre as alternativas de ação e a sua efetividade, seja no plano de ensino, no da pesquisa ou ainda nas suas ações sociais e culturais.

PROCEDIMENTOS METODOLÓGICOS

Para traçar um panorama sobre a avaliação de egressos e analisar as publicações sobre o assunto, identificando os aspectos avaliados, os instrumentos de pesquisa e as metodologias mais utilizadas, foi realizada uma revisão sistemática qualitativa e bibliométrica dos artigos selecionados.

As revisões sistemáticas são importantes, uma vez que integram informações de um conjunto de estudos realizados separadamente, que podem apresentar resultados conflitantes e/ou coincidentes, ou ainda identificar temas que precisam ser evidenciados, auxiliando na orientação para pesquisas futuras (^{Linde; Willich, 2003}).

A condução de uma revisão sistemática qualitativa oferece uma metodologia sólida para consolidar e interpretar de forma rigorosa as evidências apresentadas sobre um determinado tema. Ao integrar resultados de estudos primários, essa abordagem permite uma análise detalhada das complexidades e variações encontradas nas práticas e fenômenos investigados. Dessa forma, a revisão sistemática ajuda a determinar recursos necessários, desenvolver estudos que preencham lacunas na literatura, propor novas hipóteses e metodologias e otimizar recursos para beneficiar a sociedade, o campo científico, instituições e governos (^{Galvão; Ricarte, 2019}).

Para a revisão sistemática optou-se por seguir a proposta de ^{Cronin, Ryan e Coughlan (2008)}, a qual segue um protocolo científico para selecionar e analisar as fontes, podendo se basear em abordagem qualitativa ou quantitativa, de acordo com os objetivos da pesquisa.

Assim, de acordo com o protocolo de ^{Cronin, Ryan e Coughlan (2008)}, há cinco etapas que precisam ser seguidas:

1. Definição da questão da pesquisa: Quais são os aspectos avaliados, os procedimentos metodológicos e os instrumentos utilizados na avaliação de egresso de instituições de ensino superior ao longo de 2010 a 2019, considerando diferentes abordagens ou estratégias de avaliação?

Com base nas orientações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para o ciclo 2017-2020, foi delimitado o período de 2010 a 2019 para esta pesquisa. A escolha desse intervalo temporal se justifica pela necessidade de abranger um período que reflete as diretrizes e mudanças recentes no processo avaliativo de programas de pós-graduação no Brasil. Durante o período de 2010 a 2019, a CAPES revisou periodicamente suas políticas e diretrizes, enfatizando a necessidade de avaliações mais rigorosas e alinhadas com as demandas contemporâneas da sociedade e do mercado de trabalho. Além disso, a escolha desse intervalo temporal se fundamenta na carência de estudos bibliométricos abrangentes que analisem de forma sistemática as publicações sobre avaliação de egressos no contexto brasileiro.

2. Definição do conjunto de critérios de inclusão e exclusão: os critérios contemplam as bases científicas selecionadas, o período de publicação, os tipos de artigos, as palavraschave e os operadores booleanos. Dessa forma, definiram-se as bases científicas Scopus,

Web of Science e SciELO Brasil, pois são bases multidisciplinares com alto fator de impacto e abrangem publicações internacionais e nacionais. Após a definição das bases, estabeleceu-se que seriam utilizados artigos nos dois níveis acadêmicos, graduação e pós-graduação, publicados no período de 2010 até 2019, por este ser considerado um período razoável para obter um maior número de publicações sobre o tema. Em relação às palavras-chave, foram utilizados “alumni” “graduate” “evaluation” “impact” “perception” “graduate course” “post graduate” “education” “program evaluation” “graduate assessment” “egresso” “graduado” “avaliação” “percepção de egresso” “pós-graduação” “curso de graduação” “educação” “avaliação de programa” com os operadores booleanos AND e OR.

Destaca-se que as diferenças encontradas em alguns termos em inglês traduzidos para o português fizeram com que se optasse por incluir palavras-chave em português comumente usadas por autores brasileiros, conforme encontrado na pesquisa exploratória. Sendo assim, para que a revisão sistemática contemplasse o maior número de artigos no período definido, utilizaram-se, nas bases de dados selecionadas, todas as palavras-chave acima descritas com pequenas variações quando passadas para o português. Por fim, para esta revisão de literatura foram contemplados apenas artigos que realizaram pesquisa empírica.

3. Seleção e acesso da literatura: a busca com a combinação dos descritores acima, no título, no resumo e nas palavras-chave resultou na localização de 621 artigos (web of Science 334, Scopus 275, SciELO 12), dos quais foram selecionados 97 artigos a partir da leitura de títulos e palavras-chave (web of Science 51, Scopus 38, SciELO 8). Posteriormente os artigos foram exportados para a planilha eletrônica do software Microsoft Excel. Foram excluídos 5 estudos repetidos, restando um total de 92. Após a verificação do alinhamento dos títulos, das palavras-chave e dos resumos ao objetivo da pesquisa, foram excluídos 64 artigos, resultando no total de 28 que foram lidos integralmente. Ao realizar a leitura dos artigos que estavam disponíveis na íntegra, on-line e gratuitamente (acesso sem custo), via Portal de Periódicos Capes, a qual promove acesso remoto para usuários vinculados às instituições participantes da rede da Comunidade Acadêmica Federada (CAFe), foram selecionados 22 artigos considerados alinhados ao objetivo da pesquisa.

4. Avaliação da qualidade incluída na revisão: para avaliar a qualidade optou-se por identificar o número de citações dos artigos selecionados, por meio de consulta no Google Acadêmico. Os artigos que compõem a análise bibliométrica e sistêmica estão apresentados no Quadro 1.

Os indicadores bibliométricos de citações ganharam espaço a partir da consulta por pareceristas na avaliação de projetos de pesquisas, da seleção de alunos para programas de pós-graduação e da utilização em outros sistemas de avaliação de autores (^{Sampaio, 2013}). De acordo com o autor, o estudo científico não completa seu ciclo apenas com a publicação, o trabalho para ter valor científico deve ser lido e citado, retroalimentando toda a cadeia de conhecimento científico. Além disso, a análise de citações tem a função de apresentar ao leitor referências importantes sobre o campo de estudos em questão e possibilitar a identificação de autores que trataram do tema anteriormente (^{Caldas, 2005}). Atualmente o Google Acadêmico faz essas medições que antes eram restritas às bases de dados WOK e Scopus.

5. Análise, síntese e disseminação dos resultados: abaixo apresenta-se a análise bibliométrica dos artigos com o intuito de quantificar as informações existentes e, principalmente, identificar as características das publicações constantes no portfólio bibliográfico. Assim, foram elaborados Quadros com os enfoques temáticos abordados, o programa avaliado (pós-graduação/graduação) com seus respectivos autores e ano de publicação (Quadros 2 e 3), e na sequência apresentam-se as características dos processos metodológicos e analíticos.

ANÁLISES E RESULTADOS

A síntese dos achados examinados nos 22 artigos que compuseram a base final do estudo desvela o cenário da produção nacional e internacional sobre avaliação de egressos no período de 2010 a 2019 e foi organizada nos seguintes tópicos: Enfoque temático; Identificação e demografia; Tipificação metodológica; Procedimentos e técnicas para a coleta de dados; e Técnicas de análise de dados.

ENFOQUE TEMÁTICO

O Quadro 2 contempla os principais resultados da Revisão Sistemática com os temas e subtemas abordados na avaliação de egressos de pós-graduação, seus respectivos autores e o programa, lócus de estudo dos pesquisadores.

No Quadro 3, constam os temas e subtemas abordados na avaliação de egressos de graduação dos estudos analisados.

O enquadramento temático foi elaborado observando o que os autores pretendiam captar em suas pesquisas (Figura 1), assim foram definidos seis principais temas, a saber: “Contribuição do curso na trajetória profissional avaliando aspectos acadêmicos” com 31,2%, seguido de “Impacto do programa nas habilidades e conhecimentos adquiridos e aplicados na prática” 18,8%, e 12,5 % abordando “Impacto dos programas no perfil do graduado e na trajetória profissional”, “Impacto, eficácia e qualidade de programas com aprendizagem prática”, “Motivações para realização do programa e impactos percebidos na prática” e, por fim, “Processos de formação, fragilidades e fortalezas”.

Fonte: Elaboração pelas autoras.

Figura 1 Enfoques abordados nos 22 estudos examinados 

Pode-se destacar que todos os temas possuem um enfoque similar, ou seja, a avaliação do egresso, tanto no nível da pós-graduação quanto da graduação, e que a maior parte dos artigos busca avaliar aspectos acadêmicos (currículos, método de aprendizagem, projeto pedagógico) e suas contribuições para a prática profissional. Dessa forma, sugerese, ao realizar uma avaliação de egressos, abordar não apenas aspectos da trajetória profissional e/ou conhecimentos, habilidades e atitudes adquiridos, como também aspectos considerados importantes do processo formativo.

Nota-se também que há predominância da área da saúde na avaliação do egresso (Quadros 2 e 3), 81,8% de pesquisas na pós-graduação e 63,6% na graduação, indicando que essa área tem envidado esforços sistemáticos para avaliar a percepção do egresso em relação ao curso e à sua atuação no mundo profissional.

CARACTERÍSTICAS DOS PROCESSOS METODOLÓGICOS E ANALÍTICOS DOS ARTIGOS

Exemplos de trabalhos enquadrados nesses enfoques temáticos são: (1) Contribuição do Curso na Trajetória Profissional avaliando Aspectos Acadêmicos: A pesquisa conduzida por ^{Ramos et al. (2010)} utilizou o método qualitativo com a técnica de análise de conteúdo de Bardin, considerando estágios de pré-análise, constituição do corpus, seleção das unidades de análise, classificação, codificação e categorização, para levantar as percepções de egressos do curso de mestrado do Programa de Pós-Graduação em Enfermagem da UFSC acerca das contribuições da formação para o trabalho profissional.

A iniciativa de ^{Câmara e Santos (2012)} fez uso de um estudo transversal com questionário autoaplicável. A amostra foi constituída por egressos selecionados pelo método de amostragem estratificada, abordando os seguintes aspectos: identificação e contatos; estudos após a graduação; atividades profissionais; mercado de trabalho; avaliação do curso de graduação. Os dados foram analisados com o auxílio do SPSS 13.0, de uso corrente nas Ciências Sociais Aplicadas.

^{Higa et al. (2013)} realizaram um estudo transversal de natureza ex-post-facto. Os resultados foram analisados na triangulação das abordagens quantitativa e qualitativa e na perspectiva hermenêutica dialética. As questões estavam relacionadas aos aspectos socioeconômicos, formação continuada, atuação, inserção profissional e avaliação do curso pela óptica do egresso.

^{Pícoli et al. (2017)} realizaram um estudo transversal e descritivo com egressos do curso de Medicina da Universidade Anhanguera-Uniderp/MS. O questionário com perguntas fechadas foi elaborado com base nas competências e habilidades previstas no projeto pedagógico do referido curso. Para análise dos dados utilizou-se a estatística descritiva.

Um modelo de equações estruturais foi utilizado como estratégia metodológica por ^{Mehralizadeh, Dehdashti e kashani (2017)} para examinar os vínculos entre as variáveis relacionadas ao processo de aprendizagem e os resultados da aprendizagem de um programa de graduação em saúde ocupacional no Irã.

A pesquisa realizada por Sobelson (²⁰¹⁷) fez uso do Modelo lógico para avaliar a qualidade e eficácia e determinar o valor do impacto do Programa de Associados de Saúde Pública (PHAP). A avaliação combinou questões formativas e somativas. Todos os dados foram codificados e análises estatísticas descritivas foram realizadas.

^{Souza et al. (2017)} utilizaram o método qualitativo com o objetivo de descrever e analisar a percepção de egressos do curso de graduação em enfermagem sobre o processo de formação e o mundo do trabalho em saúde e enfermagem. A análise dos dados foi realizada por meio da técnica de análise de conteúdo com categorização temática.

^{Vargas e Peixoto (2019)} aplicaram a metodologia quali-quanti para analisar a formação em Pedagogia na Faculdade de Educação da UFMG, o questionário semiestruturado foi composto por questões abertas e fechadas. Os dados foram analisados com o uso da estatística descritiva e análise de conteúdo.

(2) Impacto do programa nas habilidades e conhecimentos adquiridos e aplicados na prática: ^{Kolomitro et al. (2018)} utilizaram a metodologia quali-quanti para a pesquisa de avaliação de egressos de um Programa de Mestrado em Ciências Anatômicas na Queen’s University Canadá, com o intuito de avaliar até que ponto os cursos e as oportunidades de aprendizagem no programa atenderam às necessidades dos alunos e os ajudaram a ter sucesso após a graduação. Os dados quantitativos foram analisados por técnicas de estatística descritiva e as respostas qualitativas foram codificadas tematicamente.

Adicionalmente, a investigação implementada por ^{Plugge e Cole (2011)} analisou a percepção dos egressos de um programa de mestrado em saúde pública internacional de Oxford, destinado a indivíduos com evidências de compromisso com a saúde pública em países de baixa renda e média renda. A metodologia utilizada foi qualitativa, por meio de entrevistas individuais semiestruturadas. Para análise dos dados utilizou-se a análise temática, com posterior vinculação dos resultados às características dos alunos.

(3) Processo de Formação, Fragilidades e Fortalezas: O trabalho conduzido por Kensley et al. (2011) adotou o método misto de investigação (quanti-quali) para identificar pontos fortes e áreas do programa Accelerated Bachelor of Science Program in Nursin (ABS) que necessitam de melhorias. Os dados foram inseridos no SPSS para análise estatística de frequência descritiva e para as respostas qualitativas foi realizada análise de conteúdo.

^{Jeannot, Stoll e Chastonay, (2013)} fizeram uma pesquisa transversal, com abordagem quali-quanti, por meio de questionário autoadministrado com ex-alunos formados na Universidade de Genebra do Programa de Mestrado em Saúde Pública, para avaliar os desafios enfrentados por um programa de mestrado. Os dados foram exportados para STATA, versão 10. Para a análise dos dados utilizaram-se: frequências de resumos descritivos para os dados categóricos, consistência interna para dados da escala likert, bem como Alfa crobach para consistência interna e intervalos de confiança de 95%.

^{Kling et al. (2016)} pesquisaram estagiários de pós-graduação matriculados em programas de residência da Escola de Pós-Graduação em Educação Médica de Mayo. Utilizaram um questionário com perguntas fechadas (verdadeiro/falso) e perguntas abertas. A análise estatística foi realizada usando R, versão 3.2.0 (R Foundation for Statistical Computing), os testes qui-quadrado de Pearson foram usados para avaliar a qualidade do ajuste, e para os dados qualitativos foi realizada uma análise temática.

^{Huybers (2017)} utilizou o Questionário de Experiência do Curso (CEQ), uma ferramenta quantitativa amplamente empregada no Reino Unido e na Austrália para avaliar a percepção dos alunos de programas de graduação. O CEQ aborda vários aspectos do programa, incluindo ensino, desenvolvimento de competências, cargas de trabalho e avaliação do curso.

Na pesquisa com egressos do curso de doutorado nas áreas de Saúde Coletiva, Biociências e Atenção à Saúde, ^{Hortale et al. (2014)} fizeram uso da metodologia quantitativa. O instrumento utilizado para pesquisa foi questionário com perguntas fechadas. Para análise dos dados, as respostas foram agrupadas em 3 coortes definidas, com ponderações de acordo com a taxa de respostas para garantir a representatividade dos três grupos nas análises globais.

(4) Motivações para a realização do Programa e Impactos percebidos na Prática: na pesquisa desenvolvida por ^{Junge et al. (2010)}, o foco recai sobre os níveis de interesse, preparação e a real busca de estudos de pós-graduação e carreiras profissionais nas ciências. Participaram da pesquisa alunos do programa Summer Undergraduate Research Experience (SURE) na Emory University in Atlanta, por meio de dois estudos metodologicamente distintos - um baseado em autorrelato de acompanhamento de dados e o outro, um estudo de desempenho acadêmico. A análise dos dados foi realizada por meio do modelo de regressão múltipla, incluindo variáveis de controle.

O exame conduzido por ^{Zahran (2013)} utilizou um desenho etnográfico, narrativas de entrevistas semiestruturadas com participantes de cinco hospitais jordanianos e duas universidades públicas para captar os principais fatores motivacionais dos enfermeiros jordanianos para cursar um mestrado e explorar o impacto percebido na prática. Os dados foram analisados tematicamente.

(5) Impacto, eficácia e qualidade de programas com aprendizagem prática: com relação ao Impacto do Programa nas Habilidades e Práticas Profissionais, ^{Papadopoulos e Armatas (2013)} desenvolveram uma abordagem multimétodo para a avaliação de um Programa de Habilidades de TIC, o qual incluiu pesquisa on-line pós-programa, entrevistas semiestruturadas com ex-alunos, professores e supervisores da indústria e dois grupos focais. Para os referidos autores, a abordagem multimétodo permitiu captar a voz do exaluno e realizar uma triangulação com as observações de professores e profissionais da indústria sobre as capacidades e empregabilidade desenvolvidas no programa.

(6) Impacto do Programa no Perfil do Graduado e na Trajetória Profissional: as análises realizadas por ^{Nepomuceno, Costa e Shimoda (2010)}; Lívia Dias de Oliveira Nepomuceno e Helder Gomes Costa (2012) apresentam como proposta metodológica o mapeamento de lacunas proposto em ^{Costa e Costa (2003)} e o conjunto de critérios reportado em ^{Neves e Costa (2006)} para análise das diferenças entre percepções dos distintos grupos envolvidos na pesquisa de impacto do mestrado profissional sobre o perfil de egressos da área de Engenharias III.

^{Souza et al. (2011)} analisaram a percepção dos egressos de enfermagem da FENF/UERJ sobre sua atuação e vivência no mundo do trabalho por meio da abordagem qualitativa descritiva, a partir de entrevistas semiestruturadas. Os dados foram tratados à luz da análise de conteúdo, a qual constituiu duas categorias empíricas: o prazer advindo do trabalho e o sofrimento advindo do trabalho.

Por fim, foi realizado um estudo de métodos mistos por Bunnaaisie et al. (2018) avaliando a empregabilidade e experiências de carreiras de egressos internacionais do Mestrado em Saúde Pública do Reino Unido. Os dados foram obtidos de uma pesquisa online, seguida de entrevistas semiestruturadas. Para análise dos dados quantitativos utilizouse a estatística descritiva, já para os dados qualitativos, análise de conteúdo.

IDENTIFICAÇÃO E DEMOGRAFIA

Ao analisar os 22 artigos, é possível observar que avaliação de egresso pode ser publicada em diversos periódicos, uma vez que as publicações ocorreram em 21 periódicos diferentes (Figura 2). Entretanto, como a maioria dos artigos concentrou-se em avaliar egressos de cursos na área da saúde, os periódicos nessa área foram os que prevaleceram. Nesse contexto, a Revista Brasileira de Educação Médica publicou o tema em duas oportunidades.

Fonte: Elaboração pelas autoras.

Figura 2 Distribuição dos 22 estudos por periódicos 

A Figura 3 especifica os países que mais publicaram artigos sobre avaliação de egresso, com destaque para o Brasil com 45,5% das publicações, seguido dos Estados Unidos com 18,2 e Reino Unido com 9,1%. Vale destacar que a base Scielo Brasil concentra publicações brasileiras, justificando o percentual elevado de publicações sobre a temática no Brasil.

Fonte: Elaboração pelas autoras.

Figura 3 Distribuição dos 22 estudos por país 

No que se refere ao ano de publicação (Figura 4), observa-se que há um equilíbrio na produção anual, com destaque para os anos 2013 e 2017 que obtiveram 18,18% das publicações, seguidos de 2010 e 2011, com 13,64%. Em relação ao número de autores, observou-se que a elaboração dos artigos foi realizada, em sua maioria, com a colaboração de mais de dois autores.

Fonte: Elaboração pelas autoras.

Figura 4 Ano de publicação dos 22 estudos 

TIPIFICAÇÃO METODOLÓGICA

Em se tratando da tipificação metodológica e, especificamente, o enquadramento dos estudos, optou-se por selecionar artigos teóricos-empíricos. Em relação à natureza do estudo, constatou-se a predominância de estudos quantitativos, correspondendo a 45,4% do total, seguidos de estudos quali-quanti com 36,4%. Já as pesquisas qualitativas apresentaram-se em menor número, 18,2%.

PROCEDIMENTOS E TÉCNICAS

Quanto aos procedimentos, especificamente aos instrumentos utilizados para a coleta de dados, prevaleceu o questionário com um percentual de 77,3%, seguido da entrevista com 27,3% e da pesquisa documental com 22,7% (Figura 5). Somente a pesquisa da Victoria University, na Austrália, cujos autores são Theo Papadopoulos e Christine Armatas (2013), fez uso de três técnicas: questionário, entrevista e grupo focal.

Fonte: Elaboração pelas autoras.

Figura 5 Instrumentos de pesquisa mais utilizados nos 22 estudos 

Este resultado revela a prevalência da abordagem quantitativa nas pesquisas de cunho teórico-empírico.

TÉCNICAS DE ANÁLISE DE DADOS

A técnica de análise de dados mais adotada foi a estatística descritiva com 59,1%, seguida de 54,5% da análise de conteúdo; esse percentual é justificado porque alguns questionários continham questões abertas, já a estatística inferencial foi encontrada em 9,1% dos artigos.

No que tange aos procedimentos, ressalta-se que houve trabalhos que utilizaram mais de um instrumento para coleta de dados ou mais de uma técnica de análise, o que resultou em um somatório de percentuais superior a 100% (Figura 6).

Fonte: Elaboração pelas autoras.

Figura 6 Técnicas de análise dos dados mais utilizadas nos 22 estudos 

SÍNTESE SOBRE A REVISÃO SISTEMÁTICA

Este estudo demonstrou que a temática Avaliação de Egresso, embora difundida em diversos países e universidades, ainda carece de pesquisas, pois é pouco explorada por pesquisadores (^{Jeannot; Stoll; Chastonay, 2013}).

Para ^{Mehralizadeh, Dehdashti e Kashani (2017)}, os dados obtidos por meio dos egressos possibilitam o planejamento interno dos programas e alinhamento dos currículos às necessidades do mercado, já que a aprendizagem está relacionada ao currículo, ao programa, aos recursos institucionais e ao corpo docente.

Os estudos apontam que os egressos valorizam e se beneficiam de programas que proporcionam um forte alinhamento entre o currículo e a prática profissional, permitindo criar oportunidades de aplicar conhecimentos e habilidades adquiridas, promovendo desenvolvimento profissional e pessoal (^{Kemsley et al., 2011}; ^{Papadopoulos; Armatas, 2013}).

^{Souza et al. (2017)} indicam que a aprendizagem adquirida contribui para a construção de uma visão crítica, reflexiva e politizada sobre a realidade do trabalho que os egressos vivenciam. Assim como ^{Souza et al. (2017)}, Buunaaise et al. (2018) também constataram que a visão crítica foi altamente valorizada na pesquisa, além do gerenciamento de projetos e habilidades de pesquisa. Segundo os referidos autores, a maioria dos egressos relatou avanço na carreira após a conclusão bem-sucedida do programa de mestrado.

Já ^{Nepomuceno e Costa (2012)} ressaltam que os maiores impactos do curso, após a formação, estão relacionados à “autoestima” e ao “perfil de pesquisador”. Foram também mencionadas as habilidades de comunicação, as competências relacionadas à avaliação de projetos, as estratégias de pesquisa e o networking como os aspectos mais úteis para a vida profissional do egresso (^{Jeannot; Stoll; Chastonay, 2013}).

Nos estudos de ^{Hortale et al. (2014)}, cujo objetivo era analisar a trajetória e a satisfação profissional de egressos de um programa de doutorado, as maiores proporções de satisfação ocorreram para os aspectos: relevância social do trabalho, oportunidade de novas aprendizagens, exercício de criatividade e desenvolvimento profissional, entretanto a remuneração obteve a menor satisfação.

Outros aspectos que foram apontados por egressos fazem referência à qualificação, à competência e à interdisciplinaridade do corpo docente, juntamente com as oportunidades de vivência acadêmica (^{Ramos et al., 2010}).

^{Plugge e Cole (2011)}, ao apresentarem os resultados de sua pesquisa com egressos de diversas nacionalidades, consideraram como um aspecto positivo a diversidade geográfica, enfatizando a importância de recrutar estudantes de todos os estratos de renda do país, uma vez que enriquece o aprendizado e as experiências universitárias.

Em geral, os resultados encontrados na maioria dos estudos apontam que os egressos consideram ter participado de uma experiência valiosa, tanto em termos de aprendizado como em termos de carreira. Para ^{Kolomitro et al. (2018)}, grande parte do sucesso nos programas advém de dois aspectos: características pedagógicas que reconhecem e apoiam o desenvolvimento de habilidades transferíveis e a forte orientação fornecida pelos professores, auxiliando os alunos no alcance de seus objetivos.

Conforme apresentado nesta revisão de literatura, os estudos focalizaram a trajetória profissional do egresso associando-a a outros subtemas como satisfação com o curso; motivação; habilidades e competências adquiridas; pontos fortes e fracos do programa; aspectos acadêmicos e os reflexos destes na vida dos profissionais; oportunidades após o curso; contribuição e importância da aprendizagem prática; remuneração; mudança no perfil do graduado; dentre outros.

Considerando a importância do tema em questão, observa-se um número relativamente baixo de publicações em diferentes áreas, uma vez que a maioria das publicações foi proveniente da área da saúde.

Os resultados encontrados nos artigos aqui examinados estão em consonância com as recomendações do Sistema Nacional de Avaliação da Educação Superior (SINAES) e acentuam a relevância e a necessidade de que a avaliação de egresso seja um dos critérios utilizados para a avaliação institucional, não só para o melhoramento contínuo dos cursos e programas, como também para verificar se a instituição está cumprindo com seu papel de transmitir conhecimento e lançar para o mercado de trabalho profissionais cada vez mais capacitados e preparados para atender às demandas da sociedade (^{Souza et al., 2011}).

A avaliação de egressos como complemento do processo avaliativo é uma atitude proativa, é uma estratégia criativa, inteligente que possibilita antecipar as necessidades face às tendências sociais, conhecer as lacunas e corrigir fragilidades do processo formativo (^{Ramos et al., 2010}).

Tal tarefa atende à proposta do Instituto Nacional de Pesquisas Educacionais (INEP) do Ministério da Educação e Cultura (MEC) que salienta a necessidade de investigar e conhecer todos os itens da avaliação indicados em seus documentos, com destaque para o item que contempla o conhecimento do egresso (^{Souza et al., 2011}).

CONSIDERAÇÕES FINAIS

Ao analisar a produção científica nacional e internacional, no período de 2010 a 2019, apresentando um panorama sobre a temática, elaborou-se um portfólio bibliográfico composto por 22 artigos que permitiu identificar os aspectos considerados na avaliação de egressos, a tipificação metodológica e os procedimentos para coleta e análise de dados mais utilizados. Assim, constatou-se a preferência por estudos com uso de abordagem quantitativa, seguidos de estudos mistos, revelando o uso predominante de questionários para a coleta de dados. A análise estatística descritiva foi amplamente adotada para a interpretação dos dados, refletindo uma inclinação dos pesquisadores por metodologias convencionais.

A recomendação de estender a pesquisa para além dos egressos, envolvendo graduados, empregadores, docentes e coordenadores visa contrastar percepções diversas e promover melhorias curriculares significativas e consequentemente melhorias na preparação dos candidatos para atuar profissionalmente (Buunaaise et al., 2018; ^{Nepomuceno; Costa, 2012}; ^{Ramos et al., 2010}). Contudo, é importante reconhecer que a predominância de métodos quantitativos pode limitar a profundidade das análises qualitativas e a compreensão de nuances contextuais nas experiências dos egressos.

Outras recomendações propõem pesquisas contínuas de egressos com o objetivo de fazer comparações contemplando aspectos como o sucesso percebido no programa e o estresse vivenciado no programa (^{Kemsley et al., 2011}). Avaliar níveis de interesse, busca efetiva de estudos de pós-graduação e carreiras profissionais (^{Vargas; Peixoto, 2019}).

Além de orientar práticas educacionais, os resultados deste estudo têm potencial para informar políticas institucionais e práticas pedagógicas, permitindo ajustes que respondam de forma mais precisa às necessidades dinâmicas do mercado e da sociedade. Entretanto, é importante para futuras pesquisas explorar metodologias mistas e qualitativas que complementem e enriqueçam as perspectivas quantitativas apresentadas.

Conclui-se, portanto, que este estudo pode contribuir tanto para o conhecimento científico sobre a avaliação de egressos como para a importância de um arcabouço teórico e metodológico diversificado e robusto, capaz de capturar a complexidade e a variedade de experiências dos egressos em IES.

Esta pesquisa foi conduzida sem qualquer tipo de financiamento externo, garantindo assim a independência dos resultados apresentados. Esta abordagem não só assegura a imparcialidade na análise dos dados, mas também ressalta o compromisso com a objetividade e a integridade acadêmica.