Introdução

As instituições de ensino superior têm como papel formar profissionais aptos a contribuir para a melhoria da qualidade de vida da população. Esse papel fundamental da universidade pode ser encontrado como, por exemplo, no Estatuto da UFTM, art. 6º do capítulo III (^{UFTM, 2013}). Para contribuir com o atendimento desses preceitos, os discentes dos cursos de graduação, além de receberem os conhecimentos básicos exigidos por lei, que são repassados nas disciplinas propostas pelos projetos pedagógicos dos cursos, têm a possibilidade de participar de programas educacionais que visam a uma formação complementar.

Um desses programas é o Programa de Educação Tutorial - PET -, criado em 1979 pela Capes como Programa Especial de Treinamento e oficializado pela lei n. 11.180 em 2005 (Brasil, 2005), com o objetivo de nortear ações da indissociabilidade do ensino, da pesquisa e da extensão. Seguindo estas características, o PET propicia aos alunos uma formação extracurricular ampliando seus conhecimentos e ao mesmo tempo melhorando a qualidade acadêmica dos cursos de graduação que possuem grupos PET.

O programa possui uma plataforma própria para aperfeiçoar e gerenciar as ações do PET. É o Sistema de Gestão do PET - Sigpet 2.0 -, que faz parte do Sistema de Gerenciamento de Bolsas do Ministério da Educação. Nesse sistema, estão presentes os módulos de Pagamento de bolsa, Planejamento anual, Relatório de atividades, Custeio e prestação de contas. Entretanto, apesar de o PET ser um programa bem estruturado e tradicional dentro da realidade das universidades brasileiras, há uma temática sempre presente nos encontros promovidos pelo programa e na Comissão Executiva Nacional do PET - Cenapet -, que gera muitas discussões em busca de uma solução que possa contemplar as exigências previstas nas legislações do Programa. Essa temática é a avaliação das atividades dos grupos PET.

De acordo com a portaria MEC n. 976/10 (^{Brasil, 2010}) e de suas alterações definidas na Portaria MEC n. 343 de 2013 (^{Brasil, 2013}) cabe à Comissão de Avaliação avaliar o planejamento e o relatório anual das Comissões Locais de Acompanhamento e Avaliação - CLAA - das instituições que abrigam os grupos PET, assim como o relatório consolidado das respectivas instituições que abrigam grupos PET, além de realizar a avaliação de desempenho dos CLAA e do programa PET.

Para que a comissão de avaliação possa exercer seu papel, é necessário que as CLAA enviem seus relatórios anuais com as avaliações dos grupos PET das suas universidades, verificando se todos os critérios estabelecidos pelo programa e se as ações propostas pelos grupos em seus planejamentos anuais foram atendidas. Apesar da exigência prevista na portaria MEC n. 976/10 (^{Brasil, 2010}), não há ferramenta ou métodos para a realização das avaliações, fazendo com que cada universidade tenha autonomia para criar seu próprio procedimento de avaliação. Numa tentativa de solucionar essa situação, o Cenapet apresentou uma proposta de avaliação de tutores que avaliaria também os programas das universidades. As discussões geraram um modelo de avaliação, mas que não foi aplicado. O levantamento de informações realizado para a criação do formulário proposto neste estudo de acompanhamento e avaliação do PET foram baseadas neste documento do Cenapet.

A avaliação dos resultados dos programas educacionais, instituídos pelo governo ou institucionais, é dimensão fundamental para o bom andamento dos programas, além de ser uma prestação de contas para a sociedade no que diz respeito às ações da gestão pública para melhoria da educação brasileira. Apesar disso, observa-se que no caso do PET, a avaliação ocorre de maneira distinta em cada instituição, ou seja, cada CLAA elabora seus próprios procedimentos avaliativos para gestão, baseados nas exigências do Programa, e estabeleçam critérios para avaliar os grupos PET da Universidade. Isso fica claro pelas legislações, a Portaria MEC n. 976/10 (Brasil, 2010), e suas alterações definidas na portaria MEC n. 343/13 (Brasil, 2013), que estabelecem que a Comissão de Avaliação deve considerar o planejamento e os relatórios anuais dos CLAA.

Percebe-se, portanto, que não há direcionamentos nas legislações e documentos oficiais do programa de uma proposta de elaboração coletiva ou autonomia das universidades em construir seus procedimentos de avaliação, razão pela qual o Cenapet resolve construir um modelo para avaliação do tutor.

Ao longo dos anos de sua existência, o Programa passou por inúmeros momentos ameaça de certos governos de findá-lo, porém, a organização política dos grupos PET foram de fundamental importância para sua manutenção. Reconhece-se a necessidade de elaboração de um documento de avaliação para intensificar a importância do PET nas universidades brasileiras, devido a sua comprovada eficiência enquanto política pública de educação no ensino superior. Dessa forma, objetivou-se criar um instrumento avaliativo para os grupos PET baseado nos critérios estabelecidos pelas legislações vigentes do Programa e validá-lo junto a juízes/especialistas - tutores e interlocutores PET e PET-Conexões - de todas as regiões do país.

Metodologia

Percebendo a necessidade local da elaboração de um instrumento de acompanhamento e avaliação dos programas que demonstrasse de forma mais explícita a importância das ações promovidas pelos grupos PET, e verificando em pesquisas nos sites de outras instituições a falta de unicidade na forma de avaliar os grupos PET, definiu-se pela criação de um formulário baseado nas exigências presentes nas legislações do PET e no questionário criado pelo Cenapet.

Para a elaboração do instrumento de avaliação dos grupos PET, foi utilizada pesquisa qualitativa, descritiva e documental. As etapas metodológicas seguem as orientações de ^{Carvalho, Gottems e Pires (2015}) para elaboração, validação e aplicação do instrumento. Assim, a pesquisa está dividida nas seguintes etapas:

1ª etapa: elaboração do instrumento original: foi feita revisão de literatura de publicações a respeito da temática, além do estudo das legislações que regulamentam o programa. A minuta elaborada em 2014 pela Comissão Nacional de Avaliação e o formulário utilizado atualmente pela Pró-Reitoria de Ensino da UFTM, serviram de subsídios para criação do instrumento avaliativo. Foi organizado um instrumento com 31 questões, estruturado em sete seções. As questões do instrumento de avaliação abordam os seguintes temas: a) identificação dos grupos PET: nome do grupo, cursos de graduação atendidos pelo grupo, nome e e-mail do tutor do grupo, descrição resumida do grupo PET, e quantidade de alunos bolsistas e não bolsistas atendidos pelo programa; b) indissociabilidade entre ensino, pesquisa e extensão: projetos e atividades de ensino desenvolvidos pelo grupo, projetos de pesquisa desenvolvidos e participação em grupos de pesquisa, participação em atividades de extensão e eventos acadêmicos científicos, indicação da produção científica desenvolvida pelo grupo e quais eventos foram promovidos pelo grupo; c) Atendimento aos objetivos do Programa de Educação Tutorial: identificar a contribuição para a elevação da qualidade da formação dos estudantes da graduação, da diminuição da evasão e promoção do sucesso acadêmico, a articulação das atividades do grupo com o projeto político pedagógico dos cursos de graduação, informar se há o uso de tecnologias e metodologias de apoio a aprendizagem pelo grupo e se ocorre a atuação conjunta de bolsistas e tutor para contribuir, através de ações e atividades do grupo, na melhoria da formação de outros estudantes de graduação da Universidade, informar se as ações previstas pelo grupo consideram a diversidade, ações afirmativas de defesa e promoção dos direitos humanos, de igualdade étnico-racial e de responsabilidade social e se as ações realizadas pelo grupo estão relacionadas com o que foi proposto no início do ano no plano de atividades; d) Gestão dos grupos PET: relacionar se a aplicação dos recursos destinados ao custeio do programa estão relacionadas ao que foi estabelecido no plano de atividades anual, indicar se há uma política de autoavaliação do grupo, acompanhando periodicamente seus resultados para a melhoria dos processos de ensino-aprendizagem, descrever como ocorrem as discussões do grupo atendendo ao critério de autoavaliação, e informar se há articulação entre tutores e interlocutor PET com os demais gestores da IES, garantindo uma melhoria do programa, principalmente em relação a disponibilidade de recursos de infraestrutura para realização do Programa; e) Considerações finais: o tutor deverá informar as observações em relação ao desenvolvimento das atividades do grupo durante o ano. O instrumento elaborado foi submetido à validação por juízes.

2ª etapa: elaboração do instrumento a ser validado pelos especialistas: a validação do conteúdo do instrumento, é um processo que avalia sua representatividade ao abordar adequadamente o universo a que se propõe e, ainda, pretende medir ou abordar a exclusão de elementos desnecessários. Foi utilizado o Índice de Validade de Conteúdo - IVC - para identificar o grau de concordância entre os especialistas durante o processo de análise das respostas (^{Carvalho; Gottems; Pires, 2015}). Este índice permite analisar cada item individualmente e depois o instrumento como um todo. Considerando a recomendação de obter concordância de, pelo menos, 80% entre os juízes serviu como um dos critérios de decisão sobre a pertinência do item a que teoricamente se referiu: IVC ≥ 0,8) (^{Pasquali, 1998}).

Os juízes tiveram de avaliar cada conjunto de itens ou o item individualmente, considerando os seguintes critérios: relevância, representatividade, clareza, objetividade, simplicidade, bem como incluir sugestões de alterações se achar necessário.

O instrumento de validação foi constituído com 15 perguntas objetivas, de resposta opcional, e 15 perguntas abertas, de resposta opcional, para cada item ou conjunto de itens analisados. Para tornar o instrumento de validação claro e de fácil entendimento para a validação, foi feita a imagem dos itens do instrumento original do Google forms. Porém, foi disponibilizado o link do instrumento original para o especialista avaliar o instrumento, se necessário.

Foram utilizados como critérios adicionais para a revisão final do instrumento: a) redundância do item com outros existentes no instrumento; b) o equilíbrio entre os itens com afirmações positivas e negativas em cada dimensão; c) a frequência de sugestões e recomendações apresentadas pelos juízes para cada item; d) a coerência entre o item e as condições reais de trabalho comumente relatadas nos estudos sobre avaliação de cursos superiores.

A validação do instrumento foi feita por juízes, que são professores que atuam como tutores do Programa PET e interlocutores de grupos PET - técnicos em assuntos educacionais - de diferentes regiões do Brasil, para assegurar a diversidade da percepção das informações do instrumento. Portanto, na validação, foi enviado o convite de participação para Grupo 1 - 20 docentes tutores de grupos PET e Grupo 2 - 10 técnicos em assuntos educacionais.

Como a metodologia de validação requer um número mínimo de seis e máximo de dez especialistas, esperava-se que ao ser enviado o convite para trinta participantes, conseguiríamos obter o número mínimo de respostas para a validação do instrumento. O contato inicial com os juízes foi realizado por carta-convite via e-mail e, após o aceite, o participante recebia o link para a participação na validação do instrumento, no qual havia a necessidade de consentir a participação pelo termo de consentimento livre e esclarecido, caracterizando as amostras da pesquisa como busca ativa. Foram escolhidos professores e técnicos em assuntos educacionais que atuavam como tutores e interlocutores PET em universidades federais das cinco regiões brasileiras pertencentes a grupos PET e PET-Conexões de diversas áreas do conhecimento: Ciências Exatas e da Terra; Ciências Biológicas; Engenharias; Ciências da Saúde; Ciências Agrárias; Ciências Sociais; Ciências Humanas; Linguística, Letras e Artes.

Os dados obtidos foram organizados em planilhas no programa Excel 2000 e receberam tratamento descritivo, destacando-se que o índice de concordância estabelecido deve ser maior ou igual a 80% para que os itens fossem tidos como validados.

Para o cálculo do Índice de Validade do Conteúdo - IVC - de cada uma das questões analisadas pelos juízes, considerou-se primeira a escala utilizada na validação. Utilizou-se escala tipo Likert com pontuação de um a cinco, com as seguintes alternativas de respostas: 1- Item não relevante ou não representativo; 2- Item necessita de grande revisão para ser relevante ou representativo; 3- não sei/não se aplica; 4- Item necessita de pequena revisão para ser representativo; 5- Item relevante ou representativo. As respostas 1, 2 ou 3 foram revisadas ou excluídas, já as respostas 4 e 5 foram utilizadas para o cálculo do IVC. Sendo assim, a classificação da relevância das respostas dos juízes foi recodificada como 1 - escala de relevância 4 ou 5 -; e 0 - escala de relevância 1, 2 ou 3. A fórmula utilizada para o cálculo individual de cada uma das respostas, baseada em ^{Alexandre e Coluci (2011}), foi:

À vista disso, a classificação da relevância das respostas dos juízes foi recodificada como 1 - escala de relevância 4 ou 5 - e 0 - escala de relevância 1, 2 ou 3. Já para o cálculo do IVC Geral considerou-se o valor do IVC de cada item da escala, e depois calculou-se o IVC médio entre os itens. De acordo com ^{Yusoff (2019}), usando-se a fórmula S-IVC/AVE (AVE = Average Variance Extracted):

Resultados e discussão

A partir dos critérios estabelecidos pelas legislações vigentes do PET, foi criado um instrumento avaliativo com 16 itens, estruturados em sete seções que abordam os seguintes temas: identificação do grupo PET, indissociabilidade entre ensino, pesquisa e extensão, atendimento aos objetivos do Programa de Educação Tutorial, gestão dos grupos PET e considerações finais. Foram enviados 30 convites, sendo 20 convites para professores tutores de grupos PET e 10 convites para técnico em assuntos educacionais atuantes no programa, para participação da pesquisa. Foram recebidas 16 respostas, sendo aplicado nestas respostas a análise dos resultados.

Os quadros 1 a 4 apresentam a versão original dos comentários dos juízes e o IVC para cada item do instrumento. Observou-se que todos os itens do instrumento apresentam índice de validade em concordância maior que 80% (IVC≥0,80). Entretanto, alguns juízes apresentaram sugestões que trazem relevância aos itens e por conta disso foram acatados.

Em relação ao título do questionário - Avaliação anual dos grupos PET -, um participante sugeriu alteração para ‘Acompanhamento e avaliação anual dos grupos PET’. Apesar de o item ter sido validado, a alteração foi acatada”. Para o 3º item do instrumento, foi adicionada a opção para grupos PET Conexões e, no final desse item, dividiu-se em discentes bolsistas e discentes não bolsistas, conforme quadro 5.

Quanto às questões 1 e 1a, foi sugerido que se criasse um campo nesse item para a inserção dos cinco projetos mais representativos e para a inserção de imagem representativas. Assim sendo, para esse item foram criados dois subitens para contemplar-se as sugestões feitas pelos juízes e que, sem dúvidas, serão de grande relevância para o relatório de atividades dos grupos PET.

Já para o item 2 e 2a do instrumento, um dos juízes destacou sobre a integralidade das atividades de ensino, pesquisa e extensão. Entretanto, não há discordância dessa integralidade, mas é necessário ter locais separados no instrumento para que haja espaço suficiente para o grupo apresentar suas atividades. Com relação a isso, foi criado um texto inicial para as questões desse bloco explicando que, se houver projetos integrados, que os tutores citem em todas as respostas desse bloco. A partir da sugestão de outro juiz para o item 2, foi acrescentada a participação de grupos de pesquisa de fora da instituição também. A sugestão da inserção de um campo para anexar imagens que evidenciem as atividades também foi adicionada à questão e, acredita-se que contribuirá sobremaneira para mostrar as atividades do grupo

Para as questões 3 e 3a, sugeriu-se a inserção de um campo para anexar imagens que comprovem as atividades que foi também atendida. Quanto à sugestão de outro juiz sobre projetos de pesquisa que envolva ensino e extensão, novamente, acredita-se que o grupo pode justificar a inserção desses projetos em mais de um campo de avaliação do instrumento, sem ter que modificar nenhuma questão do presente instrumento.

Quanto às questões 4 e 4a, um dos juízes fez uma observação sobre como a listagem dos eventos com links pode colaborar para o processo avaliativo do grupo, e acredita-se que saber em quais eventos o grupo participou é importante, pois demonstra a inserção dos trabalhos desenvolvidos pelo grupo na comunidade científica e social do país. Além disso, os links dos eventos fornecem informações a respeito de cada evento e sua importância em nível local, regional e nacional. Ainda sobre esse item, outro juiz observou que não parecia se relacionar à indissociabilidade, mas sim à participação ou organização de eventos de natureza diversa. Assim, destaca-se que por se tratar de um programa que envolve a tríade ensino-pesquisa-extensão, subentende-se que o grupo participe de eventos acadêmicos de natureza científica e que isso está ligado à indissociabilidade dessa tríade. Entretanto, acrescentou-se a essa questão as palavras ‘técnicos, tecnológicos e culturais’ para ampliar a participação em eventos. Atendendo à sugestão de outro juiz sobre esse item, adicionou-se o registro quantitativo das participações em eventos à questão.

Levando-se em conta as questões 5 e 6, um dos juízes sugeriu considerar mais modalidades de produção técnica como produção de mídias, e essa sugestão foi acatada. Outro juiz sugeriu adicionar mais itens em produção científica e produção técnica, e essas sugestões foram acatadas e inseridas nas questões. Para o juiz que sugeriu dar mais ênfase a atividades de extensão e ensino acredita-se que, com base na avaliação criada pelo Cenapet, contemplam-se ambas as atividades, por exemplo, em produção de material didático, oficinas ministradas e produção de mídias, que foi acrescentada. Entretanto, foram adicionados subitens em cada uma das perguntas desse item para a inserção de hiperlinks, como bem sugerido por outro juiz.

Com relação ao item 7 e 7a, um dos juízes sugeriu a inserção de atividades sociais e culturais, e ambas foram adicionadas à questão 7. Com relação à quantificação dos participantes do evento, houve discordância entre dois juízes, então optou-se por incluir os cinco eventos mais relevantes organizados e manter a estimativa de público atingido, para manter a coerência com as demais questões do instrumento. Foi acrescentado o termo promoção junto ao termo organização como sugerido por outro juiz. Já um dos juízes destacou que esse item não deveria ser incluído no arquivo de avaliação, pois ficaria subentendida essa participação na divulgação do público-alvo atendido. Entretanto, acreditamos que esse item é relevante, pois se evidencia com isso a organização de eventos para a divulgação à comunidade acadêmica e à sociedade das atividades desenvolvidas pelo grupo, assim como, a organização de atividades sociais e culturais que contribuem para articulação entre universidade e sociedade.

Quanto às questões 8 e 9, acatando a sugestão de alguns juízes, inseriu-se um campo para que o tutor possa descrever quais atividades desenvolvidas pelo grupo PET contribuíram para a melhoria do curso de graduação. Além disso, alterou-se a escrita da questão 9 para melhor compreensão dela.

Com relação às questões 10 e 11, decidiu-se por criar um subitem para a descrição das cinco atividades mais relevantes do grupo que representem essa questão, mostrando o uso de tecnologias e metodologias de apoio. Ainda nesse item, acatando o comentário de um dos juízes, decidiu por substituir a palavra bolsista por discente, pois realmente assim a questão envolverá todos os alunos do grupo PET.

Considerando as questões 12 e 13, optou-se por inserir dois subitens para essa questão, um acrescentando mais termos para descrever as ações realizadas, e outro campo para inserção de fotos que demonstrem essas ações.

Já para a questão 14, acatando as sugestões dos juízes, a questão desdobrou-se em três subitens, um sobre a chegada do custeio, outro sobre se todo o grupo participa do plano de aplicação do custeio e um terceiro sobre se a aplicação dos recursos destinados ao custeio do Programa está relacionada ao que foi estabelecido no plano de atividades anual. Além disso, avalia se existe uma colaboração entre tutores, interlocutores e gestores da instituição, com o objetivo de aprimorar o programa e assegurar uma infraestrutura adequada.

Avaliação interna e busca constante por melhorias: O instrumento analisa se o grupo PET implementa uma política de avaliação interna, monitorando regularmente os resultados obtidos para aperfeiçoar os processos de ensino-aprendizagem. Isso estimula uma cultura de avaliação contínua e busca constante por melhorias no programa.

Considerações finais

A validação de um instrumento consiste em demonstrar que ele mede de forma precisa e confiável o que se propõe a medir. Isso garante que os resultados obtidos por meio desse instrumento sejam válidos e possam ser interpretados de maneira adequada. O estudo envolveu a criação de um instrumento avaliativo para o Programa de Educação Tutorial, com base nos critérios estabelecidos pela legislação vigente. O instrumento contém 16 itens estruturados em cinco seções, abordando temas como identificação do grupo PET, indissociabilidade entre ensino, pesquisa e extensão, atendimento aos objetivos do programa, gestão dos grupos PET e considerações finais.

O IVC para cada item do instrumento foi superior a 80% (IVC≥0,80), demonstrando que todos os itens possuíam um índice de validade em concordância. Algumas sugestões dos juízes foram consideradas e incorporadas ao instrumento.

O instrumento permite acompanhar e avaliar os grupos PET, garantindo que suas atividades atendam às especificidades das legislações e contribuam para a melhoria da qualidade da educação. O instrumento coleta informações essenciais sobre a identificação do grupo PET, cursos atendidos, tutor responsável e descrição das atividades desenvolvidas. Essas informações são importantes para o registro e acompanhamento adequado dos grupos.

Avaliação abrangente da indissociabilidade ensino, pesquisa e extensão: o instrumento avalia se o grupo PET está desenvolvendo projetos de ensino inovadores, participando de projetos de pesquisa, realizando atividades de extensão e participando de eventos acadêmicos. Isso garante que o programa esteja cumprindo sua proposta de integrar ensino, pesquisa e extensão.

Registro da produção científica e técnica do grupo,: o instrumento permite registrar a produção científica do grupo, como artigos, livros, resumos em eventos, assim como a produção técnica, incluindo cursos, oficinas, produtos tecnológicos e mídias. Essa avaliação é importante para evidenciar as contribuições do grupo para o conhecimento e para a sociedade.

Promoção do sucesso acadêmico e melhoria da formação: o instrumento avalia se as atividades desenvolvidas pelo grupo PET contribuem para a elevação da qualidade da formação dos estudantes, diminuição da evasão e promoção do sucesso acadêmico. Isso assegura que o programa esteja cumprindo seus objetivos educacionais.

Gestão adequada dos recursos e articulação com a instituição: o instrumento avalia se os recursos destinados ao programa são recebidos regularmente, se há participação do grupo na elaboração do plano de aplicação desses recursos e se a aplicação está alinhada com o plano de atividades. Além disso, avalia se há articulação entre tutores, interlocutores e gestores da instituição, visando melhorar o programa e garantir recursos de infraestrutura adequados.

Autoavaliação e melhoria contínua: o instrumento avalia se o grupo PET possui uma política de autoavaliação, acompanhando periodicamente seus resultados para aprimorar os processos de ensino-aprendizagem. Isso promove uma cultura de avaliação e melhoria contínua no programa.

Este instrumento de acompanhamento e avaliação dos grupos PET é essencial para garantir a qualidade, efetividade e desenvolvimento dos programas, possibilitando o registro adequado das atividades, a identificação de pontos fortes e áreas de melhoria, bem como a promoção do sucesso acadêmico e aprimoramento da formação dos estudantes.