Introdução
A avaliação do ensino superior encontra-se intimamente atrelada à noção de qualidade. Esta, por sua vez, pode incorporar uma polissemia de definições. No entendimento de Dourado e Oliveira (2009, p. 203), a “qualidade é um conceito histórico, que se altera no tempo e no espaço, ou seja, o alcance do referido conceito vincula-se às demandas e exigências sociais de um dado processo histórico”.
É neste sentido que Dias Sobrinho (2008, p. 819) considera a qualidade “um conceito de fundamentação de apoio a decisões”, ao afirmar que:
A qualidade é, então, conformidade a padrões previamente estabelecidos por especialistas e pelos membros de órgãos que definem os critérios e padrões através dos quais são controlados os setores acadêmicos e efetuadas as medidas (DIAS SOBRINHO, 2008, p. 819).
Sob esta ótica, para o desenvolvimento da presente investigação adotamos a concepção de qualidade da educação superior preconizada pelo Sistema Nacional de Avaliação da Educação Superior (SINAES), que considera o referido conceito a partir do atendimento a princípios fundamentais, tais como: responsabilidade social; respeito à autonomia, à identidade, à missão e à história das instituições; compreensão de uma avaliação desenvolvida a partir de um conjunto integrado de indicadores de qualidade; caráter público dos procedimentos e dos resultados; participação da comunidade acadêmica e da sociedade civil, por meio de suas representações; e continuidade do processo avaliativo (BRASIL, 2004; INEP, 2009).
Nesse sistema, a avaliação é concebida como instrumento de política educacional objetivando a sustentação da qualidade do sistema educacional superior.
[...]
É um sistema integrado que busca cruzar informações nas diversas dimensões da instituição, visando realizar uma avaliação sistêmica e não pontual (AUGUSTO; BALZAN, 2010, p. 599).
Com o objetivo de estabelecer um padrão de qualidade, o SINAES elencou 10 dimensões, sendo cada uma delas desmembrada em indicadores qualitativos distribuídos em uma escala de 5 níveis, pontuados com notas que variam de 1 a 5, cada nota correspondendo a um descritor. São esses indicadores que definem os padrões de qualidade considerados desejáveis por parte do Estado em relação ao ensino superior.
Afirma-se que a avaliação institucional orienta-se para a melhoria da qualidade, tal como dito por Dias Sobrinho (2008), para quem a avaliação da educação superior é uma busca por essa melhoria. Desta forma, os processos de autoavaliação institucional tendem a explicitar, nas Instituições de Ensino Superior (IES), quais, dos indicadores avaliados, devem ser melhorados.
Pautada nessas influências, a avaliação institucional tem se tornado um dos campos prioritários no processo de construção do ensino superior em âmbito mundial, em geral e, em particular, no Brasil.
Já na primeira gestão do governo de Fernando Henrique Cardoso (1995-1998), foram articuladas políticas públicas com o objetivo de promover a expansão da oferta da educação superior, essencialmente, com incentivo à participação do setor privado nesse segmento. Paralelamente a isso, o Estado ampliou os esforços para desenvolver e implementar mecanismos de avaliação nas IES e em seus cursos, com a justificativa de que com a expansão dessa oferta fez-se necessário estruturar um sistema capaz de garantir a qualidade dos cursos e instituições em funcionamento no país (TAVARES et al., 2014). Nesse cenário, foram ganhando força as inciativas para se avaliar a qualidade das políticas públicas, especialmente aquelas voltadas para a educação superior.
Dias Sobrinho (2010) considera relevante a presença do Estado com seu papel de supervisão e avaliação do sistema, com vistas a evitar a multiplicação de instituições e cursos que apresentem qualidade questionável, por vezes de caráter meramente comercial.
A metodologia que orientou este artigo foi, essencialmente, levantamento bibliográfico e análise documental. Sendo escolhidos os 05 (cinco) últimos RAAI’s elaborados pela CPA da UFPB, no período de 2014 a 2018. Essa escolha se deu em função da compreensão da importância que a AAI representa para o autoconhecimento das Instituições Federais de Ensino Superior (IFES) em geral, e da UFPB em específico. Conhecendo-se, a IES possui maior clareza em relação às possibilidades de aperfeiçoar as suas práticas acadêmicas e de gestão institucional. Contribuindo, assim, para o fortalecimento da qualidade da educação superior em âmbito nacional e para proporcionar altos níveis de formação científica, profissional e cidadã àqueles que demandem dos serviços da UFPB.
Para este estudo, optamos pela realização de uma meta-avaliação que promoveu exaustiva análise e reflexão dos cinco últimos RAAI’s da UFPB, realizados durante a vigência do PDI (2014-2018) da UFPB. Utilizamos como parâmetro o IAIE (2017) do SINAES, aplicado pelas Comissões de Especialistas formalmente designadas pelo INEP para a realização da Avaliação Institucional Externa (AIE). Pois, uma vez que a AAI deve ser compreendida também como um momento de preparação para a AIE, se a instituição desenvolve o seu processo avaliativo alinhado com o que preconiza a AIE, detecta as vulnerabilidades com antecedência e terá melhores condições de empreender esforços em prol de saná-las e, assim, obter resultados mais favoráveis quando receber a visita dos avaliadores do INEP.
Diante disso, optamos pela análise dos cinco últimos RAAI’s da CPA em relação ao citado IAIE, à luz da análise SWOT, como ferramenta para auxiliar na identificação das forças, fraquezas, oportunidades e ameaças que possam impactar positiva ou negativamente a qualidade da educação no âmbito da UFPB.
O termo SWOT é um acrônimo proveniente da junção das palavras de origem inglesa: S - Strengths (Forças), W - Weakness (Fraquezas), O - Opportunities (Oportunidades) e T - Threats (Ameaças). A matriz SWOT apresenta-se como uma ferramenta de grande relevância para o autoconhecimento da organização, possibilitando o planejamento de estratégias voltadas à correção das fragilidades identificadas e ao aprimoramento do que a empresa já faz bem. Trata-se de um meio utilizado para monitorar os ambientes externo e interno, e promover os ajustes necessários à gestão (KOTLER; KELLER, 2012).
De acordo com Guerra e Ribeiro (2019, p. 05), “a análise de SWOT se constitui em um método de efetiva relevância na identificação das forças, fraquezas, oportunidades e ameaças em que as empresas se inserem”.
Ao analisar os cenários apresentados pela matriz SWOT, o gestor deve estar atento em relação às diferenças presentes entre o ambiente interno e externo à organização. Enquanto a realidade interna pode ter suas variáveis controladas e alteradas pela organização, a realidade externa não tende a sofrer intervenção por parte da organização. Nesse caso, cabe a esta o papel de manter-se atualizada quanto às situações que possam lhe proporcionar vantagem competitiva (oportunidades) e, do mesmo modo, para ter ciência o quanto antes das ocorrências que possam impactar negativamente o negócio (ameaças) (RENNÓ, 2013).
Assim, a matriz SWOT possibilita uma análise panorâmica em quatro cenários, de modo a permitir a compreensão global da realidade em que a organização está inserida e, por conseguinte, amplia as informações que irão nortear a estratégia de planejamento mais adequada à situação concreta daquela instituição, conforme demonstra o Quadro 1.
Fatores Externos | |||
Opportunities (Oportunidades) |
Threats (Ameaças) |
||
Fatores Internos | Strengths (Forças) | Estratégia de Desenvolvimento Nessa condição, a organização deve valer-se dos seus pontos fortes, como diferencial competitivo, para aproveitar as oportunidades. |
Estratégia de Manutenção Diante desse cenário, deve-se aproveitar ao máximo pontos fortes, no intuito de amenizar os efeitos das ameaças detectadas. |
Weakness (Fraquezas) | Estratégia de Crescimento Face a esse quadro, as estratégias devem ser traçadas de modo a reduzir os efeitos negativos provocados pelos pontos fracos, e se esforçar para aproveitar as oportunidades que surgirem. |
Estratégia de Sobrevivência Esse é considerado o pior dos cenários, o mais delicado. No qual a organização necessita traçar estratégias para reduzir os pontos fracos e superar, na medida do possível, as ameaças. |
Fonte: Adaptado de Oliveira e Rossi (2019, p. 86).
Por esse motivo, esta ferramenta de gestão não deve ser pensada como um instrumento voltado apenas à iniciativa privada, ela pode e deve subsidiar a tomada de decisão na administração pública. Sant’Ana et al (2017, p. 31), corroboram com esse entendimento ao afirmarem que a análise SWOT também se aplica a organizações públicas, uma vez que os resultados a serem alcançados pelas políticas e, de certo modo, esperados pela população, são impactados direta ou indiretamente por múltiplas variáveis de ordem interna ou externa à organização.
Seguindo esse pensamento, analisamos os cinco últimos RAAI’s da UFPB com relação ao IAIE 2017 do SINAES, à luz da matriz SWOT. Obtivemos os resultados a partir desse confronto, com a indicação das fragilidades identificadas, juntamente com a proposição de ações a serem implementadas com vistas a superá-las ou, ao menos, atenuá-las. Do mesmo modo, indicamos os aspectos em que a universidade se destaca, para que haja uma reflexão acerca das ações a serem desenvolvidas no intuito de manter aquele padrão de qualidade e, preferencialmente, aperfeiçoá-los, rumo à melhoria contínua da qualidade.
Sistema Nacional de Avaliação da Educação Superior
Instituído a partir da publicação da Lei nº 10.861, de 14 de abril de 2004, o SINAES compreende um conjunto de avaliações realizadas a partir de diferentes metodologias, aplicadas em momentos distintos e incluindo diversos atores. O sistema contempla todas as IES (públicas ou privadas) vinculadas ao sistema federal de ensino e “busca assegurar, entre outras coisas, a integração das dimensões internas e externas, particular e global, somativo e formativo, quantitativo e qualitativo e os diversos objetos e objetivos da avaliação” (INEP, 2009, p. 91-92).
O SINAES encontra-se estruturado em três pilares avaliativos: a Avaliação das Instituições de Educação Superior (AVALIES), a Avaliação dos Cursos de Graduação (ACG) e o Exame Nacional do Desempenho dos Estudantes (ENADE). Contempla, ainda, instrumentos de informação à sociedade: o Censo da Educação Superior e o Cadastro de Cursos e Instituições. Esses processos são aplicáveis, obrigatoriamente, às IES pertencentes à rede pública federal e à iniciativa privada, e, facultativamente, às IES criadas e mantidas por Estados e Municípios, e são desenvolvidos sob a responsabilidade do INEP (INEP, 2009).
A AVALIES subdivide-se em duas modalidades: a AAI, desenvolvida pela própria instituição, obedecidos os pré-requisitos estabelecidos no SINAES; e a AIE, realizada por uma comissão formada por especialistas formalmente designados pelo INEP. No presente estudo, daremos ênfase à AAI.
Outra modalidade de avaliação presente no SINAES é a ACG, como o próprio nome sugere, ela se aplica aos cursos de graduação de todas as instituições abrangidas pelo sistema. A ACG está balizada em 3 dimensões: corpo docente, instalações físicas e organização didático-pedagógica. E tem por objetivo identificar as condições de ensino ofertadas aos estudantes de graduação (BRASIL, 2004).
Como terceiro procedimento de avaliação, o SINAES possui o ENADE, talvez o mais difundido pela imprensa, consiste em um exame de realização obrigatória para fins de conclusão de curso, com periodicidade trienal de avaliação para cada área do conhecimento, possibilitando aos cursos serem avaliados a cada três anos. A aplicação do exame é voltada aos estudantes de graduação, ingressantes e concluintes, e pretende identificar a trajetória do aluno, promovendo o cruzamento de competências e saberes que os discentes devem vivenciar ao longo de suas vidas acadêmicas. O ENADE é voltado não ao perfil do aluno concluinte e sim ao perfil do curso, com o objetivo de orientar as IES sobre a necessidade, não de se promover adequações curriculares (BARREYRO; RISTOFF, 2015).
Esses três processos - AVALIES, ACG e ENADE - compõem um sistema global e integrado de avaliação das ações acadêmicas. Cada processo utiliza-se de instrumentos próprios e desenvolve-se em momento específico, articulados entre si, com vistas a identificar os acertos e dificuldades dos cursos e instituições, de modo a oferecer subsídios capazes de contribuir para o desenvolvimento da IES, da formação estudantil, além de apresentar-se como promotor da transparência das ações do Estado ao disponibilizar para a sociedade os resultados dos processos avaliativos.
O SINAES apresenta-se como um sistema avaliativo integrado por diversos instrumentos, dentre eles existem os voltados para auxiliar a coleta e divulgação de dados. Como elementos auxiliares dessa captação, preservação e divulgação de informações, há o Censo da Educação Superior e o Cadastro de Cursos e Instituições, incluindo-se neste o cadastro de docentes.
Cumpre destacar que, segundo o INEP (2009), o SINAES contempla a integração dos instrumentos - autoavaliação, avaliação externa, avaliação das condições de ensino, avaliação de desempenho dos estudantes, censo da educação superior e cadastro das IES e cursos - e estabelece a atribuição de conceitos, ordenados em cinco níveis, a cada uma das dimensões estabelecidas no SINAES.
A AVALIES, reiteramos, utiliza-se de dois processos, a saber: a AAI, conduzida pela CPA de cada instituição e a AIE, realizada pelo INEP/MEC. A AAI articula um estudo reflexivo segundo um roteiro geral - proposto em nível nacional - acrescido de indicadores específicos. O RAAI deve conter todas as informações e demais elementos constantes no roteiro comum (de base nacional) análises qualitativas e ações de caráter administrativo, político, pedagógico e técnico-científico. Esses aspectos devem guiar o processo de avaliação e identificação dos meios e recursos necessários para a melhoria da IES, bem como uma análise de acertos e equívocos do próprio processo de avaliação. Após a realização da AAI, o resultado constituirá o primeiro elemento a ser incorporado ao conjunto de mecanismos constitutivos do processo global de regulação e avaliação. Por sua vez, a Avaliação externa é feita por membros externos, pertencentes à comunidade acadêmica e científica, reconhecidos pelas suas capacidades em áreas específicas, portadores de ampla compreensão sobre instituições universitárias, que são designados pelo INEP/MEC (CAVALCANTI; GUERRA, 2019).
Embora avaliação e regulação apresentem bases teóricas distintas, no SINAES elas encontram-se interconectadas. Conforme preconiza a lei que instituiu o sistema, a avaliação apresenta-se como um referencial básico para fins de regulação e supervisão da educação superior. Nesse sentido, os resultados obtidos pelo conjunto de avaliações promovidas pelo SINAES serão considerados durante o processo de credenciamento e de renovação de credenciamento das IES, bem como nos processos de autorização, reconhecimento e renovação do reconhecimento de cursos (BRASIL, 2004).
Ao promover a criação do SINAES, a Lei nº 10.861/2004 delineou os objetivos, princípios e finalidades que devem nortear todo o sistema. Assim, ele fundamenta-se na necessidade de promover a:
[...] melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos seus compromissos e responsabilidades sociais [...] (BRASIL, 2004).
Desse modo, o SINAES presta-se a obter o levantamento e confrontação de informações contextualizadas, precisas e confiáveis do funcionamento das IES brasileiras, independentemente de suas dimensões, natureza administrativa ou organização acadêmica. Todo esse aparato de informações confere ao Estado maior clareza no tocante ao desenvolvimento de suas políticas públicas voltadas à educação superior.
O Art. 03º da Lei do SINAES elencou dez dimensões a serem contempladas, obrigatoriamente, por ocasião da AVALIES, a saber: I - a missão e o plano de desenvolvimento institucional; II - a política para o ensino, a pesquisa, a pós-graduação e a extensão; III - a responsabilidade social da instituição; IV - a comunicação com a sociedade; V - as políticas de pessoal; VI - a organização e gestão da instituição; VII - a infraestrutura física; VIII - o planejamento e a avaliação; IX - as políticas de atendimento aos estudantes; X - a sustentabilidade financeira. Cumpre salientar que a partir do ano de 2014, com a publicação da Portaria nº 92, de 31 de janeiro de 2014, essas dimensões foram agrupadas, por afinidade, em cinco eixos, conforme Quadro 2.
Eixos | Dimensões |
---|---|
1 - Planejamento e Avaliação Institucional | VIII - o planejamento e a avaliação. |
2 - Desenvolvimento Institucional | I - a missão e o plano de desenvolvimento institucional; III - a responsabilidade social da instituição. |
3 - Políticas Acadêmicas | II - a política para o ensino, a pesquisa, a pós-graduação e a extensão; IV - a comunicação com a sociedade; IX - as políticas de atendimento aos estudantes. |
4 - Políticas de Gestão | V - as políticas de pessoal; VI - a organização e gestão da instituição; X - a sustentabilidade financeira. |
5 - Infraestrutura Física | VII - a infraestrutura física. |
Fonte: Adaptado de INEP (2014, p. 3-4).
A partir da análise dos cinco eixos e das dez dimensões apresentadas pelo SINAES, depreende-se que a avaliação institucional tem o foco voltado para a análise da situação de cada instituição, tendo por base as definições e propostas elaboradas pela própria instituição em seu Plano de Desenvolvimento Institucional (PDI). Dessa forma, a avaliação institucional, em primeira instância, consiste na análise do perfil de cada instituição, em sua missão, visão, valores, metas e objetivos, em relação a coerência do que consta nos documentos e aquilo que se faz na prática. As dimensões estabelecidas evidenciam a interconexão entre planejamento e avaliação. Nesse sentido, O PDI torna-se um instrumento obrigatório, sendo exigido durante os processos de avaliação (institucional, de cursos de graduação e de cursos de pós-graduação) e nas auditorias, internas e externas. Para além da exigência meramente normativa, o PDI deve ser compreendido como instrumento indispensável à IES, que proporciona orientação num determinado período acerca da política de desenvolvimento da instituição e direciona gestores, atuais e futuros, na construção de um plano anual, com vistas a alcançar as metas e os objetivos nele pré-estabelecidos (SANT’ANA et al., 2017).
Instrumentos de Avaliação Institucional Externa
Ao instituir o SINAES, a Lei nº 11. 861, de 14 de abril de 2004, atribuiu ao INEP a responsabilidade pela elaboração dos instrumentos voltados à avaliação da educação superior. Em consonância com o citado dispositivo legal, o Decreto Federal nº 9.235, de 15 de dezembro de 2017, estabeleceu em seu Art. 07º o seguinte:
Art. 7º Compete ao Inep:
[...] III - elaborar e submeter à aprovação do Ministro de Estado da Educação os instrumentos de avaliação externa in loco, em consonância com as diretrizes propostas pela Secretaria de Regulação e Supervisão da Educação Superior e pelos outros órgãos competentes do Ministério da Educação; IV - conceber, planejar, avaliar e atualizar os Indicadores dos instrumentos de avaliação externa in loco, em consonância com as diretrizes propostas pela Secretaria de Regulação e Supervisão da Educação Superior do Ministério da Educação [...] (BRASIL, 2017).
Em cumprimento a essa prerrogativa legal, o INEP por meio da Diretoria de Avaliação da Educação Superior (DAES) expediu a Portaria nº 670, de 11 de agosto de 2017. Por meio do documento, constituiu um Comitê Gestor (CG) com vistas a analisar os Instrumentos de Avaliação in loco - Institucional e de Cursos de Graduação - com a finalidade de revisar e adequar tais instrumentos à legislação vigente. Paralelamente ao citado Comitê, a referida portaria instituiu a Comissão Consultiva (CC), com o fito de possibilitar a participação da comunidade acadêmica, mediante as suas representações, na revisão e aperfeiçoamento dos instrumentos então vigentes, de modo a construir um modelo de avaliação que considere as demandas sociais e das IES (públicas e privadas). Assim, a revisão dos instrumentos contou com ampla participação de diversas instituições e especialistas envolvidos com a temática.
Cumpre salientar que esse não se tratou de um processo isolado. Ao longo da existência do SINAES, os seus instrumentos avaliativos sofreram uma série de modificações com vistas a atender às necessidades de adequação às novas legislações, bem como para promover o respeito à diversidade das IES no que concerne à organização acadêmica e administrativa, ao equilíbrio entre medidas e resultados e para evidenciar maior clareza entre os indicadores e a qualidade pretendida.
A Portaria nº 1.382/2017 promoveu a separação dos instrumentos por ato autorizativo. Assim, a partir de sua vigência foi criado um modelo de IAIE, nas modalidades presencial e a distância, específico para os atos de credenciamento e um outro para os atos destinados a recredenciamento e transformação de organização acadêmica.
De acordo com a apresentação no início do IAIE destinado aos atos de recredenciamento e transformação de organização acadêmica, as dez dimensões elencadas no Art. 3º da Lei do SINAES foram agrupadas por afinidade nos 05 eixos, e estes se desmembram em indicadores que detalham os elementos a serem avaliados e os critérios adotados para a aferição de valor (BRASIL, 2017).
Por sua vez, a Nota Técnica nº 16/2017/CGACGIES/DAES, que dispõe sobre os novos IAIE e IACG, ao tratar do IAIE explicitou os elementos que o compõem:
I - Objeto de avaliação: indicado por seu título;
II - Conceito: valor numérico que representa um nível crescente de qualidade (1 a 5);
III - Critério de análise: conjunto de atributos que caracterizam a qualidade do objeto de análise, associados a um conceito;
IV - Critério aditivo: atributo suplementar que integra o critério de análise para os conceitos 4 e 5;
V - Observação: comentário informativo sobre a aplicação do Indicador (INEP, 2017, p. 4).
Pelo explicitado, o IAIE pode ser compreendido como uma ferramenta que por sua robustez de informações realiza uma radiografia da IES avaliada, e em conjunto com os outros mecanismos constituintes do SINAES, permite o conhecimento da realidade da IES em seus múltiplos aspectos: ensino, pesquisa, extensão, gestão administrativa, infraestrutura etc. O instrumento foi estruturado em cinco eixos e estes, por sua vez, desmembrados em 50 indicadores.
Dentre os cinquenta indicadores distribuídos por afinidade nos 5 (cinco) eixos do IAIE, apenas trinta e quatro deles são aplicáveis a toda e qualquer IES, independentemente de sua estrutura - faculdade, centro universitário e universidade - e da modalidade de ensino adotada - presencial, semipresencial ou a distância. Assim, 16 (dezesseis) deles podem ou não ser utilizados a depender da estrutura ou da modalidade de ensino da IES avaliada.
Autoavaliação institucional da UFPB
De acordo com a Lei do SINAES, a Comissão própria de Avaliação (CPA) é um órgão colegiado formado por membros da comunidade acadêmica - docentes, discentes e técnicos-administrativos - e da sociedade civil organizada, que possui a função de coordenar todo o processo de autoavaliação da IES à qual pertence, assegurada a esta a condução dos processos avaliativos com autonomia em relação à administração superior, aos conselhos e demais órgãos colegiados da IES. Além disso, cumpre ainda a função de sistematizar informações e fornecê-las ao INEP, quando solicitada.
A CPA da UFPB foi institucionalizada por meio da Portaria R/GR/Nº 023/2004, de 14 de junho de 2004, que aprovou o Regimento da CPA da UFPB. Em sintonia com o citado documento, a CPA foi composta por cinco membros titulares e seus respectivos suplentes, sendo um indicado pelo Reitor, um pela Associação dos Docentes da Universidade Federal da Paraíba (ADUFPB), um pelo Diretório Central dos Estudantes (DCE), um pelo Sindicato dos Trabalhadores do Ensino Superior da Paraíba (SINTESPB) e um pelo Conselho Social Consultivo da UFPB, para atuarem à frente da CPA pelo período de dois anos. Conforme o regimento, a presidência da CPA seria exercida pelo representante indicado pela Reitoria, no caso, a professora Maria Elba Dantas de Moura (BURITY; PEREIRA; MONTEIRO, 2013; UFPB, 2004).
Desde a sua edição em 2004, o regimento da CPA não sofreu modificação, é possível identificar, entretanto, uma minuta da proposta de reestruturação do Regimento da CPA, datado do ano de 2017, disponível na página oficial da CPA da UFPB1. Enquanto o documento não estiver aprovado nas instâncias superiores, evidentemente, não produz efeitos. Mas a divulgação do documento, sinaliza para a administração superior a necessidade de reformulação desse dispositivo, para atender a realidade atual do processo avaliativo e da CPA.
No ano de 2015, sob a presidência da prof.ª Mônica Dias Palitot, foi instituído o Núcleo de Projetos da CPA-UFPB, segundo a citada professora, “uma ideia inovadora e inédita no Brasil”. Com o objetivo de fomentar na comunidade acadêmica a cultura da autoavaliação, a partir daquele ano a CPA passou a publicar editais destinados aos docentes com oportunidade de desenvolvimento de projetos relacionados aos 5 eixos do SINAES, os projetos aprovados teriam direito a bolsas de estágio para a participação de alunos (UFPB, 2016, p. 10).
Face à relevância da proposta do Núcleo de Projetos da CPA/UFPB, consideramos importante permitir que os servidores técnico-administrativos atuem na coordenação desses projetos nos próximos editais, uma vez que esses atores fazem parte da comunidade acadêmica e embora prestem relevante contribuição à IFES, costumam ser postos à margem, durante o planejamento das políticas de gestão.
Assim, com a contribuição de toda a comunidade acadêmica, pretende-se que a CPA da UFPB cumpra um importante papel frente ao aprimoramento dessa IES, pois mediante os processos avaliativos dos eixos e dimensões que compõem o SINAES será propiciado o conhecimento dos principais obstáculos que impedem ou dificultam a evolução da instituição, bem como a elaboração de sugestões para a superação destes empecilhos.
Análise e discussão dos resultados
A princípio, fizemos uma breve descrição da forma como os cinco Relatórios2 (período de 2014 a 2018) encontram-se estruturados. Em seguida, apresentamos um quadro síntese dos indicadores contemplados ou não pelos RAAI’s utilizados nessa pesquisa.
O primeiro relatório analisado foi o RAAI (2014), o documento encontra-se estruturado em 04 (quatro) capítulos:
Introdução - esse item contempla uma breve explanação acerca do SINAES, alguns conceitos atribuídos à autoavaliação e discorre sobre as atribuições da CPA;
Metodologia - explicita o modo como se desenvolveu o processo avaliativo, nesse caso, o documento contemplou dois eixos do SINAES (Eixo 1 - Planejamento e Avaliação Institucional e Eixo 4 - Políticas de Gestão). A avaliação do Eixo 1 foi conduzida a partir da utilização conjunta de uma pesquisa de campo elaborada por meio de questionário eletrônico do Google Docs, aplicado aos três segmentos da comunidade acadêmica e de uma pesquisa documental, que analisou os Relatórios de Autoavaliação da UFPB relativos ao período de 2006 a 2013. Além dos dois mecanismos citados, a avaliação do Eixo 4 contou ainda com uma entrevista estruturada, exclusivamente, acerca da Sustentabilidade Financeira da UFPB, direcionada à Coordenadora de Orçamento e Finanças da UFPB;
Análise dos dados - esse capítulo apresenta o desdobramento da análise dos dois eixos, contempla ainda as considerações e proposições de melhorias;
Considerações finais - nesse aspecto a CPA sintetiza o processo avaliativo e apresenta as potencialidades e fragilidades atinentes a IFES, identificadas ao fim do processo.
Nesse momento, julgamos pertinente salientar que a autorização formal para a elaboração de RAAI’s parciais foi concedida pela Nota Técnica INEP/DAES/CONAES Nº 065/2014, sendo abrangidos os processos autoavaliativos relativos ao triênio 2015-2017. Logo, o RAAI (2014) da UFPB foi construído em inobservância ao disposto nas normativas relacionadas a AAI, especialmente, ao “Roteiro de Auto-avaliação Institucional: Orientações Gerais” (BRASIL, 2004), que estabelecia a obrigatoriedade de a avaliação contemplar as dez dimensões previstas na Lei do SINAES.
Os documentos elaborados nos anos seguintes seguiram a mesma lógica de estruturação do RAAI (2014), acrescidos de um tópico dedicado a apresentar as ações realizadas pela CPA da UFPB no ano relativo ao processo de autoavaliação e aquelas previstas para o ano seguinte. O RAAI (2015) dedicou-se a avaliação dos eixos do SINAES de nº 2 (Desenvolvimento Institucional), 3 (Políticas Acadêmicas) e 5 (Infraestrutura). Todavia, no próprio documento há a ressalva de que as análises nele contidas eram parciais e seriam complementadas no RAAI do ano seguinte, em virtude de uma greve geral dos servidores da UFPB, ocorrida no ano de 2015 (que teria perdurado aproximadamente quatro meses), isto, segundo o documento, impossibilitou a coleta e análise dos dados em sua plenitude. Assim, o RAAI (2016) teve a mesma estrutura do relatório que o antecedeu, apresentando os dados consolidados dos trabalhos iniciados no ano anterior.
O RAAI (2017) dedicou-se a avaliar os eixos 1 (Planejamento e Avaliação Institucional), 2 (Desenvolvimento Institucional) e 5 (Infraestrutura) do SINAES. Para além disso, reservou um capítulo para traçar um diagnóstico do resultado da avaliação in loco pela qual a UFPB foi submetida no ano de 2013, com o objetivo de identificar as fragilidades e potencialidades identificadas por ocasião da AIE.
Por fim, o RAAI (2018) apresentou estrutura idêntica aos RAAI’s anteriores, sem, contudo, explicitar quais os eixos do SINAES foram explorados naquele processo avaliativo, tampouco informou se o documento consistia em uma avaliação parcial ou integral. Com base na leitura atenta aos 3 projetos desenvolvidos pelo Núcleo de Projetos da CPA/UFPB, constatamos que ele pretendeu contemplar os eixos 2 (Desenvolvimento Institucional), 3 (Políticas Acadêmicas) e 4 (Políticas de Gestão).
Apresentados sucintamente os RAAI’s da UFPB, o Quadro 3 apresenta os eixos contemplados pelas 05 últimas AAI’s.
RAAI 2014 | RAAI 2015 | RAAI 2016 | RAAI 2017 | RAAI 2018 | |
---|---|---|---|---|---|
Eixo 01 | X | X | |||
Eixo 02 | X | X | X | X | |
Eixo 03 | X | X | X | ||
Eixo 04 | X | X | |||
Eixo 05 | X | X | X |
Fonte: Elaborado pelos autores, 2019.
Conforme o Quadro 3, podemos constatar que os eixos menos explorados ao longo dos últimos 5 anos pelos RAAI’s foram os Eixos 1 (Planejamento e Avaliação Institucional) e 4 (Políticas de Gestão), cada um figurou por duas vezes nos relatórios. Em contrapartida, o Eixo 4 (Desenvolvimento Institucional) esteve presente em 4 dos 5 RAAI’s investigados. O que parece denotar a relevância atribuída a esse eixo por parte da CPA/UFPB.
O Gráfico 1 sintetiza os resultados encontrados por ocasião da confrontação dos RAAI’s da UFPB com o IAIE (2017). Dos cinquenta indicadores consultados, apenas 3 foram contemplados em sua integralidade, o que denota um percentual de adequação ao IAIE de apenas 6%. Ainda assim, os indicadores contemplados dizem respeito à existência de processo avaliativo, à divulgação dos resultados e à elaboração de RAAI, algo que a CPA desenvolve desde o ano de 2006. A presença de indicadores parcialmente contemplados, embora um pouco maior que o quantitativo de contemplados, foi pouco expressiva correspondendo a apenas nove indicadores, o que em termos percentuais representam 18% dos indicadores analisados. Predominou neste estudo a ausência de relação entre os RAAI’s e os indicadores, trinta e oito deles não foram explorados pelos RAAI’s analisados, correspondendo a 76%.
Nesse momento é importante salientar que a forma como se encontra estruturado o IAIE manifesta a intenção da política nacional de avaliação da educação superior, materializada no SINAES, de instigar as IES a pautarem todas as suas ações em planejamentos de curto, médio e longo prazos. Procedimentos esses a serem implementados a partir do desenvolvimento de políticas que irão se manifestar em programas, projetos e ações voltadas ao desenvolvimento institucional em todas as suas dimensões, de modo a contemplar o tripé ensino, pesquisa e extensão, sem, contudo, se limitar a ele. Assim, se espera que a avaliação contemple ainda a gestão da IES - a forma como são tomadas as decisões, os programas de formação continuada e de capacitação profissional, sustentabilidade financeira etc. - a infraestrutura de todos os seus espaços, as iniciativas em prol da responsabilidade social, nela compreendendo, entre outros, a inclusão social, o desenvolvimento econômico e social da localidade em que a IES se insere.
Diante do exposto, percebe-se que o campo de atuação da CPA de uma IES, especialmente de uma universidade com as dimensões da UFPB -- que possui quatro Campi em cidades distintas e, em 2017, contou com 33.508 matrículas somente na graduação - seja amplo e complexo. Por esse motivo, o planejamento das ações faz-se extremamente importante para que o processo seja conduzido com êxito (UFPB, 2018). Pois,
Na medida em que o planejamento for integrado à organização, a cultura institucional será consolidada e a organização irá adquirir, ao longo do processo, conhecimento sobre si mesma, seus processos, seus sucessos, seus fracassos e suas vulnerabilidades (CAVALCANTI; GUERRA, 2019, p. 705).
Na presente investigação, constatamos a ausência de praticamente todos os indicadores do IAIE (2017), nos RAAI’s da UFPB relativos ao período do estudo. Isso se explica, em parte, pela autonomia das IES na elaboração de seus respectivos instrumentos de autoavaliação. Todavia, necessitamos rememorar que as 10 (dez) dimensões aglutinadas, por afinidade, nos 5 eixos do SINAES devem, obrigatoriamente, compor os processos autoavaliativos.
Reiteramos nesse momento que a AAI pode ser realizada de modo parcial, todavia, a cada triênio a CPA da IES deve elaborar um Relatório que consolide as informações e contemple, integralmente, os eixos e dimensões estabelecidas pelo SINAES (INEP, 2014). Notadamente, não houve observância a essa determinação em nenhum dos 5 relatórios analisados.
Ambiente interno (forças e fraquezas)
Nesse estudo, optamos por apresentar conjuntamente as fragilidades e potencialidades dos RAAI’s investigados, discorrendo sobre elas na ordem em que estão estruturados os 5 eixos do IAIE (2017).
O Quadro 4 demonstra a classificação, por eixo, das forças e fraquezas identificadas nos RAAI’s da UFPB, em relação ao IAIE (2017) do SINAES. Salientamos que esses elementos se referem aos relatórios e não à instituição em si, uma vez que nosso objetivo era analisar o papel da autoavaliação para a melhoria da qualidade na UFPB.
Eixo 1 Planejamento e Avaliação Institucional | Forças | Indicador 1.2 Processo de autoavaliação institucional; |
Indicador 1.4 Autoavaliação institucional e avaliações externas: análise e divulgação dos resultados; | ||
Indicador 1.5 Relatórios de autoavaliação; | ||
Fraquezas | Indicador 1.1 Evolução institucional a partir dos processos de Planejamento e Avaliação Institucional; | |
Indicador 1.3 Autoavaliação institucional: participação da comunidade acadêmica; | ||
Eixo 2 Desenvolvimento Institucional | Forças | Não foram identificadas forças em relação a este eixo. |
Fraquezas | Indicador 2.1 Missão, objetivos, metas e valores institucionais; | |
Indicador 2.2 PDI, planejamento didático-instrucional e política de ensino de graduação e de pós-graduação; | ||
Indicador 2.3 PDI, política e práticas de pesquisa ou iniciação científica, de inovação tecnológica e de desenvolvimento artístico e cultural; | ||
Indicador 2.4 PDI, políticas institucionais voltadas à valorização da diversidade, do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural, e ações afirmativas de defesa e promoção dos direitos humanos e da igualdade étnico-racial; | ||
Indicador 2.5 PDI e políticas institucionais voltadas ao desenvolvimento econômico e à responsabilidade social; | ||
Indicador 2.6 PDI e política institucional para a modalidade EAD; | ||
Indicador 2.7 Estudo para implantação de polos EAD; | ||
Eixo 3 Políticas Acadêmicas | Forças | Não foram identificadas forças em relação a este eixo. |
Fraquezas | Indicador 3.1 Políticas de ensino e ações acadêmico-administrativas para os cursos de graduação; | |
Indicador 3.2 Políticas de ensino e ações acadêmico-administrativas para os cursos de pós-graduação lato sensu; | ||
Indicador 3.3 Políticas de ensino e ações acadêmico-administrativas para os cursos de pós-graduação stricto sensu; | ||
Indicador 3.4 Políticas institucionais e ações acadêmico-administrativas para a pesquisa ou iniciação científica, a inovação tecnológica e o desenvolvimento artístico e cultural; | ||
Indicador 3.5 Políticas institucionais e ações acadêmico-administrativas para a extensão; | ||
Indicador 3.6 Políticas institucionais e ações de estímulo e difusão para a produção acadêmica docente; | ||
Indicador 3.7 Política institucional de acompanhamento dos egressos; | ||
Indicador 3.8 Política institucional para internacionalização3; | ||
Indicador 3.9 Comunicação da IES com a comunidade externa; | ||
Indicador 3.10 Comunicação da IES com a comunidade interna; | ||
Indicador 3.11 Política de atendimento aos discentes; | ||
Indicador 3.12 Políticas institucionais e ações de estímulo à produção discente e à participação em eventos. | ||
Eixo 4 Políticas de Gestão | Forças | Não foram identificadas forças em relação a este eixo. |
Fraquezas | Indicador 4.1 Titulação do corpo docente; | |
Indicador 4.2 Política de capacitação docente e formação continuada; | ||
Indicador 4.3 Política de capacitação e formação continuada para o corpo técnico-administrativo; | ||
Eixo 4 Políticas de Gestão | Fraquezas | Indicador 4.4 Política de capacitação e formação continuada para o corpo de tutores presenciais e a distância; |
Indicador 4.5 Processos de gestão institucional; | ||
Indicador 4.6 Sistema de controle de produção e distribuição de material didático; | ||
Indicador 4.7 Sustentabilidade financeira: relação com o desenvolvimento institucional; | ||
Indicador 4.8 Sustentabilidade financeira: participação da comunidade interna. | ||
Eixo 5 Infraestrutura | Forças | Não foram identificadas forças em relação a este eixo. |
Fraquezas | Indicador 5.1 Instalações administrativas; | |
Indicador 5.2 Salas de aula; | ||
Indicador 5.3 Auditório(s); | ||
Indicador 5.4 Sala de professores; | ||
Indicador 5.5 Espaços para atendimento aos discentes; | ||
Indicador 5.6 Espaços de convivência e de alimentação; | ||
Indicador 5.7 Laboratórios, ambientes e cenários para práticas didáticas: infraestrutura física; | ||
Indicador 5.8 Infraestrutura física e tecnológica destinada à CPA; | ||
Indicador 5.9 Bibliotecas: infraestrutura; | ||
Indicador 5.10 Bibliotecas: plano de atualização do acervo; | ||
Indicador 5.11 Salas de apoio de informática ou estrutura equivalente; | ||
Indicador 5.12 Instalações sanitárias; | ||
Indicador 5.13 Estrutura dos polos EAD; | ||
Indicador 5.14 Infraestrutura tecnológica; | ||
Indicador 5.15 Infraestrutura de execução e suporte; | ||
Indicador 5.16 Plano de expansão e atualização de equipamentos; | ||
Indicador 5.17 Recursos de tecnologias de informação e comunicação; | ||
Indicador 5.18 Ambiente virtual de Aprendizagem - AVA. |
Fonte: Elaborado pelos autores, 2019.
Diante dos resultados encontrados, considerando a ausência de praticamente todos os indicadores que compõem o IAIE (2017) do SINAES nos RAAI’s da UFPB e as dificuldades enfrentadas pela UFPB para contemplar nos seus processos avaliativos as 10 dimensões previstas na Lei do SINAES, compreendemos que a CPA/UFPB necessita convidar a comunidade acadêmica e a sociedade a refletir acerca do desenvolvimento do processo de autoavaliação dessa IFES, com vistas a encontrar alternativas para transpor os obstáculos constatados.
Após 15 anos de existência da CPA da UFPB, percebemos que essa IES ainda não conseguiu desenvolver um conjunto de indicadores capazes de englobar plenamente as dez dimensões do SINAES, fato que vai de encontro ao preconizado pela Lei que instituiu o Sistema, implicando em comprometimento da própria avaliação, uma vez que inviabiliza a comparação dos avanços alcançados no intervalo entre os processos avaliativos.
Em que pesem os esforços empreendidos pela CPA da UFPB para promover os processos avaliativos, buscando inovar as suas práticas, como, por exemplo, com a instalação do Núcleo de Projetos, os resultados encontrados nesse estudo demonstram que há ainda muitos desafios a serem superados para alcançar a excelência dos processos avaliativos e consequentemente da gestão (acadêmica e administrativa), que convergem para a melhoria da qualidade da educação nessa IFES.
Urge para essa universidade a elaboração de um instrumento desenvolvido a partir de indicadores capazes de compreender a UFPB em sua globalidade. Temos consciência das dificuldades para a construção desse documento pelas dimensões e complexidade dessa IFES em seus múltiplos aspectos. Ainda assim, faz-se necessário solucionar os entraves técnicos e políticos que se apresentem e se engajem nessa empreitada. Espera-se que a construção desses indicadores seja pactuada com a comunidade acadêmica e que a metodologia esteja pautada não somente em questionários de percepção dos atores que compõem a comunidade acadêmica, mas em diversos aportes metodológicos para proporcionar maior aceitação e confiabilidade ao processo.
Tendo em vista que a construção desse instrumento pode demandar um longo período, sugerimos a esta CPA a adoção, ainda que temporária, do IAIE (2017) do SINAES, com o seu conjunto de indicadores para dar continuidade ao processo de autoconhecimento da UFPB. Complementarmente a esse instrumento, consideramos viável a manutenção dos trabalhos do Núcleo de Projetos, que além de contribuírem para o autoconhecimento dessa IES, estimulam a participação docente e discente e disseminam a autoavaliação, favorecendo, assim, o desenvolvimento de uma cultura de avaliação nessa universidade.
Ambiente externo (oportunidades e ameaças)
No Quadro 5 estão elencadas as oportunidades e ameaças extraídas do PDI da UFPB (2014-2018). Para a ferramenta matriz SWOT, a construção do planejamento deve considerar, além do cenário interno, o cenário externo, nele compreendidas: as oportunidades, que são todos os acontecimentos externos que possam trazer condições favoráveis, gerando receita e valor para a organização; e as ameaças, que estão relacionadas aos elementos externos à instituição que possam afetar negativamente a sua receita ou a sua imagem (RENNÓ, 2013).
Ambiente Externo | |
Oportunidades | Ameaças |
• Integração Universidade/setor produtivo e órgãos governamentais; • Programas de apoio pedagógico e financeiro aos discentes; • Programas de inclusão e de ações afirmativas do Governo Federal; • Políticas de contratação, qualificação e plano de carreira do pessoal docente; • Políticas de contratação, qualificação e plano de carreira do pessoal técnico-administrativo. |
•Alterações na legislação desfavoráveis ao desenvolvimento das IFES; •Sustentabilidade Financeira; •Morosidade dos processos licitatórios. |
Fonte: Elaborado pelos autores, 2019.
Para a identificação dos aspectos relativos a esse ambiente, fizemos uso do PDI da UFPB (2014-2018), da legislação vigente acerca da temática, além de consultar trabalhos recentes acerca dessa temática. Identificados esses elementos, tecemos breves comentários de cada um deles (UFPB, 2014).
O estudo identificou a presença de 5 (cinco) aspectos considerados, a nosso ver, oportunidades, uma vez que embora essa IFES não detenha total controle sobre eles, pode ser beneficiária de seus investimentos se agir de modo proativo. Dentre eles, destacamos o primeiro aspecto que diz respeito à integração da universidade com o setor produtivo, conduzida sob a responsabilidade do Instituto de Desenvolvimento da Paraíba (IDEP), da Agência UFPB de Inovação e do “Projeto UFPB em seu Município”, este último desenvolvido por meio da Pró-Reitoria de Extensão e Assuntos Comunitários (PRAC). Esse movimento de integração consiste em propiciar oportunidades de contribuição para o desenvolvimento regional, por meio das atividades de ensino, de extensão e de pesquisas direcionadas para a solução de problemas locais e regionais, mediante a pactuação de termos de cooperação com organizações públicas e privadas.
Em relação às ameaças, a primeira delas encontra-se no cenário das constantes alterações na legislação que possam retardar ou mesmo inviabilizar o desenvolvimento das IFES brasileiras. Sem a intenção de levantar bandeira partidária qualquer que seja, não podemos deixar de considerar os vieses ideológicos dos governantes à frente do país, que tendem a desenvolver políticas de governo e não de Estado. Complementarmente, a redução da arrecadação e consequente restrição orçamentária passa a ser utilizada como justificativa para a precarização dos investimentos em políticas públicas, incluindo os destinados ao ensino superior (LÖWY, 2016).
A outra ameaça detectada preserva relação com a citada anteriormente, consiste na Sustentabilidade Financeira. Sendo a UFPB uma IFES vinculada ao MEC, ele é o principal responsável pela sua sustentabilidade financeiro-orçamentária, viabilizada por meio de recursos consignados na Lei Orçamentária Anual (LOA).
Para concluirmos a análise do cenário externo, a última ameaça identificada consiste na morosidade dos processos de aquisição dos bens e serviços no âmbito do serviço público, diferentemente das instituições privadas que, em geral, têm uma gestão de compras mais ágil, sem a obrigatoriedade de observância a procedimentos que são inerentes a administração pública, onde todos os atos devem estar amparados por lei, não sendo admitida atuação sem prévia e expressa autorização legal, conforme estabelece o princípio da legalidade, consagrado no Art. 37 da Constituição Federal (BRASIL, 1988).
Considerações finais
Constatamos que, embora os processos avaliativos da UFPB apresentem fragilidades, estas se localizam no ambiente interno à essa IFES. Sendo assim, são passíveis de superação por ações oriundas do seio dessa universidade. Se empreendidos esforços no tocante à concepção de um processo avaliativo pautado na análise global dessa instituição, cuja construção se desenvolva com ampla participação da comunidade acadêmica e da sociedade civil, por meio de suas representações será possível obter o pleno conhecimento das fragilidades e potencialidades inerentes a essa IES, e, assim, empreender ações para a superação das dificuldades. Afinal, o papel da autoavaliação é trazer luz ao planejamento, estes são dois processos indissociáveis. A autoavaliação apresenta as fragilidades eventualmente identificadas e induz a reflexão acerca das alternativas para a superação dessas dificuldades, que serão desenvolvidas durante o processo de planejamento.
Diante disso, recomenda-se a utilização do IAIE 2017 do SINAES como parâmetro de qualidade, uma vez que ele promove uma análise global da IES avaliada, e contempla as 10 (dez) dimensões elencadas na Lei do SINAES que está em vigor.
Embora as IES não tenham a obrigatoriedade de seguir a um modelo específico para a elaboração do seu processo autoavaliativo, em virtude da autonomia universitária, a IES não pode invocar essa autonomia para deixar de cumprir uma determinação legal que lhe seja imposta, tal qual a Lei do SINAES. Assim, a UFPB não deve valer-se de sua autonomia como justificativa para o desenvolvimento de um processo avaliativo desenvolvido em desacordo com a legislação vigente.
Este estudo permitiu constatar que os processos autoavaliativos desenvolvidos pela UFPB praticamente não contemplaram os indicadores presentes no IAIE do SINAES. De um total de 50 indicadores que compõem o IAIE, apenas três foram plenamente contemplados pelos RAAI’s da UFPB. Não obstante, a AAI dessa IFES não atendeu as dez dimensões previstas no SINAES.
Os resultados encontrados evidenciam a necessidade de a UFPB empreender esforços com vistas a aperfeiçoar os mecanismos de participação da sociedade civil organizada nos processos autoavaliativos, pois, os RAAI’s não revelam se houve essa participação e como ela se desencadeou.