Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
No ano de 2004, por meio da Lei n. 10.861 (2004), foi instituído o Sistema Nacional de Avaliação da Educação Superior (Sinaes), uma política de avaliação composta de várias modalidades de avaliação, com duas finalidades: a avaliação e a regulação das instituições de educação superior (IES) e de seus cursos de graduação.
No percurso de sua implantação, o Sinaes sofreu transformações que o aproximaram mais dessa última finalidade do que da primeira e o afastaram de sua proposta emancipadora. A regulação das IES e de seus cursos de graduação é a lógica preponderante nas políticas de avaliação implantadas na década de 1990 (Barreyro & Rothen, 2014; Rothen et al., 2018).
A biblioteca universitária (BU) é objeto de três modalidades do sistema de avaliação do Sinaes: a) avaliação institucional externa; b) avaliação institucional interna, também chamada de autoavaliação; e c) avaliação de cursos de graduação, que é considerada externa. Os indicadores do Sinaes referentes às bibliotecas universitárias estão relacionados à infraestrutura, analisada pelas avaliações institucionais, bem como à oferta e às condições de acesso aos acervos da bibliografia básica e complementar, considerados pela avaliação de cursos (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Inep], 2004, 2017a, 2017b, 2017c, 2017d).
Este estudo tem como finalidade analisar os sentidos expressos nos objetivos gerais e específicos das pesquisas científicas publicadas no período de 2004 a 2021 sobre a política de avaliação do Sinaes para as bibliotecas universitárias federais brasileiras.
A BU é um espaço ou setor das instituições federais de educação superior (Ifes) cuja missão é disponibilizar informações técnicas, científicas, culturais e gerais aos membros da comunidade acadêmica, para que gerem conhecimentos para o desenvolvimento social, o que pode ser realizado pela oferta de fontes tradicionais - impressas ou digitais - e pelos serviços de mediação e de competência informacional, de caráter formativo.
Segundo Lubisco (2007), as bibliotecas universitárias têm um papel estratégico no desenvolvimento do ensino e da pesquisa na área acadêmica, e a qualidade dessas atividades está associada à eficácia dos serviços da biblioteca. A partir do pensamento apresentado pela autora, esse setor também é fundamental para o desenvolvimento das atividades de extensão nas universidades, pois os seus planejamentos e fundamentações teórico-metodológicas também necessitam de informações técnico-científicas, literárias e gerais.
Entretanto a análise dos instrumentos de avaliação do Sinaes indica que os processos avaliativos desse sistema consideram a BU como uma infraestrutura para oferta, acesso e utilização das bibliografias dos planos curriculares dos cursos de graduação. Por isso, mostram-se limitados, consideram apenas elementos da infraestrutura e acervos, sem uma análise efetiva quanto aos serviços do setor, que não só é um espaço administrativo de fornecimento de livros, mas também tem a missão de ser um espaço formativo. Para Lubisco (2007), essa característica do Sinaes representa, na prática, uma insuficiência e inadequação dos indicadores relacionados à BU nas modalidades de avaliação do Sinaes. Para a autora, no Sinaes, a biblioteca é tratada mais como espaço físico do que como espaço pedagógico da universidade.
A análise da literatura especializada (Estela & Cunha, 2017; Lubisco & Sousa, 2019; Soares, 2018; Brasil, 2011) mostra que: a) os investimentos na BU são realizados, quase exclusivamente, para atender aos indicadores das avaliações; b) os indicadores de avaliação do Sinaes representam para os serviços das bibliotecas universitárias um paradigma da qualidade e das necessidades dos usuários; c) indicadores preestabelecidos nacionalmente podem não representar a realidade da BU de cada Ifes; e d) a avaliação da BU pelo Sinaes não a considera em sua totalidade, pois é realizada por três modalidades que avaliam as diversas características da biblioteca separadamente, sem elemento integrador dos resultados.
Lubisco (2007) ainda afirma que a avaliação do Ministério da Educação (MEC)1 não é capaz de evidenciar a eficácia ou a ineficácia das bibliotecas, porque os indicadores adotados para avaliá-las precisam de uma melhor definição para refletir seu desempenho e a inter-relação de suas funções e para entender o grau de satisfação dos seus usuários e a qualidade dos seus serviços e produtos de informação. Para a autora, não há indicadores e padrões que sirvam de parâmetros para revelar o nível de desenvolvimento da biblioteca, pois os indicadores existentes permitem analisá-la, mas de forma segmentada e incompleta.
Pelo exposto, as modalidades de avaliação do Sinaes, prioritariamente, regulam a BU, e os seus resultados não expressam o entendimento quanto à efetividade dos serviços do setor. Contudo regulação e avaliação têm sentidos diferentes. A “regulação é caracterizada pela aplicação e acompanhamento de regras e normas de natureza obrigatória que são estabelecidas e fiscalizadas por uma agência pública legalmente constituída para tal fim” (Verhine, 2015, p. 605).
Segundo Verhine (2015), a regulação envolve a ação do Estado e de governos a) na definição de diretrizes ou padrões de qualidade; b) na avaliação e no acompanhamento, que significam a mensuração quanto ao estabelecimento dessas diretrizes ou padrões em suas determinadas finalidades; e c) no controle legal e formal, que pode representar punições, por exemplo, por meio financeiro e por monitoramento. O autor afirma que, “no caso da regulamentação da educação superior no Brasil, uma combinação dessas três formas é utilizada em âmbito nacional” (Verhine, 2015, p. 605).
Para Verhine (2015, p. 606), com finalidade diferente, a avaliação fornece informações científicas necessárias “para a tomada de decisão por parte de diferentes atores, em diferentes níveis, em muitos casos distantes das decisões tomadas no âmbito governamental”. Para além do âmbito governamental, que envolve aspectos mais amplos das políticas públicas, observa-se em Verhine que a avaliação pode fornecer informações para a tomada de decisões na dimensão administrativa das instituições, quando se destina a entender informações contextuais que relacionem as atividades empreendidas aos objetivos e funções da instituição, dos seus setores, de suas políticas e projetos.
Na dimensão administrativa das instituições, a avaliação visa ao aprimoramento institucional, em um processo avaliativo que pode mostrar o que há de efetivo, as fortalezas, as limitações, as lacunas e os acertos para orientar o planejamento e a atuação das Ifes e suas bibliotecas, tendo em vista os interesses da comunidade acadêmica. Para a avaliação cumprir a sua finalidade e não estar a serviço prioritário da regulação, é necessário considerar as distinções que Verhine (2015) faz entre os conceitos. Podem-se observar também as compreensões de Dias (2003) e de Leite et al. (2000) sobre o termo avaliação.
Para Dias (2003), a avaliação das IES deve ter por finalidade a compreensão dos objetivos fundamentais da instituição, isto é, a avaliação deve captar os sentidos das práticas empreendidas para a obtenção dos fins. A partir de Dias, a avaliação tem por objetivo entender se a atuação das Ifes contribui para o alcance das suas finalidades. Desse modo, o seu resultado deve mostrar a realidade e a representação dos seus serviços para os cidadãos. Essa informação pode orientar o planejamento estratégico das Ifes e o planejamento operacional dos seus setores, como a BU, o que se diferencia de um processo de definição de um padrão de qualidade e avaliação para a supervisão e mensuração quanto à adoção desse determinado padrão, no âmbito do Estado e do governo (regulação).
Para Leite et al. (2000), a avaliação das IES deve ser um processo social, organizado e promovido por atores sociais com competência técnica e competência política, conferidas e reconhecidas, isto é, deve ter legitimidade para tal fim, em um processo de avaliação construído socialmente e comunicado publicamente, a partir de objetivos, metodologia, critérios, e com instrumentos. Segundo esses autores, a avaliação precisa ser um processo elaborado tanto cientificamente - porque exige metodologia, critérios, instrumentos, etc., e elaboração e coordenação por um especialista - quanto socialmente, o que requer considerar o contexto social, tendo em vista a realidade regional e local e a participação da comunidade. Por isso, essa perspectiva de avaliação também se diferencia da avaliação para atender aos fins de regulação, que visa a mensurar a adoção de um padrão comum, não contextual, determinado pelo Estado.
Embora a avaliação e a regulação sejam processos com finalidades distintas, ambas utilizam a informação. Segundo Verhine (2015, p. 605), “a tomada de decisões referente ao valor de algo serve como o ponto de interseção entre avaliação (que fornece as informações necessárias) e regulação governamental (que busca assegurar a oferta de bens e serviços de qualidade aos membros da sociedade)”. Por isso, avaliação e regulação são termos com frequência confundidos, mas representam processos distintos que podem ser “complementares e também antagônicos, pois se por um lado uma articulação entre os dois processos faz-se necessária, por outro tal articulação pode gerar distorções não desejáveis” (Verhine, 2015, p. 603).
Avaliação e regulação podem ser complementares, e a articulação dos dois processos é necessária, porque a avaliação pode mostrar aspectos da realidade a fim de contribuir para atualizações da regulamentação, por exemplo. Podem também ser processos antagônicos, porque têm finalidades distintas, e a articulação dos dois em uma mesma política pode gerar distorções, na medida em que um pode ficar à margem do outro. No caso do Sinaes, a autoavaliação pode ficar à margem das demais modalidades de avaliação.
Segundo Verhine (2015), no contexto da educação superior, ainda que a legislação brasileira tenha estabelecido uma forte relação entre avaliação e regulação2 e embora a articulação entre ambas seja necessária, no âmbito do Sinaes, há tensões entre os dois processos, uma vez que: a) os indicadores são usados indevidamente para fins de regulação; b) há desvalorização dos aspectos formativos da avaliação (autoavaliação); e c) há iniciativa de integrar avaliação e regulação em uma única agência, o que pode prejudicar a autonomia e a independência de cada processo em relação ao outro.
Ao articularmos a constatação de Lubisco (2007) quanto à insuficiência e inadequação dos indicadores relacionados à BU - nas modalidades externas de avaliação do Sinaes - e a constatação de Verhine (2015) quanto à desvalorização dos aspectos formativos das autoavaliações, verifica-se que há duas limitações nesse Sistema para a compreensão do desempenho da BU diante das demandas da comunidade acadêmica: a) nas avaliações externas, os indicadores são limitados diante das finalidades ou da potencial contribuição da BU para a universidade; e b) a autoavaliação representaria no Sinaes a avaliação contextual que poderia mostrar a efetividade ou o desempenho do setor para os seus usuários, ou seja, é uma modalidade pouco valorizada, o que pode se refletir tanto em seu processo de elaboração e no seu resultado quanto no uso que lhe pode ser dado.
Conforme Verhine (2015), é necessário preservar a integridade da avaliação em relação à regulação. Para isso, o autor recomenda duas medidas: manter, estrutural e conceitualmente, a independência e a autonomia de cada um dos dois processos e repensar a natureza da regulação, que tem tendência a funcionar como política de governo e não de Estado.
Diante do contexto da crise do sistema do capital e da reforma do Estado neoliberal; da influência modeladora do Sinaes para a BU; e da relação entre regulação e avaliação no referido Sistema, neste estudo parte-se do seguinte questionamento: qual o sentido (expresso nos objetivos gerais e específicos) das pesquisas publicadas no período de 2004 a 2021 sobre a avaliação do Sinaes para as bibliotecas universitárias federais brasileiras?
Buscando responder a esse questionamento, adotaram-se a abordagem qualitativa e dois métodos de modo articulado: a revisão sistemática de literatura (RSL), do tipo integrativa, a qual inclui estudos teóricos e empíricos; e o método de interpretação de sentidos. Como metodologia de pesquisa, utilizou-se a RSL, segundo os preceitos de Atallah e Castro (1998), para o planejamento, a formulação do problema, a seleção dos estudos, a coleta, a avaliação crítica e a atualização dos dados. Para a análise, apresentação e interpretação dos dados, elegeu-se o método de interpretação de sentidos, conforme as recomendações de Gomes (2016). Utilizou-se a articulação dos dois métodos, devido ao fato de se optar pela abordagem qualitativa. Assim, empregou-se a interpretação de sentidos, de modo complementar, para o tratamento e análise dos dados de 31 pesquisas selecionadas por meio da RSL.
Segundo Gomes (2016), o método de interpretação de sentidos é uma perspectiva das correntes compreensivas das ciências sociais que analisa palavras, ações, entre outros tipos de dados de pesquisa. De acordo com o autor, os dados - neste caso, os objetivos das pesquisas selecionadas para esta análise - devem ser concebidos como formas simbólicas, situados como intencionais, referenciais e contextuais, providos de sentidos, e podem ser analisados, tanto para se apreenderem as particularidades de cada material quanto para construir uma visão de conjunto.
Diante disso, neste artigo, entende-se por sentidos das pesquisas a interpretação das ideias expressas no conjunto de palavras presentes nos seus objetivos, que mostram as finalidades e intencionalidades das pesquisas e representam as relações que estabelecem entre a política de avaliação do Sinaes e as bibliotecas universitárias federais brasileiras.
Assim, a partir dessa análise, podem-se compreender os sentidos (as intencionalidades e as representações) das pesquisas sobre o tema, para identificar se têm maior aproximação à regulação (se visam, prioritariamente, à adequação das bibliotecas universitárias aos indicadores do Sinaes, por exemplo) ou à avaliação (se analisam a política de avaliação frente às bibliotecas universitárias, se buscam compreender os resultados das avaliações - o desempenho do setor a partir do Sinaes - ante as funções da BU, por exemplo).
A presente análise se faz necessária porque pode evidenciar se as pesquisas contribuem para esclarecer se a relação entre o Sinaes, as Ifes e as suas bibliotecas universitárias dá maior utilidade à avaliação ou prioriza a sua regulação.
Este estudo faz parte de uma pesquisa de doutorado em andamento cujo tema é a avaliação do Sinaes para bibliotecas universitárias de Ifes. Está estruturado em quatro seções: a introdução; a descrição da elaboração desta RSL e da análise dos dados; a seção de resultados e discussões com a análise dos objetivos das pesquisas selecionadas; e as considerações finais.
DESCRIÇÃO DA ELABORAÇÃO DA RSL E DA ANÁLISE DOS DADOS
Nesta seção, primeiramente são apresentadas as definições da RSL e, em seguida, as do método de interpretação de sentidos.
Revisão sistemática de literatura
Adotou-se a RSL do tipo integrativa, a qual permite a inclusão de fontes provenientes de pesquisas teóricas e empíricas. Para essa elaboração, seguiram-se as recomendações metodológicas de Atallah e Castro (1998). Segundo esses autores, essa metodologia representa um método moderno para a avaliação de um conjunto de dados sobre determinado tema.
O recorte temporal escolhido para esta análise foi o período de 2004 a 2021, uma vez que o primeiro é o ano de institucionalização do Sinaes e o segundo é o ano anterior à coleta de dados desta RSL. De acordo com Atallah e Castro (1998), a RSL deve ser iniciada por um projeto que deve conter a descrição detalhada dos sete passos de sua elaboração, apresentados na Figura 1, a seguir.
Fonte: Elaboração das autoras com dados da pesquisa.
FIGURA 1 As sete fases da elaboração da RSL sobre avaliação do Sinaes para bibliotecas universitárias federais
Os tipos de fontes de informação consideradas para a coleta de dados foram: artigos, resumos expandidos, teses e dissertações, conforme as estratégias de busca, a delimitação de cruzamentos e os critérios de inclusão e de exclusão apresentados na Tabela 1.
TABELA 1 Estratégias de busca, delimitação de cruzamentos, critérios de inclusão e de exclusão de pesquisas para a RSL
| ESTRATÉGIAS | DESCRIÇÃO | ||
|---|---|---|---|
| Estratégias de busca | (biblioteca universitária) AND (política de avaliação) AND (avaliação institucional) AND (avaliação de cursos) AND (avaliação) AND (Sinaes OR MEC OR Ministério da Educação) |
||
| BASES DE DADOS | DELIMITAÇÃO DOS CRUZAMENTOS | IDENTIFICAÇÃO DOS CRUZAMENTOS (ID) | |
| Biblioteca Digital Brasileira de Teses e Dissertações (BDTD) - busca avançada | biblioteca universitária (todos os campos) AND política de avaliação (todos os campos) AND Sinaes (todos os campos) | 1 | |
| biblioteca universitária (todos os campos) AND avaliação institucional (todos os campos) AND Sinaes (todos os campos) | 2 | ||
| biblioteca universitária (todos os campos) AND avaliação de cursos (todos os campos) AND Sinaes (todos os campos) | 3 | ||
| biblioteca universitária (filtro título) AND avaliação (todos os campos) AND MEC (todos os campos) | 4 | ||
| Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) - busca por assunto/avançada/filtro últimos 20 anos |
biblioteca universitária (é exato) AND política de avaliação (qualquer campo) AND Sinaes OR MEC OR Ministério da Educação (qualquer campo) | 5 | |
| biblioteca universitária (é exato) AND avaliação institucional (qualquer campo) AND Sinaes OR MEC OR Ministério da Educação (qualquer campo) | 6 | ||
| biblioteca universitária (é exato) AND avaliação de cursos (qualquer campo) AND Sinaes OR MEC OR Ministério da Educação (qualquer campo) | 7 | ||
| biblioteca universitária (título) AND avaliação (qualquer campo) AND MEC (qualquer campo) |
8 | ||
| Scientific Electronic Library Online (SciELO) - busca avançada/todos os índices | biblioteca universitária (todos os índices) AND política de avaliação (todos os índices) AND Sinaes OR MEC OR Ministério da Educação (todos os índices) |
9 | |
| biblioteca universitária (todos os índices) AND avaliação institucional (todos os índices) AND Sinaes OR MEC OR Ministério da Educação (todos os índices) |
10 | ||
| biblioteca universitária (todos os índices) AND avaliação de cursos (todos os índices) AND Sinaes OR MEC OR Ministério da Educação (todos os índices) |
11 | ||
| biblioteca universitária (todos os índices) AND avaliação (todos os índices) AND MEC (todos os índices) | 12 | ||
| Google Acadêmico - filtro 2004-2021 | biblioteca universitária (entre aspas) AND política de avaliação (entre aspas) AND Sinaes OR MEC OR Ministério da Educação (entre aspas) | 13 | |
| biblioteca universitária (entre aspas) AND avaliação institucional (entre aspas) AND Sinaes OR MEC OR Ministério da Educação (entre aspas) | 14 | ||
| biblioteca universitária (entre aspas) AND avaliação de cursos (entre aspas) AND Sinaes OR MEC OR Ministério da Educação (entre aspas) | 15 | ||
| biblioteca universitária (entre aspas) AND avaliação (entre aspas) AND MEC (entre aspas) | 16 | ||
| CRITÉRIOS DE INCLUSÃO E EXCLUSÃO | |||
| a) Quanto ao tipo de documento | Inclusão | Exclusão | |
| Artigos | X | ||
| Artigos de mesma autoria com títulos semelhantes aos de teses e dissertações recuperadas e incluídas na RSL | X | ||
| Resumos expandidos | X | ||
| Teses e dissertações | X | ||
| Trabalhos de conclusão de curso | X | ||
| Livros | X | ||
| b) Quanto ao conteúdo e formato | Inclusão | Exclusão | |
| Data de publicação: 2004 a 2021 | X | ||
| Texto completo | X | ||
| Com descritores no título, resumo e/ou palavras-chave | X | ||
| Biblioteca universitária como lócus (estudo empírico) ou tema de pesquisa (estudo bibliográfico) | X | ||
| Demais tipos de biblioteca como lócus ou tema | X | ||
| Objeto da tese ou artigo: avaliação (institucional e de cursos) do Sinaes para as bibliotecas universitárias | X | ||
| Avaliação do Sinaes para BU como tema secundário | X | ||
| Pesquisas sobre bibliotecas universitárias de Ifes | X | ||
| Pesquisas sobre bibliotecas universitárias estaduais e de instituições particulares | X | ||
Fonte: Elaboração das autoras com dados da pesquisa.
A partir da metodologia definida anteriormente, foram selecionadas 31 pesquisas sobre o tema, cujas descrições estão apresentadas na Tabela 2, mais adiante neste artigo. A seguir, explica-se o método qualitativo de análise e interpretação dos dados.
TABELA 2 Publicações selecionadas para análise por tipo de fonte
| N° | ID | ANO | AUTORIA | TÍTULO | TIPO DE FONTE |
|---|---|---|---|---|---|
| 1 | ID1 | 2017 | Costa | Avaliação da educação superior: O sistema de bibliotecas da UFPB e a evolução dos seus indicadores de desempenho | Dissertação |
| 2 | ID1 | 2016 | Mesquita | Avaliação do impacto do programa de apoio a planos de reestruturação e expansão das universidades federais (REUNI) no sistema de bibliotecas universitárias da Universidade Federal do Ceará | Dissertação |
| 3 | ID1 | 2011 | Brasil |
Avaliação do processo de modernização da biblioteca da Universidade Federal do Tocantins, campus de Palmas |
Dissertação |
| 4 | ID1 | 2013 | Pinto | Cobertura do acervo do Sistema de Bibliotecas da UFC: Importância para a avaliação do MEC | Dissertação |
| 5 | ID1 | 2020 | Reis | O papel da Biblioteca do Instituto Federal de Educação, Ciência e Tecnologia Fluminense do campus Macaé nas avaliações do Sistema Nacional de Avaliação da Educação Superior | Dissertação |
| 6 | ID1 | 2017 | Ramalho | Sistema Nacional de Avaliação da Educação Superior (Sinaes) e os indicadores de avaliação referente à biblioteca universitária: Construindo um modelo de avaliação para o Sistemoteca da UFPB | Dissertação/ Relatório técnico |
| 7 | ID3 | 2014 | Alves | Avaliação externa de curso de graduação e os procedimentos de qualificação dos acervos em uma instituição federal de ensino superior | Dissertação |
| 8 | ID4 | 2018 | Soares | A biblioteca universitária na avaliação de cursos de graduação pelo Ministério da Educação: O caso da Biblioteca Central da Universidade Federal de Juiz de Fora | Dissertação |
| 9 | ID5 | 2017 | Estela e Cunha | “Biblioteca universitária e os indicadores do Sinaes: Estudo do caso da Universidade de Brasília” |
Artigo |
| 10 | ID5 | 2015 | Maia e Santos | “Gestão da biblioteca universitária: Análise com base nos indicadores de avaliação do MEC” | Artigo |
| 11 | ID7 | 2008 | Lubisco | “A biblioteca universitária brasileira: Uma proposta para avaliar seu desempenho” | Artigo |
| 12 | ID7 | 2006 | Dziekaniak | “Participação do bibliotecário nas comissões de avaliação do Ministério da Educação (MEC) nos processos de reconhecimento de cursos de graduação” | Artigo |
| 13 | ID12 | 2018 | Pereira e Varvakis | “Avaliação e tomada de decisão em biblioteca universitária a partir de indicadores de desempenho” |
Artigo |
| 14 | ID13 | 2019 | Lunkes | Diretrizes orientadoras para plano de gestão de bibliotecas de instituições de ensino superior: Um estudo de campo na Universidade Federal de Santa Maria (UFSM) | Dissertação |
| 15 | ID13 | 2020 | Silva |
O Sinaes na avaliação das bibliotecas do Instituto Federal de Educação, Ciência e Tecnologia do Ceará |
Dissertação |
| 16 | ID13 | 2018 | Cavalcante | Proposta de um plano de ação para otimizar os recursos destinados à aquisição de materiais bibliográficos do SIBI/UFAL: A contribuição do SIBI nas avaliações de desempenho da UFAL no âmbito do Sinaes | Dissertação |
| 17 | ID14 | 2022 | Brasil e Ribeiro | “Avaliação de bibliotecas universitárias segundo o Sistema Nacional de Avaliação da Educação Superior” | Resumo expandido |
| 18 | ID14 | 2018 | Sousa | Bibliografia básica e complementar para os cursos de graduação da UFBA: Uma construção conjunta pelo docente e pela biblioteca, à luz das normas do Inep | Dissertação |
| 19 | ID14 | 2014 | Gonçalves | “Biblioteca e avaliação de instituições de educação superior: Avaliação do MEC” | Artigo |
| 20 | ID14 | 2015 | Mattos e Cianconi | “Critérios para avaliação de bibliotecas na educação superior a distância” | Artigo |
| 21 | ID14 | 2018 | Stroparo |
Políticas públicas de inclusão e indicadores de acessibilidade para estudantes com deficiência: Uma análise nas bibliotecas universitárias |
Tese |
| 22 | ID14 | 2021 | Maia | Gestão de bibliotecas na Universidade Federal da Paraíba: Análise com base nos indicadores de avaliação | Dissertação |
| 23 | ID14 | 2013 | Porto | Gestão de bibliotecas: Avaliação estrutural das bibliotecas do Instituto Federal de Educação, Ciência e Tecnologia do Amazonas - IFAM | Dissertação |
| 24 | ID14 | 2016 | Ferreira |
Impactos da avaliação do Inep sobre o desenvolvimento de coleções das bibliotecas da UFRJ |
Dissertação |
| 25 | ID14 | 2009 | Gois |
Mensuração de desempenho nas organizações: A gestão de indicadores na Biblioteca de Ciências Humanas da UFC |
Dissertação |
| 26 | ID14 | 2004 | Barcelos e Gomes | Preparando sua biblioteca para avaliação do MEC | Resumo expandido |
| 27 | ID15 | 2012 | Spader et al. | Avaliação do acervo da Biblioteca de Ciências Jurídicas da Universidade Federal do Paraná com relação à bibliografia básica do curso de graduação em direito | Resumo expandido |
| 28 | ID15 | 2021 | Stroparo e Moreira | “Bibliotecas universitárias federais brasileiras: Acessibilidade/avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)” |
Artigo |
| 29 | ID15 | 2014 | Lubisco | “Relatório de pesquisa: Bibliotecas universitárias, seus serviços e produtos - Transposição de um modelo teórico de avaliação para um instrumento operacional” | Artigo |
| 30 | ID16 | 2020 | Maia e Guerra | “Princípios avaliativos para biblioteca universitária: Promovendo cultura, arte e conhecimento para além do acervo de livros” | Artigo |
| 31 | ID16 | 2018 | Lima | Sistema de Bibliotecas da Universidade Federal da Paraíba: Contribuições dos Instrumentos do Sinaes no processo de avaliação, na visão dos gestores | Dissertação |
Fonte: Elaboração das autoras com dados da pesquisa.
Análise, interpretação e apresentação dos dados
Para análise e interpretação dos dados coletados, adotou-se o método de interpretação de sentidos, o qual, segundo Gomes (2016), é uma perspectiva de análise para dados a partir de palavras, ações, conjunto de inter-relação, grupos, instituições, conjunturas, entre outros aspectos utilizados para se aproximar das representações sociais, neste caso, os sentidos das pesquisas referentes à política de avaliação do Sinaes para as bibliotecas universitárias federais brasileiras. Esse método tem a intenção de entender e estabelecer relações entre os pontos em comum e as contradições para compreender o que é homogêneo e o que se diferencia.
Segundo Gomes (2016), a síntese interpretativa deve ser relacionada a uma base teórica conceitual adotada para o estudo. Nesta pesquisa, utilizou-se a concepção de avaliação democrática de Dias (2003), a qual está relacionada à compreensão dos sentidos de uma instituição, sua missão, seu fim e seus objetivos fundamentais. Assim, a avaliação deve captar os sentidos das práticas e estratégias utilizadas para a obtenção dos fins - sejam elas explícitas e organizadas em forma de programas (políticas), sejam implícitas e desconexas. No caso em estudo, podem colaborar para a compreensão da missão e do desempenho da instituição e para a construção de programas e políticas que permitam a realização dos objetivos essenciais das Ifes e de suas bibliotecas.
De acordo com Gomes (2016), o método de interpretação de sentidos pode ser executado por meio de um trajeto com três etapas interconectadas: 1) leitura compreensiva do material selecionado (neste estudo, identificaram-se e problematizaram-se as ideias presentes nos objetivos das pesquisas e definiu-se uma estrutura que serviu de base para a interpretação e os agrupou em categorias por aproximação de ideias e finalidades de pesquisa); 2) exploração do material: para identificar o que havia de implícito, a partir do que está explícito, procedeu-se à interpretação das ideias referentes aos objetivos das pesquisas selecionadas e, assim, atribuíram-se sentidos a elas - ver os quatro primeiros tópicos da próxima seção; e 3) elaboração de síntese interpretativa: estabeleceram-se diálogos entre os sentidos das pesquisas, a base teórica conceitual do artigo e a avaliação democrática, elementos que estão expostos no último tópico da próxima seção.
RESULTADOS E DISCUSSÃO: INTERPRETAÇÃO DOS SENTIDOS DAS PESQUISAS SOBRE AVALIAÇÃO DO SINAES PARA BIBLIOTECAS UNIVERSITÁRIAS FEDERAIS
Nesta seção, apresenta-se a análise e interpretação dos sentidos das pesquisas contidos nos objetivos gerais e específicos das 31 pesquisas selecionadas, mostradas na Tabela 2.
Dentre as 31 publicações selecionadas para esta RSL, a maioria é referente a pesquisas de pós-graduação: 17 dissertações e 1 tese; além de 10 artigos e 3 resumos expandidos.
A maioria das pesquisas (25) está relacionada aos itens 1 a 3 da Tabela 3, a seguir, e considerou, exclusivamente, as modalidades de avaliação externas. Apenas 6 pesquisas incluíram a modalidade de autoavaliação (itens 4 e 5 da Tabela 3). Destas, apenas 5 pesquisas consideraram as três modalidades de avaliação do Sinaes (item 5 da Tabela 3) de modo conjunto em suas análises.
TABELA 3 Distribuição de pesquisas por modalidade de avaliação considerada na análise
| ITEM | MODALIDADES DE AVALIAÇÃO CONSIDERADAS NA PESQUISA | QUANTIDADE DE PESQUISAS |
|---|---|---|
| 1 | Avaliação de curso de graduação | 11 |
| 2 | Avaliação institucional externa | 2 |
| 3 | Avaliação de curso de graduação e avaliação institucional externa | 12 |
| 4 | Avaliação institucional externa e autoavaliação | 1 |
| 5 | Avaliação institucional externa, autoavaliação e avaliação de cursos de graduação | 5 |
| Total de pesquisas | 31 |
Fonte: Elaboração das autoras com dados da pesquisa.
Para a análise desses dados, seguindo as orientações de Gomes (2016), interpretaram-se quatro sentidos para as pesquisas: a) preparar a biblioteca e a equipe para a avaliação do Sinaes; b) analisar a influência da avaliação Sinaes sobre a BU; c) considerar a avaliação do Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas; e d) analisar a metodologia e a política de avaliação do Sinaes para a BU. Esses sentidos serão apresentados e discutidos a seguir.
Pesquisas cujo sentido é preparar a biblioteca e a equipe para a avaliação do Sinaes
A partir da análise dos objetivos das pesquisas, verificou-se que, dentre os 31 estudos analisados, a maioria (15) tem por sentido preparar tanto as bibliotecas quanto as equipes para as modalidades de avaliação do Sinaes.
A seguir, é descrita a frequência de modalidades de avaliação consideradas por essas 15 pesquisas, com o sentido de preparar a biblioteca e a equipe para a avaliação do Sinaes: avaliação de cursos de graduação, considerada por 6 pesquisas, e avaliação institucional externa, presente em 2 trabalhos; avaliação de cursos de graduação e avaliação institucional externa, analisadas conjuntamente em 4 estudos; avaliação institucional externa e autoavaliação aparecem em 1 pesquisa; e, por fim, 2 pesquisas consideraram, no mesmo estudo, avaliação institucional externa, autoavaliação e avaliação de cursos.
A maioria das pesquisas considerou a modalidade de avaliação de curso de graduação. A autoavaliação consta de 3 pesquisas, e apenas 2 incluíram as três modalidades que avaliam a BU.
Os objetivos das pesquisas mostram que as investigações que visavam à avaliação do Sinaes estavam relacionadas às seguintes ideias: a) traçar estratégias que possam contribuir para a melhoria da qualidade da biblioteca, tendo como parâmetro o Sinaes - 2 pesquisas; b) analisar a literatura e a legislação da avaliação de bibliotecas na educação superior a distância (EaD) - 1 trabalho; c) avaliar o comportamento do professor e sua relação com a biblioteca perante o processo de aquisição de acervo - 1 pesquisa; d) estudar a relação entre as condições da biblioteca e o exigido nas modalidades de avaliação - 8 estudos; e e) verificar a utilização dos indicadores por parte da BU - 3 trabalhos.
A partir da análise, as ideias presentes nos objetivos das pesquisas têm por finalidade, de modo geral, a análise de elementos e o estabelecimento de estratégias que contribuam para as BU atingirem o conceito adequado nesses processos avaliativos.
Desse modo, 5 pesquisas abordam a utilização dos instrumentos de avaliação; 9 analisam as condições necessárias para atingir uma boa nota em relação a aquisição de acervo, atendimento do usuário, equipe de pessoal, tecnologia, equipamentos e preparação do bibliotecário; e 1 trabalho versa sobre a identificação do desempenho da biblioteca no processo avaliativo.
Diante do exposto, as pesquisas buscam apresentar procedimentos e recomendações para o planejamento dos serviços da BU e orientar os(as) bibliotecários(as) quanto aos elementos necessários para atender aos indicadores, visando a um bom desempenho (nota) nos processos avaliativos do Sinaes.
Desse modo, essas pesquisas têm o sentido de preparar a biblioteca e a equipe para a avaliação do Sinaes. Em pesquisas com esse sentido, há pouco espaço para uma análise crítica sobre a avaliação do Sinaes para bibliotecas universitárias, a política de avaliação e o seu impacto para as bibliotecas universitárias, tendo em vista a prestação de seus serviços para os usuários, principalmente os(as) alunos(as).
A partir do referencial teórico sobre a política de avaliação da educação superior no Brasil e da legislação (Barreyro & Rothen, 2014; Inep, 2004, 2017a, 2017b, 2017c, 2017d; Lei n. 10.861, 2004; Rothen et al., 2018; Verhine, 2015), as Ifes são obrigadas a adotar os indicadores avaliados, tanto para participar do ranqueamento entre as instituições, que advém das atribuições de notas, quanto para o processo de regulação, do qual dependem para o seu funcionamento e existência.
Por isso, as pesquisas com características instrumentais e objetivistas sobre o tema são esperadas e comuns. Chama a atenção, porém, o fato de essas pesquisas serem maioria expressiva. Concomitantemente a essas, também são necessárias pesquisas com caráter crítico, uma vez que
. . . as investigações em políticas educativas, fundamentadas na teoria marxista, poderão contribuir para evidenciar que as reformas educativas atuam nos limites da política sem, contudo, atingir as causas dos problemas sociais e [poderão] indicar quais políticas tendem a contribuir, ou não, para avançar na construção de uma educação verdadeiramente emancipadora. (Masson, 2014, p. 71).
Esse tipo de análise pode construir crítica à política de avaliação, ao uso dos resultados e ao direcionamento de gestão e desenvolvimento de serviços do setor para que sejam pensados para além do que o Sinaes exige, isto é, para que também sejam adotadas como parâmetro as considerações de seus usuários.
Pesquisas cujo sentido é analisar a influência da avaliação Sinaes sobre a BU
Dentre as 31 pesquisas analisadas nesta RSL, identificaram-se 6 estudos cujo sentido é analisar a influência da avaliação Sinaes sobre a BU. Com relação às modalidades de avaliação do Sinaes consideradas nessas pesquisas, foi obtida a seguinte frequência: 2 delas analisaram avaliação de cursos de graduação; 3, avaliação de cursos de graduação e avaliação institucional externa; e 1 pesquisa abordou avaliação institucional externa, autoavaliação e avaliação de cursos.
Nesse sentido, as pesquisas que analisaram conjuntamente avaliação de cursos de graduação e avaliação institucional externa foram maioria. Apenas 1 pesquisa considerou a avaliação do Sinaes para BU de modo integral, pois envolveu as três modalidades na pesquisa. Contudo a modalidade de avaliação de cursos foi preponderante, pois apareceu nas 6 pesquisas, enquanto a autoavaliação consta de apenas uma pesquisa.
A interpretação dos objetivos dessas pesquisas mostra que estão presentes as seguintes ideias por frequência: a) a relação entre a modernização da BU e a avaliação do Sinaes - 1 trabalho; b) a relação entre a política de inclusão, os indicadores de acessibilidade na avaliação institucional externa e a biblioteca - 2 pesquisas; c) a identificação dos impactos, a partir do Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni)3 e do Sinaes, nos investimentos no Sistema de Bibliotecas pesquisado - 1 estudo; e d) a relação entre as modalidades de avaliação de cursos de graduação e avaliação institucional externa e o desenvolvimento de coleções (acervo) da biblioteca - 2 trabalhos.
Assim, as pesquisas relacionam a avaliação do Sinaes a alguns impactos nas bibliotecas e até a outras políticas. Por isso, o sentido dessas pesquisas diz respeito a analisar a influência da avaliação Sinaes sobre a BU.
De acordo com a análise de cada objetivo, foram relacionadas quatro finalidades das pesquisas, conforme descrito a seguir:
1) uma pesquisa teve a intenção de entender se o processo de modernização de BU de uma Ifes estava articulado às necessidades de informação da comunidade e qual a relação desse processo com a avaliação do Sinaes;
2) duas pesquisas relacionaram a BU à política de inclusão e acessibilidade. Uma teve a intenção de entender a relação entre as condições de acessibilidade efetivadas na BU e os indicadores de acessibilidade na avaliação institucional. Embora o referido estudo tenha uma intenção instrumental de verificar a adoção de indicador, relaciona o impacto de duas políticas públicas à BU. Ainda nessa temática, a outra pesquisa teve por finalidade entender a relação entre a política de inclusão, as práticas nos processos de avaliação institucional e os indicadores do Sinaes, referentes à acessibilidade para BU. As modalidades de avaliação externas destinam indicadores para acessibilidade tanto para o acesso ao acervo quanto para a infraestrutura;
3) duas pesquisas tiveram como propósito entender os efeitos das modalidades de avaliação externas do Sinaes sobre o desenvolvimento dos acervos das bibliotecas. Dessas, uma tinha em vista que a referida avaliação atende aos interesses da graduação. A outra pesquisa analisou os processos institucionais e as repercussões que envolvem o atendimento da bibliografia básica e da complementar dos cursos de graduação, a fim de discutir a complexidade entre o que é exigido pela avaliação e a realidade na disponibilização dos serviços na BU;
4) uma pesquisa procurou entender os espaços da BU após a repercussão de duas importantes políticas, o Reuni e o próprio Sinaes, para identificar se houve avanços em investimentos.
Nesse contexto, analisam-se a relação entre a avaliação da BU pelo Sinaes e outras políticas assim como os impactos dessas políticas sobre as bibliotecas universitárias. Contudo estudos como esses ainda não são expressivos, tendo em vista que foram 6 no universo de 31 pesquisas analisadas.
Pesquisas cujo sentido é a avaliação do Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas
Dentre as 31 pesquisas analisadas, 6 tiveram como sentido a avaliação do Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas.
Duas dessas pesquisas consideraram a modalidade de avaliação de cursos de graduação exclusivamente em suas análises; 3, as modalidades de avaliação de cursos de graduação e avaliação institucional externa, concomitantemente; e 1 delas considerou avaliação institucional externa, autoavaliação e avaliação de cursos. Novamente, a maior parte das pesquisas levou em conta as modalidades da avaliação externa, em detrimento da autoavaliação, o que aparece em apenas 1 das pesquisas, a qual foi, também, a única que incluiu todas as modalidades de avaliação para BU.
Duas pesquisas com essa finalidade consideraram para a análise, enquanto estavam propondo um modelo ou instrumento de avaliação para a BU como um todo, apenas a avaliação de cursos, a qual se limita à avaliação da oferta da bibliografia básica e da complementar e das condições de acesso a elas.
Nenhuma das pesquisas nessa categoria teve como foco de análise, exclusivamente, a avaliação institucional externa, o que é adequado, uma vez que pesquisas para essa finalidade poderiam considerar, em sua análise, tanto os critérios das avaliações institucionais quanto os da avaliação de cursos do Sinaes para BU, tendo em vista que cada uma avalia aspectos distintos da biblioteca.
De acordo com a análise dos objetivos dessas pesquisas, foram identificadas as principais ideias: a) elaborar um modelo de avaliação para BU com base no Sinaes e outras referências - 5 estudos; e b) traçar diretrizes e orientação para o planejamento da BU com base no Sinaes e outras referências - 1 pesquisa.
A partir da análise de cada objetivo, foi possível entender que as pesquisas dessa categoria tinham a finalidade homogênea de propor um modelo com indicadores e diretrizes tanto para a orientação de planejamento quanto para avaliações de bibliotecas. Para isso, os(as) pesquisadores(as) utilizaram como referencial o modelo e os indicadores de avaliação do Sinaes e de outras referências, como: o modelo adaptado e utilizado pela Ifes; o modelo de autoavaliação do Programa Nacional de Gestão Pública e Desburocratização (Gespública);4 e o modelo de avaliação da Red de Bibliotecas Universitarias Españolas (Rebiun).
Apesar de as pesquisas com esse sentido não terem sido maioria, os indicadores e critérios de avaliação do Sinaes são uma importante referência para a área especializada. De modo crítico, Brasil e Ribeiro (2022, pp. 204-205) constataram que “é possível entender que os padrões de qualidade do Sinaes representam um paradigma da qualidade e das necessidades dos usuários das BUs”.
Além das pesquisas que visam a propor modelos para orientar os planejamentos e as avaliações de bibliotecas, aquelas que têm a finalidade de analisar a relação e a influência do padrão de qualidade do Sinaes sobre as bibliotecas universitárias são relevantes para entender se essa dinâmica possibilita espaço para as bibliotecas serem planejadas além do que indica o Sinaes. Ademais, a partir disso, podem problematizar se o referencial de qualidade do Sinaes representa os interesses e as necessidades dos usuários das bibliotecas universitárias.
Pesquisas cujo sentido é analisar a avaliação do Sinaes para a BU
Dentre as 31 pesquisas selecionadas para esta RSL, 4 tiveram por sentido analisar a política ou a metodologia da avaliação do Sinaes para a BU. Essas pesquisas formam minoria - 1 considera em suas análises as modalidades de avaliação de cursos de graduação; 2, as modalidades de avaliação de cursos de graduação e avaliação institucional externa conjuntamente; e 1, avaliação institucional externa, autoavaliação e avaliação de cursos.
De modo semelhante às demais categorias de sentidos de pesquisa, as modalidades de avaliação externa são maioria. A autoavaliação consta de apenas 1 pesquisa, na qual há a análise da avaliação do Sinaes para BU de modo integral, isto é, a pesquisa considerou as três modalidades de avaliação em sua análise e foi minoria significativa.
A seguir, são apresentadas as principais ideias identificadas nos objetivos das pesquisas: a) analisar a relevância dos indicadores de qualidade para BU - 1 pesquisa; b) avaliar as práticas das avaliações externas da biblioteca pesquisada - 1 estudo; c) analisar a metodologia de avaliação do Sinaes para as BU - 1 trabalho; e d) analisar os fatores que interferem na avaliação do Sinaes para as BU - 1 pesquisa. Essas pesquisas se propuseram a investigar aspectos da política de avaliação. Por isso, o seu sentido é analisar a própria avaliação do Sinaes para a BU.
A partir do exame de cada objetivo, as pesquisas detiveram-se a analisar o sistema de avaliação do Sinaes para BU tendo por finalidades: a metodologia de avaliação - 1 pesquisa; as práticas das avaliações externas - 1 trabalho; os instrumentos de avaliação e indicadores - 2 estudos; os avaliadores externos, exclusivamente professores - 1 pesquisa; e a visão dos bibliotecários sobre as comissões das avaliações externas do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) - 1 estudo.
Há uma diversificação dos enfoques de análise das pesquisas cujo sentido é analisar a avaliação do Sinaes para a BU. Contudo, 3 pesquisas, a maioria delas, buscaram verificar aspectos das avaliações externas, como: a comissão de avaliação na condição de práticas empreendidas no processo de avaliação; o fato de a comissão de avaliadores externos ser exclusivamente composta de membros da categoria de professores; e a visão do(a) bibliotecário(a) - além disso, analisaram os instrumentos e os indicadores. Apenas 1 pesquisa objetivou analisar a metodologia de avaliação do Sinaes para BU, a qual tem a possibilidade de resultar em uma análise mais abrangente e até crítica sobre a temática.
Com relação à pesquisa que teve por finalidade discutir o fato de a comissão de avaliadores externos ser exclusivamente composta de membros da categoria de professores, Lubisco (2007) concluiu que um dos aspectos que não contribuía para o sucesso da referida avaliação poderia ser a falta de conhecimento específico sobre a biblioteca e suas potencialidades, por parte dos membros das comissões de avaliadores externos do MEC e dos Coordenadores de Colegiado dos Cursos, equipe que não conta com a participação de nenhum bibliotecário.
Contudo esse dado mostra que, além da ausência de bibliotecários na referida comissão, o que também não permite uma análise qualificada da BU é o fato de ela ser realizada por avaliadores de origem externa à Ifes e à BU analisada.
Tendo em vista que, das 31 pesquisas que integram o corpus deste estudo, apenas 4 tiveram a finalidade de analisar a política de avaliação e que a avaliação do Sinaes se constitui como uma referência modeladora para as Ifes e as bibliotecas universitárias, são necessárias mais pesquisas com a finalidade de analisar a política em questão, para entender se esse sistema complexo de fato avalia a BU ou se apenas a regula.
Além disso, conforme afirmam Brasil e Ribeiro (2022, p. 205),
. . . entre as modalidades de avaliação há uma fragmentação das características das BUs, pode ocorrer de uma biblioteca receber a nota máxima (cinco) na avaliação de cursos, mesmo apresentando comprometimentos em infraestrutura ou no desenvolvimento de serviços, este último tão pouco [sic] é considerado na avaliação.
Diante disso, pesquisas com esse sentido podem também promover análises críticas sobre o processo complexo de avaliação do Sinaes para BU, no qual cada modalidade de avaliação considera ou avalia aspectos diferentes do setor, sem elementos de integração que o avaliem em sua totalidade, o que traz alguma implicação para o desenvolvimento do setor nas Ifes.
Os sentidos das pesquisas analisadas e a base teórica (avaliação democrática) adotada no artigo
A partir das análises apresentadas anteriormente, é possível entender que os sentidos das pesquisas sobre avaliação do Sinaes para bibliotecas universitárias federais estão majoritariamente relacionados à contribuição para o enquadramento da biblioteca nos padrões de qualidade representados por seus indicadores de avaliação.
Afirma-se isso com base, principalmente, nas pesquisas cujos sentidos são: a) preparar a biblioteca e a equipe para a avaliação do Sinaes - 15 pesquisas; e b) avaliar o Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas - sentido de 6 estudos. Juntos, esses sentidos estão presentes em 21 das 31 pesquisas analisadas, ou seja, na maioria delas. Além disso, ambos os sentidos visam ao enquadramento da BU na concepção de avaliação do Sinaes, pois a utilizam como referencial.
Embora Lubisco (2007) tenha considerado que os bibliotecários não pensaram nas oportunidades que poderiam ter, ante os instrumentos disponibilizados pelo MEC - que, apesar de serem inadequados, deveriam ter sido utilizados com vistas a melhorar a gestão dos serviços tendo-os como referência -, a partir dos dados desta RSL, atualmente, as pesquisas refletem outra realidade, uma vez que a maioria delas (21) representa interesse no referido padrão: ou a) para preparar a biblioteca e a equipe para a avaliação do Sinaes - 15 delas; ou b) por considerar a avaliação do Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas - 6 pesquisas.
Por isso, a maioria das pesquisas está articulada a um processo de aceitação e pouca crítica a essa política de avaliação, mostrando que o sentido da regulação do Sinaes tem mais influência sobre as bibliotecas universitárias do que o de avaliação. Diante disso, a maior parte das pesquisas cumpre uma função instrumental, assim como é a função da própria política que se dispôs a analisar, refletindo, desse modo, a missão reguladora do Sinaes.
Outro dado que comprova a aproximação da maioria das pesquisas ao sentido da regulação é o fato de que grande parte (25) das 31 pesquisas selecionadas priorizou exclusivamente as avaliações externas (ver Tabela 3), consideradas importantes instrumentos técnicos de regulação e da reforma gerencial do Estado, tendo em vista que são consideradas mais objetivas do que a autoavaliação (Ristoff, 2024). Apenas 6 pesquisas incluíram a autoavaliação. Esses dados dialogam com a constatação de Verhine (2015) quanto à desvalorização do potencial formativo e contextual da autoavaliação, em benefício da valorização das avaliações externas, realizadas a partir dos indicadores objetivos que seguem um padrão nacional e resultam em uma nota que favorece o ranqueamento, características da regulação.
Essa perspectiva de avaliação se diferencia da base teórica adotada nesta análise, a avaliação democrática, a qual, segundo Dias (2003), visa à compreensão dos sentidos de uma instituição e à sua efetividade, para entender se as políticas, os projetos, os serviços e as práticas institucionais empreendidas têm relação com os fins das IES - e não pretende apenas checar se padrões previamente definidos foram implantados e em qual medida (conceitos de 1 a 5).
As pesquisas com o sentido de analisar a influência da avaliação do Sinaes sobre a BU poderiam estar mais próximas da base teórica deste estudo, já que fazem análises mais amplas sobre a política e a relacionam a alguns impactos nas bibliotecas e até a outras políticas. Contudo a maioria das pesquisas nesse sentido se dedicou a analisar as modalidades de avaliação externas, que são, prioritariamente, reguladoras. Apenas uma integrou todas as modalidades de avaliação do Sinaes à análise, isto é, incluiu a autoavaliação.
A maior parte das pesquisas com sentido de analisar a avaliação do Sinaes para a BU não está próxima do sentido de avaliação democrática porque buscou estudar um aspecto ou outro referente às avaliações externas. Apenas uma pesquisa nessa categoria objetivou analisar a metodologia de avaliação do Sinaes para BU, envolvendo as três modalidades de avaliação do Sistema.
Diante do exposto, considerando Dias (2003, pp. 88-89), “restaurar o sentido educativo da avaliação é um empreendimento complexo. Enquanto a concepção instrumental, utilitária e objetivista da sociedade for homogênea, a avaliação que lhe corresponde tende a persistir como dominante e dificilmente se combinará com outra perspectiva”.
Nesses termos, enquanto for predominante a racionalidade citada por Dias (2003), as Ifes permanecerão naquele enquadramento e as políticas educativas seguirão as mesmas concepções. Assim, há um desafio para as pesquisas, pois podem mostrar o reflexo e as consequências dessa racionalidade para a realidade das políticas educativas e para as Ifes e suas bibliotecas, bem como apontar caminhos e perspectivas para além de uma vivência ingênua com tais políticas.
CONSIDERAÇÕES FINAIS
Encontraram-se os seguintes sentidos de pesquisa: a) preparar a biblioteca e a equipe para a avaliação do Sinaes - 15 trabalhos; b) analisar a influência da avaliação Sinaes sobre a BU - 6 estudos; c) analisar a avaliação do Sinaes como referencial de qualidade para a elaboração de instrumento de avaliação e gestão das bibliotecas - 6 pesquisas; e d) analisar a avaliação do Sinaes para a BU - 4 trabalhos.
Dentre as 31 pesquisas analisadas, 21 estão relacionadas aos sentidos dos itens a) e c) do parágrafo anterior, com finalidades técnicas e objetivas de instrumentalizar a biblioteca, a equipe e a gestão para a avaliação do Sinaes. Por isso, a maioria das pesquisas está mais relacionada ao sentido da regulação do que ao da avaliação. Desse modo, acredita-se que são necessárias mais pesquisas com análises críticas sobre a referida avaliação, as quais poderiam analisar, além da relação dessa avaliação com a efetividade dos serviços da BU, a política e a metodologia de avaliação (apenas uma pesquisa fez essa discussão), o uso dos resultados, a influência deles sobre a gestão e o desenvolvimento de serviços do setor, bem como a sua relação com os usuários. Isso significaria discutir a BU perante a avaliação do Sinaes e para além da avaliação, sem ter como prioridade de análise instrumentalizá-la para a referida avaliação, tendo em vista a adoção do padrão expresso nos instrumentos das avaliações externas.
Em todas as categorias de sentidos de pesquisa predominaram análises que consideraram as modalidades de avaliação externas, prioritariamente reguladoras, em detrimento da autoavaliação, dado que evidencia, mais uma vez, que as pesquisas dão maior ênfase à regulação do que à avaliação, representada pela autoavaliação. Além disso, a minoria significativa das pesquisas considerou a avaliação do Sinaes para a BU de modo integral, isto é, as três modalidades de avaliação e a BU.
Em suma, a maior parte das pesquisas prioriza a regulação em detrimento da avaliação porque visa ao enquadramento da BU nos indicadores das modalidades de avaliação externas do Sinaes, ou porque a autoavaliação é pouco considerada nas pesquisas.
Pelo exposto, para entender a totalidade desses processos avaliativos, são necessárias pesquisas que integrem as três modalidades do Sinaes na análise. Pesquisas com essa característica podem problematizar a avaliação de aspectos da BU separadamente, em modalidades diferentes, sem elementos de integração, a fim de fazer refletir sobre os nexos entre elas e os reflexos disso no desenvolvimento do setor e na sua relação com os usuários.
A política de avaliação do Sinaes tem efeitos modeladores sobre as Ifes, devido aos processos de regulação das instituições e dos cursos, os quais dependem desse sistema para credenciamento e renovação de credenciamento das Ifes, bem como autorização, reconhecimento e renovação de reconhecimento de cursos de graduação, isto é, o funcionamento e existência das Ifes está vinculado ao seu bom desempenho na avaliação do Sinaes. Diante disso, a adoção dos seus indicadores de qualidade se torna obrigatória. Esse cenário mostra a importância de estudar os efeitos reguladores e modeladores do Sinaes sobre as bibliotecas universitárias.
