SciELO - Scientific Electronic Library Online

 
vol.32 número123Violencia escolar: una revisión de la literatura basada en el Análisis de Redes Sociales¿Cómo reaccionaron hombres y mujeres a la Educación remota durante la pandemia? Los casos de Portugal y Rusia índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Ensaio: Avaliação e Políticas Públicas em Educação

versión impresa ISSN 0104-4036versión On-line ISSN 1809-4465

Ensaio: aval. pol. públ. educ. vol.32 no.123 Rio de Janeiro  2024  Epub 19-Abr-2024

https://doi.org/10.1590/s0104-40362024003204308 

ARTIGO

Avaliação de políticas públicas: uma análise de artigos acadêmicos armazenados na base e-Aval

Evaluation of public policies: an analysis of academic articles stored in the e-Aval database

Evaluación de políticas públicas: un análisis de artículos académicos almacenados en la base de datos e-Aval

Lígia Silva Leite, concepção, planejamento, elaboração e revisão do artigoa 

Lígia Silva Leite: Pós-doutorado em Meios Educacionais pela Universidade de Pittsburgh, EUA.

ligialeite@terra.com.br
http://orcid.org/0000-0003-1878-7933

Lúcia Regina Goulart Vilarinho, concepção, planejamento, elaboração e revisão do artigob 

Lucia Regina Goulart Vilarinho: Doutora em Educação pela Universidade Federal do Rio de Janeiro.

luciagvilarinho@gmail.com
http://orcid.org/0000-0002-1246-6049

Sandra Maria Martins Redovalio Ferreira, elaboração, revisão intelectual crítica do artigoc 

Sandra Maria Martins Redovalio Ferreira: Mestre em Avaliação pela Faculdade Cesgranrio.

sandramartins36@gmail.com
http://orcid.org/0000-0002-4244-8714

Sonia Regina Natal de Freitas, elaboração, revisão intelectual crítica do artigod 

Sonia Regina natal de Freitas: Mestre em Avaliação pela Faculdade Cesgranrio.

sonianatal@hotmail.com
http://orcid.org/0000-0002-9510-1191

Flávia Giffoni de Abreu dos Santos, elaboração, aquisição e análise dos dadose 

Flávia Giffoni de A dos Santos: Mestre em Avaliação pela Faculdade Cesgranrio e especialista em Educação a Distância.

flaviagiffoni78@gmail.com
http://orcid.org/0000-0001-5965-9350

a Fundação Cesgranrio, Curso de Mestrado Profissional em Avaliação, Rio de Janeiro, RJ, Brasil.

b Fundação Cesgranrio, Curso de Mestrado Profissional em Avaliação, Rio de Janeiro, RJ, Brasil.

c Fundação Cesgranrio, Curso de Mestrado Profissional em Avaliação, Rio de Janeiro, RJ, Brasil.

d Fundação Cesgranrio, Curso de Mestrado Profissional em Avaliação, Rio de Janeiro, RJ, Brasil.

e Universidade Estácio de Sá / Fundação Cesgranrio, Curso de Mestrado Profissional em Avaliação, Rio de Janeiro, RJ, Brasil.


Resumo

Este artigo tem como objetivo apresentar uma meta análise baseada em pareceres avaliativos elaborados por alunos da disciplina Prática de Avaliação do Curso de Mestrado da Faculdade Cesgranrio, a partir da identificação de artigos registrados na base de dados e-Aval, considerando a interseção da área da Avaliação com a Educação. Foram analisados 118 artigos da categoria Avaliação de Políticas Públicas, de acordo com elementos derivados da metodologia de avaliação utilizada pela instituição. Os resultados revelaram, de modo geral, a presença, nos artigos, dos elementos metodológicos propostos, embora nem sempre eles tenham sido tratados de acordo com a perspectiva da metodologia de avaliação adotada.

Palavras-Chave: Avaliação; Políticas Públicas; Metodologia da Avaliação; Pesquisa e Educação; Banco de Dados On-line

Abstract

This article aims to present a meta-analysis based on evaluative opinions prepared by students of a discipline of the Master’s Course at Faculdade Cesgranrio, based on the identification of articles registered in the e-Aval database, considering the intersection of the area of Evaluation with Education. 118 articles from the Public Policy Evaluation category were analyzed, according to elements derived from the evaluation methodology used by the institution. The results revealed, in general, the presence of the proposed methodological elements in the articles, although they were not always treated according to the perspective of the adopted evaluation methodology.

Key words: Assessment; Public Policies; Evaluation Methodology; Research and Education; Online Database

Resumen

Este artículo tiene como objetivo presentar un metanálisis basado en opiniones evaluativas elaboradas por estudiantes de una disciplina del Curso de Maestría en la Faculdade Cesgranrio, a partir de la identificación de artículos registrados en la base de datos e-Aval, considerando la intersección del área de Evaluación con la Educación. Se analizaron 118 artículos de la categoría Evaluación de Políticas Públicas, según elementos derivados de la metodología de evaluación utilizada por la institución. Los resultados revelaron, en general, la presencia, en los artículos, de los elementos metodológicos propuestos, aunque no siempre tratados según la perspectiva de la metodología de evaluación adoptada.

Palabras-clave: Evaluación; Políticas Públicas; Metodología de Evaluación; Investigación y Educación; Base de Datos en Línea

1 Introdução

Uma questão amplamente discutida no Curso de Mestrado Profissional em Avaliação, da Faculdade Cesgranrio, refere-se à perspectiva de complexidade da área da Avaliação e à sua característica multi e interdisciplinar, o que traz dificuldades para delimitar seu campo de atuação e definir seu conteúdo específico. Esta ideia é corroborada por Worthen, Sanders e Fitzpatrick (2004, p. 78), que consideram a avaliação como: “Empreitada técnica e política multidimensional que requer tanto novas conceituações, quanto novos olhares de quando e como as metodologias existentes em outros campos podem ser usadas com propriedade”.

A Avaliação, além de estar inserida em constante processo de (re) construção e utilização de saberes de vários campos do conhecimento, apresenta um caráter inovador que exige a necessidade de sua produção teórica e prática ser registrada de maneira contínua e estruturada. Tais características exigem o mapeamento de algumas dimensões da área da Avaliação, de modo a contribuir para a organização sistemática do conhecimento, que vem sendo produzido sob a perspectiva de inovação. Neste sentido, Leite e Freitas (2018, p. 130) ressaltam que o: “[...] campo da Avaliação, que, por ser relativamente recente no Brasil, carece de estudos e pesquisas que objetivem levantar e organizar o conhecimento produzido neste campo”.

Inserido neste contexto, o projeto de pesquisa ‘Estado da Arte da Avaliação’, desenvolvido na disciplina ‘Prática de Avaliação: estado da arte da avaliação’, desde 2014, teve por objetivo investigar, por meio de um processo estruturado de busca em bases eletrônicas de dados, o desenvolvimento da área da Avaliação no país. Apoiou-se na perspectiva de Romanowski e Ens (2006, p. 39), a qual afirma:

Estados da arte podem significar uma contribuição importante na constituição do campo teórico de uma área de conhecimento, pois procuram identificar os aportes significativos da construção da teoria e prática pedagógica, apontar as restrições sobre o campo em que se move a pesquisa, as suas lacunas de disseminação, identificar experiências inovadoras investigadas que apontem alternativas de solução para os problemas da prática e reconhecer as contribuições da pesquisa na constituição de propostas na área focalizada.

O grupo de pesquisa, formado por docentes, assistentes de pesquisa (ex-alunas) e alunos da disciplina Prática de Avaliação, decidiu iniciar a busca pela interseção da Avaliação com a área da Educação, identificando os artigos a serem analisados na base de dados Scientific Electronic Library Online (SciELO). Diante do grande número de artigos encontrados no primeiro ano de pesquisa (486), surgiu a necessidade de organizá-los em categorias. Foi utilizada, então, a classificação sugerida por King (2005), que resultou na definição de seis categorias a saber: Avaliação de professores (tipo de avaliação de pessoal focalizado nos instrutores); Avaliação de currículo (envolve aspectos amplos da prática pedagógica, examinando os efeitos e a efetividade de práticas pedagógicas específicas); Avaliação de programas educacionais e de treinamentos na área de Educação (avalia aspectos do campo geral da avaliação de programas); Avaliação de contexto educacional (estuda aspectos de diferentes ambientes educacionais relacionados à aquisição de conhecimentos); Avaliação de alunos (relacionada a questões de aprendizagem e outros resultados instrucionais); Avaliação institucional/acreditação (avalia o funcionamento de uma instituição educacional em relação a um grupo de padrões predeterminados).

Esta categorização atendeu inicialmente às necessidades do projeto, mas não foi suficiente. Assim, durante o processo de categorização dos artigos verificou-se a necessidade de inclusão de outras três categorias: Avaliação de políticas públicas (relacionada a aspectos de formulação, implementação e avaliação de políticas educacionais); Avaliação da produção acadêmica (diz respeito à produção científica de pesquisadores, professores e alunos); e Avaliação de gestão educacional (referente a aspectos gerenciais da Educação).

Os artigos trabalhados neste estudo foram recolhidos na base SciELO e registrados na nova base de dados construída pelo projeto, denominada e-Aval (E-AVAL, 2021), a qual é atualizada anualmente pelos alunos que cursam a disciplina Prática de Avaliação: o estado da arte da avaliação. Até o ano de 2021 haviam sido identificados 1.121 artigos publicados entre 2001 e 2020, e dentre esses, 246 pertenciam à categoria Avaliação de Políticas Públicas, foco deste artigo. Tal quantitativo justificou a elaboração de pareceres avaliativos sobre esses artigos, proposta aos mestrandos da disciplina.

Cabe lembrar que o objetivo da disciplina ao trabalhar com áreas temáticas específicas, como Políticas Públicas, não recai na ampliação do conhecimento do aluno em relação ao conteúdo das mesmas. O foco da disciplina é identificar, analisar e avaliar elementos pertencentes à Metodologia da Avaliação adotada pelo Curso de Mestrado em Avaliação da Faculdade Cesgranrio, que deve ser de competência do avaliador, na análise de informações de diferentes áreas do saber. Esses elementos da Metodologia da Avaliação constituíram a espinha dorsal dos pareceres avaliativos elaborados pelos alunos, em relação aos artigos científicos registrados na base e-Aval, pertencentes à categoria Políticas Públicas.

Vale salientar que as Políticas Públicas constituem um campo relevante de estudo na área da Avaliação, especialmente por sua interseção com a Educação.

2 Por que pareceres avaliativos sobre Avaliação de Políticas Públicas?

O termo política pública tem se destacado, nos últimos anos, em debates na academia e na sociedade e, segundo Ribeiro (2020), o avanço da democracia em diversos países tem criado motivos para que haja participação nas questões e ações governamentais, favorecendo a governabilidade. Essa autora destaca, com base em Azevedo (2003 apud Ribeiro, 2020), que política pública se caracteriza por ações da política que podem ser visualizadas como “um conceito mais objetivo, referindo-se às políticas públicas como tudo aquilo que um governo faz ou deixa de fazer, bem como os impactos de sua ação ou omissão”.

Na base de dados e-Aval, até 2021 foram encontrados 246 artigos relacionados a aspectos de formulação, implementação e avaliação de políticas públicas voltadas para a área da Educação, ou seja, referentes à categoria Avaliação de Políticas Públicas. Porém, este artigo foi elaborado com base em pareceres avaliativos construídos por alunos do Curso de Mestrado em Avaliação no ano de 2019, sendo assim, 197 artigos serviram de base para a construção deste trabalho. Esses artigos foram classificados em seis subcategorias bem definidas, a saber: Políticas de avaliação de larga escala e de sistemas de avaliação e regulação; Políticas de reforma da Educação Básica e da Educação Superior; Políticas de formação e de avaliação de professores; Políticas de Educação Inclusiva; Políticas de avaliação externa; e Outras políticas.

Trabalho semelhante foi realizado por Araújo, Oliveira e Santos (2022) em relação ao Estado da Arte da Avaliação Educacional no Brasil, o qual pesquisou 495 artigos publicados na Revista Ensaio, da Fundação Cesgranrio de 2009 a 2020. Este trabalho encontrou quantidade relevante de artigos na área de Políticas Públicas, conforme pode-se perceber:

Também foi possível perceber a prevalência de produções nas categorias “Aspectos Gerais” e “Avaliação de Programas, Projetos e Políticas Públicas”, o que evidencia a predominância de artigos mais teóricos sobre o tema, além de pesquisas sobre ações governamentais, ou não, no estabelecimento de Políticas Públicas nos diversos níveis de Ensino (Araújo; Oliveira; Santos, 2022, p. 891).

No Quadro se visualiza o número de artigos encontrados pelo grupo de pesquisa, por subcategoria da categoria Avaliação de Políticas Públicas.

Quadro Total de artigos por subcategoria definida 

Subcategorias da Categoria Avaliação de Políticas Públicas Número de artigos
Políticas de avaliação de larga escala e de sistemas de avaliação e regulação 106
Políticas de reforma da Educação Básica e da Educação Superior 26
Políticas de formação e de avaliação de professores 9
Políticas de Educação Inclusiva 12
Políticas de avaliação externa 18
Outras políticas 26
Total 197

Fonte: Elaboração das autoras (2022)

Observando-se o Quadro, fica claro que a subcategoria que abrangeu um maior número de artigos foi a de Políticas de avaliação de larga escala e de sistemas de avaliação e regulação. Os artigos pertencentes a esta subcategoria ainda foram organizados em grupos menores para estudo, de acordo com o nível educacional em que as análises foram realizadas, sendo 53 deles da Educação Superior e o restante 53 artigos também da Educação Básica.

3 Avaliação de Políticas Públicas Educacionais: pareceres dos mestrandos

Os mestrandos que participaram da disciplina “Prática de Avaliação: o estado da arte da avaliação”, no ano de 2019, foram orientados a elaborar pareceres avaliativos sobre artigos que integravam a categoria Políticas Públicas e se tornou objeto dos pareceres avaliativos (Elliot et al., 2019). A análise de cada artigo considerou a elaboração e a presença dos seguintes aspectos metodológicos: problema/necessidade/motivação/demanda, objetivo(s), referencial teórico, metodologia, resultados e recomendações (Worthen; Sanders; Fitzpatrick, 2004). A partir dessa análise, foi elaborado um parecer sobre a subcategoria escolhida, apresentando uma análise de cada aspecto sugerido, de modo a construir um trabalho acadêmico na área da Avaliação.

Ao todo seis mestrandos participaram desta disciplina no ano de 2019 e analisaram 118 artigos, uma vez que aqueles relacionados às subcategorias Políticas Outras Políticas (26 artigos) e Políticas de Avaliação de Larga Escala e Sistemas de Avaliação relacionados à Educação Básica (53 artigos) não foram analisados. Foram elaborados cinco pareceres avaliativos devido ao fato de uma subcategoria, por possuir um número mais expressivo de artigos, ter sido trabalhada por dois alunos, os demais foram trabalhados individualmente. A seguir são relatados como se desenvolveram os pareceres elaborados por esses alunos, tendo como foco os aspectos relacionados à metodologia de avaliação, sugeridos pelas docentes na disciplina Prática de Avaliação: o estado da arte da avaliação.

Os mestrandos elaboraram cinco pareceres, sendo que no primeiro foram analisados 53 artigos; no segundo parecer, 12 artigos; no terceiro, 18 artigos; no quarto, nove artigos; e no quinto parecer, 26 artigos.

3.1 Aspectos metodológicos analisados:

A seguir são apresentados diferentes ângulos utilizados pelo grupo de pesquisa para analisar os artigos selecionados.

3.1.1 Tipo de artigo

Os mestrandos analisaram primeiramente os aspectos relacionados ao tipo de produção acadêmica, se os artigos eram teóricos, resultados de pesquisa ou relatos de experiência (Tabela 1).

Tabela 1 Distribuição dos artigos por tipo 

Tipo de artigo Número de artigos por parecer avaliativo (P)

P1 P2 P3 P4 P5 Total
Resultado de pesquisa 19 5 12 5 1 42
Relato de experiência 1 1 3 1 8 14
Teórico 33 6 3 3 17 62
Total 53 12 18 9 26 118

Fonte: Elaboração das autoras (2022)

Analisando as informações presentes nos pareceres, fica constatado que, quanto ao tipo de produção, as publicações teóricas totalizaram 62 artigos, sendo as de maior frequência; os resultados de pesquisa foram 42; e os relatos de experiência, 14 artigos. Estes números refletem uma preocupação dos autores dos artigos que abordam Políticas Públicas, associados à área da Educação, em relação ao aprofundamento de aspectos teóricos, talvez ainda necessários para o seu amadurecimento e crescimento.

3.1.2 Nível educacional

A lei nº 9.394 de 1996, que estabelece as diretrizes e bases da Educação nacional, no seu artigo 21, cita que “A Educação escolar compõe-se de: I - Educação Básica, formada pela Educação Infantil, Ensino Fundamental e Ensino Médio; II - Educação Superior” (Brasil, 1996). Sendo assim, o segundo aspecto observado na análise para elaboração do parecer foi o nível educacional em que foi focado o artigo (Tabela 2).

Tabela 2 Distribuição dos artigos por nível educacional 

Nível educacional Número de artigos por parecer avaliativo (P)

P1 P2 P3 P4 P5 Total
Educação Básica - - 7 7 16 30
Educação Superior 53 6 11 - 8 78
Educação Básica e Educação Superior - - - 2 2 4
Não analisados - 6 - - - 6
Total 53 12 18 9 26 118

Fonte: Elaboração das autoras (2022)

Em relação ao nível educacional, quatro artigos abordaram tanto a Educação Básica quanto a Superior. Outro destaque foi a maior frequência de artigos que focalizam a Educação Superior (82 artigos).

Em relação ao parecer avaliativo 2, a mestranda analisou seis artigos como sendo de Educação Superior. Os outros seis artigos não foram analisados quanto ao nível educacional, embora no parecer avaliativo ela se refere a um artigo da modalidade EJA.

Os mestrandos destacaram nos pareceres que os autores dos artigos discorrem sobre Políticas Públicas de avaliação no âmbito da Educação Superior como o Exame Nacional de Cursos (ENC) e o Exame Nacional de Desempenho de Estudantes (Enade).

3.1.3 Problema/necessidade/motivação/demanda

A metodologia de Avaliação adotada pelo Curso de Mestrado da Faculdade Cesgranrio defende a necessidade da existência de um problema, necessidade, motivação ou demanda para a realização de uma Avaliação. Os mestrandos destacaram no parecer 1 que 32 dos 53 artigos analisados apresentaram um desses aspectos. No parecer 2, foi ressaltado o fato de que 11 dos 12 artigos apresentavam problema, necessidade, motivação ou demanda, apesar de serem trabalhados como pesquisa e não como estudo avaliativo, pois não apresentaram critérios de qualidade, indicadores de mensuração nem questão avaliativa. Apenas um artigo apresentava esses elementos que caracterizam um estudo avaliativo.

No parecer 3, oito artigos apresentaram um problema, seis comentaram uma necessidade e quatro uma motivação. No parecer 4, nos nove artigos analisados, foi observada a existência de problema ou situação-problema (cinco), necessidade (dois), ou motivação (dois) para realização do estudo. No entanto, nenhum deles apresentou a sua descrição em seção específica. A mestranda verificou que as informações sobre os motivos para a realização do estudo corroboraram com a hipótese da existência de uma preocupação dos autores em investigar, resultando em produções classificadas como resultados de pesquisa. Os artigos que apresentavam uma necessidade tinham relação com o tipo teórico.

No parecer 5, o mestrando relata que houve uma grande dificuldade para caracterizar os problemas, pois em nenhum dos artigos existia uma seção destinada, especificamente, à sua definição. Mesmo assim, foi possível perceber a existência de um problema, uma necessidade, uma demanda ou uma motivação em todos os artigos. Destaca ainda que os autores pecaram quanto à qualidade da apresentação dos problemas, pois não houve a preocupação em detalhar o contexto em que se situavam e nem o que motivou ou implicou na realização da avaliação. Tal deficiência trouxe dúvidas sobre a real necessidade de realizar a avaliação, prejudicando a clareza dos propósitos e das questões a responder, e dificultando a identificação dos stakeholders, além de impossibilitar uma melhor definição do objeto. Segundo o mestrando, neste quesito, os artigos não atingiram a qualidade preconizada no âmbito da metodologia avaliativa adotada.

Desta forma, foi observado que este aspecto (problema, necessidade, motivação ou demanda), embora presente em 97 dos 118 artigos analisados, não estava de acordo com a metodologia adotada pelo Curso de Mestrado em Avaliação da Faculdade Cesgranrio, uma vez que não foram adotados critérios de qualidade explícitos, indicadores de mensuração nem questão avaliativa.

3.1.4 Objeto de estudo

Analisando as informações trazidas pelos cinco pareceres elaborados pelos mestrandos, quanto aos objetos, pode-se afirmar que 116 artigos apresentaram seus objetos de estudo, e dois não o fizeram (Avaliação de sistemas de avaliação de larga escala e de sistemas de avaliação e regulação). Observou-se, no entanto, que dos 11 artigos que avaliavam as Políticas de avaliação externa, 10 apresentaram o mesmo objeto “o Modelo de Avaliação da Capes” e apenas um evidenciou seção específica para este aspecto. Outro aspecto que vale ressaltar é que nos artigos referentes às Políticas de reforma da Educação Básica e da Educação Superior e Políticas de formação e de avaliação de professores não existe uma seção específica para a descrição deste aspecto.

Percebe-se, então, que independentemente do tipo de artigo, a maioria dos autores apresentou seus objetos de estudo, atendendo à metodologia de avaliação recomendada pelo Curso de Mestrado em Avaliação da Faculdade Cesgranrio.

3.1.5 Objetivos

Com base nas informações trazidas pelos cinco pareceres elaborados pelos mestrandos, quanto ao aspecto objetivos, observa-se que 109 artigos apresentaram seus objetivos, enquanto oito não (Políticas de avaliação externa e Políticas de avaliação de sistemas de avaliação de larga escala e de sistemas de avaliação e regulação). Percebeu-se, também, a não existência de seção específica para este aspecto nos artigos referentes às Políticas de reforma da Educação Básica e da Educação Superior e políticas de formação e de avaliação de professores. Já nos 11 artigos referentes à Políticas de avaliação externa, apenas um evidenciou seção específica.

Apesar de a maioria dos artigos não apresentar seção específica para tratar este conteúdo, ele está presente em 109 dos 118 artigos analisados. Cabe ressaltar que, o objetivo é considerado aspecto fundamental para a realização de qualquer trabalho relacionado à área da Avaliação.

3.1.6 Referencial teórico

Observou-se que 113 artigos apresentaram referencial teórico, enquanto cinco artigos não (Políticas de sistemas de avaliação de larga escala e de sistemas de avaliação e regulação e Políticas de avaliação de professores). Também neste aspecto, nos artigos referentes às Políticas de avaliação de professores, não existe uma seção específica para esta indicação.

A Tabela 3 resume os aspectos objetos, objetivos e referencial teórico presentes nos 118 artigos analisados.

Tabela 3 Distribuição dos artigos por objetos, objetivos e referencial teórico 

Pareceres analisados Objetos Objetivos Referencial teórico

P A P A P A
Avaliação de Sistemas de Avaliação de Larga Escala e de Sistemas de Avaliação e Regulação – 53 artigos 51 2 49 4 49 4
Políticas de Educação Inclusiva – 12 artigos 12 - 12 - 12 -
Políticas de avaliação externa – 18 artigos 18 - 14 4 18 -
Políticas de Formação e de Avaliação de Professores - 9 artigos 9 - 9 - 8 1
Políticas de Reforma da Educação Básica e da Educação Superior – 26 artigos 26 - 26 - 26 -
Total 116 2 110 8 113 5

Fonte: Elaboração das autoras (2022)

P: presente; A: ausente

Percebe-se assim que, mesmo não atendendo plenamente às características metodológicas adotadas no Curso de Mestrado, o número de aspectos analisados presentes nos artigos é superior aos ausentes.

3.1.7 Metodologia

Os estudos avaliativos se caracterizam também por adotarem uma ou mais abordagens avaliativas que vão orientar o seu desenvolvimento (Leite; Ferreira; Freitas, 2023). No entanto, como foram analisados artigos que não se apresentavam obrigatoriamente como estudos avaliativos, a presença deste aspecto foi tímida, revelando a pouca preocupação ou desconhecimento dos autores em relação a este aspecto. Nesta análise, no entanto, o aspecto Metodologia levou em consideração a presença de questões avaliativas, critérios de qualidade, indicadores de avaliação e abordagem avaliativa que tenha servido de base para o desenvolvimento do artigo/estudo.

A análise desses artigos revelou a presença de outros elementos em relação à Metodologia, a saber: 45 dos 118 artigos explicitaram os procedimentos adotados para análise dos dados (25 quantitativos, 15 qualitativos e 5 quanti-quali); quanto aos instrumentos utilizados para coleta de dados, os pareceres revelaram que 45 artigos informaram os respectivos instrumentos, no entanto, não especificaram seus quantitativos, tendo sido mais frequentes os seguintes tipos: roteiro de pesquisa documental, questionário, análise comparativa, roteiro de entrevista, teste de desempenho, pré-teste, roteiro de grupo focal, roteiro de grupo de observação e roteiro de debate.

Os artigos analisados apresentam como metodologia procedimentos de análise de dados e instrumentos de coleta de dados, no entanto não apresentam uma abordagem avaliativa que orientasse o desenvolvimento da Avaliação. Assim, os pareceres denotam que, mesmo tendo apresentado a palavra avaliação e suas variantes como palavra-chave e estar classificado na plataforma SciELO como pertencente à área da avaliação (classificados como avaliações), os artigos nem sempre fornecem informações claras sobre a abordagem avaliativa adotada, um elemento imprescindível para os estudos desta área.

3.1.8 Resultados

No que tange à divulgação dos resultados, os pareceres revelam que 90 artigos apresentaram seus resultados, sendo 11 deles em sessões específicas, destinadas exclusivamente a estas informações. Dos artigos analisados, 28 não informaram os resultados obtidos no decorrer do estudo.

Desta forma, constatou-se que não há padronização na divulgação dos resultados dos estudos, mesmo sendo estas informações relevantes para se chegar a conclusões e julgamentos de valor. A não apresentação dos resultados impossibilita de se medir se o estudo atingiu o objetivo definido pelo autor. “Os resultados em um estudo avaliativo são uma fonte de conclusões e recomendações, onde a interpretação dos resultados é tão importante quanto sua apresentação” (Worthen: Sanders; Fitzpatrick, 2004).

Diante do exposto e da análise conjunta com os tipos de artigos analisados, a prevalência de estudos teóricos justifica, em certa medida, a ausência dos resultados nos estudos realizados.

3.1.9 Recomendações

No tocante às recomendações, 71 artigos apresentam este tipo de informação, sendo 26 destes em seção específica. Os demais apresentaram as respectivas recomendações, nas mais diversas sessões do estudo, tais como: conclusões, considerações finais, dentre outras. Dos artigos analisados, 47 não explicitaram recomendações no decorrer do estudo.

Apesar de ser um recurso opcional em trabalhos acadêmicos ou artigos científicos, as recomendações são essenciais nas avaliações e meta- avaliações, como importante fonte de melhorias e incrementos em estudos futuros. Entretanto, pelos tipos de artigos constantes nos pareceres serem, em grande maioria, teóricos (62) a falta das recomendações é justificável pela própria natureza dos artigos.

4 Conclusão

Como explicitado inicialmente, este trabalho é resultado de uma meta-análise, realizada com base nos pareceres avaliativos de autoria de alunos do Curso de Mestrado em Avaliação da Faculdade Cesgranrio. Sua elaboração possibilitou ressaltar aspectos relevantes registrados nos cinco pareceres avaliativos. De modo geral, a partir das análises desenvolvidas nos pareceres, baseadas na metodologia proposta pelo Curso de Mestrado, pode-se afirmar que os aspectos propostos para esta meta-análise (tipos de artigos, nível educacional, problema/necessidade/motivação/demanda, objeto, objetivos, referencial teórico, metodologia, resultados e recomendações) trouxeram informações robustas sobre como estão sendo desenvolvidos estudos sobre Avaliação na categoria Políticas Públicas e relacionados à área da Educação.

A análise dos pareceres revelou a prevalência do tipo de artigos teóricos e de artigos relacionados à Educação Superior; que os aspectos problema, necessidade, motivação ou demanda, apesar de presentes na maioria dos artigos, não estavam de acordo com a metodologia adotada no Curso de Mestrado em Avaliação da Faculdade Cesgranrio, pela não apresentação de critérios de qualidade explícitos, indicadores de mensuração e questão avaliativa. Identificou-se também a preocupação dos autores dos artigos selecionados em apresentar seus objetos de estudo, objetivos e referencial teórico, sendo que em relação aos objetos estes estão de acordo com a metodologia de avaliação recomendada pelo Curso de Mestrado.

A metodologia aplicada na elaboração dos artigos, mesmo que eles tenham apresentado a palavra avaliação e suas variantes como palavra-chave e estar classificado como pertencente à área da avaliação, nem sempre fornecem informações claras sobre a abordagem avaliativa adotada, um elemento imprescindível para os estudos desta área, podendo demonstrar uma dificuldade em se determinar o que realmente é um estudo avaliativo. Foi ressaltada ainda a falta de padronização na divulgação dos resultados dos estudos, mesmo sendo estas informações relevantes para se chegar a conclusões e julgamentos de valor, finalidades básicas de uma avaliação. Entende-se que analisando os tipos de artigos apresentados, a prevalência do tipo teórico, pode justificar, em certa medida, a ausência de resultados nos estudos realizados, o mesmo ocorrendo quanto ao aspecto recomendações, ou seja, a falta das recomendações é justificável pela própria natureza dos artigos.

Como ressaltado acima, o foco da disciplina é identificar, analisar e avaliar elementos/aspectos pertencentes à Metodologia da Avaliação adotada pelo Curso de Mestrado em Avaliação da Faculdade Cesgranrio. Desta forma, observa-se que apesar dos artigos incluírem em suas palavras-chave o termo avaliação, nem sempre apresentam elementos metodológicos que os caracterizem como avaliações, revelando assim a possível falta de informações mais precisas sobre o conceito e características que distinguem pesquisa e avaliação.

A exigência de que os alunos da disciplina Prática de Avaliação: o estado da arte da avaliação elaborassem pareceres avaliativos, ofereceu a esses alunos a oportunidade de, além de aprofundarem seu conhecimento em relação às Políticas Públicas na área da Educação, desenvolver competências importantes na área da avaliação tais como: busca de dados relevantes, registro de informações significativas, análise dos dados coletados, redação técnica na área da avaliação, dentre outras, além de competências acadêmicas de análise e síntese, debate de ideias e argumentação teórica, com fundamentação na área da Avaliação.

Estes trabalhos acadêmicos também possibilitaram que alunos, docentes e assistentes de pesquisa identificassem e aprofundassem o estado da arte da metodologia de avaliação trabalhada em artigos acadêmicos registrados na base SciELO e classificados na interseção das áreas da Educação e da Avaliação no âmbito das Políticas Públicas.

Referências

ARAÚJO, L.H.S.; OLIVEIRA, H. L. S.; SANTOS, A. C. A. Avaliação educacional: um olhar sobre a produção acadêmica na revista Ensaio (2009-2020). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 30, n. 117, p. 871-896, out./dez. 2022. https://doi.org/10.1590/S0104-40362022003003662Links ]

BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 23 dez. 1996. [ Links ]

E-AVAL: Estado da arte da avaliação. Dissertação (Mestrado Profissional em Avaliação) - Faculdade Cesgranrio, Rio de Janeiro, 2021. [ Links ]

ELLIOT, L. G., et al. Relatório técnico 2019: o estado da arte da avaliação/pesquisadores. Rio de Janeiro: Faculdade Cesgranrio, 2020. [ Links ]

KING, J. A. Evaluation of education. In: MATHISON, S. Encyclopedia of evaluation. California: Sage, 2005. p. 121-122. [ Links ]

LEITE, L.S.; FERREIRA, S.M.R.: FREITAS, S.R.N.F. Abordagens avaliativas: alternativas para o avaliador. Rio de Janeiro: WAK, 2023. [ Links ]

LEITE, L. S.; FREITAS, S. R. N. O estado da arte da avaliação: construindo o processo de descrição do projeto de pesquisa. In: LEITE, L. S. (org.). O estado da arte da avaliação. São Paulo: Pimenta Cultural, 2018. p. 13-40. [ Links ]

RIBEIRO, R. S. Políticas públicas educacionais: o papel da formação continuada no desenvolvimento da Educação Básica. Revista Educação Pública, Rio de Janeiro, v. 20, n. 23, p. 1-5, jun. 2020. Disponível em: https://educacaopublica.cecierj.edu.br/artigos/20/23/politicas-publicas-educacionais-o-papel-da-formacao-continuada-no-desenvolvimento-da-educacao-basica. Acesso em: 25 jul. 2022. [ Links ]

ROMANOWSKI, J. P.; ENS, R. T. As pesquisas denominadas do tipo “estado da arte” em Educação. Revista Diálogo Educacional, Curitiba, v. 6, n.19, p. 37-50, set./dez. 2006. [ Links ]

WORTHEN, B.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. São Paulo: Gente, 2004. [ Links ]

data-available

Dados: todos os dados utilizados para escrever este artigo estão na base de dados e-Aval e disponíveis no seguinte endereço: http://mestrado.fge2.com.br/aval/

Os pareceres avaliativos que serviram de referência para a elaboração deste artigo foram construídos pelos alunos da turma de 2018 inscritos na disciplina Prática de Avaliação - Estado da Arte da Avaliação, são eles: Yves Carabajal (yvescarabajal@gmail.com), Tatiana Ribeiro (tatiana.ribeiro@nce.ufrj.br), Selma Badaue (selmabadaue@gmail.com), Regina Carvalhal (reginacarvalhal2@gmail.com), Flavia Giffoni (flaviagiffoni78@gmail.com); Felipe Granero (felipegranero@gmail.br).

Recebido: 23 de Maio de 2023; Aceito: 08 de Fevereiro de 2024

Conflito de interesses: todos os autores se responsabilizam pelo conteúdo do artigo e declaram que não há conflito que impossibilite a sua publicação, seja de ordem financeira, comercial, política, acadêmica ou pessoal.

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.