Introdução

Desde a abertura democrática, educação é uma das temáticas mais discutidas no país. Além da relevância estratégica para o desenvolvimento nacional, do impacto nos indicadores de qualidade de vida e de ser instrumento para mobilidade social, a área concentra elevados recursos econômicos, que para serem viabilizados requerem complexa engenharia entre entes da Federação. Em meio a discussões ideológicas, políticas e econômicas, o Brasil criou o Plano Nacional de Educação - PNE 2001-2011, que se mostrou frágil desde sua implantação. Findo este, ficou três anos sem um norteador para seu sistema educacional, pois o Projeto de lei PL nº 8.035/2010 passou por longo debate político; por fim, produziu o PNE 2014-2024 - Lei nº 13.005/2014, em vigência desde 26 de junho de 2014. Ao longo de sua construção, houve ampla discussão acerca de indicadores e metas; um diagnóstico que estabeleceu marco zero; e planejamento das responsabilidades de operacionalização, a serem distribuídas ou compartilhadas.

Passada mais de metade de sua vigência, cabe discutir a gestão de desempenho do PNE 2014-2024. Por desempenho entende-se aqui algo maior do que o gasto público em si, mas como e em que contexto um governo realiza este gasto (^{SCHIAVO-CAMPO, 2017}). Desta forma, focar em desempenho é condição necessária para o Estado Democrático (^{FERNANDES e TEIXEIRA, 2020}, p. 470); além de métricas, diz respeito a objetivos colocados a partir de demandas da sociedade. Entretanto, o ciclo dos princípios democráticos não se completa apenas ao implementar uma política pública com foco em desempenho. Há que se conhecer e comunicar o real desempenho desta política, sabendo que nem tudo é calculável, seja por subjetividades conceituais ou pela viabilidade prática de acesso à informação.

No caso do PNE (2014-2024), já contando com o aprendizado adquirido com o anterior, foram desenvolvidos novos indicadores e processos de coleta de dados redesenhados. Mas o diagnóstico inicial para este novo ciclo ainda conteve lacunas que dificultavam estabelecer novas metas e indicadores. Ademais, o sistema informacional a ser criado teria o desafio de operar nos diferentes níveis de governo, com infraestruturas de conectividade diversas, num país da magnitude do Brasil e cujas instituições de pesquisa carecem de recursos ou respaldo político para se fortalecerem e serem mais eficientes. Esse contexto, corre-se o risco de estabelecer metas desejáveis, entretanto inalcançáveis; de definir indicadores que traduzam apenas parcialmente a meta ou mesmo que não sejam de fato auditáveis; ou ainda ser impossível monitorar ao longo do processo, de forma a realizar correções de rotas.

Diante da relevância do PNE, de princípios de transparência e da expectativa de que governos alcancem legitimação a partir de suas reais entregas aos cidadãos, torna-se fundamental analisar o gerenciamento de seu desempenho. Esse estudo investiga como academia e gestão pública abordam o tema. São utilizadas duas técnicas metodológicas de abordagem qualitativa: revisão de literatura e análise documental. Com base no referencial teórico-analítico proposto por ^{Barzelay (2002}) discute-se auditoria de capacidade de gerenciamento de desempenho, como estratégia para conhecer a real capacidade de se aferir o desempenho frente às metas propostas no plano.

Após esta introdução, o artigo traz: apresentação do PNE; fundamentação teórico- conceitual de auditoria de desempenho e auditoria de capacidade de desempenho; revisão e análise da bibliografia sobre o tema no âmbito do PNE; e discussão dos relatórios oficiais de monitoramento das metas do PNE 2014-2024. Em considerações finais, aponta-se que a produção acadêmica se volta a aspectos específicos das metas e deixa de abordar o gerenciamento do plano, uma lacuna no campo da análise do processo de monitoramento. Do ponto de vista da gestão pública, há evidências de limitações informacionais e de necessária articulação entre as instituições responsáveis, especialmente para contrapor dados do sistema educacional a informações demográficas e socioeconômicas.

Planos Nacionais de Educação no Brasil

A Constituição Federal de 1988 explicita o direito fundamental à educação e a responsabilidade do Estado de implementar políticas sociais para o “[...] pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho.” (BRASIL, 2020a). Esta mesma Constituição confere ao Poder Executivo meios para exercer papel central no sistema de governo, visando a alcançar resultados em um país de grandes dimensões; respeitar a diversidade; e implementar medidas de caráter redistributivo, reduzindo desigualdades regionais e locais.

Considerando a descentralização na organização político-administrativa e autonomia dos entes da Federação, há que se garantir a interação e complementaridade dos diferentes poderes, organizações e níveis governamentais. Cada qual com suas competências e responsabilidades, constituem o sistema no qual políticas públicas de educação são criadas e implementadas, e que terão seus processos fiscalizados e monitorados, e resultados avaliados.

À União cabe induzir políticas e facilitar o processo de gestão. No caso da educação, que requer políticas de longo prazo e mudanças estruturais, têm sido criados mecanismos para que o Estado alcance a missão de oferecer acesso à educação de qualidade. O Plano Nacionais de Educação é ponto de partida.

Já na Constituição Federal de 1934 - Art.150 (BRASIL, 1935), havia referência à construção de um plano nacional de educação. Entretanto, apenas em 1962, surge o primeiro plano nacional de educação, com foco na destinação de recursos aos sistemas de ensino e que teve vigência abreviada quando em 1964 militares assumem o poder.

Em consonância com a perspectiva democrática, a Constituição Federal de 1988, conforme redação dada pela Emenda Constitucional nº 59/2009, retoma:

Art. 214. A lei estabelecerá o plano nacional de educação, de duração decenal, com o objetivo de articular o sistema nacional de educação em regime de colaboração e definir diretrizes, objetivos, metas e estratégias de implementação para assegurar a manutenção e desenvolvimento do ensino em seus diversos níveis, etapas e modalidades por meio de ações integradas dos poderes públicos das diferentes esferas federativas […] (BRASIL, 2020a).

Regulamentado pela Lei de Diretrizes e Bases da Educação Nacional - LDB/1996, o PNE 2001-2011 tornou-se lei em janeiro de 2001 (Lei nº 10.172/2001). Respaldado em diagnóstico das necessidades educacionais do país, ofereceu diretrizes, metas e estratégias com foco nos princípios definidos constitucionalmente: erradicação do analfabetismo; universalização do atendimento escolar; melhoria da qualidade do ensino; formação para o trabalho; e promoção humana, científica e tecnológica do país.

Com poucos avanços contabilizados neste primeiro plano, iniciou-se a construção de novo plano, pactuado socialmente e com ações articuladas. Em nota técnica encaminhada ao Congresso Nacional, o Ministério da Educação apresenta o PNE 2011- 2020, que descreve como fruto de amplo diagnóstico da educação nacional, expectativas da sociedade vocalizadas nas conferências, a exemplo da Conferência Nacional de Educação CONAE 2010. Destaca que a execução das estratégias previstas para atingir as metas até o ano de 2020 demandaria colaboração federativa, efetiva participação da sociedade brasileira e investimentos públicos em educação.

Enquanto Projeto de Lei (PL nº 8.035/2010), foi objeto de longo debate político. Aprovado apenas em 2014 (Lei nº 13.005/2014), o plano pretendia consolidar a atenção à educação ao patamar de uma política de Estado, reduzindo vulnerabilidades oriundas da lógica política de governos.

O PNE 2014-2024 estabelece 20 metas e respectivas estratégias, às quais se compromete a dar transparência. Dispõe que estados e municípios devem desenvolver planos locais, à luz do nacional e estabelece que a execução será monitorada de forma contínua, com avaliações periódicas e publicação bianual desses estudos, o que se coloca sob responsabilidade do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP.

O tema da educação, permeado de questões políticas e ideológicas, e que ainda envolve volumosos recursos, proporciona debates de múltiplas perspectivas. Esse artigo adota um recorte gerencial, ao investigar como academia e gestão pública abordam o gerenciamento de desempenho do PNE 2014-2024, ou seja, estrutura e procedimentos adotados para monitoramento e aferimento de desempenho, conceitos que serão discutidos na seção que segue.

Auditoria de desempenho e auditoria de capacidade de gerenciamento de desempenho.

A literatura que embasa o entendimento da noção de desempenho em gestão foi originalmente produzida na língua inglesa, tendo como construto central o termo performance. Segundo o dicionário britânico Macmillan Dictionary Online, performance³ é relativo ao processo de realizar algo e pode estar associado a apresentação artística, atributos de equipamentos ou indicar resultados financeiros.

O dicionário Brasileiro da Língua Portuguesa Michaelis Online indica sete usos do termo performance4 em português, entre os quais "conjunto de fatores que determinam o desempenho de algo". Por sua vez desempenho refere-se a "conjunto de características que permitem determinar o grau de eficiência e as possibilidades de operação de algo" ou "modo de executar uma tarefa que terá, posteriormente, seu grau de eficiência submetido a análise e apreciação."

Embora os termos performance, em inglês e português, sejam por vezes tidos por sinônimos, este artigo segue a escolha dos tradutores Vieira, A. M. e Gomes, M. B. (^{BARZELAY, 2002}), na qual performance auditing foi traduzido como auditoria de desempenho; assim como fazem Ana Yetano e Blanca Isela Castillejos no artigo "Auditorías de desempeño en América Latina ¿Mejoran la confianza en los gobiernos?"(^{YETANO e CASTILLEJOS, 2019}), também central neste estudo.

Na gestão pública, performance, ou desempenho como aqui traduzido, é o “alcance dos resultados combinados, dentro dos recursos e tempo definidos, sem diluir a qualidade e respeitando as normas vigentes do devido processo." (^{SCHIAVO-CAMPO, 2017}, p. 271, tradução nossa)⁵. Esta definição retrata preocupação com a essência de uma política pública, não apenas conformidade a normas. Pressupõe planejamento, acordos entre partes e alinhamento do que se entende por qualidade. Assim, desempenho não se restringe a resultados finalísticos objetivos. Ou seja, sistemas de monitoramento e controle devem ser concebidos no sentido de captar o esforço, para desta forma reconhecer e motivar a eficiência, sem com isso negligenciar resultados pretendidos.

Auditorias de desempenho são ferramentas importantes em modelos de gestão em que indicadores financeiros são insuficientes, como na complexidade da administração pública. São práticas de boa governança: uma forma de resgatar a legitimidade de governos, diante dos baixos níveis de confiança depositados pela sociedade civil em seus governantes e da necessidade de políticas públicas mais efetivas.

A expressão auditoria de desempenho é recente no campo da administração pública. Para compreendê-la, ^{Barzelay (2002}) realiza pesquisa empírica em documentos oficiais do simpósio organizado pelo Serviço de Administração Pública da OCDE, na qual analisa resultados da consulta a órgãos centrais de auditoria dos países-membros sobre os tipos de revisão adotados. O autor identifica aqueles que se enquadrariam como auditorias de desempenho. Conclui que: auditoria de desempenho não se configura como uma subcategoria do modelo de auditoria tradicional, de conformidade a regras; aproxima-se de modelos de avaliação de programas, ao contemplar impactos e efetividade; e que constitui características próprias ao envolver responsabilização das organizações pelos resultados de economia, eficiência e efetividade.

Auditoria de desempenho contempla diferentes formas e escopos: eficiência, efetividade, gestão de risco, melhores práticas, gerenciamento organizacional, informações de desempenho e capacidade de gerenciamento de desempenho, sendo esta última de maior interesse para este estudo (^{BARZELAY, 2002}, p.15).

^{Yetano e Castillejos (2019}) subsidiam esta discussão com uma visão particular da América Latina. Observam que as reformas implementadas na gestão pública em países de outras regiões desde o final do século XX, não apenas visavam reduzir os processos burocráticos, mas primordialmente ganhar em economia, efetividade e eficiência. Mas os países latino-americanos ainda perseguem um objetivo anterior, que é o ganho da transparência das contas públicas, face à corrupção.

As autoras demonstram que as auditorias de desempenho são pouco ou subutilizadas na América Latina. Por meio de pesquisa de informações disponíveis em sites na internet e questionários enviados a "Instituciones de Auditoría Superior -IAS", recolheram informações de 18 países: Argentina, Belize, Bolívia, Chile, Colômbia, Cuba, El Salvador, Guatemala, Honduras, México, Nicarágua, Panamá, Paraguay, Peru, Puerto Rico, República Dominicana, Uruguai e Venezuela. Os resultados da pesquisa revelam que, embora em discurso se reconheça a importância da auditoria de desempenho para melhorar a performance de organizações públicas e governos, na prática sua implementação não se confirma na mesma medida. O estudo se propõe a compreender variáveis contextuais, buscando identificar os desafios para a adoção do modelo de auditoria de desempenho na América Latina, uma vez que contextos políticos e econômicos impactam diretamente em sua implementação. Entre os achados, destaca-se o fato de que órgãos auditores relatam dificuldade em encontrar em órgãos auditados os devidos indicadores (^{YETANO e CASTILLEJOS, 2019}). Além disso, ao analisar os relatórios de auditorias, as autoras observam que predominam relatórios integrados, de múltiplos propósitos, com algumas referências a auditoria de desempenho, e que de fato mais descrevem razões que dificultam sua realização, como a falta de indicadores de desempenho.

As considerações apresentadas acima remetem à relevância de auditoria de desempenho do PNE e introduzem uma discussão sobre a construção de um sistema de gerenciamento de desempenho do PNE 2014-2024, com indicadores de desempenho específicos, rotinas de mensuração, sistemas de informação e procedimentos avaliativos. Para ^{Barzelay (2002}), entre as modalidades de auditoria de desempenho há aquela voltada a avaliar a capacidade de gerenciamento de desempenho, ou seja, aspectos gerenciais como estrutura e procedimentos adotados, e não programas ou resultados em si. Há também a auditoria de informações de desempenho, cujo foco é a precisão de informações disponíveis, que favorece a padronização e alinhamento entre os envolvidos, fundamental para construir um sistema integrado. Estes tipos de auditoria investigam processos e informações não-financeiras geradas pelo órgão auditado.

No Brasil, “[...] aos poucos cresce a concepção de que o controle deve envolver igualmente a eficiência e os resultados da ação governamental.” (^{FERNANDES e TEIXEIRA, 2020}, p. 460), mas as instituições auditoras ainda apresentam caráter legalista, centrado na ideia de prestação de contas, uma interpretação limitada do termo accountability, que “[...] pode ser entendida como um processo permanente de avaliação e responsabilização dos agentes públicos, pelo uso do poder que lhes é concedido pela sociedade [...]” (FERNANDES e TEIXEIRA, 2020, p. 458).

No sistema brasileiro, respeitando o princípio de separação de poderes, há organismos de controle internos e externos ao Poder Executivo, que é controlado pelo Legislativo, mais diretamente pela ação do Tribunal de Contas da União. Criada mais recentemente, 2003, a Controladoria Geral da União - CGU é responsável pelo controle interno do executivo em relação a patrimônio e transparência. Segundo ^{Fernandes e Teixeira (2020}), a atuação da CGU tem se aproximado da auditoria de desempenho, “[...] chegando por vezes a servir como consultoria, diagnosticando e propondo soluções, além de atuar sobre uma perspectiva mais integrada de controle.” (^{FERNANDES e TEIXEIRA, 2020}, p. 469).

Como argumentam ^{Yetano e Castillejos (2019}), para melhor desempenho governos devem investir em melhoria dos processos de auditoria; em auditados, para minimamente proverem informações e condições para aferir desempenho; em auditores, para que ajudem a criar indicadores e façam recomendações que sejam implementadas; e na relação entre ambos, para que tenham papéis ativos e colaborativos.

Auditoria de desempenho do PNE 2014-2024 na literatura

^{Yetano e Castillejos (2019}) defendem uma boa preparação para as auditorias de desempenho: implementar ferramentas, estabelecer medidas de desempenho e capacitar auditores e auditados. Para isto, é necessário construir conhecimento nacionalmente tanto sobre mecanismos de auditoria, quanto sua adequação ao contexto no qual se pretende utilizar. Desta forma, cabe investigar como a produção acadêmica brasileira vem investigando os Planos Nacionais de Educação, em sua dimensão gerencial voltada ao desempenho.

Para a coleta de dados bibliográficos, foi realizada pesquisa por meio da plataforma CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), de base eletrônica, que reúne as principais publicações nacionais e internacionais com o rigor acadêmico pretendido. Em busca realizada dia 7 de janeiro de 2021, foram identificados 548 resultados que incluíam "Plano Nacional de Educação" em qualquer parte do texto, a maior parte abordando metas específicas ou com foco em planos municipais ou estaduais. Assim, para encontrar trabalhos voltados ao tema, adicionou-se a restrição de apresentar no título o descritor "Plano Nacional de Educação". Neste recorte se enquadram 129 resultados, publicados entre 1999 e 2020.

Adicionou-se o critério específico desta pesquisa: deveriam as produções selecionadas conter em qualquer campo um dos termos como segue: "performance" OR "monitoramento" OR "desempenho" OR "indicadores" OR "auditoria" OR avaliação".

Chegou-se nesta etapa a 28 resultados de busca, publicados mais recentemente, entre 2010 e 2020, excluídas duplicidades.

A etapa seguinte consistiu na leitura de resumos, que levou à exclusão de uma resenha de artigo já listado e dois artigos que por avaliação tratavam do rendimento escolar dos alunos. As informações dos 25 trabalhos resultantes, todos artigos revisados por pares, foram exportadas e organizadas em planilha de dados.

As publicações ocorreram de forma dispersa em 18 periódicos acadêmicos, voltados a educação, administração da educação ou políticas educacionais. Apenas um artigo abordou os planos em seu conjunto; 3 trataram do PNE 2001-2010; 2 abordavam o que seria o PNE 2011-2021 (na verdade se referem ao documento base que havia sido elaborado); e 19 tratam do PNE 2014-2024, com maior recorrência nos anos iniciais de sua vigência. Ainda sobre a distribuição no tempo, foram encontradas 3 publicações em 2010; 2 entre 2011 e 2014; 14 entre 2015-2016; e 6 desde então, sendo apenas uma em 2020, como mostra o Gráfico 1.

Figure 1 Número de Publicações Por Ano 

Os três artigos que abordam o PNE 2001-2011 foram publicados em setembro de 2010 e ressaltam aspectos do plano em vigor a serem considerados no planejamento do que seria o PNE 2011-2021. Estes trabalhos abordam o aspecto da avaliação com foco no processo de construção e tramitação política ou nas bases conceituais sobre as quais foram construídas as metas, cada qual com ênfase particular: educação básica e superior, projetos socioeducacionais e educação de jovens e adultos (EJA). Mesmo quando aparece o termo resultado este se refere ao impacto do PNE, sem referência ao monitoramento das metas.

A leitura dos dezenove artigos relativos ao PNE 2014-2024 permitiu identificar trabalhos com foco em metas especificas ou em aspectos conceituais e ideológicos gerais ou específicos, desta forma não relacionados ao objeto desta pesquisa, o gerenciamento do plano. Sete deles abordam metas relativas a docentes ou pesquisadores, discutindo papel, condições de trabalho, formação ou valorização.

Resultam em cinco os trabalham que contribuem para a discussão sobre o desempenho e gerenciamento do PNE.

Em "Avaliação e qualidade no novo Plano Nacional de Educação: avanços e possíveis retrocessos?" (^{FILIPE e BERTAGNA, 2015}), as autoras questionam o caráter dado às avaliações externas e à qualidade educacional. Seu entendimento é de que se trata de mecanismo tipicamente mercadológico, restringindo o conceito de qualidade educacional a resultados e produtos (quantitativos), desconsiderando os processos. Embora não seja o intento deste trabalho discutir ideologicamente os indicadores e modelos de avaliação selecionados, viu-se por bem exemplificar algumas discussões que antecedem o processo de monitoramento e gestão, seja na escolha de indicadores que contemplem os objetivos essenciais de uma política pública, sejam finalísticos ou de processo, assim como pactuá-los com todos os envolvidos. O trabalho também evidencia a mudança de cultura que novos modelos gerenciais demandam.

Ferreira, L.A. avança nessa discussão, demonstrando o que denomina tendência de hipervalorização dos processos avaliativos governamentais. Aponta possíveis prejuízos à qualidade da educação, muito embora reconheça que

[...] a realização de um diagnóstico da educação pode servir para nortear tanto as políticas públicas quanto o próprio trabalho do professor, favorecendo a identificação das fragilidades do processo educativo e consequentemente a realização de intervenções no sentido de sanar os problemas diagnosticados. (^{FERREIRA, L.A., 2016}, p. 430).

Em um estudo de caso do centro-norte do Brasil, ^{Leite e Palmen (2017}) fazem uma análise preliminar sobre as metas do PNE para a região, procuram estabelecer um quadro do andamento do PNE na região, no sentido de relacionar a educação ao desenvolvimento da região, e colocam um ponto central também para a discussão deste artigo:

Um ponto nodal desse Plano trata-se da necessidade de avaliação periódica do próprio PNE. Avaliar o que será efetivamente garantido ao final da década, revendo metas e estratégias ao longo da década é essencial na efetivação deste. Constata-se que sendo o Brasil um país de extensão continental e realidades diversas, o monitoramento e avaliação do atual PNE - Lei nº 13.005/2014 é de suma relevância para o país." (^{LEITE e PALMEN, 2017}, p.52).

^{Nez et al. (2019}) discutem a responsabilidade dos Conselhos Municipais de Educação de organizar o monitoramento, verificar e analisar a execução e implementação das metas do PNE em suas localidades, ressaltando a busca por "[...] um instrumento de controle social (para que o cidadão possa acompanhar o cumprimento das metas - e apoiar os gestores)." (^{NEZ et al., 2019}, p. 53). Este cenário evidencia a complexidade do processo de monitoramento das informações e a carência de um sistema que propicie transparência e accountability.

Destaca-se o artigo “Monitoramento e avaliação dos planos de educação: breves contribuições” (Dourado et al., 2016). O trabalho analisa a primeira fase do PNE 2014- 2024 e o andamento dos planos elaborados por estados e municípios, celebrando o fato de que, conforme Sistema Integrado de Monitoramento, Execução e Controle do Ministério da Educação, em 05 de maio de 2016, 22 Estados e 5.506 municípios já tinham planos sancionados (DOURADO et al., 2016). Por outro lado, pontua a importância os relatórios bianuais, para monitorar e avaliar - “[...] etapas distintas e complementares que não se realizam isoladamente”. (DOURADO et al., 2016, p. 456).

Entretanto, os autores declaram:

Por se tratar de uma prática recente nos órgãos governamentais, é um desafio para os agentes públicos estabelecer parâmetros e mecanismos para efetivar o processo de monitoramento e avaliação dos programas e políticas institucionais, o que não é diferente na área educacional. (DOURADO et al., 2016, p. 457).

Argumentam que, embora alguns parâmetros já estivessem definidos como prazos, metas intermediárias e responsáveis por monitoramento e avaliação, devem ser criadas “[...] as condições para que o processo de implementação, monitoramento e avaliação dos planos efetivamente ocorra.” (DOURADO et al., 2016, p. 457). Para os autores, são os gestores públicos os responsáveis por implementar o processo, o qual requer também a mobilização da sociedade civil e política. Embora cite a necessidade de se criar condições para monitorar e avaliar os planos, o artigo não discute tais condições. Enfim, não foi localizado um estudo que discuta a real capacidade de gerenciamento do desempenho do PNE. Observa-se a carência de estudos acadêmicos que analisam indicadores e mecanismos para acessar informações, ambos necessários ao monitoramento e gerenciamento do andamento do PNE.

PNE 2014-2024: Capacidade de gerenciamento de desempenho e informações de desempenho

Conforme a Lei nº 13.005/2014, cabe ao INEP publicar a cada dois anos um relatório de monitoramento dos avanços das metas. Considerando o alinhamento entre o propósito destes documentos e o objetivo deste artigo, entende-se que os Relatórios de Monitoramento das Metas do PNE, produzidos no âmbito da Diretoria de Estudos Educacionais (DIRED) - Coordenação Geral de Instrumentos e Medidas Educacionais do INEP, são adequados para o levantamento das informações para esta pesquisa.

Assim, dos relatos técnicos apresentados nos três relatórios de monitoramento publicados até esta data, foram selecionadas observações que revelam impactos na capacidade de gerenciamento do plano. Não foram analisadas cada uma das metas e suas estratégias, mantendo-se o foco em aspectos informacionais e de gestão.

É importante fazer referência ao documento que precedeu a fase de monitoramento. O Linha de Base (BRASIL, 2015) apresenta indicadores estabelecidos pelo Ministério da Educação e INEP para monitorar o Plano, com base em informações já disponíveis em 25 de junho de 2014, quando da promulgação da Lei, ou seja, Pesquisa Nacional por Amostra de Domicílios- Pnad (2012), Censo Demográfico (2010), Censo da Educação Básica (2013), o Censo da Educação Superior (2012), informações da CAPES (2013). A proposta deste documento era abrir discussões quanto aos indicadores, o que se deu na forma de consulta pública (Portaria INEP nº 424) realizada entre outubro e dezembro de 2015. Esse processo, conferiu transparência, oportunizou aprimorar o sistema a partir de contribuições de indivíduos e instituições.

Em 2016 foi publicado o "Relatório do 1º Ciclo de Monitoramento das Metas do PNE Biênio 2014-2016" (BRASIL, 2016), que já contava com alterações nos indicadores inicialmente apresentados. Seguindo a estratégia de ampla discussão e envolvimento de pesquisadores, técnicos, gestores públicos e sociedade, esta publicação deu origem ao seminário "Indicadores educacionais e o monitoramento do Plano Nacional de Educação", em novembro de 2017.

Em março de 2018, foram realizadas reuniões técnicas sobre indicadores a serem utilizados na avaliação do 2º ciclo. Junto ao INEP, participaram destes encontros outras entidades responsáveis pelo monitoramento: Ministério da Educação (Secretaria de Educação Superior, SESU; Secretaria de Educação Profissional e Tecnológica do Ministério da Educação, SETEC; Secretaria de Educação Continuada, Alfabetização, Diversidade e Inclusão, SECADI; Secretaria de Articulação com os Sistemas de Ensino, SASE; e Subsecretaria de Planejamento e Orçamento, SPO), Conselho Nacional de Educação, Comissão de Educação da Câmara dos Deputados, Fórum Nacional de Educação, Todos pela Educação, Conselho Nacional de Secretários de Educação (CONSED), União Nacional dos Dirigentes Municipais de Educação (UNDIME) e Instituto de Pesquisa Econômica Aplicada (IPEA); além de Consultoria da Câmara dos Deputados, da Consultoria do Senado Federal, da Secretaria de Comércio Exterior (Secex)/TCU, presentes especialmente nas discussões sobre a meta relativa a financiamento da educação, conforme nota de rodapé à página 12 do referido relatório. A diversidade dos órgãos envolvidos anuncia a complexidade do alinhamento necessário para a construção de um sistema de monitoramento e processos eficientes.

Ainda em 2018, foi publicado o relatório que em seus próprios termos tem o objetivo de

[...] disponibilizar, tanto às instâncias encarregadas do monitoramento do plano quanto aos governos dos entes federados e à sociedade civil, indicadores e informações consolidadas em âmbito nacional e também desagregadas por estratos de interesse que possibilitam acompanhar o cumprimento das metas, explicitar as desigualdades existentes na educação do País e dimensionar os desafios que se colocam ao cumprimento do PNE, com vistas a subsidiar a reflexão e a formulação de políticas, programas e ações que possam concretizar seus objetivos. (BRASIL, 2018, p.12) .

De fato, observa-se o esforço em apresentar de forma técnica e transparente as informações levantadas, seus alcances e limitações, disponibilizando para leitura e avaliação, sem apresentar juízo de valor ou análise política.

Como declarado em sua introdução, o Relatório do 2º Ciclo

[...] não apenas atualiza as séries históricas de indicadores utilizados no Relatório do 1º Ciclo de Monitoramento das Metas do PNE, como também apresenta reformulações e define novos indicadores que foram constituídos para melhor representar e aferir o que as metas propõem.” (BRASIL, 2018, p. 12).

Este movimento, também encontrado no relatório que sucede, reflete a busca por aprimorar o sistema de gestão de desempenho e sinaliza dificuldade de se construir séries históricas integrais ao longo da vigência do plano.

Fator importante é que a partir de 2012, o Instituto Brasileiro de Geografia e Estatística (IBGE) reformulou suas pesquisas por amostra de domicílios e implementou uma nova pesquisa, a Pesquisa Nacional por Amostra de Domicílios Contínua (Pnad-c), que, desde então, passou a ser aplicada paralelamente. Em 2016, a Pnad-c substituiu de forma definitiva a Pnad anual, que teve sua última edição em 2015. A mudança é avaliada como positiva, tendo ganhos

[...] de representatividade e abrangência da amostra e contemplando três formas de divulgação: mensal, trimestral e anual, abarcando também características demográficas, de trabalho e relativas à educação, entre outras; além disso, traz um Suplemento Anual de Educação, coletado no segundo trimestre, que engloba dados educacionais e de rendimento domiciliar para toda a população, apresentando informações que não constam nas coletas trimestrais (BRASIL, 2018, p. 13).

Não obstante os ganhos gerados pela alteração, o modelo inicial da Pnad-c não contemplava as informações necessárias, muito embora a mudança tenha ocorrido após o término do PNE 2001-2010, quando já se tinha conhecimento dos indicadores necessários a diversas metas que seriam mantidas e repactuadas para o novo PNE. Se por um lado, gradativamente as bases de dados vão sendo reformuladas para melhor alinhamento, por outro também os indicadores são revistos. No Relatório do 2º Ciclo de Monitoramento, observa-se que em seis das vinte metas houve mudança de indicador em comparação ao primeiro ciclo.

Da mesma forma, no Relatório do 3º Ciclo de Monitoramento do PNE - 2020 (BRASIL, 2020b), seis metas sofreram atualizações, seja por mudanças na fonte de dados ou pela criação de novos indicadores. Entretanto este documento em muito difere de sua edição anterior, no tocante à forma de abordar os resultados, que foram inicialmente apresentados em coletiva de imprensa no dia 2 de julho de 2020, conforme divulgado no portal digital do INEP⁶.

Em sua Introdução, o documento analisa como positiva a continuidade do Plano após transições de governos, ao mesmo tempo em que declara que o país “[...] não alcançou uma articulação robusta em torno de um regime de colaboração entre União, estados e respectivos municípios [...]” (BRASIL, 2020b, p.12). Tendo como propósito “[...] apontar conquistas, limites e desafios que se colocam para a educação brasileira.” (BRASIL, 2020b, p.12), nesta mesma introdução, são apresentados resultados identificados como mais relevantes, ficando as questões técnicas sobre o monitoramento em si restritas à seção “Notas Metodológicas”.

O Relatório do 3º Ciclo de Monitoramento traz 57 indicadores para monitorar as 20 metas, e propõe dois novos indicadores para analisar a evolução do plano: Indicador Alcance das Metas, “[...] que indica quanto a educação brasileira já caminhou em busca de seus sonhos” (BRASIL, 2020, p. 17); e Indicador Execução PNE - “[...] avanços obtidos nos primeiros seis anos de sua vigência [...]” (BRASIL, 2020, p. 17).

Para tais indicadores não há ficha técnica detalhada, apenas notas apresentadas no Quadro Resumo do Indicadores do PNE (p. 19-23). Embora este artigo não tenha a pretensão de realizar uma avaliação técnica dos indicadores, cabe indicar a necessidade de analisar as conclusões que o relatório aponta sobre o andamento do plano, a partir destes novos indicadores. Com base nos argumentos de que “[...] 42 indicadores têm nível de alcance maior do que 50%, 26 indicadores têm nível maior do que 80% e 6 indicadores já chegaram à meta estabelecida.” (BRASIL, 2020, p. 17), o relatório conclui positivamente que “O nível médio de alcance está em 75%.” (BRASIL, 2020, p. 17).

A análise dos relatórios permitiu identificar também aspectos técnicos que impactam significativamente no processo de coleta das informações: (1) Forte dependência da disponibilidade de informações censitárias, da Pnad anual ou Pnad-c IBGE, que, por exemplo, não quantificam o público-alvo da educação especial. Além disso, todas as análises desagregadas por região, unidades federativas, gênero, cor/raça dependem fundamentalmente de informações geradas pelo IBGE; (2) Diversidade de bases informacionais, pela grande quantidade de organismos e níveis de governo responsáveis pelos dados, implica na complexa tarefa de busca e integração de informações, além de riscos pela falta de alinhamento conceitual e de critérios adotados nos diferentes instrumentos, como no caso da definição de data (dd/mm) de corte de idade, com três critérios diferentes: dia 31 de março, de acordo com a Resolução CNE/CEB nº 6, de 21 de outubro de 2010; idade em anos na data da pesquisa de acordo com Pnad; e dia 31 de maio para idade do aluno no Censo Escolar; (3) Descompasso entre períodos de coleta de informações e/ou data de publicação que prejudicam a análise acurada e tempestiva, a exemplo do fato de que o Índice de Desenvolvimento da Educação Básica⁷ - IDEB 2019, divulgado em setembro de 2020 não foi considerado no Relatório do 3º Ciclo do PNE - 2020, que tomou por base o IDEB de 2017.

Considerações Finais

Dada a relevância do Plano Nacional de Educação para o país, seria esperado que uma auditoria de desempenho pudesse contribuir para o alcance das metas e estratégias propostas. Entretanto, a leitura crítica dos Relatórios de Monitoramento das Metas do PNE revela barreiras estruturais básicas para que uma análise de desempenho se torne possível. Ademais, como observado no relatório publicado em 2020, nota-se indícios de viés político⁸ ao avaliar indicadores.

No Brasil, assim como nos países latino-americanos pesquisados por ^{Yetano e Castillejos (2019}), estamos na etapa inicial de um processo, devendo dar atenção à capacidade dos órgãos gestores para levantar as informações com integridade e de modo tempestivo.

O desafio é construir um sistema de monitoramento minimamente eficaz num país com as dimensões do Brasil e com as conhecidas disparidades de recursos técnicos e econômicos existentes entre as regiões, estados e entre municípios. Todavia, este contexto já se fazia conhecido quando da formulação do PNE 2014-2014. Desta forma, o primeiro ponto a destacar como barreira para chegar ao melhor modelo possível é quanto ao envolvimento do IBGE (ou à falta dele) quando da validação dos indicadores, pois são diretamente dependentes de dados censitários ou pesquisas amostrais nacionais.

A cada relatório há avanços quanto à maturidade da construção dos indicadores, superando ambiguidades, inconsistências ou ausências dos mesmos. Muito embora mudanças prejudiquem análise comparativas, as alterações conceituais buscaram tornar os indicadores mais claros e alinhados com as bases legais vigentes. Contudo, tal alinhamento deve transcender o âmbito do Ministério da Educação e INEP, o que mais uma vez significa compartilhar com IBGE a discussão metodológica.

Não obstante as dificuldades de ordem econômica e de acessibilidade para captar informações num país tão desigual como o Brasil, é fundamental estabelecer metas quantificáveis que revelem desequilíbrios existentes por região do país, entre áreas urbanas e rurais, ou em segmentos populacionais de qualquer ordem. E que isto seja feito em tempo, para que de forma ágil não sejam prejudicadas gerações inteiras.

Até esta data, o monitoramento do PNE 2014-2024 pouco contribui para a tomada de decisão ao longo do processo, seja pela ausência de informação ou pelo atraso em aferi- la. Certamente há esforços sendo feitos, especialmente em relação àqueles indicadores que oferecem maior visibilidade, a exemplo do IDEB, o qual aliás visto de forma isolada também pode carregar em si alguma distorção, além de estar em descompasso com o relatório de monitoramento.

À academia, vale um esforço interdisciplinar que, além da educacional ou gestão educacional, inclua áreas de conhecimento que contribuam para a pesquisa em relação à estrutura de gerenciamento de cada meta e do plano em seu conjunto. Cabe também investigar a atuação de instituições auditoras nacionais em relação ao PNE, com o objetivo de conhecer em que medida fazem uso de seu potencial para contribuir com a melhoria do desempenho desta que se pretende uma política de Estado.