Portuguese (pdf)
Article in xml format
Automatic translation
Send this article by e-mail
Permalink
INTRODUÇÃO
O campo brasileiro da avaliação de programas e projetos sociais percorreu, nas últimas duas décadas, um significativo caminho de ampliação e desenvolvimento. A crescente estruturação e profissionalização das organizações da sociedade civil pari passu com o crescimento do investimento social privado estiveram relacionados a esse desenvolvimento, promovendo-se cada vez mais a prática da avaliação de projetos e programas sociais.1 A necessidade avaliativa se instala e tensiona essas organizações, que são convocadas a demonstrar os resultados de suas ações, incidindo sobre elas um modo de pensar as iniciativas sociais que dialoga com a cultura empresarial e é inicialmente vivenciado como algo extrínseco à experiência no campo social.
O encontro de diferentes culturas organizacionais marca o percurso do campo social brasileiro no qual estão em disputa valores, princípios, linguagens, prismas de leitura da realidade, modos de agir sobre ela e meios de reconhecer as transformações sociais alcançadas. Em contexto dinâmico e de interação intensa, nem empresas, com seus institutos e fundações, nem organizações da sociedade civil, em sua pluralidade, poderiam seguir com suas culturas sem influenciarem-se mutuamente. E a avaliação dos projetos e programas vai encontrando um lugar importante nas fronteiras dessas relações.
Se, de início, a avaliação era compreendida quase exclusivamente como meio de prestação de contas, no decorrer das últimas duas décadas, novos - e velhos - sentidos passaram a ser atribuídos à avaliação de programas e projetos sociais e educacionais, e diversas abordagens avaliativas surgem e desenvolvem-se no Brasil e no mundo. As organizações da sociedade civil, de início incomodadas com imposições avaliativas do financiador, são desafiadas a definir, com maior clareza, os resultados esperados e a testar a lógica da relação entre suas estratégias e os objetivos por elas almejados. São provocadas a demonstrar e a comunicar o alcance dos efeitos de suas ações, efeitos esses que justificam sua existência como organização.
De um lado provocadas a se rever e já percebendo aspectos positivos das avaliações, essas organizações tensionam, de outro lado, o modo de pensar e fazer avaliativo dos financiadores, provocando-lhes deslocamentos necessários. A complexidade da realidade social e a especificidade inerente à implementação e à governabilidade de projetos e programas sociais se impõem aos gestores e às avaliações, exigindo revisões e ajustes àqueles que insistem em transpor, tal qual, a lógica da administração empresarial à lógica do campo social. Afinal, as intervenções sociais caracteristicamente se dão em realidades complexas, repletas de variáveis externas ao projeto e poucos governáveis, na maioria das vezes exigentes de tempo para encontrar efeitos, frustrando expectativas mais apressadas, com maior ímpeto controlador e necessidade de previsibilidade.
A construção da cultura avaliativa no campo social brasileiro é marcada, portanto, por uma diversidade, por vezes conflitante, de visões sobre a avaliação, suas funções e as diferentes maneiras de realizá-la. A avaliação, no entanto, busca sempre cumprir algum propósito, e o alcance efetivo desse propósito é um desafio que se impõe a todos, independentemente da concepção que a oriente. As diversas discussões sobre como gerar avaliações úteis, relevantes e significativas (CHIANCA, 2013; DAVIDSON, 2012; PATTON, 2012; SILVA, 2012) explicitam a importância do tema e revelam inquietação com as sucessivas experiências em avaliações engavetadas por inutilidade, rejeição ou falta de sentido para os envolvidos no programa ou projeto avaliado. Essa busca desafiadora por avaliações significativas não está circunscrita à atualidade,2 fazendo parte do desenvolvimento histórico do campo avaliativo.
A avaliação surge em fins do século XIX, identificada à ideia de mensuração precisa e objetiva de elementos da realidade humana e social, marcada pelo esforço de captá-los com a mesma neutralidade e precisão então atribuídas às ciências físicas e naturais. Essa centralidade do instrumento, considerado equivalente à avaliação em si e pautado no paradigma positivista, caracteriza o que Guba e Lincoln (2011) descrevem como a principal característica da primeira geração de avaliações, na qual o meio de mensurar era o próprio fim do ato de avaliar.
De início estritamente vinculada ao desenvolvimento de testes psicológicos, a mensuração de variáveis relativas ao sujeito humano passa a ser utilizada tanto no meio empresarial e industrial, em apoio à administração científica, como no campo educacional, proliferando-se os testes escolares de desempenho a partir das primeiras décadas do século XX. De lá para cá, os instrumentos de avaliação no campo da educação, segundo Gadotti (2017), foram melhorados e aprimorados, chegando perto da perfeição. No entanto, ressalta o autor, apesar do desenvolvimento dos testes atuais, pouco se discute o que se está avaliando, por que se avalia, para quem e contra quem: a avaliação é assim separada da aprendizagem, distanciando-se de seu sentido educacional. É como se, tal como criticam Guba e Lincoln (2011), o meio de mensuração, ou seja, o instrumento que fora inicialmente concebido para operacionalizar variáveis, ganhasse vida própria, transformando-se, em última análise, nas próprias variáveis. Torna-se real apenas o que pode ser mensurado, e todo o resto está fadado à inexistência perante a soberania do instrumento. Trata-se do domínio dos meios sobre os fins e o sentido da avaliação resta aí aprisionado.
A avaliação, assim identificada estritamente como instrumento de mensuração, permite apenas obter informações sobre o que está sendo mensurado (como, por exemplo, o desempenho dos alunos), mas não oferece informações sobre o contexto que estaria influindo sobre o sujeito avaliado (por exemplo, o currículo a partir do qual o desempenho do aluno estava se dando). O reconhecimento dessa limitação da primeira geração de avaliações teria levado, por volta dos anos 1940, à segunda geração, segundo Guba e Lincoln (2011), dando forma inicial ao que hoje se conhece como avaliação de programas e projetos sociais.
A avaliação, tendo como objeto o programa, passa a ser então convocada a aportar informações que bem orientem mudanças de contexto, exigindo o estabelecimento de uma relação entre o resultado obtido na mensuração e os objetivos pretendidos por um determinado programa, à luz de como esse estava sendo implementado. A mensuração segue importante, mas deixa de ser equivalente à avaliação e passa a ser um dos vários instrumentos utilizados a seu serviço. A avaliação de segunda geração é, então, orientada por objetivos, caracterizada pela análise e descrição dos resultados da mensuração em relação aos objetivos pretendidos e ao contexto em que eram obtidos.
Tanto a primeira como a segunda geração de avaliações, apesar de suas características distintas, colocam maior ênfase no meio de avaliar do que na finalidade da avaliação. Guardadas as devidas diferenças daquela época, o instrumento ou o método de avaliação encontram hoje exacerbada centralidade, tendendo a perder de vista o sentido da avaliação. A escolha do método a ser utilizado na avaliação, por exemplo, é frequentemente colocada antes mesmo de se definirem com clareza as finalidades de uma avaliação ou, ainda, de se desenharem claramente os contornos do que será investigado e da pergunta a ser respondida. Existe uma importante crítica atual no campo social brasileiro à prevalência do método sobre o objeto e a finalidade da avaliação (CHIANCA, 2013; SILVA; BRANDÃO, 2013; VARGAS; SILVA, 2017c).
Em meio a essa crítica, defende-se a ideia de que não existe um método melhor a priori, pois cada projeto deve estabelecer os parâmetros de sua avaliação, em função de suas características e necessidades. Além disso, essa deve ser desenhada não apenas de acordo com a natureza do objeto de estudo, mas também levando em consideração outros fatores importantes, tanto para viabilizá-la como para torná-la significativa aos interessados; fatores como, por exemplo, a cultura organizacional, a viabilidade econômica, as posições teóricas dos interessados, as posições ético-políticas em jogo, o enquadre gerencial, etc. (SILVA; BRANDÃO, 2013).
Não são poucos os relatos de experiências nas quais a avaliação, tendo seu objeto moldado a desenhos metodológicos predefinidos, gera conteúdo desconectado com a realidade do programa e da cultura organizacional em que se dá, estranho aos principais interessados que expressam dificuldade de perceber conexão dessas avaliações com suas práticas, de gerar sentido sobre elas e nelas encontrar utilidade. A centralidade do método é tamanha que se perde de vista a avaliação como processo, seu caráter de saber construído - pautado em escolhas, valores e princípios - e sua relação intrínseca e necessária com a aprendizagem.
Nos anos 1960, a dificuldade de garantir êxito dos programas por meio de avaliações de primeira geração orientadas pelos instrumentos de mensuração e, posteriormente, de segunda geração, caracterizadas pela descrição do alcance dos objetivos do programa a partir do mensurado pelos instrumentos, teria levado ao surgimento de uma terceira geração de avaliações. As avaliações, segundo Guba e Lincoln (2011), passaram a ser orientadas pelo juízo de valores com base em critérios, tanto sobre o mérito do objeto de avaliação como sobre sua importância. Caberia ao avaliador o papel de julgador, pois seria dele o juízo, e esse passa a acumular não apenas as funções técnicas e descritivas das gerações anteriores, mas também a função de especialista sobre o objeto avaliado.
Nesse sentido, além da centralidade atual do instrumento e do método nos processos avaliativos, outra característica atualizada do campo de avaliações a ser notada é o papel do avaliador como especialista. Mas, hoje, o avaliador se torna, principalmente, um especialista em método. E, no conjunto de métodos e abordagens, torna-se especialista em um método ou abordagem avaliativa específicos. No mercado das avaliações, as demandas estabelecem-se numa relação de consumo, pautada nos tipos de avaliação mais valorizados no momento, na qual o prestador de serviços oferece um produto e o consumidor o espera pronto para ser consumido.
Existe, frequentemente, uma expectativa de que o avaliador faça seu trabalho, como especialista que é, gerando um produto relevante, útil e de qualidade, mas que não demande horas demasiadas da gestão ou da equipe do projeto. Numa avaliação externa, perde-se de vista, muitas vezes, que mesmo sendo o avaliador o guardião do método, exigindo-se dele exterioridade e isenção, quem conhece o programa ou projeto a ser avaliado é a gestão e a equipe nele envolvida. O objeto de investigação e o desenho metodológico estão intrinsecamente relacionados num processo de pesquisa, cabendo ao meio de investigação ajustar-se ao objeto investigado e não o contrário, o que torna o saber da equipe e da gestão uma peça-chave num processo avaliativo.
Além disso, ao atribuir totalmente a responsabilidade da avaliação ao avaliador, o saber-fazer de uma construção investigativa segue exclusividade dele, o nicho de mercado se mantém com a dependência de avaliadores especialistas, sendo apenas neles efetivamente mobilizado, revisitado e desenvolvido o pensamento avaliativo. A avaliação se finda como produto proveniente de fora do projeto, perde seu caráter processual, intrínseco e construtivo, perde potência como fonte de aprendizagem para todos aqueles implicados na iniciativa. O pensar avaliativo perde a oportunidade de se incorporar no cotidiano do projeto.
Uma terceira característica bastante atual do campo de projetos e programas sociais, também presente nas três primeiras gerações de avaliações descritas por Guba e Lincoln (2011), é a centralidade dos interesses da gestão nas avaliações, em suas diferentes instâncias possíveis, desconsiderando-se as perguntas e necessidades de outros grupos de interesse, como a equipe ou o público com o qual se trabalha. Há no campo, sem dúvidas, o reconhecimento quase consensual da importância de envolver os diversos interessados num processo avaliativo como meio de qualificar as informações e favorecer tanto a construção de sentidos sobre elas quanto o uso efetivo para o aprimoramento do projeto (VARGAS; SILVA, 2017b). Mas definições sobre quem envolver, quando envolver, o quanto envolver e como envolver dissolvem o consenso num universo de múltiplas possibilidades.
A produção de avaliações centradas na gestão opta por deixar de lado o conjunto de reivindicações, preocupações e questões dos diversos atores sobre o objeto avaliado. Perde-se, assim, de vista que o reconhecimento, a compreensão e o trabalho com as múltiplas construções sobre o programa, produzidas pelos vários atores, podem ser cruciais para a gestão e o desenvolvimento da iniciativa. A concepção de uma avaliação orientada pelos interesses dos envolvidos, somada à ideia de que as informações essenciais de uma avaliação devam ser obtidas por meio da confrontação dessas múltiplas construções, marca o que seria denominado quarta geração de avaliações, orientada pela negociação e construção conjunta.
Há cerca de 30 anos, Guba e Lincoln (2011), criticando, entre outros aspectos, a centralidade do método científico positivista, o papel distanciado do avaliador e o caráter gerencialista das avaliações até então empreendidas pelas gerações aqui descritas, reivindicavam uma mudança no campo das avaliações que marcasse uma passagem para um paradigma construtivista. Defendiam-se avaliações descentradas do método ao compreendê-lo como construção social e meio do processo de investigação, mais conscientes da ausência de neutralidade do avaliador, deslocando-o de seu lugar de especialista para um papel ativo e dialógico no processo e centradas na pluralidade de olhares e interesses sobre o objeto avaliado. Não por acaso esses autores foram aqui mobilizados, tamanha a atualidade de suas reivindicações.
Essa inflexão construtivista no campo da avaliação de programas e projetos sociais pautou, na época, o desenvolvimento de um conjunto de abordagens avaliativas comprometidas com suas contribuições para a transformação social. Como se sabe, a ascendência de concepções construtivistas, naquele momento, não foi privilégio do campo avaliativo americano. No Brasil e na América Latina, a pesquisa social com propostas participativas de pesquisa e ação social (BRANDÃO, 1983, 1984; DEMO, 1988; FALS BORDA, 1985; THIOLLENT, 1982) e o campo educacional, fundamentalmente com Paulo Freire (2013), criticavam a preponderância do paradigma positivista na construção e na transmissão de saberes, ressaltando o papel da produção compartilhada de conhecimento e da educação para a transformação social.
Reconhecia-se a necessidade de uma sociedade na qual era central saber pensar autonomamente, ser sujeito do conhecimento, investigar a realidade, refletir lógica, crítica e analiticamente sobre ela, apropriar-se de saberes teóricos, articulando e retroalimentando conhecimento e prática. A avaliação de programas e projetos sociais, como aquela que congrega meio de investigação sobre a realidade, construção de saber e geração de subsídios para a ação, encontra importante papel nesse projeto de sociedade. É nessa perspectiva da avaliação, como construção compartilhada em sua relação intrínseca com a aprendizagem, que o fazer avaliativo promovido pelo campo social exige revisão.
É evidente que a avaliação gera aprendizados sobre a iniciativa e, como pressuposto fundamental, deve gerar insumos para que essa possa ser repensada e aprimorada. A oportunidade de aprendizagem da avaliação está, sim, no conhecimento por ela gerado para benefício da iniciativa. Mas, de maneira mais duradoura, também no potencial do processo de favorecer o desenvolvimento do pensar avaliativo - investigativo, lógico, crítico e analítico - naqueles que nele se envolvem e participam ativamente. Ao ser considerado resultado desejável e intencional da avaliação, o aprendizado do pensar e saber-fazer avaliativo pode contribuir não apenas para a potência e uso do produto da avaliação de maneira intrínseca ao trabalho, mas para a construção de uma cultura avaliativa na organização que amplifique os efeitos de suas ações sociais.
O potencial pedagógico de uma avaliação não está limitado a um tipo ou outro de avaliação - se interna, externa ou mista, por exemplo -, à abordagem metodológica - qualitativa, quantitativa, experimental, participativa, etc. - ou à sua finalidade - se para prestação de contas, mensuração de impacto, resultados, aprimoramento do projeto, etc. Toda a avaliação, como afirma Patton (2017), ensina algo: o que é ensinado e como é ensinado varia, mas o processo avaliativo é predominantemente uma interação pedagógica, e todos que dele participam experimentam, de maneira explícita ou implícita, princípios pedagógicos. São múltiplas as pedagogias possíveis da avaliação, como diria esse mesmo autor, que podem ensinar coisas variadas com meios distintos. Vale, portanto, a reflexão sobre qual é a pedagogia desejada nos processos avaliativos no campo dos projetos e programas, fundamentalmente os educacionais.
Dadas a relevância e atualidade do tema, o objetivo deste artigo é jogar luz ao potencial pedagógico das avaliações, não no que diz respeito às aprendizagens geradas pelas avaliações para os projetos e programas avaliados, mas às aprendizagens geradas para as equipes, transformando e aprimorando a forma como elas pensam o próprio fazer em projetos e programas sociais e educacionais. A partir do relato sobre o percurso avaliativo de uma organização da sociedade civil do campo educacional, a Comunidade Educativa Cedac, e da análise das aprendizagens geradas pelo processo avaliativo de um projeto especificamente, o Projeto Pequenos Leitores, busca-se aqui contribuir para um olhar mais detido ao potencial da avaliação como meio de aprendizagem para a construção do pensamento avaliativo das organizações e de suas equipes, bem como para a incorporação do pensar avaliativo ao fazer cotidiano dos projetos e programas.
RELATO DE CASO
O processo de aprendizagem, segundo a perspectiva piagetiana (PIAGET, 1976), supõe um movimento de experienciar e buscar dar sentido à experiência, assimilando as novas percepções em meio à reorganização do que já estava acomodado, estabelecendo nova base para novas assimilações. Nesse movimento contínuo, organizações e indivíduos seguem em sua jornada infindável, revendo suas ações e refletindo sobre suas experiências, em subsequentes camadas de aprendizagem e expansão da compreensão e do pensamento. A proposta deste relato é registrar, partilhar e analisar as construções reflexivas e autoavaliativas de diferentes profissionais da organização estudada, quando convidados a falar sobre suas experiências, percepções e aprendizados em processos avaliativos, tanto numa dimensão mais ampla que retoma o histórico organizacional de processos avaliativos quanto numa dimensão mais específica sobre o processo avaliativo de um de seus projetos.
Num primeiro momento, portanto, será apresentado o percurso de construção da capacidade e do pensamento avaliativo de uma organização da sociedade civil do campo educacional, não apenas ilustrando maneiras de enfrentamento dos desafios postos no contexto do desenvolvimento do campo avaliativo brasileiro, mas também oferecendo insumos para reflexão sobre os processos de aprendizagem organizacionais gerados pelas diferentes práticas avaliativas de programas e projetos da organização. Uma vez explicitado o pano de fundo organizacional, serão analisadas, num segundo momento, as aprendizagens geradas pelo processo avaliativo de um projeto em especial, que traçou como um de seus objetivos contribuir para o desenvolvimento do pensar e saber-fazer avaliativo dos envolvidos.
O percurso de construção do pensar avaliativo da Comunidade Educativa Cedac
A Comunidade Educativa Cedac é uma organização sem fins lucrativos que atua no campo educacional brasileiro desde 1997 e tem como principal missão apoiar os profissionais da educação no desenvolvimento de conhecimentos e práticas que resultem na oferta de uma educação pública de qualidade. O caminho de aprendizagem organizacional foi aqui reconstituído, como partilha de experiência, por meio da sistematização de reflexões conjuntas e relatos individuais de diretoras, coordenadoras pedagógicas e formadoras, tecendo-se a memória coletiva das camadas de experiência que marcam o histórico da organização. O relato não se deterá aos detalhes de cada avaliação empreendida, mas às ações e reflexões que caracterizam um contínuo processo de aprendizagem dos indivíduos e de suas organizações.
Como organização que atua fundamentalmente com formação de profissionais da educação, a prática avaliativa sempre encontrou lugar como meio para os formadores da Comunidade Educativa Cedac obterem informações sobre o andamento do aprendizado dos profissionais em formação. Ou seja, o olhar avaliativo estava focado nas ações de formação, cabendo aos formadores recolher registros e analisá-los em conjunto com a coordenação pedagógica do programa, alimentando revisões e aprimoramentos das práticas formativas. No entanto, o exercício de ampliar o olhar avaliativo para os resultados gerados pelo projeto na educação, para além dos efeitos específicos das práticas formativas junto aos profissionais das escolas, apresentou-se como significativo desafio a ser enfrentado pela organização.
Uma vez responsáveis, já entre 1999 e 2005, pelo desenho e implementação de um programa em nível nacional, financiado por uma fundação empresarial de grande porte, a necessidade avaliativa se instala de outra maneira. Por um lado, a direção da Comunidade Educativa Cedac se deparava com a percepção interna positiva sobre as conquistas do programa, seja por meio dos relatórios produzidos pelos formadores, seja por meio dos registros de momentos específicos - as chamadas “pausas avaliativas”, nas quais os profissionais em formação eram convidados a compartilhar suas reflexões sobre seus aprendizados. Por outro lado, percebia e incomodava-se com a dificuldade de obter informações mais abrangentes, objetivas e sistematizadas que pudessem não apenas evidenciar a eficácia do trabalho, mas comunicá-la de maneira consistente para o público externo, além de orientar caminhos para a construção e aprimoramento do projeto de maneira mais ampla.
Um avaliador é, então, contratado por iniciativa da direção da Comunidade Educativa Cedac, cabendo aos financiadores papel ainda distante. As avaliações externas, tal como definidas por Scriven (19913 apud MARINO; LOCATELLI, 2012), têm como principal característica o papel distanciado e técnico do avaliador, sendo conduzidas por profissionais que dominam o método da avaliação e, por não fazerem parte da equipe do projeto ou da organização, não têm compromisso com o sucesso ou fracasso da iniciativa. Dada a expectativa de isenção e distanciamento do avaliador externo, a vantagem dessas avaliações ancora-se tanto na qualidade do desenho metodológico como na credibilidade da avaliação perante o público externo.
No caso da Comunidade Educativa Cedac, nesse início de seu percurso em avaliações, foram três anos de avaliações externas sucessivas que causaram estranhamentos significativos, pois as equipes tinham dificuldade de encontrar sentido nos resultados por elas apresentados. Consideravam que as avaliações estavam produzindo informações que pouco dialogavam com os resultados que formadores e coordenadores pedagógicos vinham percebendo sobre suas práticas formativas.
A equipe questionava a coerência entre a expectativa de resultados que estava orientando a avaliação e aquela do próprio programa. Ou seja, percebia uma dissonância entre os conceitos que subsidiavam a avaliação e orientavam o olhar do avaliador para os resultados (por exemplo, em relação à aprendizagem esperada dos alunos que seria fruto da formação oferecida aos professores) e os conceitos que embasavam o programa avaliado e seus objetivos. Essa sentida incoerência entre concepções e leituras de resultados teria contribuído para a dificuldade da equipe de construir sentido em torno dos achados da avaliação.
Se, por um lado, o distanciamento do avaliador oferece credibilidade à avaliação, por outro, essa mesma distância pode gerar uma desvantagem pois, dado o conhecimento limitado do avaliador sobre o programa e seu contexto, pode enviesar o estudo avaliativo (MARINO; LOCATELLI, 2012). Além disso, a falta de clareza da própria equipe do programa sobre os objetivos e resultados com os quais esse se compromete dificulta o trabalho do avaliador externo que, muitas vezes, é convocado a definir esses objetivos ou acaba mobilizando, com maior ou menor consciência, suas próprias concepções e compreensões sobre o objeto avaliado.
Havia ainda, para a equipe, a sentida necessidade de melhor compreender como os achados da avaliação tinham sido construídos pelo processo avaliativo. Parecia-lhe que os instrumentos utilizados pela avaliação, os dados obtidos e as análises realizadas foram gerados por uma máquina cuja engrenagem era, para ela, um enigma. O lastro daqueles achados com a realidade, que envolveria o entendimento do caminho de construção do saber sobre essa realidade, ficou pouco visível para a equipe que encontrou dificuldade de dialogar com eles e deles fazer uso para o aprimoramento efetivo do projeto.
Ao mesmo tempo que havia o estranhamento com a avaliação realizada e com a distância dessa sobre suas práticas, a direção seguia inquieta com a dificuldade de melhor captar e comunicar os resultados obtidos. A avaliação interna, tal como definida por Clifford e Sherman (19834 apud MARINO; LOCATELLI, 2012), envolve a responsabilização de uma equipe da organização sobre o processo avaliativo. Essa equipe tem maior conhecimento sobre o projeto, a organização e suas necessidades, o que pode favorecer um desenho avaliativo mais próximo a essas necessidades e sensível ao contexto. Uma desvantagem dessa prática, segundo Marino e Locatelli (2012), é que justamente essa familiaridade com o projeto pode dificultar a capacidade de análise crítica e, por questões de dinâmica de poder, não permitir o olhar para falhas importantes.
Além dessas possíveis desvantagens, no caso da Comunidade Educativa Cedac, a equipe se deparava com suas limitações técnicas para executar uma avaliação consistente sem apoio externo. Após a tentativa frustrada de empreender a avaliação do programa por conta própria, a direção busca, a partir de 2008, experimentar outras abordagens avaliativas, contratando novas avaliações externas. Seguiam com intuito de produzir avaliações mais bem ajustadas às concepções da organização mas, também, consistentes e isentas, passíveis de serem comunicadas ao público externo.
Ainda no contexto desse mesmo grande projeto educacional que ocupava quase integralmente as atividades da Comunidade Educativa Cedac à época, contratou-se um avaliador especializado em indicadores sociais. Como especialista, o avaliador aportou um olhar voltado à contextualização do programa segundo uma perspectiva social, política e econômica mais ampla, analisada por meio de índices e indicadores das regiões em que esse estava sendo implementado. Além disso, empreendeu uma avaliação dos resultados do programa por meio da aplicação de testes que buscavam mensurar o desenvolvimento dos alunos cujas escolas haviam passado pelas formações oferecidas.
Essa abordagem avaliativa aportou subsídios importantes para a constituição de um olhar diferente e mais abrangente sobre o projeto. Ao contextualizar o programa e permitir comparações estatísticas dos avanços entre as diferentes escolas e territórios, permitiu olhar para as potencialidades do programa e comunicar, de maneira objetiva, seus resultados. No entanto, apesar de aportar insumos para serem comunicados, manteve-se a relação de exterioridade com a avaliação, ainda compreendida como função do especialista, cabendo à equipe esperar passivamente o produto de um processo cuja construção não lhes parecia dizer respeito, mantendo-se como enigma. Uma nova experiência avaliativa teria, então, iniciado a virada da organização para a tessitura de sentidos em torno do pensar e saber-fazer avaliativo.
No mesmo ano da avaliação descrita, contratou-se uma organização internacional para construir coletivamente uma teoria de mudança.5 A construção conjunta dessa teoria de mudança do programa exercitou a capacidade da equipe de organizar uma visão de futuro e estabelecer uma relação lógica e coerente entre suas estratégias e seus objetivos num dado espaço de tempo. Uma vez claros os objetivos do programa, alinhados entre todos da equipe, a ideia de uma avaliação contínua à implementação e orientada pelas transformações almejadas encontrou sinergia com a compreensão pedagógica da avaliação como parte do processo formativo, alinhando-se à cultura organizacional.
Envolvida ativamente no processo de construção da teoria de mudança do programa, a equipe pôde se apropriar do que estava sendo construído, compartilhar suas observações sobre suas práticas, aportar suas experiências, contrastar seus pontos de vista com os demais, exercitando um olhar mais distanciado para o programa e para seu lugar nele. Parecia-lhes, agora, possível uma avaliação que fosse compatível com suas práticas, com a forma como entendiam e desenhavam a intervenção e coerente com os princípios e concepções da organização. Apesar de reconstruído o olhar da equipe sobre a avaliação, ambas em reconciliação, a teoria de mudança elaborada não chegou a operacionalizar e concretizar uma efetiva avaliação.
Nos anos subsequentes a essas avaliações, a Comunidade Educativa Cedac não estava mais voltada à implementação de um único projeto educacional. Já comprometida com outros projetos e parceiros, instala-se mais fortemente a demanda dos financiadores por avaliações como meio de prestação de contas. Somado a essa crescente pressão por comunicar os resultados, em 2007, o Índice de Desenvolvimento da Educação Básica (Ideb) surge na cena carregado de importância e legitimidade como meio, principalmente do ponto de vista dos financiadores, de medir objetivamente o impacto das intervenções nas escolas.
Pressionada a comunicar os resultados de forma quantitativa, de um lado, e, de outro, reconhecendo a existência de uma diferença entre o que o Ideb afere e os resultados almejados por seus projetos e programas, empreendeu-se significativo esforço de recortar mais claramente onde se queria chegar com as intervenções, buscando traduzir os resultados numa linguagem mais próxima e compreensível para os financiadores. É nesse contexto que, em 2010, iniciou-se a construção de matrizes avaliativas6 para todos os projetos, como meio de delimitar os resultados pretendidos pelos programas e com eles se comprometer perante o financiador e a sociedade.
A construção dessas matrizes foi aproximando as equipes da lógica avaliativa, dado que sua estrutura exige o exercício de um raciocínio que envolve, entre outras coisas, definir com clareza onde se quer chegar e quais informações podem indicar que se alcançou, ou não, esse lugar. A organização do pensamento sobre o programa consolidado na matriz - ou em qualquer outro dispositivo lógico - não apenas favorece a comunicação externa sobre o que é e o que pretende o programa, mas organiza e alinha internamente a equipe em torno dos mesmos conceitos e objetivos. As equipes enfrentaram - e enfrentam - o desafio de produzir matrizes alinhadas aos conceitos que subsidiam os projetos, ajustadas às diferentes necessidades avaliativas que se colocam e que sejam operacionalizáveis na execução de avaliações efetivas.
Além disso, havia a necessidade de se enfrentar o desafio de costura entre o pensamento pedagógico e o pensamento avaliativo e estratégico sobre o projeto, dado que, historicamente, as avaliações dos projetos eram percebidas como uma necessidade que corria em paralelo ao desenvolvimento pedagógico desse, com dificuldade de serem incorporadas de maneira intrínseca ao fazer das equipes. Um caminho significativo de aprendizagens continuava sendo traçado pela organização rumo à apropriação do pensar e saber-fazer avaliativos.
Outro fator que contribuiu para a capilaridade do pensamento avaliativo na organização foi a construção coletiva de uma matriz avaliativa institucional. Dado o movimento de construção de matrizes avaliativas para todos os projetos da organização, a Comunidade Educativa Cedac teve de se haver com um conjunto de resultados e indicadores que não necessariamente dialogavam entre si. Essa situação explicitou a necessidade de se construir, com ajuda externa, um orientador institucional que pudesse dar coerência entre os projetos, alinhando-os em torno de objetivos comuns, mas que também fosse capaz de representar a identidade organizacional para dentro e para fora da organização, deixando claro o recorte de seu compromisso com a sociedade. Essa matriz institucional foi construída em 2014, alinhando toda equipe em torno de princípios claros e pactuados, contribuindo para delimitar e apresentar, com maior clareza, o posicionamento da organização.
O percurso da Comunidade Educativa Cedac bem ilustra os dilemas de uma organização em seu caminho de construção de um pensamento avaliativo próprio e ajustado às suas especificidades, marcado pelo movimento de experimentar diferentes maneiras de pensar e de fazer a avaliação, refletindo sobre essas experiências, construindo sentidos, fazendo escolhas e avançando em suas percepções e aprendizados. A experiência da Comunidade Educativa Cedac com a avaliação parte de uma relação de exterioridade com o pensar e fazer avaliativo, compreendendo, inicialmente, as avaliações como extrínsecas ao trabalho das equipes e ao desenvolvimento pedagógico dos projetos, marcadas pelo enigma da engrenagem metodológica das avaliações e pela atribuição de um saber-fazer depositado sobre o avaliador.
Em contrapartida, as equipes percebem suas limitações na compreensão dos processos avaliativos, garimpando modos de pensar avaliativos que pudessem encontrar sentido na cultura organizacional, buscando avaliações significativas sobre seus projetos e programas e reconhecendo a importância e os desafios da incorporação de um pensamento avaliativo para o desenvolvimento de suas iniciativas. Em meio a esse processo de aprendizagem organizacional, avaliações mistas também passam a fazer sentido para as equipes, como forma de desenvolver suas capacidades avaliativas e produzir avaliações ajustadas às suas necessidades. Nessas, segundo definem Marino e Locatelli (2012), os avaliadores atuam junto com a equipe, facilitando o desenvolvimento técnico e operativo dos grupos envolvidos num processo avaliativo, além de garantirem um rigor técnico e metodológico para a avaliação. Será aqui apresentado, portanto, um processo avaliativo de natureza mista, com foco nas aprendizagens por ele geradas para a equipe.
O processo avaliativo do Projeto Pequenos Leitores
O Projeto Pequenos Leitores, criado em 2013 em parceria com a FTD Educação, atua na formação de profissionais da educação infantil - professores, coordenadores, técnicos e diretores - de escolas públicas. Tem hoje como objetivo ampliar as condições institucionais das escolas para a garantia da leitura literária na educação infantil, desenvolver concepções e práticas dos educadores sobre leitura literária para crianças dessa faixa etária, contribuindo para o acesso dessas à cultura escrita. Dado o foco do presente artigo nas aprendizagens geradas pela avaliação para os diversos envolvidos, é apresentada aqui a descrição do processo avaliativo, explicitando o papel da equipe e do avaliador, optando-se por não entrar em detalhes sobre o projeto nem sobre a avaliação especificamente.7
Logo no início do projeto, uma matriz avaliativa foi construída e, após empreender uma avaliação desenhada e conduzida pela própria equipe, percebeu-se a necessidade de aprimoramentos no processo avaliativo do projeto, tanto no que diz respeito à operacionalização da avaliação como a ajustes para gerar informações que pudessem ser mais bem aproveitadas. A equipe seguia com a vontade de entender a lógica avaliativa e de obter mais repertório para poder construir instrumentos adequados, coletar informações consistentes e conseguir analisá-las a contento, de maneira a reverter em aprimoramentos ao projeto e a bem comunicá-las ao financiador.
Nesse contexto, a coordenação pedagógica do projeto, em conjunto com o financiador, percebe a necessidade da supervisão de um avaliador que pudesse aportar conhecimentos técnicos sobre avaliação, orientando a equipe no processo avaliativo do Projeto Pequenos Leitores. O objetivo era, junto com o avaliador, desenhar a avaliação a ser executada pela equipe, mas, também, contribuir para o aprimoramento do raciocínio avaliativo e capacitação da equipe. Um de seus objetivos específicos, portanto, era gerar aprendizagens voltadas ao pensar e saber-fazer avaliativos. No decorrer de 2017, realizaram-se cerca de oito oficinas com todos os envolvidos, entre financiador e equipe do Projeto Pequenos Leitores, essa última composta por direção, coordenação pedagógica, coordenação de área e formadora, num total de cinco pessoas participantes.
Apesar de inicialmente o escopo do processo avaliativo, a ser apoiado pelo avaliador-facilitador, incluir desde o desenho até a execução e análise dos dados, acabou concentrado na elaboração da matriz, dada a exigência de tempo para o desenvolvimento conjunto do raciocínio avaliativo por ela exigido e nela consolidado. Como um dos focos era a aprendizagem, também ancorada na pluralidade de atores participantes, o processo foi sendo ajustado às necessidades da equipe e de alinhamento em torno de decisões que deviam ser tomadas sobre o desenho da avaliação.
As oficinas realizadas seguiram o caminho clássico de definição e pactuação das finalidades da avaliação, das perguntas avaliativas, dos indicadores, descritores e desenho da avaliação (fonte de informação, instrumento e periodicidade) e foram intermediadas por exercícios individuais e coletivos da equipe, envolvendo dimensões práticas e de leitura teórica. À equipe coube o engajamento e a disposição em participar de um processo de aprendizagem que lhe exigia ocupar um lugar ativo, sendo responsável pela construção dos produtos intermediários do processo. Ao avaliador coube a função de facilitador do processo de aprendizagem dos participantes, aportando conhecimento técnico, construindo exercícios em função das necessidades de aprendizagem percebidas e facilitando as oficinas para realização das tarefas propostas em cada uma delas.
A escolha por jogar luz, neste artigo, às aprendizagens geradas para a equipe por esse processo avaliativo em especial justifica-se, fundamentalmente, pelo fato de ser um processo que assume a aprendizagem da equipe como um de seus resultados para além do aprimoramento do projeto e da maior efetividade das ações. Emergindo de um contexto organizacional favorável, coerente com o rumo em que segue sendo construído o pensamento avaliativo na organização, essa experiência contribui para desenhar, com tintas cada vez mais fortes, uma compreensão sobre a avaliação de projetos que se estabelece em relação intrínseca com a aprendizagem.
Sobre as aprendizagens geradas
Aos processos avaliativos subjazem princípios pedagógicos que podem fruir de maior ou menor consciência e intencionalidade. A construção dessa intencionalidade pedagógica, por sua vez, supõe clareza sobre quais aprendizagens se pretende gerar e por qual motivo, ambos embasados por determinadas concepções de mundo, de sujeito e de conhecimento. É importante ressaltar, nesse sentido, que a presente investigação sobre as aprendizagens geradas por processos avaliativos está orientada por princípios pedagógicos que compreendem o conhecimento como construção social que, de maneira interativa e dialógica, pode estar a serviço de um pensar crítico, autônomo e emancipatório.
À luz de princípios pedagógicos freirianos, portanto, serão aqui analisados os relatos das participantes do processo avaliativo do Projeto Pequenos Leitores - gestora responsável pelo projeto na organização financiadora FTD Educação, diretora da Comunidade Educativa Cedac, coordenadora do projeto, coordenadora pedagógica de área e formadora - quando convidadas a refletir e falar, por meio de entrevistas semidirigidas individuais e coletivas, sobre seus processos de aprendizagem. As percepções autoavaliativas, tal como relatadas pelas entrevistadas, foram sistematizadas e organizadas em duas dimensões amplas, com fins de análise. São elas: ampliação da consciência crítica pelo contraste de perspectivas e desenvolvimento de raciocínio avaliativo autônomo dos envolvidos.
Ampliação da consciência crítica pelo contraste de perspectivas
Como se sabe, um mesmo projeto ou programa é vivenciado de variadas maneiras pelos diferentes atores envolvidos, dados os papéis e funções que cada um ocupa nessa rede de relações. Cada ator, portanto, apresenta suas próprias construções sobre o projeto ao buscar criar sentido sobre ele e sobre seu fazer nele, sendo objeto de múltiplas construções. A interação dialógica dessas várias construções favorece a tessitura de uma compreensão conjunta e partilhada sobre o projeto que seja capaz de acolher as contradições e divergências, sustentando um olhar complexo para o todo e favorecendo a ampliação de uma consciência crítica não apenas sobre o projeto, mas sobre o fazer de cada qual nele. Tem-se, portanto, como princípio, que a conscientização é potencializada por meio da interação e do diálogo entre as partes (GADOTTI, 2017).
Em meio à existência dessas múltiplas perspectivas, espera-se que cada ator se apegue ao próprio ponto de vista, para orientar o fazer que lhe cabe no projeto. Um olhar mais amplo passa pela possibilidade de deslocamento dos atores do conforto de suas perspectivas em direção ao entendimento e consideração das perspectivas alheias sobre o mesmo projeto. Segundo a percepção da gestora responsável pelo projeto na organização financiadora,
[...] conforme fomos caminhando juntas, nas trocas, nas conversas e nos exercícios, eu percebi que todas nós tínhamos ali a oportunidade de sair um pouco do nosso papel e vivenciar os outros papéis, e colocar outros chapéus que não os nossos. [...] E a gente conseguia começar a enxergar o projeto como um todo de uma forma muito diferente. (Entrevista com a gestora responsável pelo projeto na organização financiadora)
Apesar de nem sempre o deslocamento do próprio ponto de vista ser uma tarefa fácil, a interação de todos os envolvidos no projeto é uma oportunidade de vivência desses diferentes papéis em jogo. Favorecido pela genuína escuta das demais perspectivas, o exercício dos atores de colocar uns os “chapéus” dos outros pode levá-los a enxergar o todo de maneira significativamente diferente.
A confrontação das diferentes visões e construções dos atores sobre o projeto produz, segundo Guba e Lincoln (2011), uma mudança relativamente rápida nas construções de praticamente todos os envolvidos. Mesmo que não resulte em consenso, esse confronto tem o potencial de revelar, com significativa clareza, os diferentes pontos de vista, o que acaba, segundo esses autores, direcionando o grupo a olhar justamente para questões em que há divergências ou discordâncias, permitindo-lhe debruçar-se sobre elas.
Por mais que se tenha consciência da dimensão multifacetada dos projetos sociais e educacionais, dos múltiplos papéis e funções dos atores envolvidos, é na interação dialógica que a compreensão efetiva e sensível dessa pluralidade pode se dar. Nas palavras de uma das formadoras do projeto,
[...] estarmos todas ali repensando e reestruturando num processo de discussão, fez bastante diferença. Ter ouvido, no processo de construção da matriz, o lugar de cada um, me ajudou a entender melhor o projeto, entender as intenções do projeto. Engraçado. Porque não que isso não estivesse posto, mas foi de uma forma mais organizada. Ouvir o que cada um pretende, o financiador, a Comunidade Educativa Cedac, a coordenação do projeto, eu como formadora, isso foi dando o tecido e foi refletir lá na matriz. (Entrevista com a formadora do projeto)
De uma ponta à outra da rede que caracteriza os diferentes papéis e funções da equipe responsável pelo projeto, tanto para a gestora responsável pelo projeto na organização financiadora como para a formadora do Projeto Pequenos Leitores, portanto, o trabalho conjunto permitiu a experiência sensível das diferenças existentes. O contraste de perspectivas em meio à expressão dos variados pontos de vista, ângulos de visão sobre o projeto e construções argumentativas permitiu-lhes não apenas melhor compreender os papéis uns dos outros e ampliar os olhares, mas rever sua própria compreensão e perspectiva sobre o projeto.
Nesse mesmo sentido, Guba e Lincoln (2011) demonstram como a necessidade de lidar com as diferenças, com os pontos divergentes e em conflito conduz os envolvidos a reconstruírem suas visões, adaptando-se às diferenças explicitadas, ou a exercitarem a argumentação sobre seus pontos de vista, entendendo melhor sua própria construção e revendo-a, para que se torne mais fundamentada e esclarecida. Nesse movimento, todos conseguem melhor compreender as construções uns dos outros, fortalecendo o diálogo e o trabalho conjunto.
Esse contraste de pontos de vista reforça, para aqueles que o vivenciam, a percepção do caráter construtivo de suas compreensões sobre o projeto e os convida a relativizar suas posições, tornando-os mais permeáveis às dos demais. Para a responsável pelo projeto na organização financiadora, uma vez sentados todos juntos em torno do mesmo objetivo de construir a matriz avaliativa e desenhar a avaliação, cada qual exercitando colocar o “chapéu” do outro,
[...] saímos dos nossos papéis e subimos todas de cima, olhando todo o processo de cima. Olhando, inclusive, os nossos próprios chapéus, no mesmo nível. [...] A gente quase que coloca um chapéu de alguém externo, como o do avaliador que olha de fora. (Entrevista com a gestora responsável pelo projeto na organização financiadora)
O trânsito das diferentes visões favorece o reconhecimento e a tomada de consciência mais clara da própria perspectiva em contraste com as dos demais, o que potencializa o exercício de um “olhar distanciado” sobre o projeto ao colocar-se a si próprio em perspectiva. O processo de construção desse novo olhar lança as bases para o desenvolvimento de um pensar crítico e contínuo sobre o projeto como um todo.
A importância do confronto em processos avaliativos, entre as diferentes construções existentes em torno de um projeto, é já há muito discutida no campo da avaliação, tendo sido enfatizada ainda na década de 1980 por Guba e Lincoln (2011). Muitas abordagens participativas de avaliações se desenvolveram desde então, e parte do campo demonstra significativo apreço no envolvimento e engajamento dos variados atores e grupos de interesse nos processos avaliativos, cada vez mais preocupados em gerar achados que reflitam as diversas perspectivas dos múltiplos atores.
Nos últimos dez anos, segundo Patton (2017), essa ênfase no envolvimento dos diferentes atores esteve significativamente voltada à busca pelo aumento do uso dos achados da avaliação em direção ao aprimoramento dos projetos, entendido como meio de produzir avaliações úteis. No entanto, segundo o mesmo autor, a interação dialógica e o confronto de visões, para além de favorecer a relevância, qualidade e uso das avaliações, podem contribuir para o desenvolvimento de um olhar complexo dos atores sobre o projeto que se sustenta para além do uso dos achados da avaliação.
A interação dialógica contribui para retirar a centralidade, nos processos avaliativos, das necessidades do âmbito gerencial do projeto, sendo fundamental a explicitação de que todos estão em terreno de disputa, reconhecendo as dinâmicas de poder e as diferenças existentes. A tomada de decisões conjunta explicita as fronteiras dessas diferenças que precisam ser negociadas e supõe uma interação argumentativa que, como afirma Patton (2017), evidencia a natureza da avaliação como argumentação.
Uma vez em diálogo, ainda segundo Patton (2017), todos podem empregar seus raciocínios, desafiando as premissas que estão em jogo, sejam as suas próprias ou as dos outros, entre elas as do avaliador. Esse confronto de construções sobre o projeto e a interação argumentativa não apenas favorece a produção de uma avaliação que faça sentido aos atores, mas exige dos participantes a construção de um olhar complexo para o projeto em suas várias facetas possíveis, contribuindo para a ampliação da capacidade dos envolvidos de pensá-lo criticamente.
Desenvolvimento de raciocínio avaliativo autônomo
O pressuposto de ser a inquietação epistemológica intrínseca ao ser humano apresenta-se como princípio fundamental aos processos avaliativos. A curiosidade, segundo Gadotti (2017), é a base para o conhecimento, o que supõe uma profunda interconexão entre razão e emoção no processo de construção do saber. A experiência sensível dos sujeitos, portanto, articula-se ao intelecto, gerando perguntas e inquietações sobre o vivido e sobre as coisas em relação às quais o pensamento é produzido e o saber é construído.
A curiosidade epistemológica, a ser despertada em alguns casos e desenvolvida continuamente em todos, é princípio do processo avaliativo que tem como principal orientador perguntas a serem respondidas. Afinal, as perguntas avaliativas revelam inquietações pautadas na experiência sensível e reflexiva de sujeitos sobre um projeto e sobre seu fazer nele e conduzem a uma investigação ativa sobre a realidade, construindo um saber que busque dar conta da inquietação dos envolvidos, alimente a reflexão e subsidie a ação. Essa percepção de si, como ser capaz de se haver com sua curiosidade sobre o mundo, apropriando-se do conhecimento historicamente produzido, investigando e construindo saber de maneira autônoma, pode ser o trilho de uma avaliação que tenha como resultado o desenvolvimento do pensamento e raciocínio avaliativos dos vários envolvidos.
A participação dos diferentes atores em processos avaliativos, para além dos achados e análises que possam ser produzidas em conjunto, pode ter a função de ensinar as pessoas a pensar e a raciocinar de maneira avaliativa. Segundo Fetterman (2017), ensinar as pessoas a pensar de maneira avaliativa é como ensiná-las a pescar, contribuindo para a sustentabilidade e a perenidade do pensar avaliativo nos projetos e nas organizações, desenvolvendo-se capacidades e culturas avaliativas. Nessa perspectiva, o pensar avaliativo é um resultado que pode ser buscado por um processo que enfatiza a participação dos atores em todo o percurso avaliativo.
Em uma avaliação, segundo Patton (2017), os envolvidos têm a oportunidade de aprender a lógica de investigação baseada em evidências. Podem, também, desenvolver habilidades para identificar as questões ou problemas a serem investigados, definir as informações e evidências que melhor permitam atender às necessidades, desenhar os meios de investigação mais ajustados ao objeto da avaliação, captar informações, interpretar e analisar os achados e saber utilizá-los. O raciocínio avaliativo envolve a apropriação da lógica de investigação sobre a realidade e o desenvolvimento de capacidades para executá-la, mas também envolve a apreensão de um modo de pensar avaliativo sobre processos de maneira geral.
A intenção de contribuir para o desenvolvimento da autonomia do pensar avaliativo da equipe supõe o papel do avaliador como facilitador de um processo de aprendizagem. O avaliador desloca-se do lugar de especialista e encontra sua função como aquele que aporta conhecimento de técnicas investigativas, mas também facilita alinhamentos e processos decisórios em meio ao estímulo do exercício lógico exigente no desenho da avaliação, apoiando a equipe na estruturação de seu pensamento avaliativo. Por sua vez, a equipe responsável por conduzir a avaliação é convocada a se deslocar do lugar daquela que espera por uma avaliação “pronta-entrega”, posicionando-se como sujeito de um processo que lhe diz respeito e encarando as dificuldades que se apresentam num caminho nem sempre tranquilo.
A matriz avaliativa é uma das possíveis maneiras de se organizar o pensamento avaliativo sobre o projeto. Seus elementos estruturais podem variar em função das necessidades de organização lógica do raciocínio avaliativo de cada projeto e da finalidade definida para a avaliação. Como modo de pensar estruturado, a matriz parte de alguns organizadores principais do pensamento - como os resultados esperados, por exemplo - que orientam a definição das informações que permitirão olhar para esse elemento principal - como os indicadores e descritores, por exemplo -, seguidos pela definição de como cada uma dessas informações poderá ser obtida - quem é o melhor informante, qual o instrumento de coleta mais adequado e em quais momentos essa informação deve ser coletada, por exemplo.
Esse processo de definição do desenho da avaliação, materializado na matriz avaliativa, quando construído com o envolvimento dos diferentes atores do projeto de maneira interativa e dialógica, mostra-se uma oportunidade de olhar para o projeto como um todo. Nas palavras da coordenadora do projeto,
[...] a matriz é um raciocínio. Temos feito várias tentativas. [...] A matriz faz pensar como conseguimos, ou não, garantir a relação entre os resultados que nos comprometemos, a metodologia que desenvolvemos e o conteúdo que se quer trabalhar. É esse triângulo que a gente tenta equilibrar. (Entrevista com a coordenadora do projeto)
Como raciocínio que define aonde se quer chegar e quais informações podem oferecer narrativas consistentes para a compreensão desse ponto de chegada, a construção da matriz provoca o pensamento sobre o desenho estratégico e tático-operacional do projeto. Isso pois, leva a equipe, em meio ao exercício lógico exigido pela estruturação do pensamento avaliativo, a rever a coerência entre o que estão executando no projeto - da metodologia ao conteúdo da formação - e os objetivos ou resultados esperados por ele.
A construção da matriz, quando realizada coletivamente, pode convocar os atores envolvidos a refletir sobre a coerência da realidade prática do projeto com os resultados esperados. Dado que cada ator tem seu próprio ângulo de visão sobre o projeto a partir de seu papel e função nele, o confronto desses entendimentos pode ser produtivo para a construção de um olhar partilhado e crítico sobre a coerência interna do projeto, favorecendo a reflexão de todos sobre suas práticas.
Esse convite para rever a própria prática favorece a incorporação do pensar avaliativo no cotidiano do projeto. Muitas vezes, segundo a diretora da Comunidade Educativa Cedac, responsável pelo projeto, enfrenta-se a dificuldade de conseguir perceber o lugar da avaliação dentro da ação, pois
[...] há uma cisão entre o que se faz e o que será avaliado. É muito partido. É como “deixa eu fazer meu trabalho aqui e depois a gente vê isso de avaliação”, e não se dá conta que isso tem que vir junto, se não são dois trabalhos separados. (Entrevista com a diretora da Comunidade Educativa Cedac)
A matriz, portanto, pode ser compreendida como algo externo ao projeto, algo que corre em paralelo e que a equipe tem que dar conta por necessidades externas que não se relacionam com as suas próprias. Na fala de uma das formadoras, as matrizes eram como “entidades” apartadas do trabalho:
Esse processo de construir a matriz, ele começou separado do trabalho. [...] A organização estava pensando a matriz, mas quando a matriz apareceu foi uma loucura para quem estava fazendo as formações. Ela começa como um desejo da instituição, mas a gente falava: “O que é isso? Agora tem que fazer isso!” Essa matriz era quase uma entidade, quando a gente começou com isso, era a matriz de um lado e o trabalho de outro. No processo isso foi se encontrando. A matriz perdeu esse lugar de entidade e ela foi se constituindo como um processo de todos porque a gente passou a discutir juntas. Ele vai se incorporando, [...] a matriz foi tramando com o trabalho. A gente trouxe a matriz para a reflexão do trabalho. (Entrevista com a formadora do projeto)
Se, ainda nos primórdios da avaliação na Comunidade Educativa Cedac, as matrizes eram vivenciadas como algo externo e sem diálogo claro com o fazer do projeto, a contínua apropriação do pensamento avaliativo pelas equipes foi favorecendo a incorporação desse modo de pensar o projeto e o fazer de cada um dos envolvidos. Esse movimento de constituição de sentido e apropriação do raciocínio, expresso pela matriz, contribui para a tessitura da trama do pensamento avaliativo com o trabalho da equipe.
Quando bem apropriada, fruto de uma construção coletiva na qual a equipe consegue se enxergar, a matriz, segundo uma das coordenadoras de área do projeto,
[...] deixa de ser uma entidade, ela existe. O tempo inteiro ela passa a ser sujeito do processo, porque você dialoga com ela para poder dar sentido e significado para esse refinamento do projeto. (Entrevista com a coordenadora de área do projeto)
O pensamento organizado pela matriz avaliativa vai se tornando um sujeito do processo ao passo que, por um lado, pode ser transformado pela equipe em função das necessidades e mudanças, estando constantemente sujeito a revisão, crítica e ajustes, tendo em vista seu papel de organizar e potencializar o pensar. Por outro lado, é sujeito do processo, pois pode levar a transformações e refinamentos das estratégias e das ações, incorporando-se ao dia a dia do projeto como elemento que ajuda a pensá-lo.
Essa capacidade da matriz avaliativa de organizar o pensamento se revela em sua contribuição para a construção de uma narrativa coerente e lógica sobre o projeto. Além de delinear um recorte para o olhar, a matriz, segundo a coordenadora,
[...] me permite olhar, mas também, compartilhar uma construção de conhecimento do que fazemos, socializar, sistematizar. Organizando um conhecimento que se pode comunicar. Ter mais consciência, o que tem a ver com a avaliação, sobre qual o lugar em que se está atuando e aí conseguir justificar melhor onde a gente chega, fundamentando. (Entrevista com a coordenadora do projeto)
Ou seja, a matriz tem uma função interna de organização do pensamento sobre o projeto, favorecendo o olhar avaliativo e estratégico para as ações, mas encontra uma importante função externa por orientar a comunicação sobre o que é o projeto, o que ele pretende e o que pode ser contado sobre seus alcances. A matriz revela os conceitos que embasam o projeto e sua atuação, podendo se tornar um veículo importante de posicionamento da organização no campo em que atua.
O desenvolvimento do raciocínio avaliativo em toda a equipe a coloca num outro lugar. Passa a ter clareza negociada e partilhada sobre os pontos de chegada esperados, sendo capaz de rever continuamente a relação entre seus objetivos e estratégias, de definir quais informações poderiam ajudá-la a melhor entender as questões existentes ou os efeitos de suas ações, articulando o conhecimento construído com o uso dessas informações. O conhecimento, como princípio, tem uma função emancipatória (GADOTTI, 2017). Ou seja, saber como pensar de maneira independente, ser sujeito criador e autônomo, capaz de governar a si mesmo, é emancipar-se.
Nesse sentido, aprender a pensar de maneira avaliativa e a fazer investigações avaliativas sobre os projetos posiciona as organizações da sociedade civil de uma forma diferente ante a financiadores e avaliadores, favorecendo e qualificando o diálogo em benefício de todos. Segundo a concepção de avaliação de Fetterman (2017), é fundamental que as pessoas tenham controle sobre suas próprias vidas em vez de dependerem completamente de especialistas.
Trata-se, no entanto, de um longo aprendizado organizacional, no qual as pessoas paulatinamente aprendem e internalizam o aprendizado do pensar e do fazer. Na fala da coordenadora do projeto:
A gente achava que a avaliação, para ter validade do que a gente fazia, tinha que ser uma instituição externa a nos avaliar. Precisava ter alguém isento para nos dizer sobre o nosso trabalho. Isso muda, com esse formato de avaliação, hoje podemos dizer o que se consegue e não se consegue, mesmo tendo algumas situações em que não se consegue visualizar exatamente, mas conseguimos objetivar melhor o que fazemos. (Entrevista com a coordenadora do projeto)
Compreender a lógica avaliativa leva a equipe a sentir-se mais segura para executar avaliações, construir narrativas objetivas sobre o projeto e seus alcances, mais ciente de suas próprias limitações nesse percurso e, também, capazes de apontar as limitações existentes nas avaliações vindas de fora.
A possibilidade de desenvolver avaliações internas por uma equipe capacitada, ou avaliações mistas com a facilitação e apoio técnico do avaliador, não exclui a possível necessidade de avaliações externas. Pelo contrário, as avaliações podem ter diferentes finalidades e servir a diferentes propósitos, e o meio mais adequado de executá-las dependerá dessas definições. No entanto, a apropriação de um raciocínio avaliativo na equipe pode permitir e subsidiar um olhar crítico e qualificado para práticas avaliativas desenhadas e executadas por financiadores ou avaliadores externos. Segundo uma das diretoras da Comunidade Educativa Cedac,
Hoje nossa postura com o financiador e com uma avaliação externa é muito diferente, esse empoderamento de pelo menos saber bem o que não vai ajudar, ser capaz de pontuar e ter transparência, segurança, para dizer “não vamos por aqui”. (Entrevista com a diretora da Comunidade Educativa Cedac)
Garantir a compreensão e aprendizagem do pensamento avaliativo pelos envolvidos no projeto favorece e qualifica o diálogo entre todos - formadores, coordenadores pedagógicos, diretores, financiadores e avaliadores - em prol de uma avaliação mais eficaz, relevante e útil, mas, também, crítica.
CONSIDERAÇÕES FINAIS
As aprendizagens geradas na equipe do Projeto Pequenos Leitores nesse processo avaliativo fazem parte do desenvolvimento do pensamento avaliativo da Comunidade Educativa Cedac, precedendo esse projeto e projetando-se em caminho de contínua construção. Desde os primeiros anos da Comunidade Educativa Cedac, o esforço organizacional de pensar e construir práticas avaliativas que fizessem sentido para as equipes - entre direção, coordenação pedagógica e formadores - apostava na potencialidade da avaliação como meio de aprimoramento dos projetos. Com o caminhar das experiências avaliativas e o amadurecimento da compreensão sobre avaliações e do pensamento avaliativo, pôde-se olhar para a possibilidade de pensar as avaliações dos projetos à luz dos princípios pedagógicos da organização e explorar seu potencial formativo.
O potencial pedagógico das avaliações de projetos é deveras amplo, mas ainda timidamente explorado. Como demonstrado, a aprendizagem do pensar e saber-fazer avaliativo pelos diversos envolvidos nos projetos, favorecida por um processo interativo, dialógico e com intenção pedagógica, pode contribuir para a ampliação da consciência crítica de todos sobre o projeto e sobre seus fazeres nele, além de favorecer o desenvolvimento do raciocínio avaliativo nos participantes - entre outras muitas aprendizagens possíveis a serem exploradas.
Esse pensar avaliativo estrutura o pensamento sobre o projeto, solicita uma delimitação clara e partilhada de objetivos, busca coerência entre esses e o desenho das estratégias e das ações, exercita o raciocínio sobre quais informações podem ajudar a pensar melhor as perguntas existentes, sobre como obtê-las e como utilizá-las, tornando-o intrínseco à realização prática do projeto. O teste lógico das relações entre objetivos, resultados, indicadores, estratégias e evidências não se restringe à avaliação em si, mas caracteriza uma forma de pensar lógica que pode estar incorporada ao fazer cotidiano da iniciativa.
São capacidades exigentes que, quando apropriadas e internalizadas como forma de pensar, podem não apenas estar a serviço do pensamento crítico, autônomo e emancipatório dos envolvidos, mas contribuir, em ressonância, para o desenvolvimento do projeto e das organizações por ele responsáveis. Além disso, uma vez as equipes e organizações estando apropriadas desse pensar avaliativo e dispostas ao debate, o próprio campo da avaliação de projetos e programas passará a ser mais exigido, qualificando-se. Como raciocínio, a avaliação pode ser ressignificada em meio aos diferentes valores e princípios organizacionais existentes nos campos social e educacional, enriquecendo ainda mais o campo com diferentes perspectivas e formas plurais de pensar a avaliação. Por fim, o desenvolvimento do pensamento avaliativo em equipes e organizações contribui, fundamentalmente, para a qualificação das práticas e intervenções nos campos social e educacional.
Se a potência da avaliação como fonte de aprendizagem de um pensar avaliativo é já pouco explorada no âmbito das equipes e das organizações sociais, ainda menos é ensaiada em processos que envolvem os públicos com os quais trabalham os projetos. Os aprendizados gerados por processos avaliativos, quando intencionalmente expandidos para os públicos envolvidos, podem ampliar ainda mais a potência pedagógica da avaliação em direção à transformação almejada pelos projetos e pelas organizações. Dado o desafio inerente a processos genuinamente participativos, esse é um caminho ainda a ser desbravado.
Mas é já um caminho vivido como inevitável pelas equipes da Comunidade Educativa Cedac que, ao se perceberem cada vez mais seguras, capazes e apropriadas do pensar avaliativo, vislumbram o potencial de envolver os profissionais da educação com quem atuam no exercício de construção interativa e dialógica do pensar avaliativo sobre a intervenção. O envolvimento, em processos avaliativos, do público com os quais trabalham os projetos é o anúncio de um novo passo para a organização e sua equipe, em seu contínuo processo de aprendizagem.
