SciELO - Scientific Electronic Library Online

 
vol.36AVALIAÇÃO DA EDUCAÇÃO PROFISSIONAL NOS INSTITUTOS FEDERAIS: MAPEAMENTO SISTEMÁTICOO PROGRAMA “AÇÃO SABERES INDÍGENAS NA ESCOLA”: UMA AVALIAÇÃO PROCESSUAL índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Estudos em Avaliação Educacional

versão impressa ISSN 0103-6831versão On-line ISSN 1984-932X

Est. Aval. Educ. vol.36  São Paulo  2025  Epub 21-Abr-2025

https://doi.org/10.18222/eae.v36.10295 

ARTIGOS

A INSTITUCIONALIZAÇÃO DE MÉTRICAS DE IMPACTO SOCIAL: O CASO DA UNIFESP

LA INSTITUCIONALIZACIÓN DE LAS MÉTRICAS DE IMPACTO SOCIAL: EL CASO DE LA UNIFESP

THE INSTITUTIONALIZATION OF SOCIAL IMPACT METRICS: THE CASE OF UNIFESP

GABRIELA DE BRELAZ, conceitualização, análise formal, metodologia, redação rascunho originalI 
http://orcid.org/0000-0001-9954-5526

IZABEL PATRíCIA MEISTER, conceitualização, análise formal, metodologia, redação rascunho originalII 
http://orcid.org/0000-0002-3020-814X

VANDERLIN AMORIM PALMEIRA JúNIOR, conceitualização, redação rascunho originalIII 
http://orcid.org/0000-0002-8467-7240

GUILHERME SYDOW NUNES BUENO BRANDãO, conceitualização, redação rascunho originalIV 
http://orcid.org/0000-0001-7777-7844

LIDIANE CRISTINA DA SILVA, conceitualização, redação rascunho originalV 
http://orcid.org/0000-0002-8507-7773

ALEXSANDRO CARDOSO CARVALHO, conceitualização, redação revisão, ediçãoVI 
http://orcid.org/0000-0002-9556-2908

IUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;

IIUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;

IIIUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;

IVUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;

VUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;

VIUniversidade Federal de São Paulo (Unifesp), São Paulo-SP, Brasil;


RESUMO

Este artigo apresenta um framework para institucionalização de métricas de impacto social (MIS) para a Universidade Federal de São Paulo (Unifesp) baseado nos Objetivos de Desenvolvimento Sustentável (ODS) da Organização das Nações Unidas (ONU). Fundamenta-se no institucionalismo sociológico e na dinâmica do ranking Times Higher Education (THE), bem como articula as políticas universitárias com os ODS e alinha as atividades de ensino, pesquisa, extensão e cultura como interface dialógica com a sociedade. Os métodos de design, de design science research e dos pilares analíticos de Scott (regulativo, normativo e cultural-cognitivo) são utilizados. Como resultado, foi desenvolvido um framework MIS-Unifesp que estabelece princípios de análise institucional pautados em métricas.

PALAVRAS-CHAVE INSTRUMENTOS DE MENSURAÇÃO; AVALIAÇÃO DO DESEMPENHO; ESTRUTURA INSTITUCIONAL; DESENVOLVIMENTO SUSTENTÁVEL.

RESUMEN

Este artículo presenta un framework para la institucionalización de Métricas de Impacto Social (MIS) para la Universidade Federal de São Paulo (Unifesp) basado en los Objetivos de Desarrollo Sostenible (ODS) de la Organización de las Naciones Unidas (ONU). Se basa en el institucionalismo sociológico y en la dinámica del ranking Times Higher Education (THE), articula las políticas universitarias con los ODS y alinea las actividades de enseñanza, investigación, extensión y cultura como interfaz dialógica con la sociedad. Utiliza métodos de design, de design science research y de los pilares analíticos de Scott (regulativo, normativo y cognitivo-cultural). Como resultado, fue desarrollado un framework MIS-Unifesp que establece principios de análisis institucional basados en métricas.

PALABRAS CLAVE INSTRUMENTOS DE MEDIDA; EVALUACIÓN DE DESEMPEÑO; ESTRUCTURA INSTITUCIONAL; DESARROLLO SOSTENIBLE.

ABSTRACT

This article presents a framework for institutionalizing Social Impact Metrics (SIM) for the Universidade Federal de São Paulo (Unifesp) based on the United Nations (UN) Sustainable Development Goals (SDGs). It is based on sociological institutionalism and the dynamics of the Times Higher Education (THE) ranking. The framework integrates university policies with the SDGs and aligns teaching, research, extension and cultural activities as a dialogic interface with society. The methods employed include design methods, design science research and Scott’s analytical pillars (regulative, normative and cognitive cultural). As a result, a SIM-Unifesp framework was developed establishing principles of institutional analysis based on metrics.

KEYWORDS MEASUREMENT INSTRUMENTS; PERFORMANCE EVALUATION; INSTITUTIONAL FRAMEWORK; SUSTAINABLE DEVELOPMENT.

INTRODUÇÃO

Este artigo discutirá a institucionalização de uma cultura de métricas de impacto social na Universidade Federal de São Paulo (Unifesp) para promover a atuação da universidade com alicerces no impacto social, a partir do ranking do Times Higher Education (THE) (Times Higher Education [THE], 2020a).

Inspirados por duas perguntas iniciais - “Como as universidades podem associar as métricas fornecidas para as comparações nacionais e internacionais com suas políticas universitárias?” e “Como as universidades podem alinhar suas atividades de ensino, pesquisa, extensão e cultura com o bem-estar da comunidade que as mantém?” -, discutiremos, por meio de uma análise crítico-construtiva sobre o Times Higher Education - Impact Rankings, como utilizá-lo para a retroalimentação de nossas ações e para a construção de um framework, a fim de institucionalizar as métricas de impacto social (MIS) na Unifesp, com base nos documentos estruturantes da universidade: o Plano de Desenvolvimento Institucional (Universidade Federal de São Paulo [Unifesp], 2021a) e o Projeto Pedagógico Institucional (Unifesp, 2021b).

Como institucionalizar o uso de indicadores de impacto social?

O que é institucionalização?

A dinâmica da institucionalização - processos através dos quais os movimentos, ideias, categorias ou ferramentas se oficializam - é o foco de várias análises em diferentes campos. Não há uma definição única amplamente aceita, pelo contrário, há muita controvérsia na literatura sobre o que é uma instituição. Podemos utilizar uma acepção ampla que inclui organizações formais e procedimentos e regras formais e informais que estruturam comportamentos nesse sentido; e é preciso também compreender a diferença entre institucionalismo e institucionalização.

Para Hall e Taylor (1996) e Immergut (2006), a teoria institucionalista pode ser definida por três grandes escolas de pensamento: institucionalismo da escolha racional, institucionalismo histórico e institucionalismo sociológico ou da teoria organizacional. Os diferentes tipos de institucionalismo têm características próprias e, apesar de suas diferenças, todos estão unidos pela convicção comum de que as instituições, os arranjos institucionais e os processos sociais são importantes.

Aprofundaremos aqui o institucionalismo sociológico, que tem como base a noção de que existem alguns limites humanos, artificiais ou organizacionais, que dificultam a tomada de decisão racional. A isso se acrescenta o fato de que não são abundantes o tempo e as informações necessárias para que os indivíduos calculem suas preferências considerando todas as possibilidades. Assim, os atalhos para a racionalidade limitada, como a confiança em padrões de procedimentos operacionais, permitem que as pessoas tomem decisões. Portanto, o comportamento não expressa preferências, mas, na verdade, resulta dos diversos mecanismos que os indivíduos adotam para enfrentar e superar seus limites cognitivos (Immergut, 2006).

Na linha do institucionalismo sociológico, o trabalho de Richard Scott (2008) contribui ao trazer um framework bastante claro que nos ajuda a compreender as instituições, entendidas pelo autor como “compostas de elementos regulativos, normativos e cultural cognitivos que, junto com atividades associadas e recursos, provêm estabilidade e sentido à vida social” (Scott, 2008, p. 49) e institucionalização. Assim, os três pilares (regulativo, normativo e cultural-cognitivo) são elementos analíticos que nos permitem entender as instituições, pois os pilares são bases que compõem a estrutura institucional (Scott, 2013) e atuam no processo de institucionalização.

O pilar regulativo consistiria nas regras adotadas e um monitoramento em relação ao atendimento a essas regras. Estabelecem-se sanções e prêmios se necessário, que atuam como elementos regulativos criados pelas instituições para constranger e regular o comportamento. Por outro lado, o pilar normativo refere-se aos valores e normas que são introduzidos na vida social. Os valores podem ser compreendidos como concepções sobre o que é preferível ou desejável, e as normas seriam a forma como devem ser atingidos os objetivos. Interessante observar que os pilares regulativo e normativo podem se reforçar mutuamente e que “os sistemas normativos são tipicamente vistos como constrangimentos impostos ao comportamento social e assim o fazem” (Scott, 2013, p. 55).

Por fim, o pilar cultural-cognitivo trata de concepções sobre a natureza da realidade social e os frames (molduras) através dos quais o significado é criado, ou seja, como crenças e frames culturais são impostos ou adotados por atores e organizações. Nesse pilar, especial atenção é dada aos símbolos, signos, palavras e gestos, que são observados como elementos que moldam o sentido atribuído a objetos e atividades.

Os três pilares contribuem para analisar um processo de institucionalização, no caso deste artigo, dos indicadores sociais no ambiente interno de uma organização. Nos próximos itens, aprofundaremos alguns passos importantes no processo de institucionalização.

Cultura de métricas: a importância de vencer a resistência às mudanças

A utilização de métricas para avaliação do impacto social produzido a partir das ações da Unifesp vem sendo cada vez mais discutida, espelhando outras tantas discussões nacionais e internacionais. Esse debate está baseado e fomentado pelos 17 Objetivos do Desenvolvimento Sustentável (ODS) da Organização das Nações Unidas (ONU) (Organização das Nações Unidas [ONU], n.d.).

O fundamento desse debate é uma universidade mais sensível às demandas advindas do seu contexto social e ambiental. A Unifesp, como universidade pública, socialmente relevante e sociorreferenciada, atua na “construção de uma realidade social mais equânime, por meio da promoção do conhecimento, do fomento a ações transformadoras e da formação de quadros tecnicamente habilitados nas mais diversas áreas” (Unifesp, 2016, p. 6) e, como parte de sua atuação, visa a contribuir para a solução de problemas que afligem a sociedade e o planeta (Unifesp, 2016).

As métricas são, fundamentalmente, ferramentas que, em um primeiro momento, geram complexidade, novas perguntas e perspectivas, mas que permitem uma autoavaliação mais precisa. A complexidade, nesse caso, está relacionada com a formulação de perguntas, respostas, debates que têm o potencial de gerar mais e melhores resultados a partir das ações da universidade. Obter os melhores resultados por meio da utilização de métricas está profundamente relacionado com uma ampla e diversa colaboração, tanto na criação e discussão das métricas e de seus resultados, quanto na difusão colaborativa de todo o processo. Quanto mais o processo envolver colaboração, melhor ele será compreendido e maior será a chance de gerar bons resultados. Nesse sentido, criar e institucionalizar a cultura de métricas para observar o impacto social da Unifesp está relacionado com observar e enfrentar as eventuais resistências a esse processo, pois, se as métricas forem bem discutidas e avaliadas, elas têm o potencial de melhorá-lo.

Inserção de indicadores em planos e políticas da Unifesp: PDI e PPI

O Projeto Pedagógico Institucional (PPI) e o Plano de Desenvolvimento Institucional (PDI) são documentos estruturais da universidade que têm como objetivo estabelecer identidade, princípios comuns, perspectivas e metas de futuro em seus contextos. São inter-relacionados: o primeiro estabelece as diretrizes para toda ação de ensino, pesquisa e extensão, que devem ser também consideradas pelos projetos pedagógicos das unidades universitárias. O segundo orienta a universidade no desenvolvimento de suas atividades durante um período de cinco anos. Trata-se de um documento cíclico, pois apresenta as estratégias a serem adotadas, estabelece objetivos e metas e busca consolidar diretrizes estabelecidas no PPI e como alcançar o perfil de universidade pública que se deseja construir.

O Estatuto da Unifesp contempla o artigo 46, indicando a relevância do PDI e do PPI para a instituição:

TÍTULO IV

DAS DISPOSIÇÕES GERAIS

Art. 46 O Projeto Pedagógico Institucional (PPI) e o Plano de Desenvolvimento Institucional (PDI) são documentos orientadores das atividades e ações da Unifesp, as quais deverão tê-los como ponto de referência.

I - O Projeto Pedagógico Institucional (PPI) é o instrumento que estabelece princípios e valores institucionais, norteia as práticas acadêmicas e formula as diretrizes pedagógicas, tendo em vista a trajetória histórica, inserção regional, vocação, missão, visão e objetivos da Unifesp;

II - O Plano de Desenvolvimento Institucional (PDI) é o instrumento de gestão que, em consonância com o Projeto Pedagógico Institucional (PPI), apresenta a identidade da Unifesp no que diz respeito a seus princípios fundamentais, eixos estruturantes e visão de futuro, estabelecendo a forma e os meios como a instituição pretende concretizar seu projeto educacional.

§ 1º A elaboração do Projeto Pedagógico Institucional (PPI) e do Plano de Desenvolvimento Institucional (PDI) dar-se-á mediante processos participativos. (Resolução n. 183, 2020).

A Unifesp, em sua tradição democrática, organiza-se a partir de processos colaborativos e participativos. As etapas para criar os documentos PPI e PDI seguem as mesmas dimensões, como indicado em seu estatuto.

A construção do PPI (Unifesp, 2021b) agrega metodologias de participação direta e representativa e foi estruturada mesclando debates nos campi e formulações de propostas pela comunidade acadêmica, individuais e coletivas. A articulação das propostas em diferentes fases é baseada também em mediação digital. O processo foi desenvolvido em parceria, fazendo uso do aplicativo AppCivist, criado pelo Social Apps Lab at CITRIS, da Universidade da Califórnia, em Berkeley.

Esse laboratório foca na construção de aplicativos para encorajar a participação cidadã e soluções interdisciplinares para problemas sociais significativos. São sete fases: as primeiras tratam de propostas colocadas pela comunidade acadêmica, passam por processos de discussão, comitês setoriais nos campi e multidisciplinares, processos de emendas, pareceres técnicos, que vão constituindo as propostas que seguem à votação, para depois serem compiladas no documento. Este segue para os conselhos e aprovação final com o Conselho Universitário.

É nesse ambiente que são dadas as condições para a cultura social e para que as propostas tenham relações com o espectro social. O PPI deve proporcionar a representação, em alguma medida, desses princípios e diretrizes nas ações de ensino, pesquisa e extensão, consideradas em cada um dos projetos pedagógicos das unidades universitárias.

O PDI 2016-2020 estabeleceu um amplo processo democrático para sua construção, visando a estabelecer um processo instituinte. Ele carrega, através de princípios e eixos, a perspectiva de gestão relevante para a Unifesp (Figura 1).

Fonte: Unifesp (2016, p. 20).

FIGURA 1 Princípios e eixos do PDI 2016-2020 

A afirmação do caráter público e socialmente relevante da Unifesp e a percepção histórica do processo que ora se apresenta como um novo momento instituinte e que permite situar o nosso papel na escala dos âmbitos local, regional, nacional e internacional delineiam, de início, uma identidade em construção: pode-se dizer que essa última se assenta em elementos permanentes, aqui estabelecidos como princípios fundamentais, e em elementos dinâmicos, aqui designados como eixos estruturantes (Unifesp, 2016, p. 20).

A mesma perspectiva foi colocada para a elaboração do novo PDI com vigência de 2021 até 2025. A mescla de diferentes metodologias de planejamento buscou construir uma ampla rede de colaboradores, graus e escalas de participação das instâncias representativas e da comunidade acadêmica. As recomendações e proposições desenvolvidas ao longo do documento atenderam às dimensões preestabelecidas pelo Decreto n. 9.235, de 15 de dezembro de 2017, que “dispõe sobre o exercício das funções de regulação, supervisão e avaliação das instituições de educação superior e dos cursos superiores de graduação e de pós-graduação no sistema federal de ensino” (Decreto n. 9.235, 2017). No entanto, o PDI 2021-2025 (Unifesp, 2021a) conjuga em sua estrutura capítulos que ampliam e consolidam eixos, princípios, missão, valores e a visão de futuro para além do exigido pelo decreto, buscando, assim, equilibrar aspectos quantitativos, nos objetivos e metas, com os qualitativos, para os quais o framework apresentado neste artigo pode ser de grande valia. Em ambos os campos, quali e quantitativo, a cultura de MIS deverá ser consolidada. Cabe articular os indicadores neste âmbito e o capítulo que trata do impacto social e acadêmico, na perspectiva de fortalecer o diálogo, a cooperação e o próprio impacto social. Vale lembrar que o PPI é um capítulo estruturante do PDI no reforço do círculo virtuoso que considera a realidade e o impacto social que se pretende. É base para as políticas institucionais que possibilitam granularidade e capilaridade, promovendo a prática da cultura de métricas.

O QUE OS RANKINGS DE IMPACTO SOCIAL MEDEM?

É comum pensarmos que o impacto social se confunde com efetividade. Visando a especificar e deixar mais claro os pontos adiante, vale frisar que impacto social diz respeito ao impacto social geral que as atividades executadas pela universidade geram na sociedade. Portanto, trata-se de impacto social incluindo impactos ambiental, econômico, cultural e quaisquer outros, citados ou não, que têm a possibilidade de afetar positivamente a comunidade a eles relacionada.

Conforme consta na metodologia do Times Higher Education (THE, 2020b), este é o único ranking global que mede os 17 ODS da ONU. No ranking são incluídas todas e quaisquer universidades que realizarem atividades voltadas para, no mínimo, três Objetivos. O ranking é realizado de forma a normalizar a pontuação visando a tratar igualmente as instituições de ensino participantes.

As atividades a partir das quais são medidas as ações das universidades para o cumprimento dos Objetivos variam, obviamente, de objetivo para objetivo e têm um determinado percentual no valor final do Objetivo específico. Quando se trata do Objetivo 1 (“Erradicação da pobreza”), o ranking mede “pesquisas sobre pobreza e seu apoio a estudantes pobres e membros pobres de sua comunidade local” (THE, 2020c). As atividades medidas e suas ponderações são as seguintes: pesquisa sobre a erradicação da pobreza (27%); proporção de estudantes recebendo auxílio financeiro (27%); programas sobre erradicação da pobreza realizados pela universidade (23%); e programas comunitários de erradicação da pobreza realizados (23%) (THE, 2020c).

No caso do Objetivo 4 (“Educação de qualidade”), o ranking observa a “contribuição para os primeiros anos e a aprendizagem ao longo da vida, sua pesquisa pedagógica e seu compromisso com a educação inclusiva” (THE, 2020d). Essa mesma perspectiva é utilizada para a medição de todos os outros Objetivos. As atividades medidas e suas ponderações são as seguintes: pesquisa sobre o tema (27%); proporção de graduados com titulação para o magistério (15,4%); medidas para formação contínua (26,8%); e proporção de estudantes de primeira geração (30,8%) (THE, 2020d).

Observando de forma mais minuciosa a metodologia utilizada, verifica-se que o ranking mede a eficácia, ou seja, se determinadas atividades são ou não realizadas pelas universidades participantes, visando a auxiliar no cumprimento dos 17 ODS da ONU. Todavia, o ranking não mede de que forma tais ações impactam a sociedade, a vida de cada um de seus colaboradores e egressos. Dessa forma, ele não mede a efetividade, o grau de satisfação, nem mesmo a simples avaliação de alunos, professores colaboradores e comunidade e, portanto, o impacto social geral dessas práticas.

FRAMEWORK: PRINCÍPIOS DE ANÁLISE PARA A CONSTRUÇÃO DE UMA ESTRUTURA/POLÍTICA DE DADOS ESPECÍFICA DE IMPACTO SOCIAL

O framework é um artefato de apoio e subsídio a fenômenos e contextos complexos, tanto no âmbito da estruturação de sua arquitetura, da solução do problema a ele vinculado, quanto da visibilidade de suas inter-relações (inclusive os elementos conceituais), como da comunicação que promove e suas linguagens.

Desenvolvimento

Trabalhamos a partir da metodologia projetual do design e do conceito de design science, que estabelece, como indica Herbert Simon (1981) em seu livro As ciências do artificial, uma ciência do projeto, a ciência do artificial. Nela, as pesquisas são orientadas para a solução de problemas e têm caráter transversal, multidisciplinar. O artefato (objeto artificial construído pelo homem) nos permite criar, construir e avaliar na interação entre observador e objeto, propondo ciclos de iteração contínuos.

É uma estrutura de trabalho que busca contemplar, em nosso caso, princípios de análise institucional baseados em métricas. Nela, articulam-se três elementos: um propósito/objetivo; o caráter do artefato (framework); e o ambiente em que ele funciona (comunidade Unifesp/sociedade). Trata-se de uma metaestrutura, uma vez que não busca apenas o resultado aplicado, mas também aprende sobre o projetar em seu próprio desenvolvimento e aplicação. Estabelece maior peso na solução e na perspectiva da participação para uma classe de problemas dados. A construção de classes de problemas tem como objetivo verificar, pela revisão da literatura, artefatos semelhantes para dar suporte ao desenvolvimento do framework. Trata-se também de subsidiar a identificação de classes de problemas para definir a criação de classes mais abrangentes ou mais específicas. O desenvolvimento de classes de problemas (Figura 2) é parte do processo e busca estabelecer possibilidades de generalização ou escalas de generalização em articulação com contextos. Segundo Herbert Alexander Simon (1981 como citado em Dresch et al., 2015b, p. 103), “Um artefato pode ser considerado como um ponto de encontro - interface - entre um ambiente interno, a substância e organização do próprio artefato e um ambiente externo, [isto é], as condições em que o artefato funciona”.

Fonte: Adaptado de Dresch et al. (2015a, 2015b, p. 106).

FIGURA 2 Lógica para construção de classes de problemas 

O framework, como artefato, tem camadas de desenvolvimento para as quais precisamos subordinar o projeto, possibilitando ciclos de criação, de avaliação e de revisão mais curtos e que permitem correções, reorganizações e melhorias em menor espaço de tempo. São elas (Dresch et al., 2015a, 2015b):

1. Espaço do design. Neste âmbito estão a pesquisa, a revisão de literatura, a busca por classes de problemas e artefatos já construídos, os requisitos, os contextos envolvidos e a criação de possíveis soluções para o problema.

2. Construção do artefato. Trata do desenvolvimento do artefato, em nosso caso, do framework. A construção deve considerar a viabilidade de implementação e sua utilidade, demonstrando os benefícios e a razão para sua construção. Deve-se considerar também a representação (textual, gráfica, por algoritmo, etc.) do artefato, indicando qual é a linguagem mais adequada para a compreensão do artefato e seus conceitos pelo usuário.

3. Uso do artefato. Refere-se à preparação do artefato para implementação no ambiente real. Divide-se em etapa piloto e etapa de implantação final. Apesar dos autores indicarem que o piloto permite o retorno a cada uma das camadas anteriores, podemos ainda criar situações-piloto de avaliação a cada etapa, tanto no espaço do design como na construção, para evitar a cristalização de problemas para as etapas posteriores. Isso decorre de esforços e recursos maiores que um processo de iteração, os quais podemos denominar de microiteração.

Este trabalho trata das fases de design e construção do framework. A terceira fase, do uso do artefato, acompanhará o processo de desenvolvimento do PDI 2021-2025 da Unifesp, no intuito de ser parte dos instrumentos de acompanhamento do Plano de Desenvolvimento no âmbito da avaliação qualitativa e da cultura institucional diante das métricas de impacto social.

MODELO DE FRAMEWORK PARA INSTITUCIONALIZAÇÃO DE MÉTRICAS DE IMPACTO SOCIAL DA UNIFESP (MIS INSTITUCIONAL UNIFESP)

Nesta seção descrevemos o modelo/framework criado para avaliação de impacto social, com o objetivo de contribuir para a institucionalização da cultura de MIS na Unifesp, a fim de promover a atuação da universidade com alicerces no impacto social.

Design do framework

Dois frameworks e uma metodologia de rankings nos revelaram possibilidades e subsídios para o MIS institucional Unifesp:

  • The Baldrige Excellence Framework (Education), desenvolvido pelo Baldrige Performance Excellence Program, do National Institute of Standards and Technology (NIST) (National Institute of Standards and Technology [NIST], 2021);

  • Framework desenvolvido por Richard Scott (2013) a partir dos três pilares das instituições trabalhados na perspectiva de um framework analítico;

  • Times Higher Education - Impact Rankings (THE, 2020a) mede os 17 ODS da ONU.

O 2019-2020 Baldrige Excellence Framework (Education) (Figura 3) é um framework desenvolvido para as organizações fazerem o acompanhamento de suas missões, assim como ter melhores resultados baseados em mecanismos integrados, conjunto de valores e conceitos, categorias de critérios inter-relacionados e um conjunto de elementos de avaliação. Ele proporciona uma perspectiva de sistema.

Fonte: NIST (2020).

FIGURA 3 Representação do sistema 

O framework tem como objetivo apoiar as respostas a três questões (NIST, 2021):

  • 1. Sua instituição está fazendo o melhor que pode fazer?

  • 2. Como você sabe?

  • 3. O que e como sua organização pode melhorar ou mudar?

As questões retratam as sete categorias de critérios críticos e integrados de uma organização (NIST, 2020): (1) liderança, (2) estratégia, (3) público, (4) mensuração, análises e organização do conhecimento, (5) força de trabalho, (6) operações e (7) resultados. Esses aspectos são ancorados em cinco dimensões: conjunto de valores e conceitos, processos, resultados, conexões, aprendizagem e melhoria (Figura 3).

Apreendemos a partir do framework acima, dentro da perspectiva que ele mesmo propõe de adaptação, a possibilidade de questões norteadoras, de uso das categorias de critérios (inclusive seu formato, que é baseado em contexto, processos, áreas envolvidas, níveis de requisições e conceitos/termos-chave), as dimensões empregadas e o escalonamento do processo pensado como inicial - no primeiro momento se aprende sobre o framework, no segundo, a organização está pronta para usar o framework e, no terceiro, a instituição busca a avaliação externa sobre o processo e/ou resultados. Nas categorias de critérios, alguns elementos são valorosos para o foco deste trabalho. Dentro do critério liderança, por exemplo, temos governança e responsabilidades sociais; sobre o público, podemos levantar o engajamento e a escuta da comunidade envolvida.

A classe de problemas que pretendemos considerar é a demarcada pelo trabalho de Richard Scott (2013), já introduzido aqui, sobre sistemas simbólicos das instituições. Eles são, em sua visão, constituídos de elementos regulativos, normativos e cultural-cognitivos associados tanto a atividades e recursos, quanto a comportamentos. O conjunto articulado constitui estabilidade e significado para a vida social, segundo o autor, e, por consequência, para as estruturas institucionais em seus contextos e processos interativos, preservados ou modificados pelo comportamento humano. Nessa perspectiva, seu framework cruza os três pilares (regulativo, normativo e cultural-cognitivo) com bases de conformidade, ordem, mecanismos, indicadores, impacto (afetamento) e bases de legitimidade institucionais. Resulta em atividades, recursos ou comportamentos a serem considerados. O retrato delineado pelo framework de Scott contribui para a percepção sobre alinhamento ou desalinhamento institucional. Este último pode contribuir para demonstrar o desperdício de esforços e recursos empregados por diferentes atores em diferentes fins.

A partir do Times Higher Education - Impact Rankings 2020 (THE, 2020a), podemos relacionar os ODS da ONU para estabelecer uma ampla compreensão sobre os impactos sociais e a eficácia das atividades executadas pela instituição. A divulgação desses Objetivos estabelece a linguagem e a compreensão do seu alcance por grande parte da sociedade, sendo tanto um importante elemento de mensuração, quanto meio e suporte para a comunicação de temas significativos pela Agenda 2030 (Figura 4).

Fonte: ONU (n.d.).

FIGURA 4 17 Objetivos para transformar nosso mundo 

O THE Impact Rankings nos indica a eficácia, ou seja, se há atividades executadas para atender ao cumprimento dos ODS. Eficácia pode ser um indicativo, mas o impacto social não é medido, como antecipado anteriormente neste texto. Portanto, podemos ativar elementos de referência de eficácia relacionados aos ODS, por um lado, e estabelecer conectores de impacto com a comunidade acadêmica e a sociedade, por outro. Nesse percurso, podemos considerar as métricas do próprio ranking e a perspectiva de impacto social desejada pela instituição a partir da escolha entre os 17 Objetivos possíveis. Lembrando que o ODS 17 (“Parcerias e meios de implementação”) é obrigatório e está relacionado com mais três objetivos de escolha da universidade - os de maior valor entre os respondidos. Portanto, são quatro os Objetivos que definem a classificação. O Objetivo 17 responde por 22% da nota geral e os outros três são responsáveis por 26% do valor geral cada. Há três categorias de métricas envolvidas: métricas de pesquisa, métricas de continuidade - contribuições em um intervalo de tempo - e evidências, que identificam políticas e iniciativas e são avaliadas em relação a um conjunto de critérios.

Requisitos para o framework

  • O framework deve auxiliar nas respostas às seguintes questões:

    • - Como constituir uma cultura de métricas de impacto social na instituição? (CULTURA)

    • - Como avaliar o impacto social produzido? (AVALIAÇÃO)

    • - Como comunicar à comunidade acadêmica e à sociedade o impacto social da instituição? (COMUNICAÇÃO)

  • Deve ser claro e conciso para atuar em campos complexos.

  • Deve contribuir para diferentes fases e com diferentes atores para a cultura de métricas de impacto social.

  • A linguagem deve articular a interface (framework) com seus interagentes (atores).

Construção do framework

O framework, como artefato e processo, funda-se em eixos (institucionalização, avaliação e comunicação), camadas (recursos, atividades e comportamentos) e matrizes (que cruzam eixos e classes de problemas) para cada camada na construção da cultura (Figura 5).

Fonte: Elaboração dos autores.

FIGURA 5 Eixos e camadas do framework 

MATRIZES

A matriz é adaptável, podendo ser aplicada na totalidade ou em partes de suas três camadas, três eixos e classes de problemas. É diagnóstica, processual e matriz de resultados, podendo ser aplicada em diferentes momentos.

Os pilares de Scott (2008) constituem o círculo potencial da classe de problemas e neles estão as bases para a abrangência e reprodução do próprio framework em relação aos contextos e às necessidades. As três matrizes são encadeadas, mesmo que aplicadas separadamente. A matriz de recursos nos indica o amplo espectro de aplicação do framework, que se articula em atividades e comportamentos. Para subsidiar esse contexto, incluímos aqui elementos do conceito de instituição trazido por Scott (2011, p. 48):

  • instituições são estruturas sociais que atingiram um alto grau de resiliência;

  • as instituições são compostas de elementos culturais-cognitivos, normativos e regulativos que, associados com atividades e recursos, proporcionam estabilidade e sentido à vida social;

  • instituições são transmitidas por vários tipos de veículos, incluindo sistemas simbólicos, sistemas relacionais, rotinas e artefatos;

  • instituições operam em múltiplos níveis de jurisdição, do sistema mundial a relações interpessoais específicas;

  • instituições, por definição, conotam estabilidade, mas estão sujeitas a processos de mudança, tanto de incremento como de descontinuidade.

Essas colocações não significam uma linearidade entre elas, mas uma relação, com aspectos de microinstitucionalização, como já apresentado por Berger e Luckmann (1985) e, posteriormente, aprofundado por Powell e Colyvas (2008) e Lawrence et al. (2011), segundo os quais as microfundações da institucionalização são estabelecidas na realidade cotidiana, em consonância com Felin e Foss (2019), que identificam uma oportunidade de explorar melhor as microfundações quando nos concentramos nos processos sociais emergentes e agregados. As matrizes (tabelas 1, 2 e 3) que seguem são exemplos de sua utilização. Nessa perspectiva, vamos tratar os valores, missão e visão de futuro no âmbito da microfundação institucional sobre impacto social.

TABELA 1 Matriz de recursos 

MATRIZ DE RECURSOS CLASSES DE PROBLEMAS
Eixos Categorias de eixos Pilares
regulativos
Pilares
normativos
Pilares
cultural-cognitivos
Institucionalização Conjunto de valores e conceitos Missão, visão e valores
PDI 2021-2025
Aprovação nos conselhos, congregações, comitês Incorporação no discurso e nas ações cotidianas
Processos Incluir em documentos cotidianos da instituição Revisão de documentos estruturais

Aprovação nos conselhos, congregações, comitês

Abertura e comunicação com a sociedade

Conselho estratégico universidade/sociedade
Participação democrática

Universidade aberta à sociedade
Resultados Reconhecimento institucional Inserção no PPI, PDI e PPC Visibilidade
Conexões Servidores e estudantes da Unifesp Unifesp/sociedade Indivíduos e coletivos internos e externos
Aprendizagem e melhoria Articulação entre missão, visão e valores nos documentos Articulação nos documentos norteadores de ensino, pesquisa e extensão - PPI, PDI e PPC Defesa do impacto social
Avaliação Impacto
Métrica Diversidade de servidores e estudantes Capacidade de resposta a problemas Capilaridade da instituição
Comunicação Linguagem Textual Visual/audiovisual


Algoritmo


Interface Documental Portal Sistemas de visualização

Fonte: Elaboração dos autores.

TABELA 2 Matriz de atividades 

MATRIZ DE ATIVIDADES CLASSES DE PROBLEMAS
Eixos Categorias de eixos Pilares
regulativos
Pilares
normativos
Pilares
cultural-cognitivos
Institucionalização Conjunto de valores e conceitos Inserir os documentos PDI, PPI, no portal da instituição para facilitar a consulta Promover a discussão e aplicação do conjunto de documentos, prever a utilização de instrumentos, como formulários, enquetes, painéis colaborativos (escrita conjunta) para revisão de documentos e diálogo com a sociedade e com a comunidade acadêmica em torno Promover espaços, oficinas e fóruns para conhecimento, reconhecimento e apropriação dos valores, missão e visão de futuro
Processos Estabelecer as regras de aplicação e campos onde o conjunto de valores, missão e visão de futuro devem estar referenciados Construir espaços de inserção dos documentos estruturantes nos documentos dos campi e dos cursos, das atividades de extensão e pesquisa Promover significado aos atores através da alimentação e retroalimentação dos conceitos por meio de situações-projeto e de boas práticas para apreensão, compreensão e aplicação dos valores, missão e visão de futuro
Resultados Ampla divulgação e conhecimento sobre os valores, missão, visão de futuro e suas regras Ciclo contínuo de revisões e validações dos documentos, nos diferentes âmbitos de suas aplicações. Objetivos, metas, indicadores são os elementos-base e mapas estratégicos os meios de análise contínua Reconhecimento, incorporação e divulgação na realidade cotidiana da instituição
Conexões Servidores e estudantes da Unifesp Unifesp/sociedade Indivíduos e coletivos internos e externos
Aprendizagem e melhoria Melhor relação com conceitos importantes para a instituição Aplicabilidade de conceitos Incorporação individual, coletiva e inserção na sociedade
Avaliação Impacto
Métrica Proporcionalidade entre os servidores e entre os estudantes. Os primeiros na ocupação de cargos, coordenação nos projetos de pesquisa e extensão; os estudantes na participação em ensino, pesquisa e extensão Capacidade de dar acesso, permanência de servidores e estudantes Egressos no serviço público, em cargos políticos, empreendedores.
Formação continuada dos servidores
Comunicação Linguagem Textual e por meio de gráficos e infográficos Textual e por meio de gráficos e infográficos Informacional e de construção de conhecimento
Interface Portal institucional e documentos oficiais internos e externos Portal institucional e dos campi Portal do egresso, mídias institucionais,
ambientes de aprendizagem institucionais

Fonte: Elaboração dos autores.

TABELA 3 Matriz de comportamentos 

MATRIZ DE COMPORTAMENTOS CLASSES DE PROBLEMAS
Eixos Categorias de eixos Pilares
regulativos
Pilares
normativos
Pilares
cultural-cognitivos
Institucionalização Conjunto de valores e conceitos Visão de futuro Projetos que incorporam a visão de futuro Uso de metáforas e narrativas para compreender a visão de futuro e sua relação com missão e valores
Processos Compreensão de objetivos e metas Capacidade de aplicar indicadores Traduzir para cada área de atuação e participação o sentido dos objetivos
Resultados Capacidade institucional para articular a premissa de tempo e o conjunto de ações Aprofundamento da qualidade das ações Capacidade de análise crítica sobre o conjunto de ações e realidades institucionais
Conexões Servidores e estudantes da Unifesp Unifesp/sociedade Indivíduos e coletivos internos e externos
Aprendizagem e melhoria Percepção do papel institucional Percepção do papel da instituição inserida na realidade em que atua Capacidade de análise e diálogo sobre as bases institucionais como ecossistema sustentável
Avaliação Impacto
Métrica 1ª geração na universidade.
Ações de extensão e pesquisa aplicadas sobre a pobreza
Atividades aplicadas sobre diferentes contextos internos e externos (gestão, ensino, pesquisa e extensão) para a construção de ecossistema de produção, consumo e reúso/descarte Impacto em diferentes escalas - local, regional, nacional e internacional - de indivíduos e projetos da instituição na complexidade dada pelos diferentes eixos de sustentabilidade
Comunicação Linguagem Diversa (textual, audiovisual, gráfica, gestual entre outras) Material e imaterial Diversa (textual, audiovisual, gráfica, gestual, entre outras)
Interface Interpessoais de divulgação Superfícies como empenas de edifícios, TVs, portal e outras interfaces relacionadas.
Fóruns de construção coletiva
Portal, meios internos de divulgação, imprensa, fóruns de construção coletiva

Fonte: Elaboração dos autores.

Exemplo de matriz de recursos - MIS Institucional Unifesp

Exemplo de matriz de atividades - MIS Institucional Unifesp

Exemplo de matriz de comportamentos - MIS Institucional Unifesp

CONCLUSÕES

Considerando a institucionalização de indicadores de impacto social e o framework MIS Institucional Unifesp, este artigo procurou ressaltar a relevância de uma universidade pública acompanhar indicadores de impacto social e apresentar iniciativas da universidade para monitoramento das informações sobre sua atuação, enfatizando a importância dessas informações serem acessíveis à sua comunidade acadêmica e à sociedade. Foram realizados avanços na instituição em termos de indicadores de pesquisa, ensino e extensão de docentes e discentes. É importante que as análises se tornem cada vez mais presentes, pois traduzem de forma gráfica e legível os dados inexplorados da instituição e que precisam estar presentes para o auxílio eficaz do PPI e PDI da instituição.

Dessa forma, o artigo procurou apresentar o desenho inicial de um framework para a institucionalização de métricas de impacto social da Unifesp - MIS Institucional Unifesp. O framework pode ser utilizado em diferentes espaços institucionais, escalas, desde a mais abrangente - a instituição em si - até setores e unidades, para reafirmar o processo de cultura das MIS. Para tanto, três níveis de interação com o framework são recomendados:

  • primeiro nível: conhecer o framework e definir as matrizes e os eixos a serem trabalhados em relação aos pilares (classes de problemas que permitem graus de generalização). Institucionalização, avaliação e comunicação podem ser trabalhadas nas três matrizes, assim como podem ser trabalhadas apenas em uma ou duas delas, a depender do foco dado ao framework. Lembrando ainda que o framework e, por consequência, as matrizes podem ser considerados nos campos do diagnóstico, processual e de matriz de resultados, podendo ser aplicados em diferentes momentos;

  • segundo nível: aplicar o framework. Estabelecer as estratégias e as fases de aplicação, os atores e os contextos;

  • terceiro nível: avaliar a condição de institucionalização e o próprio framework.

A perspectiva metodológica do design e do design science research oferece a construção em espiral, retomando o processo a cada ciclo trabalhado para rever e reorganizar a aplicação do framework para aprofundar e qualificar o processo.

Neste momento de discussão de indicadores de impacto social, a possibilidade de diálogo, troca de saberes e aprendizado com outras experiências é fundamental para garantir a construção de um framework que perdure por meio de variáveis normativas, regulatórias, culturais cognitivas e que seja de fácil compreensão pelos membros da comunidade acadêmica e dos tomadores de decisão. Acompanhar, mediar e avaliar a atuação e o impacto social são ações essenciais nas universidades e devem receber a devida relevância em seus documentos de princípios norteadores e estratégicos.

COMO CITAR:

Brelaz, G. de, Meister, I. P., Palmeira, V. A., Jr., Brandão, G. S. N. B., Silva, L. C. da, & Carvalho, A. C. (2024). A institucionalização de métricas de impacto social: O caso da Unifesp. Estudos em Avaliação Educacional, 36, Artigo e10295. https://doi.org/10.18222/eae.v36.10295

REFERÊNCIAS

Berger, P. L., & Luckmann, T. (1985). A construção social da realidade. Vozes. [ Links ]

Decreto n. 9.235, de 15 de dezembro de 2017. (2017). Dispõe sobre o exercício das funções de regulação, supervisão e avaliação das instituições de educação superior e dos cursos superiores de graduação e de pós-graduação no sistema federal de ensino. Brasília, DF. http://www.planalto.gov.br/CCIVIL_03/_Ato2015-2018/2017/Decreto/D9235.htmLinks ]

Dresch, A., Lacerda, D. P., & Antunes, J. A. V., Jr. (2015a). Design science research: Método de pesquisa para avanço da ciência e tecnologia. Bookman. [ Links ]

Dresch, A., Lacerda, D. P., & Antunes, J. A. V., Jr. (2015b). Design science research: A method for science and technology advancement. Springer. https://doi.org/10.1007/978-3-319-07374-3Links ]

Felin, T., & Foss, N. (2019). Microfoundations for institutional theory? In P. Haack, J. Sieweke, & L. Wessel (Eds.), Microfoundations of institutions (Vol. 65B, pp. 393-408). Emerald Publishing Limited. https://doi.org/10.1108/S0733-558X2019000065B031Links ]

Hall, P. A., & Taylor, R. C. R. (1996). Political science and the three new institutionalisms. Political Studies, 44(5), 936-957. https://doi.org/10.1111/j.1467-9248.1996.tb00343.xLinks ]

Immergut, E. M. (2006). O núcleo teórico do novo institucionalismo. In E. Saravia, & E. Ferrarezi (Orgs.), Políticas públicas: Coletânea (Vol. 1, pp. 155-196). ENAP. [ Links ]

Lawrence, T., Suddaby, R., & Leca, B. (2011). Institutional work: Refocusing institutional studies of organizations. Journal of Management Inquiry, 20(1), 52-58. https://doi.org/10.1177/1056492610387222Links ]

National Institute of Standards and Technology (NIST). (2021, January 11). 2019-2020 Baldrige Excellence Framework (Education). National Institute of Standards and Technology. https://www.nist.gov/baldrige/2019-2020-baldrige-excellence-framework-educationLinks ]

National Institute of Standards and Technology (NIST). (n.d.). Baldrige Performance Excellence Program. National Institute of Standards and Technology. Recuperado em 29 jan. 2025. https://www.nist.gov/baldrigeLinks ]

Organização das Nações Unidas (ONU). (n.d.). Sobre o nosso trabalho para alcançar os Objetivos de Desenvolvimento Sustentável no Brasil. Organização das Nações Unidas Brasil. Recuperado em 29 jan. 2025. https://brasil.un.org/pt-br/sdgsLinks ]

Powell, W. W., & Colyvas, J. A. (2008). Microfoundations of institutional theory. In R. Greenwood, C. Oliver, R. Suddaby, & K. Sahlin (Eds.), The Sage handbook of organizational institutionalism (pp. 276-298). Sage. https://doi.org/10.4135/9781849200387.n11Links ]

Resolução n. 183, de 18 de junho de 2020. (2020). Dispõe sobre o texto final do Estatuto da Universidade Federal de São Paulo - Unifesp. São Paulo, SP. https://www.unifesp.br/images/docs/estatuto_geral.pdfLinks ]

Scott, R. (2013). Institutions and organizations: Ideas and interests. Sage. [ Links ]

Simon, H. A. (1981). As ciências do artificial. (L. M. Pereira, Trad.). Almedina. [ Links ]

Times Higher Education (THE). (2020a). Impact Rankings 2020. Times Higher Education. Recuperado em 29 jan. 2025. https://www.timeshighereducation.com/rankings/impact/2020/overall. [ Links ]

Times Higher Education (THE). (2020b, April 17). THE Impact Rankings 2020: Methodology. Times Higher Education. https://www.timeshighereducation.com/university-impact-rankings-2020-methodologyLinks ]

Times Higher Education (THE). (2020c, April 17). THE Impact Rankings 2020 by SDG: No poverty (SDG 1) methodology. Times Higher Education.https://www.timeshighereducation.com/impact-rankings-2020-sdg-no-poverty-sdg-1-methodologyLinks ]

Times Higher Education (THE). (2020d, April 17). THE Impact Rankings 2020 by SDG: Quality education (SDG 4) methodology. Times Higher Education.https://www.timeshighereducation.com/impact-rankings-2020-sdg-quality-education-sdg-4-methodologyLinks ]

Universidade Federal de São Paulo (Unifesp). (2016). Plano de Desenvolvimento Institucional Unifesp - PDI 2016-2020. Unifesp. https://www.unifesp.br/world/images/arquivos/PDI_2016-2020.pdfLinks ]

Universidade Federal de São Paulo (Unifesp). (2021a). Plano de Desenvolvimento Institucional - PDI 2021-2025. Unifesp. https://pdi.unifesp.br/consulte-o-pdi/Links ]

Universidade Federal de São Paulo (Unifesp). (2021b, 25 fevereiro). PPI Unifesp: Projeto Pedagógico Institucional (Vol. 2). Unifesp. https://www.unifesp.br/reitoria/proplan/menu-pdi-2021-2025-vigente/pdi-2021-2025-volume-ii-ppiLinks ]

Recebido: 25 de Maio de 2023; Aceito: 19 de Agosto de 2024

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons.