SciELO - Scientific Electronic Library Online

 
vol.34DESEMPEÑO ACADÉMICO, ÍNDICE DE LIDERAZGO DEL DIRECTOR E ÍNDICE DE CONFIANZA DEL DIRECTORPLAN DE DESARROLLO INSTITUCIONAL: PRODUCCIÓN ACADÉMICA Y CIENTÍFICA EN BRASIL índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.34  São Paulo  2023  Epub 12-Dic-2023

https://doi.org/10.18222/eae.v34.10019 

ARTIGOS

TEORIA DA MUDANÇA E POLÍTICAS PÚBLICAS: UMA REVISÃO INTEGRATIVA

TEORIA DEL CAMBIO Y POLÍTICAS PÚBLICAS: UNA REVISIÓN INTEGRATIVA

THEORY OF CHANGE AND PUBLIC POLICIES: AN INTEGRATIVE REVIEW

JULIA ELENA CÓRDOBA-VIEIRAI 
http://orcid.org/0000-0002-0750-5082

MAYRA ANTONELLI-PONTIII 
http://orcid.org/0000-0003-4931-2788

FABIANA MARIS VERSUTIIII 
http://orcid.org/0000-0002-3504-4842

LUIZ GUILHERME DÁCAR DA SILVA SCORZAFAVEIV 
http://orcid.org/0000-0003-2044-4613

DANIEL DOMINGUES DOS SANTOSV 
http://orcid.org/0000-0002-2605-2736

IUniversidade de São Paulo (USP), Ribeirão Preto-SP, Brasil

IIUniversidade de São Paulo (USP), Ribeirão Preto-SP, Brasil

IIIUniversidade de São Paulo (USP), Ribeirão Preto-SP, Brasil

IVUniversidade de São Paulo (USP), Ribeirão Preto-SP, Brasil

VUniversidade de São Paulo (USP), Ribeirão Preto-SP, Brasil


RESUMO

O presente artigo, com intuito de investigar o uso da ferramenta Teoria da Mudança, coletou dados das plataformas EbscoHost e Web of Science. Resultados apontam grande quantidade de estudos na saúde e no continente europeu. Em relação a definição, objetivo, construção, componentes, funções, vantagens e limitações do uso da ferramenta, os resultados foram variados. As melhores práticas envolvem participação de stakeholders, testagem da Teoria da Mudança, divisão temporal dos resultados, nexos causais apoiados em evidências e desenvolvimento de indicadores. Recomenda-se a atualização periódica da ferramenta, concluindo que ela é abrangente e útil para a garantia da qualidade do acompanhamento e da avaliação de intervenções.

PALAVRAS-CHAVE EDUCAÇÃO; SAÚDE; MÉTODOS DE AVALIAÇÃO; POLÍTICA DE EDUCAÇÃO.

RESUMEN

El presente artículo, con el propósito de investigar el uso de la herramienta Teoría del Cambio, recogió datos de las plataformas EbscoHost y Web of Science. Los resultados señalan una gran cantidad de estudios en la salud y en el continente europeo. En lo que concierne a la definición, objetivo, construcción, componentes, funciones, ventajas y limitaciones del uso de la herramienta, los resultados fueron variados. Las mejores prácticas implican la participación de stakeholders, pruebas de la Teoría del Cambio, división temporal de los resultados, nexos causales en base a evidencias y desarrollo de indicadores. Se recomienda la actualización periódica de la herramienta, concluyendo que es amplia y útil para asegurar la garantía de la calidad del seguimiento y de la evaluación de intervenciones.

PALABRAS CLAVE EDUCACIÓN; SALUD; MÉTODOS DE EVALUACIÓN; POLÍTICA DE EDUCACIÓN.

ABSTRACT

In order to investigate the use of the Theory of Change tool, this article collected data from the EbscoHost and Web of Science platforms. The results show a large number of studies on health and in the European continent. The results were diverse as far as definition, objective, construction, components, functions, advantages and limitations of using the tool. The best practices involve stakeholder participation, testing the Theory of Change, temporal division of results, causal links supported by evidence and the development of indicators. It is recommended that the tool is periodically updated since it is comprehensive and useful for assuring quality in the monitoring and evaluation of interventions.

KEYWORDS EDUCATION; HEALTH; EVALUATION METHODS; EDUCATION POLICY.

INTRODUÇÃO

Políticas públicas podem ser definidas como ações do Estado ou ações propostas por diferentes atores (i.e., organizações do terceiro setor) com a finalidade de solucionar problemas públicos e socialmente relevantes (Agum et al., 2015). Tais problemas podem estar inseridos em uma variedade de áreas de atuação ou em mais de uma delas, o que aponta a possibilidade de realização de políticas intersetoriais. Uma das maneiras de se operacionalizarem as políticas públicas é por meio de programas, os quais são formas de intervir para solucionar uma questão (Villanueva, 2006, como citado em Jannuzzi, 2014), como, por exemplo, o Bolsa Família.

Dada a importância das intervenções para o bem-estar social, a avaliação delas se coloca como igualmente importante (Bauer & Fernandes, 2022), pois, para que de fato um programa cumpra com seu objetivo, é necessário, primeiramente, que ele seja criado a partir de uma necessidade real e localizada (Dugand & Brandão, 2017; Mendes & Sordi, 2013), dado que cada contexto de implementação possui suas particularidades. Após detectada a necessidade, é importante que seja feito seu desenho, buscando localizar quais iniciativas precisam ser colocadas em prática de maneira a operacionalizar a política, bem como delimitar quais resultados se pretende alcançar (Jannuzzi, 2014; Mendes & Sordi, 2013).

Quando o programa é implementado, é importante que haja o conhecimento de como essa implementação está ocorrendo, de modo a entender se o que foi planejado é de fato o que está acontecendo no cenário real, e, como objetivo final, é necessário que se saiba se o objetivo foi cumprido (Dugand & Brandão, 2017; Mendes & Sordi, 2013; Saunders et al., 2005), ou seja, saber se uma intervenção voltada a erradicar o analfabetismo, por exemplo, está gerando impacto na alfabetização da população (Gertler et al., 2018; Jannuzzi, 2014). Além disso, é imprescindível saber qual a relação entre os ganhos consequentes do programa e os custos incorridos (Gertler et al., 2018; Jannuzzi, 2014; Mendes & Sordi, 2013), para investigar se há necessidade e possibilidade de alterá-lo em alguma dimensão ou substituí-lo por outro programa de maneira a minimizar os custos (Gertler et al., 2018; Jannuzzi, 2014).

A concepção e a implementação de um programa devem vir acompanhadas, então, de ferramentas avaliativas, que permitam analisar a sua qualidade. Nesse contexto, podemos citar a avaliação diagnóstica, a avaliação de implementação, a avaliação de impacto e a avaliação da eficiência (Gertler et al., 2018; Jannuzzi, 2014; Mendes & Sordi, 2013; Saunders et al., 2005). Para a realização dessas avaliações, há um amplo leque metodológico que pode ser utilizado de maneira a sistematizar os dados necessários para a tomada de decisões, e uma das opções é o uso da Teoria da Mudança (Dugand & Brandão, 2017).

Modelos lógicos que representam a cadeia de resultados e como alcançar os objetivos de uma intervenção têm sido cada vez mais utilizados como forma de aumentar a qualidade técnica da execução das intervenções. Atualmente, a Teoria da Mudança (TdM) tem ganhado espaço para esse fim. A TdM é um método que busca sistematizar o desenho de programas ou uma intervenção (Dugand & Brandão, 2017), partindo dos insumos que são necessários para sua ocorrência, passando pelas atividades da intervenção e produtos que serão ofertados ao público-alvo, chegando, por fim, aos resultados que a intervenção busca atingir (Insper Metricis, 2022), sendo que, para além da sistematização do desenho, a TdM serve como um direcionador para os processos de avaliação (Gertler et al., 2018). Essa ferramenta auxilia formuladores de programas no acompanhamento da intervenção e a entender se o que foi hipotetizado inicialmente é o que ocorre quando implementado (Dugand & Brandão, 2017). Também auxilia pesquisadores a pensar quais variáveis devem ser analisadas para entender de que forma o programa acontece e como pode ser aprimorado (Insper Metricis, 2022), além de ter hipóteses sobre os nexos causais na cadeia de resultados até chegar aos resultados finais, que serão explicados mais facilmente com uso da TdM (Gertler et al., 2018). Ademais, a TdM tem sido utilizada para registrar os protocolos de avaliação, no sentido de anunciar previamente o que se espera de uma intervenção e como ela será avaliada (Sloan et al., 2017).

Dada, então, a versatilidade e a importância da ferramenta, a presente revisão da literatura investiga a aplicação da Teoria da Mudança a iniciativas que abrangem educação e saúde e ambas as áreas de maneira integrada.

Objetivo geral

Investigar o uso da Teoria da Mudança em intervenções nas áreas supracitadas.

Objetivos específicos

Caracterizar a utilização da Teoria da Mudança e elencar as melhores práticas de uso dessa teoria para aplicação em intervenções nas áreas de saúde e educação, e intersetoriais entre as respectivas áreas.

METODOLOGIA DO ESTUDO

Trata-se de um estudo de revisão integrativa da literatura, o que possibilita maior aprofundamento no tema de interesse (Mendes et al., 2008).

Procedimento de coleta de dados

Os dados foram coletados a partir de duas bases: Web of Science e EbscoHost. Foram escolhidos os descritores “Teoria da Mudança” e “Método”, os quais foram colocados entre aspas, para recuperar a expressão exata, com o sinal do asterisco (*) substituindo algumas letras, de maneira a serem aceitas, na busca, variações das palavras; os descritores foram, ainda, conectados por meio do operador booleano “E”, indicando ser necessário conter as duas palavras nos textos pesquisados. Sendo assim, a primeira busca se deu primeiramente em português por meio dos termos “Teoria d* Mudança” E “Metod*”, a qual se demonstrou inválida, devido à ausência de artigos recuperados. Depois foi realizada a busca em inglês, por meio da mesma estratégia, “Theory of Change” AND “Method*”; no entanto, o primeiro descritor deveria aparecer necessariamente no título e o segundo em qualquer lugar do texto.

Critérios de inclusão

Foram adicionados filtros para extrair artigos publicados no período entre os anos de 2011 e 2021. Com base nesse critério, extraíram-se 62 artigos da Web of Science e 85 da EbscoHost.

Critérios de exclusão

Foram excluídos artigos duplicados dentro da própria base e entre bases, bem como ensaios, publicações em atas de eventos, resumos de reuniões, todos os documentos que não fossem de fato artigos científicos. Também foram excluídos documentos que estavam em idiomas diferentes de português, inglês e espanhol e, por fim, foram excluídos artigos de áreas diferentes de saúde e educação. Após tais critérios, da Web of Science foram excluídos cinco documentos por não serem artigos, um por conta do idioma, russo, e 18 por não estarem circunscritos às áreas de interesse, recuperando, então, 38 artigos de tal base. Em relação à EbscoHost, foram excluídos 19 por estarem duplicados dentro da própria base, 40 por estarem duplicados em relação aos recuperados da Web of Science, dois por estarem em outro idioma, italiano, um por ser um ensaio e quatro por não estarem circunscritos às áreas de interesse, restando 19 artigos, totalizando 57 nas duas bases (Figura 1).

Fonte: Elaboração dos autores (2022).

FIGURA 1 Fluxograma de exclusões iniciais 

Verificação dos resumos

Após essa etapa, seguiu-se à leitura dos resumos a fim de verificar quais responderiam ou não à pergunta de pesquisa do presente artigo. Aqueles que não abordavam ou apresentavam a Teoria da Mudança ou pautavam uma teoria da mudança que não fosse baseada em uma cadeia de resultados, método pelo qual há interesse, foram excluídos.

A partir dessa etapa, então, foram excluídos sete da Web of Science, totalizando 31, e 10 da EbscoHost, totalizando nove, sendo que, ao final, recuperamos 40 artigos para leitura (Figura 2).

Fonte: Elaboração dos autores (2022).

FIGURA 2 Fluxograma de exclusões após verificação dos resumos 

Criação de categorias de análise

Anteriormente à leitura integral dos 40 artigos selecionados, foram definidas categorias de interesse para posterior análise (Tabela 1).

TABELA 1 Delimitação e definição das categorias para análise posterior 

Categorias Definição
O que é Teoria da Mudança Definição dada pelos autores sobre o que é a Teoria da Mudança
Objetivo da construção da Teoria da Mudança Qual o objetivo da Teoria da Mudança presente no artigo
Como foi construída a Teoria da Mudança Qual o processo e fontes de informação utilizados na construção da Teoria da Mudança
Componentes da Teoria da Mudança Quais os componentes presentes no mapa da Teoria da Mudança
Funções da Teoria da Mudança Quais as diversas funções que a Teoria da Mudança pode ter para além da função que teve no artigo
Vantagens do uso da Teoria da Mudança Quais as vantagens do uso da Teoria da Mudança
Limitações do uso da Teoria da Mudança Quais as limitações do uso da Teoria da Mudança
Melhores práticas do uso da Teoria da Mudança Quais as melhores práticas para utilização da Teoria da Mudança

Fonte: Elaboração dos autores (2022).

Verificação integral do texto

Após a leitura dos 40 artigos houve a criação de outro critério de exclusão, sendo excluídos artigos de revisões. Dessa forma, após a leitura integral dos artigos, foram excluídos oito artigos da Web of Science, três por serem revisões sistemáticas sobre o tema, um por ser uma nota metodológica, dois por não apresentarem o fluxograma da Teoria da Mudança, um por estar circunscrito à área de ciência de desenvolvimento e ecologia e um por a Teoria da Mudança não ser pautada em uma cadeia de resultados, totalizando, assim, 23 artigos dessa base. Foram excluídos, também, três artigos da EbscoHost, um por não responder à pergunta de pesquisa, um por não ser uma Teoria da Mudança baseada em uma cadeia de resultados e um por não apresentar o fluxograma da Teoria da Mudança, restando, assim, seis artigos dessa base. Ao final, 29 artigos compuseram a presente revisão (Figura 3).

Fonte: Elaboração dos autores (2022).

FIGURA 3 Fluxograma de exclusões após verificação integral dos textos 

RESULTADOS

Como resultados da revisão integrativa, temos a caracterização dos 29 artigos recuperados em relação a seu ano, área de publicação, continente e categorias criadas para análise.

Ano de publicação

A partir do ano de publicação (Tabela 2), nota-se uma prevalência dos estudos nos últimos cinco anos, totalizando 79,3%.

TABELA 2 Número de artigos recuperados, de acordo com o ano, em cada uma das bases 

Ano de publicação Web of Science EbscoHost
2011 0 1
2012 0 0
2013 0 0
2014 1 1
2015 1 1
2016 1 0
2017 1 0
2018 7 0
2019 3 2
2020 6 0
2021 3 1
Total 23 6

Fonte: Elaboração dos autores (2022).

Área de publicação

Pela área de publicação (Tabela 3), nota-se uma prevalência de estudos da área da saúde, sendo responsável por 82,7% dos artigos recuperados.

TABELA 3 Número de artigos recuperados, de acordo com a área, em cada uma das bases 

Área de publicação Web of Science EbscoHost
Saúde 20 4
Educação 1 2
Intersetoriais 2 0
Total 23 6

Fonte: Elaboração dos autores (2022).

Continente de publicação

A partir dos continentes de publicação (Tabela 4), nota-se uma prevalência de estudos oriundos da Europa, a qual é responsável por 93,1% dos totais.

TABELA 4 Número de artigos recuperados, de acordo com o continente, em cada uma das bases 

Continente de publicação Web of Science EbscoHost
América do Norte 2 0
Europa 21 6
Total 23 6

Fonte: Elaboração dos autores (2022).

O que é Teoria da Mudança

Dos 29 artigos, 11 não definem o que é Teoria da Mudança (Aromatario et al., 2019; Clarke et al., 2014; Lalli et al., 2018; Levay et al., 2018; MacQueen et al., 2018; Kabongo et al., 2020; Nimpagaritse et al., 2020; Rezel-Potts et al., 2020; Walker, 2015; Walker & Matarese, 2011; Yearwood, 2018). Dos 18 restantes (Tabela 5), oito (Abayneh et al., 2020; Barkat, 2019; Daruwalla et al., 2019; De Buck et al., 2018; De Silva et al., 2014; Esponda et al., 2021; Gilissen et al., 2018; Hailemariam et al., 2015) se utilizam da definição de Weiss (1995), que afirma que Teoria da Mudança é uma teoria de como e por que uma iniciativa funciona. Alguns autores definem a Teoria da Mudança como possibilidade circunscrita à área da saúde (Balayah et al., 2021; Dolan et al., 2019; Hamdani et al., 2021) e outros trazem na definição a característica de ser participativa (Fuhr, Acarturk, Uygun et al., 2020; Makowiecka et al., 2019). Por fim, há autores que definem como metodologia (Balayah et al., 2021; Dolan et al., 2019), via hipotética (Hamdani et al., 2021), ferramenta (Fuhr, Acarturk, Sijbrandij et al., 2020; Makowiecka et al., 2019), processo (Fuhr, Acarturk, Uygun et al., 2020), abordagem (Breuer et al., 2016; Breuer et al., 2018; De Buck et al., 2018) ou representação (Glasgow et al., 2017), sendo que De Buck et al. (2018) se valem tanto da definição de Weiss (1995) quanto da definição que considera a TdM como uma abordagem.

TABELA 5 Definições do que é Teoria da Mudança e artigos que a citam 

Definição dada pelos autores sobre
o que é Teoria da Mudança
Artigos que a citam
Teoria de como e por que uma iniciativa funciona Abayneh et al. (2020)
Barkat (2019)
Daruwalla et al. (2019)
De Buck et al. (2018)
De Silva et al. (2014)
Esponda et al. (2021)
Gilissen et al. (2018)
Hailemariam et al. (2015)
Metodologia para avaliar a implementação e eficácia de programas de saúde Balayah et al. (2021)
Via hipotética visual que se apoia em uma teoria, a qual demonstra como uma intervenção de saúde pode trazer mudanças de longo prazo por meio de sequência lógica de resultados intermediários Hamdani et al. (2021)
Ferramenta de planejamento de projetos Fuhr, Acarturk, Sijbrandij et al. (2020)
Processo de planejamento participativo usado no desenvolvimento, na implementação e na avaliação de projetos Fuhr, Acarturk, Uygun et al. (2020)
Uma metodologia para programas de promoção da saúde que desejam alcançar a melhoria por meio da mudança individual e social Dolan et al. (2019)
Abordagem de planejamento e avaliação orientada por teoria que identifica os resultados de curto, médio e longo prazo da intervenção para descompactar a “caixa preta” de intervenções complexas Breuer et al. (2016)
Breuer et al. (2018)
Abordagem para mapear programas destinados a induzir mudanças em um contexto específico De Buck et al. (2018)
É uma representação gráfica dos caminhos causais presumidos que ligam as atividades de um programa e os resultados pretendidos Glasgow et al. (2017)
Teoria que descreve como as atividades de um programa se alinham com os produtos, resultados esperados e impactos Chesniak et al. (2021)
Ferramenta interativa e participativa para descrever um programa completamente Makowiecka et al. (2019)

Fonte: Elaboração dos autores (2022).

Objetivo da construção da Teoria da Mudança

O objetivo para o qual a Teoria da Mudança foi construída nos artigos envolve etapas que antecedem e sucedem a criação de uma intervenção, de forma que a TdM foi utilizada para desenhar uma intervenção (Abayneh et al., 2020; Clarke et al., 2014; Daruwalla et al., 2019; Dolan et al., 2019; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Hailemariam et al., 2015; Kabongo et al., 2020; Rezel-Potts et al., 2020), criar um plano de implementação (Balayah et al., 2021), avaliar (Barkat, 2019; Breuer et al., 2016; Breuer et al., 2018; Chesniak et al., 2021; Clarke et al., 2014; Esponda et al., 2021; Glasgow et al., 2017; Levay et al., 2018; MacQueen et al., 2018; Yearwood, 2018) e planejar a escalabilidade (Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Hamdani et al., 2021).

Para além dos objetivos que envolvem os ciclos de uma intervenção, ela também foi utilizada para entender os nexos causais de uma intervenção já existente (Makowiecka et al., 2019; Nimpagaritse et al., 2020; Walker, 2015), elaborar a teoria de uma intervenção já existente (Aromatario et al., 2019; De Buck et al., 2018; Lalli et al., 2018; Levay et al., 2018), entender quais fatores afetam o sucesso ou o fracasso de uma intervenção (De Buck et al., 2018), auxiliar a organização de treinamento e avaliação da equipe envolvida na implementação da intervenção (Walker & Matarese, 2011) e para fortalecer o uso de evidências na tomada de decisões (Yearwood, 2018).

Como foi construída a Teoria da Mudança

Dos 26 artigos (Abayneh et al., 2020; Aromatario et al., 2019; Balayah et al., 2021; Barkat, 2019; Breuer et al., 2016; Chesniak et al., 2021; Daruwalla et al., 2019; De Buck et al., 2018; Dolan et al., 2019; Esponda et al., 2021; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Glasgow et al., 2017; Hailemariam et al., 2015; Hamdani et al., 2021; Lalli et al., 2018; Levay et al., 2018; MacQueen et al., 2018; Makowiecka et al., 2019; Kabongo et al., 2020; Nimpagaritse et al., 2020; Rezel-Potts et al., 2020; Walker, 2015; Walker & Matarese, 2011; Yearwood, 2018) que possuíam a descrição de como foi construída a Teoria da Mudança, todos envolveram stakeholders, ou seja, pessoas com algum tipo de interesse na intervenção, no processo de construção, fossem eles profissionais das áreas em questão, especialistas, pesquisadores, usuários do serviço ou profissionais políticos de cargos estratégicos. Para além do envolvimento dos stakeholders, fosse em workshops, reuniões, entrevistas ou grupos focais, outras estratégias encontradas no processo de construção foram a análise documental (Barkat, 2019; Chesniak et al., 2021; De Buck et al., 2018; Glasgow et al., 2017; Hailemariam et al., 2015; Lalli et al., 2018; Levay et al., 2018; Makowiecka et al., 2019; Kabongo et al., 2020; Walker & Matarese, 2011), a pesquisa na literatura (Aromatario et al., 2019; Barkat, 2019; Daruwalla et al., 2019; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Lalli et al., 2018; Walker, 2015; Walker & Matarese, 2011; Yearwood, 2018), a análise contextual (Gilissen et al., 2018; Hailemariam et al., 2015), a observação (Levay et al., 2018; Walker & Matarese, 2011) e o diário de bordo (Nimpagaritse et al., 2020).

Considerando também as estratégias de coleta de informações, quando houve menção sobre a linha de pensamento para a construção da TdM, alguns autores explicitaram que o processo de construção foi feito de trás para a frente, ou seja, iniciou-se a partir da definição do impacto que se desejava alcançar para assim chegar às atividades que precisavam ocorrer (Abayneh et al., 2020; Chesniak et al., 2021; Daruwalla et al., 2019; Esponda et al., 2021; Hailemariam et al., 2015; Levay et al., 2018; Yearwood, 2018).

Componentes da Teoria da Mudança

Os componentes que mais apareceram nas teorias de mudança foram atividades, também nomeados de intervenções ou estratégias (Abayneh et al., 2020; Aromatario et al., 2019; Balayah et al., 2021; Barkat, 2019; Chesniak et al., 2021; Clarke et al., 2014; De Silva et al., 2014; Dolan et al., 2019; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Glasgow et al., 2017; Hailemariam et al., 2015; Hamdani et al., 2021; Levay et al., 2018; MacQueen et al., 2018; Kabongo et al., 2020; Nimpagaritse et al., 2020; Rezel-Potts et al., 2020; Walker, 2015; Yearwood, 2018), impacto (Abayneh et al., 2020; Balayah et al., 2021; Barkat, 2019; Breuer et al., 2016; Breuer et al., 2018; Chesniak et al., 2021; De Silva et al., 2014; Esponda et al., 2021; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Glasgow et al., 2017; Hailemariam et al., 2015; Hamdani et al., 2021; Lalli et al., 2018; Kabongo et al., 2020; Yearwood, 2018) e resultados, que foram explicitados de maneira abrangente (Balayah et al., 2021; Daruwalla et al., 2019; Dolan et al., 2019; Glasgow et al., 2017; Lalli et al., 2018; Kabongo et al., 2020; Nimpagaritse et al., 2020; Walker, 2015; Yearwood, 2018) ou divididos temporalmente, usando os termos curto, médio ou longo prazo (Abayneh et al., 2020; Barkat, 2019; Breuer et al., 2016; Breuer et al., 2018; Chesniak et al., 2021; De Buck et al., 2018; De Silva et al., 2014; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Hailemariam et al., 2015; Hamdani et al., 2021; MacQueen et al., 2018; Walker & Matarese, 2011). Houve, também, a divisão entre resultados proximais e distais (Clarke et al., 2014; Rezel-Potts et al., 2020) e dois artigos se utilizaram de uma nomenclatura não usual, um explicitou como resultados de processo (Walker & Matarese, 2011) e outro como resultados comuns (Glasgow et al., 2017).

Outros componentes amplamente presentes foram recursos (Balayah et al., 2021; Breuer et al., 2016; Breuer et al., 2018; Daruwalla et al., 2019; De Silva et al., 2014; Dolan et al., 2019; Glasgow et al., 2017; Hamdani et al., 2021; Levay et al., 2018; Kabongo et al., 2020; Nimpagaritse et al., 2020; Lalli et al., 2018; Walker & Matarese, 2011; Yearwood, 2018) e suposições (Abayneh et al., 2020; Balayah et al., 2021; Barkat, 2019; Breuer et al., 2016; Daruwalla et al., 2019; De Silva et al., 2014; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Hailemariam et al., 2015; Hamdani et al., 2021; Rezel-Potts et al., 2020). Ademais, seguem, conforme Tabela 6, todos os componentes presentes nos artigos.

TABELA 6 Componentes da Teoria da Mudança e artigos que os citam 

Componentes da
Teoria da Mudança
Artigos que os citam
Avaliação Esponda et al. (2021)
Desenvolvimento Esponda et al. (2021)
Facilitadores e barreiras Balayah et al. (2021)
Fatores do provedor Walker (2015)
Mediadores Clarke et al. (2014)
Mudanças Daruwalla et al. (2019)
Objetivo ético MacQueen et al. (2018)
Precondições Gilissen et al. (2018)
Capacitação Breuer et al. (2016)
Breuer et al. (2018)
Elementos para escalabilidade Esponda et al. (2021)
Fuhr, Acarturk, Uygun et al. (2020)
Entrega Esponda et al. (2021)
Hailemariam et al. (2015)
Níveis do programa Abayneh et al. (2020)
Hailemariam et al. (2015)
Problemas Lalli et al. (2018)
Yearwood (2018)
Compra política Breuer et al. (2016)
Breuer et al. (2018)
Hailemariam et al. (2015)
Identificação Breuer et al. (2016)
Breuer et al. (2018)
De Silva et al. (2014)
Tratamento e cuidados Breuer et al. (2016)
Breuer et al. (2018)
De Silva et al. (2014)
Fundamentação De Silva et al. (2014)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Hamdani et al. (2021)
Propósito ou objetivo Balayah et al. (2021)
Chesniak et al. (2021)
De Buck et al. (2018)
Yearwood (2018)
Contexto Abayneh et al. (2020)
Barkat (2019)
De Buck et al. (2018)
Esponda et al. (2021)
Hailemariam et al. (2015)
Indicadores Abayneh et al. (2020)
Breuer et al. (2016)
De Silva et al. (2014)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Produtos Dolan et al. (2019)
Glasgow et al. (2017)
Lalli et al. (2018)
Levay et al. (2018)
Kabongo et al. (2020)
Nimpagaritse et al. (2020)
Yearwood (2018)
Teto de responsabilidade Abayneh et al. (2020)
Daruwalla et al. (2019)
De Silva et al. (2014)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Suposições Abayneh et al. (2020)
Balayah et al. (2021)
Barkat (2019)
Breuer et al. (2016)
Daruwalla et al. (2019)
De Silva et al. (2014)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Rezel-Potts et al. (2020)
Recursos Balayah et al. (2021)
Breuer et al. (2016)
Breuer et al. (2018)
Daruwalla et al. (2019)
De Silva et al. (2014)
Dolan et al. (2019)
Glasgow et al. (2017)
Hamdani et al. (2021)
Lalli et al. (2018)
Levay et al. (2018)
Kabongo et al. (2020)
Nimpagaritse et al. (2020)
Walker e Matarese (2011)
Yearwood (2018)
Impacto Abayneh et al. (2020)
Balayah et al. (2021)
Barkat (2019)
Breuer et al. (2016)
Breuer et al. (2018)
Chesniak et al. (2021)
De Silva et al. (2014)
Esponda et al. (2021)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Glasgow et al. (2017)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Lalli et al. (2018)
Kabongo et al. (2020)
Yearwood (2018)
Atividades ou intervenções ou estratégias Abayneh et al. (2020)
Aromatario et al. (2019)
Balayah et al. (2021)
Barkat (2019)
Chesniak et al. (2021)
Clarke et al. (2014)
De Silva et al. (2014)
Dolan et al. (2019)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Glasgow et al. (2017)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Levay et al. (2018)
MacQueen et al. (2018)
Kabongo et al. (2020)
Nimpagaritse et al. (2020)
Rezel-Potts et al. (2020)
Walker (2015)
Yearwood (2018)
Resultados, independentemente da divisão Abayneh et al. (2020)
Aromatario et al. (2019)
Balayah et al. (2021)
Barkat (2019)
Breuer et al. (2016)
Breuer et al. (2018)
Chesniak et al. (2021)
Clarke et al. (2014)
Daruwalla et al. (2019)
De Buck et al. (2018)
De Silva et al. (2014)
Dolan et al. (2019)
Fuhr, Acarturk, Uygun et al. (2020))
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Glasgow et al. (2017)
Hailemariam et al. (2015)
Hamdani et al. (2021)
Lalli et al. (2018)
Levay et al. (2018)
MacQueen et al. (2018)
Kabongo et al. (2020)
Nimpagaritse et al. (2020)
Rezel-Potts et al. (2020)
Walker (2015)
Walker e Matarese (2011)
Yearwood (2018)

Fonte: Elaboração dos autores (2022).

Funções da Teoria da Mudança

Dos 29 artigos analisados, três não apontam qual a função de uma TdM. Vinte e seis artigos indicam que as funções da TdM (Tabela 7), considerando as etapas do ciclo de vida de uma intervenção, são: utilização no desenho da intervenção (Abayneh et al., 2020; Balayah et al., 2021; Breuer et al., 2016; Chesniak et al., 2021; De Silva et al., 2014; Esponda et al., 2021; Hailemariam et al., 2015; Lalli et al., 2018), na implementação (Abayneh et al., 2020; Dolan et al., 2019; Glasgow et al., 2017; Hailemariam et al., 2015; Walker & Matarese, 2011), na avaliação (Abayneh et al., 2020; Aromatario et al., 2019; Barkat, 2019; Breuer et al., 2016; Breuer et al., 2018; De Silva et al., 2014; Dolan et al., 2019; Esponda et al., 2021; Fuhr et al., 2020b; Glasgow et al., 2017; Hailemariam et al., 2015; Lalli et al., 2018; MacQueen et al., 2018) e no monitoramento (Barkat, 2019; De Silva et al., 2014; Dolan et al., 2019; Esponda et al., 2021; Fuhr et al., 2020b; Lalli et al., 2018; Kabongo et al., 2020).

Dentre os 26 artigos que explicitam as funções de uma TdM, 17 mencionam que ela estrutura como a mudança ocorre por meio da implementação de uma intervenção (Abayneh et al., 2020; Aromatario et al., 2019; Balayah et al., 2021; Breuer et al., 2016; Chesniak et al., 2021; Clarke et al., 2014; Daruwalla et al., 2019; De Buck et al., 2018; Esponda et al., 2021; Fuhr, Acarturk, Uygun et al., 2020; Fuhr, Acarturk, Sijbrandij et al., 2020; Hamdani et al., 2021; Lalli et al., 2018; Levay et al., 2018; MacQueen et al., 2018; Kabongo et al., 2020; Yearwood, 2018).

TABELA 7 Funções da Teoria da Mudança e artigos que as citam 

Funções da Teoria da Mudança Artigos que as citam
Avaliar intervenções Abayneh et al. (2020)
Aromatario et al. (2019)
Barkat (2019)
Breuer et al. (2016)
Breuer et al. (2018)
Chesniak et al. (2021)
De Silva et al. (2014)
Dolan et al. (2019)
Esponda et al. (2021)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Glasgow et al. (2017)
Hailemariam et al. (2015)
Lalli et al. (2018)
MacQueen et al. (2018)
Descrever como funciona um processo em políticas e práticas baseadas em evidências Lalli et al. (2018)
Desenhar intervenções Abayneh et al. (2020)
Balayah et al. (2021)
Breuer et al. (2016)
De Silva et al. (2014)
Esponda et al. (2021)
Hailemariam et al. (2015)
Lalli et al. (2018)
Envolver stakeholders Lalli et al. (2018)
Estruturar como a mudança ocorre por meio da implementação de um programa Abayneh et al. (2020)
Aromatario et al. (2019)
Balayah et al. (2021)
Breuer et al. (2016)
Chesniak et al. (2021)
Clarke et al. (2014)
Daruwalla et al. (2019)
De Buck et al. (2018)
Esponda et al. (2021)
Fuhr, Acarturk, Uygun et al. (2020)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Hamdani et al. (2021)
Lalli et al. (2018)
Levay et al. (2018)
MacQueen et al. (2018)
Kabongo et al. (2020)
Yearwood (2018)
Explorar as condições para eficácia da intervenção Aromatario et al. (2019)
Chesniak et al. (2021)
Clarke et al. (2014)

Fonte: Elaboração dos autores (2022).

Vantagens do uso da Teoria da Mudança

As vantagens apontadas podem ser organizadas em sete grupos, sendo eles as vantagens em relação aos stakeholders (Tabela 8), à estrutura da Teoria da Mudança (Tabela 9), à sua característica informativa (Tabela 10), às funções (Tabela 11), ao processo avaliativo (Tabela 12), à disseminação da intervenção e ao advocacy, que engloba estratégias para argumentar a favor, nesse caso, de intervenções (Tabela 13), e ao processo de pesquisa (Tabela 14).

TABELA 8 Vantagens em relação aos stakeholders e artigos que as citam 

Vantagens em relação aos stakeholders Artigos que as citam
Possibilita o envolvimento dos stakeholders desde o início do processo, seja o processo de desenho, implementação, avaliação ou monitoramento De Buck et al. (2018)
Esponda et al. (2021)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Levay et al. (2018)
Gera engajamento nos stakeholders Balayah et al. (2021)
Breuer et al. (2016)
Chesniak et al. (2021)
De Silva et al. (2014)
Gilissen et al. (2018)
Hamdani et al. (2021)
Levay et al. (2018)
Gera senso de propriedade Abayneh et al. (2020)
Balayah et al. (2021)
Possibilita a construção de um conhecimento local por meio dos stakeholders Hamdani et al. (2021)
Possibilita o entendimento de quais resultados são coletivamente apoiados e validados pelos stakeholders Hamdani et al. (2021)
Possibilita que os stakeholders enxerguem seus papéis Abayneh et al. (2020)
Glasgow et al. (2017)
Possibilita para os stakeholders meios de trabalhar em conjunto MacQueen et al. (2018)
Estimula o trabalho colaborativo, enfatizando técnicas participativas Abayneh et al. (2020)
Chesniak et al. (2021)
Makowiecka et al. (2019)
Possibilita um senso de propósito na medida em que permite que se avalie como o trabalho de cada um contribui para uma Teoria da Mudança de uma estratégia ampla Glasgow et al. (2017)
Makowiecka et al. (2019)
Possibilita que desenvolvam um entendimento comum de seus trabalhos Walker e Matarese (2011)
Possibilita o estabelecimento de redes com a comunidade, na medida em que envolve, também, o usuário no grupo de stakeholders Breuer et al. (2016)
Possibilita que se crie uma responsabilidade compartilhada de maneira a maximizar a chance
de sucesso
Lalli et al. (2018)

Fonte: Elaboração dos autores (2022).

TABELA 9 Vantagens em relação à estrutura da Teoria da Mudança e artigos que as citam 

Vantagens em relação à
estrutura da Teoria da Mudança
Artigos que as citam
Permite adaptação à medida que novas informações são adquiridas De Buck et al. (2018)
Dolan et al. (2019)
Esponda et al. (2021)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Gilissen et al. (2018)
Lalli et al. (2018)
Permite que se incorporem interesses e necessidades de diversos grupos Abayneh et al. (2020)
Chesniak et al. (2021)
Fuhr, Acarturk, Uygun et al. (2020)
Glasgow et al. (2017)
Lalli et al. (2018)
Permite a inserção de loops de feedbacks Fuhr, Acarturk, Uygun et al. (2020)
Permite explicitar como os componentes interagem entre si Hailemariam et al. (2015)
Yearwood (2018)
Permite que haja flexibilidade sem que o desenho original seja alterado de maneira significativa Walker (2015)

Fonte: Elaboração dos autores (2022).

TABELA 10 Vantagens em relação à característica informativa e artigos que as citam 

Vantagens em relação à
característica informativa
Artigos que as citam
Permite que se conte a história de como determinada intervenção funcionou em determinado contexto Gilissen et al. (2018)
Auxilia na documentação da intervenção Glasgow et al. (2017)
Possibilita que se disseminem informações sobre a intervenção De Silva et al. (2014)

Fonte: Elaboração dos autores (2022).

TABELA 11 Vantagens em relação às funções da Teoria da Mudança e artigos que as citam 

Vantagens em relação às
funções da Teoria da Mudança
Artigos que as citam
Permite que se identifiquem barreiras para o momento da implementação Balayah et al. (2021)
Fuhr, Acarturk, Uygun et al. (2020)
Gilissen et al. (2018)
Lalli et al. (2018)
Permite que se considere o contexto de implementação Abayneh et al. (2020)
Breuer et al. (2016)
De Buck et al. (2018)
Hamdani et al. (2021)
Levay et al. (2018)
Reconhece que o contexto pode impactar positiva ou negativamente a intervenção Barkat (2019)
Permite a identificação de quais recursos já estão disponíveis e quais necessitam ser fornecidos De Silva et al. (2014)
Hamdani et al. (2021)
Permite a compreensão de por que determinados resultados foram ou não alcançados Kabongo et al. (2020)
Permite a criação de soluções de acordo com as especificidades de cada contexto Abayneh et al. (2020)
Breuer et al. (2016)
De Silva et al. (2014)
Permite que se identifiquem quais nexos causais,
presentes na intervenção, carecem de evidência
Balayah et al. (2021)
Permite que se identifiquem indicadores que sejam relevantes Breuer et al. (2018)
Chesniak et al. (2021)
Glasgow et al. (2017)
Permite que se identifiquem indicadores para todos os componentes presentes na Teoria da Mudança Breuer et al. (2016)
Permite que se identifiquem quais componentes são mais importantes para que o resultado desejado seja alcançado Daruwalla et al. (2019)
De Silva et al. (2014)
Walker (2015)
Permite que se tenha um rigor científico no momento de planejar a escalabilidade de intervenções Balayah et al. (2021)
Fuhr, Acarturk, Sijbrandij et al. (2020)
Permite que se tenha um planejamento rigoroso Hamdani et al. (2021)
Permite que se informem quais os próximos passos de uma intervenção frente às lições aprendidas na implementação Lalli et al. (2018)

Fonte: Elaboração dos autores (2022).

TABELA 12 Vantagens em relação ao processo avaliativo e artigos que as citam 

Vantagens em relação ao
processo avaliativo
Artigos que as citam
Permite que se identifique se a falta de eficácia de determinada intervenção é em razão da falha no desenho, na implementação ou se, de fato,
a intervenção é ineficaz
Gilissen et al. (2018)
Permite que se avalie a implementação de maneira abrangente, auxiliando na compreensão de quais as características principais da eficácia da intervenção Gilissen et al. (2018)
Kabongo et al. (2020)
Permite que se combinem avaliação de impacto e de processo, não buscando apenas uma comparação contrafatual Aromatario et al. (2019)
De Silva et al. (2014)
Permite que se amplie o processo avaliativo de maneira a responder a questões sobre mudanças de comportamento, indo além da mensuração de variáveis mais comuns, como satisfação ou participação Chesniak et al. (2021)

Fonte: Elaboração dos autores (2022).

TABELA 13 Vantagens em relação à disseminação da intervenção e ao advocacy e artigos que as citam 

Vantagens em relação à disseminação da intervenção e ao advocacy Artigos que as citam
Oferece suporte para que os setores de interesse implementem inovações Balayah et al. (2021)
Permite o advocacy para que se amplie a implementação de intervenções de sucesso De Silva et al. (2014)
Permite que outros interessados repliquem a intervenção por tornar explícito como ela funciona Gilissen et al. (2018)

Fonte: Elaboração dos autores (2022).

TABELA 14 Vantagens em relação ao processo de pesquisa e artigos que as citam 

Vantagens em relação ao processo de pesquisa Artigos que as citam
Auxilia na determinação de qual será a pergunta de pesquisa Chesniak et al. (2021)
De Silva et al. (2014)
Auxilia na escolha de quais serão os critérios de inclusão e exclusão De Buck et al. (2018)
Auxilia no processo de extração e interpretação dos resultados De Buck et al. (2018)

Fonte: Elaboração dos autores (2022).

Limitações do uso da Teoria da Mudança

Apenas dez artigos mencionaram limitações em relação ao uso da Teoria da Mudança, sendo que a limitação mais citada foi a alta demanda de tempo para sua construção (Chesniak et al., 2021; De Buck et al., 2018; Glasgow et al., 2017; Kabongo et al., 2020). A segunda e última limitação citada por mais de um artigo diz respeito ao risco de se incorrer em uma simplificação exagerada da intervenção a partir do momento em que se usa apenas um modelo lógico para articular a teoria de como a mudança ocorre a partir da implementação daquela intervenção (Breuer et al., 2016; De Buck et al., 2018; Levay et al., 2018). No mais, as outras limitações citadas foram explicitadas apenas em um dos artigos que compõem a revisão (Tabela 15).

TABELA 15 Limitações adicionais e artigos que as citam 

Limitações adicionais Artigos que as citam
Há uma dependência da validade da Teoria da Mudança para com a colaboração dos stakeholders Balayah et al. (2021)
Apesar de a Teoria da Mudança oferecer suporte para a implementação, ela não garante seu sucesso Balayah et al. (2021)
Há uma dificuldade de se mapearem os resultados não pretendidos Kabongo et al. (2020)
Apesar de gerar engajamento dos stakeholders na construção, não garante engajamento no processo de implementação da intervenção Breuer et al. (2016)
Algumas Teorias de Mudança podem conter muitos detalhes até chegar ao impacto desejado De Silva et al. (2014)
Há o risco de os nexos causais entre atividades e resultados não serem de fácil compreensão Daruwalla et al. (2019)
Ausência de padronização na definição do que é a Teoria da Mudança pode causar confusão De Silva et al. (2014)
Quando se constrói uma Teoria da Mudança com base em um referencial teórico, essa construção pode ignorar teorias conflitantes que geram outros resultados Kabongo et al. (2020)
Após a construção da Teoria da Mudança, eventos externos à intervenção podem alterar os componentes ao longo do tempo Balayah et al. (2021)

Fonte: Elaboração dos autores (2022).

Melhores práticas do uso da Teoria da Mudança

Envolver stakeholders no processo de construção da Teoria da Mudança foi citado em sete (Abayneh et al., 2020; Balayah et al., 2021; De Buck et al., 2018; De Silva et al., 2014; Esponda et al., 2021; Hailemariam et al., 2015; Rezel-Potts et al., 2020) dos 17 artigos que continham recomendações. No entanto, além do envolvimento, foi citada a importância tanto de oferecer assistência para que os stakeholders desenvolvam Teorias de Mudança de maneira autônoma (Esponda et al., 2021) quanto de selecionar stakeholders que influenciem o processo de implementação da intervenção proposta (Balayah et al., 2021). É importante também que entre eles haja consenso sobre os componentes que estruturam a Teoria da Mudança (Balayah et al., 2021; De Silva et al., 2014). O envolvimento do usuário final da intervenção, no processo de construção da Teoria da Mudança, foi citado em quatro artigos (Abayneh et al., 2020; Hailemariam et al., 2015; Hamdani et al., 2021; Levay et al., 2018), sendo que em um deles (Hamdani et al., 2021) a ausência do envolvimento do usuário final foi tida como limitação do processo.

Em relação ao momento de construção, recomenda-se que seja construída ou durante a criação da intervenção (Breuer et al., 2016; Gilissen et al., 2018; Hailemariam et al., 2015; Levay et al., 2018) ou antes da escalabilidade da intervenção (Balayah et al., 2021), sendo importante que a Teoria da Mudança seja testada em um piloto, havendo, assim, oportunidade para que seja revista antes de implementada de fato (De Silva et al., 2014).

Em se tratando dos componentes, recomenda-se que haja a divisão temporal dos resultados, de maneira a explicitar quais mudanças serão alcançadas ao longo do tempo (De Buck et al., 2018), e que também haja a divisão entre resultado de longo prazo e impacto, com base no teto de responsabilidade, evidenciando por quais resultados o programa se responsabiliza (Hailemariam et al., 2015).

Ainda sobre os componentes, é apontada a importância da exposição dos nexos causais (De Silva et al., 2014; Kabongo et al., 2020), das suposições feitas para cada etapa da intervenção (De Buck et al., 2018; Esponda et al., 2021; Lalli et al., 2018), das precondições necessárias para que a implementação funcione (Daruwalla et al., 2019; De Silva et al., 2014), dos resultados negativos que podem surgir (Daruwalla et al., 2019; De Silva et al., 2014), da particularidade contextual para a qual a intervenção foi construída (De Silva et al., 2014; Kabongo et al., 2020) e das variáveis mediadoras e moderadoras dos efeitos (Clarke et al., 2014).

No que diz respeito ao processo de construção, recomenda-se que os nexos causais (Clarke et al., 2014) bem como as suposições (De Buck et al., 2018; Esponda et al., 2021) sejam apoiados em evidências, que se utilizem de vários métodos para compor a estrutura da Teoria da Mudança, como análise de documentos, workshops e entrevistas com stakeholders, pesquisa na literatura (Breuer et al., 2016; De Silva et al., 2014), que os resultados sejam mapeados de trás para a frente (Chesniak et al., 2021; De Silva et al., 2014; Gilissen et al., 2018) e que, após a construção da Teoria da Mudança, ela passe por atualização sempre que necessário (De Silva et al., 2014; Makowiecka et al., 2019).

Por fim, em relação ao uso da Teoria da Mudança em processos avaliativos, recomenda-se que haja alocação de recursos para o desenvolvimento de indicadores relevantes para o contexto, principalmente no que diz respeito a variáveis de difícil mensuração (De Silva et al., 2014; Esponda et al., 2021), que sejam estabelecidos indicadores para todas as precondições, de maneira a saber se é possível ou não avançar no caminho do nexo causal (De Silva et al., 2014), em todas as etapas da intervenção (De Silva et al., 2014), e que não haja exclusividade de métodos quantitativos, sendo importante o uso de qualitativos, empregando-os de modo complementar (Esponda et al., 2021).

DISCUSSÃO

O presente trabalho é continuação de estudo publicado previamente com os resultados preliminares desta revisão integrativa (Vieira et al., 2022) e investigou o uso da teoria da mudança em intervenções (projetos, programas, políticas públicas) nas áreas da saúde, da educação ou intersetoriais. A maioria dos estudos está circunscrita à área da saúde (82,7%), havendo apenas dois intersetoriais e dois educacionais. A baixa prevalência de estudos no campo da educação e em intervenções intersetoriais, a ausência de artigos encontrados após busca feita com os descritores em português e a ausência de produção na América Latina configuram-se como ponto de atenção, dado que as referidas áreas e localizações podem se valer e se favorecer do uso da ferramenta em qualquer momento do ciclo da intervenção (Dugand & Brandão, 2017; Sloan et al., 2017).

A amplitude de possibilidades no uso da TdM, conforme apontam os dados aqui apresentados, corrobora a defesa de Agum et al. (2015) sobre a necessidade de acompanhar as políticas públicas, bem como suas transformações ao longo do tempo. Entre as vantagens em relação ao uso da TdM está a flexibilidade, pois permite que ela seja usada em todos os momentos do ciclo de uma intervenção, capte interesses de diversos grupos (Abayneh et al., 2020), seja composta por componentes e loops de acordo com a necessidade da intervenção (Fuhr, Acarturk, Uygun et al., 2020) e se adapte à medida que novas informações são adquiridas (De Buck et al., 2018; Dolan et al., 2019; Esponda et al., 2021; Fuhr, Acarturk, Sijbrandij et al., 2020; Gilissen et al., 2018; Lalli et al., 2018) sem alterar a essência do desenho original (Walker, 2015).

A característica flexível da TdM não pode ser confundida com falta de delimitação de seus objetivos. Pelo contrário, seu formato em encadeamento lógico colabora na delimitação dos resultados a serem alcançados e na diminuição da verificação ilimitada de determinantes de sucesso ou insucesso de uma política, tornando a avaliação feita a partir dela mais robusta, diretiva e confiável, uma vez que permite a identificação dos componentes mais importantes para que o resultado seja alcançado (De Silva et al., 2014) bem como a delimitação de indicadores adequados (Breuer et al., 2018). Já existem estudos que optam por apresentar sua TdM de antemão (Sloan et al., 2017, por exemplo), antes dos resultados da avaliação, garantindo assim a diminuição do viés de interpretação de resultados e apresentação de efeitos que não eram esperados ou não eram o objetivo da intervenção. Dessa forma, fortalece-se o advocacy a ser realizado, dada a maior possibilidade de geração de evidências diretivas e robustas, levando à implementação de intervenções baseadas em tais evidências.

As vantagens em relação ao uso da Teoria da Mudança se estendem, também, ao processo de pesquisa. Pesquisas de cunho investigativo social visam a solucionar problemas reais da geração vigente (Jannuzzi, 2014), buscam evidências que colaborem e guiem decisões de âmbito social e garantam políticas públicas eficientes (Gertler et al., 2018). Pesquisas estritamente acadêmicas objetivam a complementação e a continuidade da produção de conhecimento na linha de pesquisa que as detém (Mendes & Sordi, 2013). É possível e desejável unir os objetivos, esforços e lições advindos desses dois campos de pesquisa, aprendendo um com o outro, e a ferramenta pode auxiliar na delimitação da pergunta de pesquisa a que se deseja responder, na seleção dos critérios de inclusão e exclusão de artigos e na determinação de como será o processo de extração e interpretação dos dados (De Buck et al., 2018).

Dentro das limitações apontadas em relação à construção e ao uso da TdM está a demanda de tempo para sua elaboração (Chesniak et al., 2021; De Buck et al., 2018; Glasgow et al., 2017; Kabongo et al., 2020). Para lidar com tal questão, pode-se oferecer suporte técnico para que os stakeholders desenvolvam suas próprias Teorias de Mudança. Esponda et al. (2021) seguem nesse sentido, apontando como uma boa prática que seja oferecido suporte técnico no âmbito da avaliação, de maneira que os stakeholders possam desenhar e executar suas próprias avaliações. Para oferecer esse suporte, devem-se orientar os participantes dessa construção sobre qual linha de pensamento seguir. Krishnan (2017) recomenda seis etapas para a construção de uma TdM. A primeira etapa destina-se à definição do contexto de atuação da intervenção. A segunda serve à definição do propósito da intervenção. O terceiro passo é desenhar a intervenção. O quarto passo é completar a cadeia causal de estratégias, produtos e resultados. O quinto é explicitar as suposições por trás da cadeia causal. A última etapa dessa construção é a definição de indicadores para que seja possível a avaliação dessa intervenção. Essa sequência do quarto passo diverge da recomendação dos resultados encontrados nos artigos da presente revisão de literatura, os quais começam a partir do impacto que se deseja alcançar, resultados anteriores a ele, produtos e estratégias (Abayneh et al., 2020; Chesniak et al., 2021; Daruwalla et al., 2019; Esponda et al., 2021; Hailemariam et al., 2015; Levay et al., 2018; Yearwood, 2018). O ponto de atenção deve estar, no entanto, na concordância entre o que a intervenção propõe e o impacto que ela pretende gerar.

Balayah et al. (2021) e Breuer et al. (2016) (ver Tabela 15) expuseram limitações relacionadas à necessidade do envolvimento de muitos atores na construção da TdM. Junta-se a isso a recomendação de que a TdM deve ser construída durante a construção da intervenção (Breuer et al., 2016; Levay et al., 2018) para visualizar que essas limitações explicitam a forma como uma intervenção acontece na realidade, com a participação de muitos atores, os quais podem definir o sucesso ou o fracasso da intervenção. Mendes e Sordi (2013) apontam a necessidade da compreensão de que uma política pública que é controlada de cima tem inúmeros riscos, os quais podem ser minimizados pelo envolvimento dos usuários da política e de outros stakeholders durante o processo de construção da TdM bem como de sua atualização (Dugand & Brandão, 2017; Makowiecka et al., 2019).

A utilização de somente duas bases de dados bem como a de um protocolo criado pelas autoras e não validado previamente para revisões da literatura são limitações do presente estudo. A delimitação dos idiomas pode também ter suprimido estudos de outros países que possam ter utilizado a TdM em suas pesquisas. Ressalta-se, no entanto, que os objetivos do presente trabalho foram alcançados, gerando resultados, conclusões e recomendações relevantes e que podem levar à adoção da TdM em estudos brasileiros na área da educação e áreas intersetoriais.

CONCLUSÃO

Mesmo com a baixa incidência do uso da ferramenta em intervenções intersetoriais, pensa-se que elas podem se beneficiar e ser fortalecidas com seu uso, pois, por meio da sua flexibilidade e capacidade de demonstrar como a intervenção é estruturada, é possível tornar palpável como diversos setores (e.g., educação, saúde e assistência social) podem trabalhar conjuntamente por um mesmo objetivo.

A TdM é abrangente e útil para a garantia da qualidade do acompanhamento e da avaliação de intervenções. Ela não é uma ferramenta exclusiva para realização de avaliações das intervenções; ela se relaciona com o modo de fazer e com como políticas públicas são gerenciadas. Dessa forma, políticas públicas podem garantir sua qualidade técnica em todo o seu ciclo com o uso da Teoria da Mudança, sendo sua adoção altamente recomendada. E, apesar de a TdM ter sido popularizada há algumas décadas, os dados apontam o aumento de trabalhos sendo publicados com sua utilização, o que parece ser um indicativo da visibilidade que o uso da TdM vem adquirindo. Nesse sentido, é importante que autores brasileiros usem, apontem sua relevância e recomendem seu uso. Recomenda-se também a publicação de manuais prescritivos e trabalhos que documentem boas práticas de utilização da TdM, elencando e complementando as que foram aqui apontadas: participação de stakeholders, testagem da TdM em um piloto, divisão temporal dos resultados e exposição dos nexos causais apoiados em evidências e com desenvolvimento de indicadores.

NOTA: As contribuições de cada autor na elaboração do artigo foram as seguintes: Julia Elena Córdoba-Vieira - coleta, organização e interpretação dos dados, escrita do manuscrito original e edição; Mayra Antonelli-Ponti - interpretação dos dados, revisão, edição da escrita e supervisão; Fabiana Maris Versuti - revisão e supervisão; Luiz Guilherme Dácar da Silva Scorzafave - revisão e edição da escrita; e Daniel Domingues dos Santos - revisão e edição da escrita.

REFERÊNCIAS

Abayneh, S., Lempp, H., Alem, A., Kohrt, B. A., Fekadu, A., & Hanlon, C. (2020). Developing a Theory of Change model of service user and caregiver involvement in mental health system strengthening in primary health care in rural Ethiopia. International Journal of Mental Health Systems, 14(1), Article 51. https://doi.org/10.1186/s13033-020-00383-6Links ]

Agum, R., Riscado, P., & Menezes, M. (2015). Políticas públicas: Conceitos e análise em revisão. Agenda Política, 3(2), 12-42. https://doi.org/10.31990/10.31990/agenda.ano.volume.numeroLinks ]

Aromatario, O., Van Hoye, A., Vuillemin, A., Foucaut, A., Pommier, J., & Cambon, L. (2019). Using theory of change to develop an intervention theory for designing and evaluating behavior change SDApps for healthy eating and physical exercise: The OCAPREV theory. BMC Public Health, 19(1), Article 1435. https://doi.org/10.1186/s12889-019-7828-4Links ]

Balayah, Z., Khadjesari, Z., Keohane, A., To, W., Green, J. S. A., & Sevdalis, N. (2021). National implementation of a pragmatic quality improvement skills curriculum for urology residents in the UK: Application and results of ‘theory-of-change’ methodology. American Journal of Surgery, 221(2), 401-409. https://doi.org/10.1016/j.amjsurg.2020.12.007Links ]

Barkat, S. (2019). Evaluating the impact of the Academic Enrichment Programme on widening access to selective universities: Application of the Theory of Change framework. British Educational Research Journal, 45(6), 1160-1185. https://doi.org/10.1002/berj.3556Links ]

Bauer, A., & Fernandes, F. S. (2022). Avaliação de projetos, programas e políticas educacionais. Estudos em Avaliação Educacional, 33, Artigo e08673. https://doi.org/10.18222/eae.v33.8673Links ]

Breuer, E., De Silva, M. J., Shidaye, R., Petersen, I., Nakku, J., Jordans, M. J. D., Fekadu, A., & Lund, C. (2016). Planning and evaluating mental health services in lowand middle-income countries using theory of change. British Journal of Psychiatry, 208, 55-62. https://doi.org/10.1192/bjp.bp.114.153841Links ]

Breuer, E., Subba, P., Luitel, N., Jordans, M., De Silva, M., Marchal, B., & Lund, C. (2018). Using qualitative comparative analysis and theory of change to unravel the effects of a mental health intervention on service utilisation in Nepal. BMJ Global Health, 3(6). https://doi.org/10.1136/bmjgh-2018-001023Links ]

Chesniak, O. M., Drane, D., Young, C., Hokanson, S. C., & Goldberg, B. B. (2021). Theory of Change models deepen online learning evaluation. Evaluation and Program Planning, 88, Article 101945. https://doi.org/10.1016/j.evalprogplan.2021.101945Links ]

Clarke, B., Doabler, C. T., Cary, M. S., Kosty, D., Baker, S., Fien, H., & Smolkowski, K. (2014). Preliminary evaluation of a Tier 2 mathematics intervention for first-grade students: Using a theory of change to guide formative evaluation activities. School Psychology Review, 43(2), 160-177. https://doi.org/10.1080/02796015.2014.12087442Links ]

Daruwalla, N., Jaswal, S., Fernandes, P., Pinto, P., Hate, K., Ambavkar, G., Kakad, B., Gram, L., & Osrin, D. (2019). A theory of change for community interventions to prevent domestic violence against women and girls in Mumbai, India. Wellcome Open Research, 4, Article 54. https://doi.org/10.12688/wellcomeopenres.15128.1Links ]

De Buck, E., Hannes, K., Cargo, M., Van Remoortel, H., Vande Veegaete, A., Mosler, H., Govender, T., Vandekerckhove, P., & Young, T. (2018). Engagement of stakeholders in the development of a Theory of Change for handwashing and sanitation behaviour change. International Journal of Environmental Health Research, 28(1), 8-22. https://doi.org/10.1080/09603123.2017.1415306Links ]

De Silva, M. J., Breuer, E., Lee, L., Asher, L., Chowdhary, N., Lund, C., & Patel, V. (2014). Theory of Change: A theory-driven approach to enhance the Medical Research Council’s framework for complex interventions. Trials, 15(1). https://doi.org/10.1186/1745-6215-15-267Links ]

Dolan, J. E., Lonsdale, H., Ahumada, L. M., Patel, A., Samuel, J., Jalali, A., Peck, J., Derosa, J. C., Rehman, M., Varughese, A. M., & Fernandez, A. M. (2019). Quality initiative using theory of change and visual analytics to improve controlled substance documentation discrepancies in the operating room. Applied Clinical Informatics, 10(3), 543-551. https://doi.org/10.1055/s-0039-1693688Links ]

Dugand, A. G., & Brandão, A. A. P. (2017). A Teoria da Mudança como ferramenta avaliativa do desenho dos programas sociais: O caso das ações estruturantes para Comunidades Quilombolas. Meta: Avaliação, 9(25), 110-140. https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/1214Links ]

Esponda, G. M., Ryan, G. K., Estrin, G. L., Usmani, S., Lee, L., Murphy, J., Qureshi, O., Endale, T., Regan, M., Eaton, J., & De Silva, M. (2021). Lessons from a theory of change-driven evaluation of a global mental health funding portfolio. International Journal of Mental Health Systems, 15(1), Article 18. https://doi.org/10.1186/s13033-021-00442-6Links ]

Fuhr, D. C., Acarturk, C., Sijbrandij, M., Brown, F. L., Jordans, M. J. D., Woodward, A., Mcgrath, M., Sondorp, E., Ventevogel, P., Ikkursun, Z., El Chammy, R., Cuijpers, P., & Roberts, B. (2020). Planning the scale up of brief psychological interventions using theory of change. BMC Health Services Research, 20(1), Article 801. https://doi.org/10.1186/s12913-020-05677-6Links ]

Fuhr, D. C., Acarturk, C., Uygun, E., Mcgrath, M., Ilkkursun, Z., Kaykha, S., Sondorp, E., Sijbrandij, M., Ventevogel, P., Cuijpers, P., & Roberts, B. (2020). Pathways towards scaling up Problem Management Plus in Turkey: A theory of change workshop. Conflict and Health, 14(1), Article 22. https://doi.org/10.1186/s13031-020-00278-wLinks ]

Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2018). Avaliação de impacto na prática (2a ed.). Grupo Banco Mundial. https://openknowledge.worldbank.org/bitstream/handle/10986/25030/9781464808890.pdfLinks ]

Gilissen, J., Pivodic, L., Gastmans, C., Stichele, R. V., Deliens, L., Breuer, E., & Van den Block, L. (2018). How to achieve the desired outcomes of advance care planning in nursing homes: A theory of change. BMC Geriatrics, 18(1). https://doi.org/10.1186/s12877-018-0723-5Links ]

Glasgow, L., Adams, E., Joshi, S., Curry, L., Schmitt, C. L., Rogers, T., Willett, J., & Van Hersh, D. (2017). Using a theory of change to guide grant monitoring and grantmaking. Journal of Public Health Management and Practice, 23(2), 126-130. https://doi.org/10.1097/PHH.0000000000000421Links ]

Hailemariam, M., Fekadu, A., Selamu, M., Alem, A., Medhin, G., Giorgis, T. W., De Silva, M., & Breuer, E. (2015). Developing a mental health care plan in a low resource setting: The theory of change approach. BMC Health Services Research, 15(1), Article 429. https://doi.org/10.1186/s12913-015-1097-4Links ]

Hamdani, S. U., Huma, Z., Suleman, N., Warraitch, A., Muzzafar, N., Farzeen, M., Minhas, F. A., Rahman, A., & Wissow, L. S. (2021). Scaling-up school mental health services in low resource public schools of rural Pakistan: The Theory of Change (ToC) approach. International Journal of Mental Health Systems, 15(1), Article 8. https://doi.org/10.1186/s13033-021-00435-5Links ]

Insper Metricis. (2022). Guia de avaliação de impacto socioambiental para utilização em projetos e investimentos de impacto: Guia geral com foco em monitoramento e verificação de adicionalidade (5a ed.). Insper. https://www.insper.edu.br/wp-content/uploads/2022/05/GUIA-AVALIACAO-DE-IMPACTO-SOCIOAMBIENTAL_PT.pdfLinks ]

Jannuzzi, P. M. (2014). Avaliação de programas sociais: Conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional, 25(58), 22-42. https://doi.org/10.18222/eae255820142916Links ]

Kabongo, E. M., Mukumbang, F. C., Delobelle, P., & Nicol, E. (2020). Combining the theory of change and realist evaluation approaches to elicit an initial program theory of the MomConnect program in South Africa. BMC Medical Research Methodology, 20(1), Article 196. https://doi.org/10.1186/s12874-020-01164-yLinks ]

Krishnan, A. (2017). Theory of Change [PowerPoint slides]. J-Pal. https://www.povertyactionlab.org/sites/default/files/Lecture%202-THEORY%20OF%20CHANGE.pdfLinks ]

Lalli, M., Ruysen, H., Blencowe, H., Yee, K., Clune, K., De Silva, M., Leffler, M., Hillman, E., El-Noush, H., Mulligan, J., Murray, J. C., Silver, K., & Lawn, J. E. (2018). Saving lives at birth; Development of a retrospective theory of change, impact framework and prioritised metrics. Globalization and Health, 14(1). https://doi.org/10.1186/s12992-018-0327-zLinks ]

Levay, A. V., Chapman, G. E., Seed, B., & Wittman, H. (2018). It’s just the right thing to do: Conceptualizing a theory of change for a school food and beverage sales environment intervention and implications for implementation evaluation. Evaluation and Program Planning, 70, 73-82. https://doi.org/10.1016/j.evalprogplan.2018.04.011Links ]

MacQueen, K. M., Eley, N. T., Frick, M., & Hamilton, C. (2018). Using theory of change frameworks to develop evaluation strategies for research engagement: Results of a pre-pilot study. Journal of the International AIDS Society, 21, Article e25181. https://doi.org/10.1002/jia2.25181Links ]

Makowiecka, K., Marchant, T., Betemariam, W., Chaturvedi, A., Jana, L., Liman, A., Mathewos, B., Muhammad, F. B., Semrau, K., Wunnava, S. S., Sibley, L. M., Berhanu, D., Gautham, M., Umar, N., Spicer, N., & Schellenberg, J. (2019). Characterising innovations in maternal and newborn health based on a common theory of change: Lessons from developing and applying a characterisation framework in Nigeria, Ethiopia and India. BMJ Global Health, 4(4). https://doi.org/10.1136/bmjgh-2019-001405Links ]

Mendes, G. S. C. V., & Sordi, M. R. L. de. (2013). Metodologia de avaliação de implementação de programas e políticas públicas. EccoS - Revista Científica, 30, 93-112. https://doi.org/10.5585/eccos.n30.3697Links ]

Mendes, K. D. S., Silveira, R. C. C. P., & Galvão, M. C. (2008). Revisão integrativa: Método de pesquisa para a incorporação de evidências na saúde e na enfermagem. Texto & Contexto: Enfermagem, 17(4), 758-764. https://doi.org/10.1590/S0104-07072008000400018Links ]

Nimpagaritse, M., Korachais, C., & Meessen, B. (2020). Effects in spite of tough constraints - A theory of change based investigation of contextual and implementation factors affecting the results of a performance based financing scheme extended to malnutrition in Burundi. PLoS ONE, 15(1). https://doi.org/10.1371/journal.pone.0226376Links ]

Rezel-Potts, E., Free, C., Syred, J., & Baraitser, P. (2020). Expanding choice through online contraception: A theory of change to inform service development and evaluation. BMJ Sexual and Reproductive Health, 46(2), 108-115. https://doi.org/10.1136/bmjsrh-2018-200297Links ]

Saunders, R. P., Evans, M. H., & Joshi, P. (2005). Developing a process-evaluation plan for assessing health promotion program implementation: A how-to guide. Health Promotion Practice, 6(2), 134-147. https://doi.org/10.1177/1524839904273387Links ]

Sloan, S., Gildea, A., Miller, S., Poulton, L., Egar, C., & Thurston, A. (2017). Evaluation of Zippy’s Friends for improving socio-emotional and academic outcomes in six to seven year olds: Protocol for a cluster randomised controlled trial and process evaluation. International Journal of Educational Research, 82, 200-209. https://doi.org/10.1016/j.ijer.2017.01.003Links ]

Vieira, J. E. C., Ponti, M. A., Versuti, F. M., & Santos, D. D. dos. (2022). O uso da Teoria de Mudança para avaliação de programas educacionais e intersetoriais: Resultados preliminares de uma revisão integrativa. Brazilian Journal of Development, 8(4), 25183-25190. https://doi.org/10.34117/bjdv8n4-168Links ]

Walker, J. S. (2015). A Theory of Change for positive developmental approaches to improving outcomes among emerging adults with serious mental health conditions. Journal of Behavioral Health Services and Research, 42(2), 131-149. https://doi.org/10.1007/s11414-015-9455-xLinks ]

Walker, J. S., & Matarese, M. (2011). Using a theory of change to drive human resource development for wraparound. Journal of Child and Family Studies, 20(6), 791-803. https://doi.org/10.1007/s10826-011-9532-6Links ]

Weiss, C. H. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. In J. P. Connell, A. C. Kubisch, L. B. Schorr, & C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Concepts, methods and contexts (pp. 65-92). The Aspen Institute. https://canvas.harvard.edu/files/1453087/download?download_frd=1&verifier=IVZpf0ynt3iriSXpb8lE7WirRBXUHfbceDQUHleGLinks ]

Yearwood, A. C. (2018). Applying a logical theory of change for strengthening research uptake in policy: A case study of the Evidence Informed Decision Making Network of the Caribbean. Revista Panamericana de Salud Publica, 42, Article e91. https://doi.org/10.26633/RPSP.2018.91Links ]

Recebido: 17 de Janeiro de 2023; Aceito: 02 de Agosto de 2023

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.