SciELO - Scientific Electronic Library Online

 
vol.34PRÁTICAS DE AVALIAÇÃO NO ENSINO SUPERIOR: UM ESTUDO COM PROFESSORES PORTUGUESESAGRADECIMENTOS índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Estudos em Avaliação Educacional

versão impressa ISSN 0103-6831versão On-line ISSN 1984-932X

Est. Aval. Educ. vol.34  São Paulo  2023  Epub 24-Abr-2023

https://doi.org/10.18222/eae.v34.10106 

Traduções

FAZ DIFERENÇA? AVALIANDO A FORMAÇÃO CONTINUADA*

HACE DIFERENCIA? LA EVALUACIÓN DE LA FORMACIÓN CONTÍNUA

DOES IT MAKE A DIFFERENCE? EVALUATING PROFESSIONAL DEVELOPMENT

IUniversidade de Kentucky, Lexington, Kentucky, Estados Unidos; guskey@uky.edu


RESUMO

Neste artigo, Thomas R. Guskey apresenta uma proposta para avaliar a formação continuada docente. Trata-se de temática relevante para o contexto brasileiro, onde são implementadas diversas iniciativas desse tipo, as quais raramente são avaliadas. A proposta de Guskey - objeto do livro Evaluating professional development - contempla cinco níveis que avaliam: a reação dos participantes; a aprendizagem dos participantes; o apoio e mudança institucional; o uso de novos conhecimentos e habilidades pelos participantes; e os resultados de aprendizagem dos estudantes. Para o autor, é importante iniciar a formação continuada com uma nítida definição dos objetivos pretendidos, sendo possível obter boas evidências sobre suas contribuições por meio da coleta e análise de informações em cada um dos níveis da avaliação.

PALAVRAS-CHAVE: PROFESSORES; FORMAÇÃO CONTINUADA; AVALIAÇÃO

RESUMEN

En este artículo, Thomas R. Guskey presenta una propuesta para evaluar la formación contínua docente. Se trata de una temática relevante para el contexto brasileño, en lo que se implementan diversas iniciativas de este tipo, que raramente se evalúan. La propuesta de Guskey - objeto del libro Evaluating professional development - abrange cinco niveles que evalúan: la reacción de los participantes; el aprendizaje de los estudiantes; el apoyo y el cambio institucional; el uso de nuevos conocimientos y habilidades por los estudiantes; y los resultados de aprendizaje de los participantes. Para el autor, es importante iniciar la formación contínua con una nítida definición de los objetivos pretendidos, siendo posible obtener buenas evidencias sobre sus aportes por medio de la recolección y el análisis de información en cada uno de los niveles de la evaluación.

PALABRAS CLAVE: PROFESORES; FORMACIÓN CONTÍNUA; EVALUACIÓN

ABSTRACT

In this article, Thomas R. Guskey presents a proposal to evaluate teacher professional development. This topic is relevant to the Brazilian context where several initiatives of this type are implemented, and are rarely evaluated. Guskey’s proposal, the object of the book Evaluating professional development, addresses five evaluation levels: participants’ reaction; participants’ learning; organization support and change; participants’ use of new knowledge and skills; and, students’ learning outcomes. For the author, it is important to start professional development with a clear definition of the intended goals, making it possible to obtain good evidence about its contributions through the collection and analysis of information at each of the evaluation levels.

KEYWORDS: TEACHERS; PROFESSIONAL DEVELOPMENT; EVALUATION

INTRODUÇÃO

É possível melhorar as iniciativas de formação continuada docente utilizando cinco níveis críticos de avaliação. No entanto, é preciso iniciar partindo dos resultados que se pretende alcançar - a melhoria da aprendizagem dos estudantes.

Há muito tempo os educadores consideram a formação continuada como um direito - algo que merecem como indivíduos dedicados e comprometidos. No entanto, recentemente, os legisladores e políticos começaram a questionar esse direito. À medida que os orçamentos de educação ficam mais apertados, esses agentes olham para a quantia que as escolas gastam com formação continuada docente e querem saber: Será que o investimento rende retornos tangíveis? Ou será que esse dinheiro poderia ser mais bem gasto? Tais questões tornam a avaliação das iniciativas de formação continuada mais importante do que nunca.

Tradicionalmente, os educadores não se atentam à avaliação de seus esforços de formação continuada. Muitos consideram a avaliação um processo dispendioso e demorado que desvia a atenção de atividades mais importantes, como o planejamento, a implementação e o acompanhamento. Outros sentem que lhes faltam habilidade e conhecimento especializado para se envolverem em avaliações rigorosas; como resultado, ou negligenciam completamente as questões de avaliação ou deixam-nas para “peritos em avaliação”.

Boas avaliações não precisam, necessariamente, ser complicadas. Requerem apenas um planejamento bem pensado, a capacidade de fazer boas perguntas e uma compreensão básica de como encontrar respostas válidas. Além do mais, podem fornecer informações relevantes a serem utilizadas para decidir de maneira ponderada e responsável a respeito de processos e efeitos da formação continuada.

O QUE É AVALIAÇÃO?

Em termos mais simples, avaliação é “a investigação sistemática de mérito ou valor” (Joint Committee on Standards for Educational Evaluation, 1994, p. 3). O termo sistemática implica um processo focalizado, ponderado e intencional. Conduzimos avaliações por razões evidentes e com intenção explícita. Investigação refere-se à coleta e análise de informações pertinentes por meio de métodos e técnicas apropriadas. Mérito ou valor denotam apreciação e julgamento. Utilizamos avaliações para determinar o valor de algo, para ajudar a responder a perguntas como: Esse programa ou atividade alcançou os resultados pretendidos? É melhor do que o que foi feito no passado? É melhor do que uma atividade alternativa? Os custos compensam?

Alguns educadores compreendem a importância da avaliação para as atividades de formação continuada baseadas em eventos - como oficinas e seminários -, mas esquecem a vasta gama de iniciativas de formação continuada menos formais, contínuas e integradas ao trabalho - grupos de estudo, pesquisa-ação, planejamento colaborativo, desenvolvimento curricular, observações estruturadas, coaching por pares, tutoria, entre outros. Entretanto, independentemente do formato, a formação continuada deve ser um esforço intencional. Por meio da avaliação é possível determinar se essas atividades atingem os objetivos propostos.

Níveis críticos de avaliação da formação continuada

Avaliações eficazes da formação continuada requerem a coleta e a análise de informação nos cinco níveis críticos mostrados na Tabela 1 (Guskey, 2000a). A cada nível de sucesso, o processo de coleta de informações para avaliação torna-se progressivamente um pouco mais complexo. Tendo em vista que cada nível se baseia nos anteriores, o sucesso em um nível é geralmente necessário para o sucesso nos níveis subsequentes.

Nível 1: reações dos participantes

O primeiro nível de avaliação analisa as reações dos participantes à experiência de formação continuada. Essa é a forma mais comum de avaliação da formação continuada docente, bem como o tipo de informação mais fácil de coletar e analisar.

No Nível 1 são colocadas questões centradas em saber se os participantes gostaram ou não da experiência. Eles sentiram que seu tempo foi bem empregado? O material fez sentido para eles? As atividades foram bem planejadas e significativas? O formador tinha domínio do tema e era prestativo? Os participantes consideraram as informações úteis? Perguntas importantes para oficinas e seminários de formação continuada incluem também: O café estava pronto na hora certa e estava quente? A sala estava com uma temperatura agradável? As cadeiras eram confortáveis? Para alguns, perguntas como essas podem parecer bobas e sem sentido, contudo os formadores profissionais experientes sabem da importância de atender essas necessidades humanas básicas.

TABELA 1 Cinco níveis de avaliação da formação continuada 

NÍVEL DE AVALIAÇÃO QUAIS QUESTÕES SÃO FEITAS? COMO SERÁ COLETADA A INFORMAÇÃO? O QUE É MEDIDO OU AVALIADO? COMO SERÁ UTILIZADA A INFORMAÇÃO?
1. Reações dos participantes - Gostaram?
- Seu tempo foi bem aproveitado?
- O material fez sentido?
- Será útil?
- O formador tinha domínio do tema e era prestativo?
- O lanche era de boa qualidade?
- A sala estava com uma temperatura agradável?
- As cadeiras eram confortáveis?
- Questionários aplicados ao final do encontro - Satisfação inicial com a experiência - Para melhorar o desenho e a implementação do programa
NÍVEL DE AVALIAÇÃO QUAIS QUESTÕES SÃO FEITAS? COMO SERÁ COLETADA A INFORMAÇÃO? O QUE É MEDIDO OU AVALIADO? COMO SERÁ UTILIZADA A INFORMAÇÃO?
2. Aprendizagem dos participantes - Os participantes adquiriram os conhecimentos e as habilidades pretendidos? - Instrumentos escritos
- Simulações
- Demonstrações
- Reflexões dos participantes (orais e/ou escritas)
- Portfólio dos participantes
- Novos conhecimentos e habilidades dos participantes - Para melhorar o conteúdo, o formato e a organização do programa
3. Apoio e mudança institucionais - A implementação foi defendida, facilitada e apoiada?
- O apoio foi público e evidente?
- Os problemas foram abordados de forma rápida e eficiente?
- Foram disponibilizados recursos suficientes?
- Os sucessos foram reconhecidos e compartilhados?
- Qual foi o impacto na instituição?
- Afetou o clima e os procedimentos da instituição?
- Registros das escolas e de instâncias superiores
- Atas de reuniões de acompanhamento
- Questionários
- Entrevistas estruturadas com participantes e seus gestores
- Portfólios dos participantes
- A defesa, o apoio, a acomodação, a facilitação e o reconhecimento institucionais - Documentar e melhorar o apoio institucional
- Subsidiar futuros esforços de mudança
4. Uso de novos conhecimentos e habilidades pelos participantes - Os participantes são capazes de aplicar de maneira eficaz os novos conhecimentos e habilidades? - Questionários
- Entrevistas estruturadas com os participantes e seus supervisores
- Reflexões dos participantes (orais e/ou escritas)
- Portfólios dos participantes
- Observações diretas
- Vídeos ou áudios
- Grau e qualidade da implementação - Documentar e melhorar a implementação do conteúdo do programa
5. Resultados de aprendizagem dos estudantes - Qual foi o impacto nos estudantes?
- Afetou o desempenho dos estudantes?
- Influenciou o bem-estar físico ou emocional dos estudantes?
- Os estudantes estão mais confiantes na aprendizagem?
- A assiduidade dos estudantes melhorou?
- A evasão dos estudantes está diminuindo?
- Registros dos estudantes
- Registros escolares
- Questionários
- Entrevistas estruturadas com estudantes, pais, professores e/ou gestores
- Portfólios dos participantes
- Resultados de aprendizagem dos estudantes:
• Cognitivo (desempenho e sucesso)
• Afetivo (atitudes e disposições)
• Psicomotor (habilidades e comportamento)
- Para focar e melhorar todos os aspectos da concepção, implementação e acompanhamento do programa
- Para demonstrar o impacto geral da formação continuada

A informação acerca das reações dos participantes geralmente é coletada por meio de questionários distribuídos ao final de um encontro ou atividade. Em geral, esses questionários incluem uma combinação de itens com escalas de pontuação e questões abertas que permitem aos participantes fazer comentários pessoais. Em razão da natureza geral dessa informação, muitas instituições utilizam o mesmo questionário para todas as atividades de formação continuada que realizam. Alguns educadores referem-se a essas medidas das reações dos participantes como “coeficiente de felicidade”, insistindo que elas revelam apenas o valor de entretenimento de uma atividade, não sua qualidade ou valor. No entanto, medir a satisfação inicial dos participantes com a experiência pode ajudar a melhorar o desenho e a implementação de programas ou atividades de formas válidas.

Nível 2: aprendizagem dos participantes

Além de gostar da experiência de formação continuada, espera-se também que os participantes aprendam algo com ela. O Nível 2 concentra-se em medir os conhecimentos e as habilidades que os participantes adquiriram. Dependendo dos objetivos do programa ou atividade, isso pode envolver diversas práticas - desde uma avaliação escrita (os participantes podem descrever os atributos fundamentais da aprendizagem e exemplificar como eles podem ser aplicados em situações típicas de sala de aula?) até uma simulação ou demonstração de habilidades em escala real (ao serem apresentados a uma variedade de conflitos em sala de aula, os participantes são capazes de diagnosticar cada situação e, em seguida, propor e implementar uma solução justa e viável?). Também é possível realizar reflexões pessoais orais ou portfólios que os participantes reúnam para documentar a aprendizagem.

Embora normalmente seja possível reunir informações para a avaliação de Nível 2 na conclusão de uma atividade de formação continuada, é necessário mais do que um questionário padronizado. As medidas devem demonstrar o alcance de objetivos específicos de aprendizagem. Isso significa que os indicadores relativos a uma aprendizagem bem-sucedida precisam ser definidos antes do início das atividades. Essas informações podem ser utilizadas como base para melhorar o conteúdo, o formato e a organização do programa ou das atividades.

Nível 3: Apoio e mudança institucionais

No Nível 3, o foco muda para a instituição. A falta de apoio institucional e a ocorrência de mudanças pode sabotar qualquer esforço de formação continuada, mesmo quando todos os aspectos individuais da formação continuada são providenciados corretamente.

Como exemplo, consideremos vários educadores do ensino médio que participam de um programa de formação continuada em aprendizagem cooperativa. Eles adquirem um conhecimento profundo da teoria e desenvolvem uma variedade de aulas e atividades baseadas em princípios de aprendizagem cooperativa. Depois da formação, tentam implementar essas atividades em escolas onde as notas dos alunos estão dentro de uma curva considerada normal, distribuídas em torno de uma média - de forma comparativa, de acordo com sua posição relativa entre os colegas de turma - e é dada grande importância à escolha de quem será o orador da turma na formatura. Políticas e práticas institucionais como essas tornam a aprendizagem altamente competitiva e impedem os esforços mais corajosos para que os estudantes cooperem e se ajudem mutuamente no aprendizado (Guskey, 2000b).

A falta de resultados positivos nesse exemplo não reflete uma formação deficiente ou uma aprendizagem inadequada, mas, sim, políticas institucionais que minam os esforços de implementação. Problemas no Nível 3 anulam essencialmente os ganhos obtidos nos níveis 1 e 2 (Sparks & Hirsh, 1997). É por isso que as avaliações da formação continuada devem incluir informações sobre apoio e mudança institucionais.

No Nível 3 é preciso concentrar-se em questões a respeito das características e atributos da instituição que são necessários para o sucesso. As iniciativas de formação continuada promoveram mudanças que estavam alinhadas com a missão da escola e da rede? As mudanças individuais foram encorajadas e apoiadas em todos os níveis? Foram disponibilizados recursos suficientes, incluindo tempo para partilha e reflexão? Os sucessos foram reconhecidos e partilhados? Questões como essas podem desempenhar um papel fundamental na determinação do sucesso de qualquer esforço de formação continuada.

A coleta de informação do Nível 3 é geralmente mais complicada do que nos níveis anteriores. Os procedimentos são diferentes em função dos objetivos do programa ou atividade. Além disso, podem envolver a análise de registros das redes ou escolas, o exame das atas das reuniões de acompanhamento, a aplicação de questionários e a entrevista de participantes e gestores escolares. É possível utilizar essas informações não só para documentar e melhorar o apoio institucional, mas também para subsidiar futuras iniciativas de mudança.

Nível 4: utilização de novos conhecimentos e habilidades pelos participantes

No Nível 4 é feita a seguinte pergunta: Os novos conhecimentos e habilidades adquiridos pelos participantes fazem diferença em sua prática profissional? O segredo para a coleta de informação relevante para esse nível reside na especificação de indicadores precisos tanto do grau como da qualidade da implementação.

Ao contrário dos níveis 1 e 2, essa informação não pode ser coletada ao final de um encontro de formação continuada. É preciso dar tempo suficiente para que os participantes adaptem as novas ideias e práticas em seu ambiente. Como a implementação é frequentemente um processo gradual e desigual, pode também ser necessário medir o progresso em vários momentos diferentes.

É possível coletar as informações por meio de questionários ou entrevistas estruturadas com os participantes e seus supervisores, de reflexões pessoais orais ou escritas, além de portfólios dos participantes. No entanto, a informação mais precisa provém tipicamente de observações diretas, com observadores formados ou pela análise de gravações de vídeo ou áudio. Essas observações, contudo, devem ser mantidas tão discretas quanto possível (Hall & Hord, 1987).

Essas informações podem ser analisadas para ajudar a reestruturar futuros programas e atividades, de modo a facilitar uma implementação melhor e mais consistente.

Nível 5: resultados de aprendizagem dos estudantes

O Nível 5 aborda “a conclusão”: Como a atividade de formação continuada docente afetou os estudantes? Beneficiou-os de alguma forma? Os resultados específicos da aprendizagem dos estudantes dependem, evidentemente, dos objetivos desse esforço específico de formação continuada docente. Além dos objetivos declarados, a atividade pode ter resultados não intencionais relevantes.

Por essa razão, as avaliações devem sempre incluir múltiplas medidas de aprendizagem dos estudantes (Joyce, 1993). Consideremos, por exemplo, educadores dos anos iniciais do ensino fundamental que participam de grupos de estudo dedicados a encontrar formas de melhorar a qualidade da escrita discente e a conceber uma série de estratégias que eles acreditam que irão funcionar para seus alunos. Ao reunir informações para o Nível 5, verificam que as notas de seus estudantes em avaliações da capacidade escrita ao longo do ano letivo aumentaram significativamente em comparação com as de alunos cujos professores não utilizaram as mesmas estratégias de ensino.

No entanto, em uma análise mais aprofundada, descobrem que as notas dos mesmos alunos em matemática diminuíram em comparação com as dos outros alunos. Esse resultado não intencional aparentemente ocorreu porque os professores sacrificaram inadvertidamente o tempo de ensino em matemática para proporcionar mais tempo para a escrita. Se a informação no Nível 5 se restringisse apenas à nota da avaliação de escrita dos estudantes, esse importante resultado involuntário poderia ter passado despercebido.

As medidas de aprendizagem dos estudantes tipicamente incluem indicadores cognitivos de desempenho e aproveitamento, como avaliações de aprendizagem, notas e resultados em testes padronizados. Além disso, pode haver a intenção de medir resultados afetivos (atitudes e disposições) e psicomotores (habilidades e comportamentos). Os exemplos incluem os autoconceitos dos estudantes, hábitos de estudo, frequência escolar, taxas de conclusão das tarefas de casa e comportamento na sala de aula.

Também é possível considerar indicadores do nível da escola, como matrículas em turmas avançadas, participação em atividades relacionadas com a escola, ações disciplinares e taxas de reprovação ou abandono. Os registros das escolas e dos estudantes fornecem a maioria dessas informações. Pode-se também incluir resultados de questionários e de entrevistas estruturadas com estudantes, pais, professores e gestores.

As informações do Nível 5 sobre o impacto global de um programa podem orientar melhorias em todos os aspectos da formação continuada, incluindo o desenho, a implementação e o acompanhamento do programa. Em alguns casos, a informação a respeito dos resultados da aprendizagem dos estudantes é utilizada para estimar a relação custo-benefício da formação continuada, por vezes referida como “retorno sobre o investimento” ou “avaliação do ROI (return on investment)” (Parry, 1996; Todnem & Warner, 1993).

PROCURAR EVIDÊNCIAS, NÃO PROVAS

Usando esses cinco níveis de informações em avaliações da formação continuada, é possível dizer que estamos prontos para “provar” que as iniciativas de formação continuada fazem diferença? Podemos agora demonstrar que determinado programa de formação continuada, e nada mais, é o único responsável pelo aumento de 10% no desempenho dos alunos ou pela redução de 50% nos problemas de comportamento?

Claro que não. Quase todos os programas de formação continuada acontecem em contextos reais. A relação entre a formação continuada e as melhorias na aprendizagem dos estudantes nesses cenários do mundo real é demasiadamente complexa e inclui muitas variáveis intervenientes para permitir simples inferências causais (Guskey, 1997; Guskey & Sparks, 1996).

Além disso, a maioria das escolas está envolvida em iniciativas de reforma sistêmica que envolvem a implementação simultânea de múltiplas inovações (Fullan, 1992). Isolar os efeitos de um único programa ou atividade sob tais condições é, na maioria das vezes, impossível.

Na ausência de provas, é possível coletar boas evidências sobre a contribuição de um programa de formação continuada docente para ganhos específicos de aprendizagem dos estudantes. Gestores, membros de conselhos e pais pedem evidências sobre esse impacto. Acima de tudo, deve-se sempre lembrar de recolher evidências e medidas que sejam relevantes para os interessados no processo de avaliação.

Como exemplo, considere-se a utilização de episódios e relatos. Do ponto de vista metodológico, trata-se de uma fonte de dados fraca. Eles são tipicamente muito subjetivos e podem ser inconsistentes e pouco confiáveis. No entanto, como qualquer advogado de acusação pode confirmar, eles oferecem o tipo de evidência personalizada que a maioria das pessoas acredita, e não devem ser ignorados como uma fonte de informação. Evidentemente, episódios e relatos individuais nunca devem formar a base de uma avaliação completa. A criação de grupos de comparação e a utilização de medidas adequadas prévias e posteriores à iniciativa fornecem informações valiosas. As séries cronológicas que incluem múltiplas medidas recolhidas antes e depois da implementação são outra alternativa útil.

Também é importante ter em mente que não é difícil encontrar boas evidências se, de antemão, se souber o que está sendo procurado. Muitos educadores consideram difícil, cara e demorada a avaliação nos níveis 4 e 5, porque chegam após o fato e procuram resultados (Gordon, 1991). Se não soubermos para onde vamos, será muito difícil saber aonde chegaremos. No entanto, se os objetivos estiverem nitidamente definidos no início, a maior parte dos problemas com a avaliação estará resolvida.

TRABALHAR DE MANEIRA REVERSA POR MEIO DOS CINCO NÍVEIS

Três implicações importantes decorrem desse modelo de avaliação da formação continuada docente. Em primeiro lugar, cada um dos cinco níveis é importante. A informação recolhida a cada nível fornece dados vitais para melhorar a qualidade das iniciativas de formação continuada.

Em segundo lugar, a análise da eficácia em um nível não diz nada sobre o impacto do nível seguinte. Embora o sucesso em um nível inicial possa ser necessário para resultados positivos no nível subsequente, é nitidamente insuficiente. Os equívocos podem ocorrer em qualquer momento do percurso. É importante estar ciente das dificuldades envolvidas na passagem de experiências de formação conti- nuada docente.

A terceira implicação, e talvez a mais importante, é esta: no planejamento da formação continuada para melhorar a aprendizagem dos estudantes, a ordem dos níveis deve ser invertida. Deve-se planejar “de maneira reversa” (Guskey, 2001), começando por onde se quer chegar, trabalhando para atingir os objetivos.

No planejamento reverso, deve-se considerar primeiro os resultados de aprendizagem que se pretende que os estudantes alcancem (Nível 5). Por exemplo, a intenção é que os estudantes melhorem a compreensão leitora, aprimorem a capacidade de resolução de problemas, desenvolvam a confiança em situações de aprendizagem ou melhorem a sua colaboração com colegas de turma?

A análise crítica de dados relevantes da avaliação da aprendizagem dos alunos, os exemplos de seus trabalhos e os registros escolares são especialmente úteis na identificação desses objetivos de aprendizagem.

A partir daí deve-se determinar, com base nas evidências de pesquisas pertinentes, quais políticas e práticas de ensino serão mais capazes de produzir esses resultados de forma eficaz e eficiente (Nível 4). É preciso questionar: Quais evidências comprovam que essas práticas e políticas específicas levarão aos resultados desejados? Quão boas ou confiáveis são essas evidências? Foram recolhidas num contexto semelhante ao nosso? Deve-se ter cuidado com as inovações populares que são mais baseadas na opinião do que na investigação, promovidas por pessoas mais preocupadas com “o que vende” do que com “o que funciona”. É preciso ter cautela antes de se lançar em qualquer ideia na educação, certificando-se sempre de que evidências fidedignas validam qualquer abordagem escolhida.

Em seguida, deve-se considerar os aspectos do apoio institucional que precisam ser implementados para que essas práticas e políticas sejam implementadas (Nível 3). Por vezes, como mencionado anteriormente, os aspectos da instituição realmente colocam barreiras à implementação. As políticas de “não tolerância” relativas à disciplina e à classificação dos estudantes, por exemplo, podem limitar as opções dos professores para lidar com os problemas comportamentais ou de aprendizagem. Grande parte do planejamento envolve a garantia de que os elementos da instituição estão a postos para apoiar as práticas e políticas desejadas.

Depois, deve-se decidir quais os conhecimentos e habilidades que os profissionais participantes devem ter para implementar as práticas e políticas definidas (Nível 2). O que devem saber e ser capazes de fazer para adaptar com êxito a inovação à si- tuação específica que vivenciam e provocar a mudança desejada?

Por fim, deve-se considerar que conjunto de experiências permitirá aos participantes adquirir os conhecimentos e as habilidades necessárias (Nível 1). Oficinas e seminários, especialmente quando associados a planejamento colaborativo e a oportunidades estruturadas de prática com devolutivas, projetos de pesquisa-ação, grupos de estudo organizados e uma vasta gama de outras atividades - todos podem ser eficazes, dependendo do objetivo específico da formação continuada.

O motivo pelo qual esse processo de planejamento reverso é tão importante é porque as decisões tomadas em cada nível afetam profundamente as do nível seguinte. Por exemplo, os resultados particulares da aprendizagem que se pretende que os estudantes alcancem influenciam os tipos de práticas e políticas que são implementadas. Do mesmo modo, as práticas e políticas que se pretende implementar influenciam os tipos de apoio ou mudança necessários.

A natureza específica do contexto desse trabalho complica ainda mais as questões. Mesmo que concordemos sobre os resultados de aprendizagem que queremos que os estudantes alcancem, o que funciona melhor num contexto, com uma comunidade particular de educadores e um grupo particular de estudantes, pode não funcionar tão bem em outro contexto, com diferentes educadores e estudantes. Isso é o que se faz com que seja tão difícil desenvolver exemplos de “melhores práticas” que sejam verdadeiramente universais na formação continuada. O que funciona sempre depende de onde, quando e com quem.

Infelizmente, formadores profissionais podem cair na mesma armadilha de planejamento que os professores às vezes caem: fazem planos sobre o que vão fazer, em vez de fazer planos sobre o que querem que seus alunos saibam e sejam capazes de fazer. Os formadores planejam frequentemente em termos do que vão fazer (oficinas, seminários, palestras) ou de como vão fazer (grupos de estudo, pesquisa-ação, coaching por pares). Isso diminui a eficácia de seus esforços e torna a avaliação muito mais difícil.

Em vez disso, devem começar a planejar a formação continuada definindo o que querem alcançar em termos da aprendizagem dos alunos, trabalhando a partir daí reversamente. O planejamento será muito mais eficiente e os resultados serão muito mais fáceis de avaliar.

TORNAR A AVALIAÇÃO CENTRAL

Em nome da formação continuada, uma série de boas iniciativas é realizada, mas há também muita coisa de baixa qualidade. Os educadores ainda não forneceram evidências para documentar a diferença entre esses dois tipos de iniciativa. A avaliação oferece o caminho para fazer essa distinção. Ao incluir a coleta e análise sistemática de informação como componente central de todas as atividades de formação continuada docente, podemos aumentar o sucesso dos esforços de formação continuada em toda parte.

REFERÊNCIAS

Fullan, M. G. (1992). Visions that blind. Educational Leadership, 49(5), 19-20. [ Links ]

Gordon, J. (1991). Measuring the “goodness” of training. Training, 28(8), 19-25. [ Links ]

Guskey, T. R. (1997). Research needs to link professional development and student learning. Journal of Staff Development, 18(2), 36-40. [ Links ]

Guskey, T. R. (2000a). Evaluating professional development. Corwin. [ Links ]

Guskey, T. R. (2000b). Grading policies that work against standards and how to fix them. NASSP Bulletin, 84(620), 20-29. [ Links ]

Guskey, T. R. (2001). The backward approach. Journal of Staff Development, 22(3), 60. [ Links ]

Guskey, T. R., & Sparks, D. (1996). Exploring the relationship between staff development and improvements in student learning. Journal of Staff Development, 17(4), 34-38. [ Links ]

Hall, G. E., & Hord, S. M. (1987). Change in schools: Facilitating the process. Suny Press. [ Links ]

Joint Committee on Standards for Educational Evaluation. (1994). The program evaluation standards (2nd ed.). Sage. [ Links ]

Joyce, B. (1993). The link is there, but where do we go from here? Journal of Staff Development, 14(3), 10-12. [ Links ]

Parry, S. B. (1996). Measuring training’s ROI. Training & Development, 50(5), 72-75. [ Links ]

Sparks, D. (1996, February). Viewing reform from a systems perspective. The Developer, 2, 6. [ Links ]

Sparks, D., & Hirsh, S. (1997). A new vision for staff development. ASCD. [ Links ]

Todnem, G., & Warner, M. P. (1993). Using ROI to assess staff development efforts. Journal of Staff Development, 14(3), 32-34. [ Links ]

* Este artigo é uma tradução de: Guskey, T. R. (2002). Does it make a difference? Evaluating professional development. Educational Leadership, 59(6). No texto, o autor se refere a instâncias, atores e situações encontradas no contexto educacional dos Estados Unidos, onde atua.

Tradução: CARLA RENATA DE SOUZA TEIXEIRA BORGESII https://orcid.org/0000-0002-8570-0377

Revisão técnica: GABRIELA MIRANDA MORICONIIIIhttps://orcid.org/0000-0001-7739-3787

II

Pontifícia Universidade Católica de São Paulo (PUC-SP), São Paulo-SP, Brasil; caca.borges@outlook.com.br

III

Fundação Carlos Chagas (FCC), São Paulo-SP, Brasil; gmoriconi@fcc.org.br

SOBRE O AUTOR:

Thomas R. Guskey atuou como professor no ensino fundamental nos Estados Unidos e é especialista em avaliação e aprendizagem profissional. Atualmente é professor de avaliação e estudos em políticas educacionais na Faculdade de Educação da Universidade de Kentucky, Estados Unidos, e autor do livro Evaluating professional development (publicado pela Corwin Press, em 2000), cujo objeto é a proposta deste artigo.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons