Introdução

Em alguns países, observações em sala de aula, pautadas em instrumentos protocolados para este fim, têm sido uma estratégia amplamente utilizada com o objetivo de obter informações sobre as oportunidades de aprendizagem às quais os alunos estão sendo submetidos por seus professores (^{CHEN; HENDRICKS; ARCHIBALD, 2011}; ^{FREDMAN, 2004}; ^{HAKEL; KOENIG; ELLIOTT, 2008}; ^{HILL et al., 2008}; ^{LORSON, 2010}; ^{MUIJS; REYNOLDS, 2003}; ^{PIANTA; HAMRE; MINTZ, 2012}; ^{SAWADA et al., 2002}; ^{STECHER et al., 2007}). Em complemento, tais instrumentos também são úteis para fornecer feedback formativo para os professores, podendo promover melhorias na prática docente (^{BOSTON; CANDELA, 2018}; ^{COHEN et al., 2016}).

Nesse sentido, o Protocolo de Observação de Aula (POA) foi criado com o intuito de estimar a qualidade de aulas esportivas e/ou pautadas no ensino da cultura corporal como um todo, podendo ser usado por pesquisadores, professores e demais profissionais da área de educação, desde que previamente treinados. As observações com base no POA podem ser realizadas a partir de vídeos, ou in loco, e possibilitam a análise de aspectos relacionados à interação entre professor e aluno, professor e materiais e/ou professor e conteúdo (^{SOARES et al., 2017}).

O POA foi criado a partir de uma demanda do Programa Segundo Tempo (PST), um programa social, durante o contraturno escolar, que visa a democratização das práticas corporais por meio do atendimento de crianças e jovens em situações de vulnerabilidade social. Foi implementado em 2003, a partir de uma iniciativa do Ministério dos Esportes e, após 6 anos de existência, já havia atendido cerca de 1.300 municípios em todas as regiões do país, alcançando mais de 3 milhões de beneficiários (^{FILGUEIRA; PERIM; OLIVEIRA, 2009}).

Considerando a grande abrangência do PST, bem como os recursos humanos e financeiros despendidos para sua implementação, é importante que, como qualquer programa social, este disponha de meios para verificar a qualidade do serviço ofertado. Dessa forma, o POA nasceu com o intuito de quantificar o nível de adesão das aulas dos professores do PST às diretrizes do programa, ou seja, verificar o quanto eles conseguem colocar em prática seus preceitos teóricos, tais como inclusão, maximização das experiências de aprendizagem, desafios, satisfação dos alunos com a aula etc. Com base nisso, as equipes colaboradoras do PST, pessoas responsáveis em realizar visitas às escolas e dar feedbacks aos professores, poderiam utilizar o POA em suas avaliações in loco para que, a partir das diagnoses obtidas, pudessem criar mecanismos a fim de manter e/ou aprimorar o que estava sendo materializado nas aulas (^{SOARES et al., 2017}).

Em complemento, considerando que o POA possui itens que contemplam aspectos que essencialmente devem estar presentes em uma aula sob os moldes do PST, ou voltado para o ensino da cultura corporal como um todo, é possível que seja utilizado como um guia educativo para servir de referência à formação, ao planejamento e ao melhoramento de aulas pautadas no ensino esportivo, bem como da própria Educação Física (EF) escolar.

Uma aula de qualidade pensada sob os moldes do PST vai ao encontro das atuais perspectivas pedagógicas da EF, tendo em vista que esta última também prega a não reprodução do esporte institucionalizado nas aulas, em que o objetivo central acaba se pautando no refinamento de técnicas ou fundamentos esportivos (^{ROTTMANN; RATTO, 2018}). Portanto, a EF, assim como o PST, vem trabalhando para a democratização da prática esportiva, adotando estratégias que não classifiquem os alunos de acordo com seus méritos esportivos ou performáticos. Busca-se, portanto, incorporar práticas pedagógicas pautadas em estímulos afetivos, sociais, cognitivos e físicos, a fim de formar alunos que, além de estarem envolvidos com as atividades esportivas, sejam mais conscientes de seus papéis e responsabilidades na sociedade e na valorização do outro (^{DARIDO; OLIVEIRA, 2008}; ROTTMANN; RATTO, 2018).

Sobre o ensino dos Jogos Esportivos Coletivos (JEC’s), abordagens em que os fundamentos, gestos técnicos, táticas e ações físico-motoras são abordados em separado, dissociando drasticamente o saber fazer das razões para o fazer (^{SILVA, 1998}), são interpretadas, a partir do POA, como inadequadas. Essa forma descontextualizada do ensino parte do pressuposto de que, ao aprender os conteúdos separadamente, a criança irá aplicar as supostas aprendizagens de forma conjunta durante o jogo propriamente dito (^{SCAGLIA et al., 2013}; SILVA, 1998). Contudo, o jogo é um sistema complexo que se constitui do arranjo dialógico entre ordem, desordem e organização, cujas características não podem ser reduzidas a partes isoladas (^{LEONARDO; SCAGLIA; REVERDITO, 2009}; REVERDITO; SCAGLIA, ²⁰⁰⁷). Dessa forma, ao ensinar um JEC, o professor não deve resumir-se ao ensino de gestos técnicos estereotipados. Além disso, os JEC’s apresentam características semelhantes, no que diz respeito à sua referência estrutural (bola/implemento, alvo, zona de risco) e às suas referências funcionais (princípios operacionais e regras de ação), sendo necessário que os métodos adotados viabilizem o ensino do esporte a partir da lógica implícita no jogo (SCAGLIA et al., 2013).

Nesse sentido, a metodologia que o PST adota para o ensino do esporte é inspirada no modelo Teaching Grames for Undertanding (TGFU), que defende o ensino a partir de jogos modificados, ou seja, com graus de complexidade reduzidos, e que partam da consciência tática (^{KIRK; MACPHAIL, 2002}; ^{LIGHT; CURRY; MOONEY, 2014}). Esse modelo prioriza a compreensão da lógica do jogo a fim de, posteriormente, desenvolver a técnica como ferramenta para processar as soluções motoras (^{GRAÇA; MESQUITA, 2007}; ^{GRECO; SILVA; SANTOS, 2009}; ^{MCBRIDE, 1991}).

Ainda sobre a tecnologia educacional do PST, um dos aspectos imprescindíveis que devem estar presentes em suas aulas é a inclusão, entendida não apenas sob a perspectiva das deficiências físicas, mas também como outras diferenças individuais que podem proporcionar a exclusão (^{GOELLNER, 2009}; ^{MARQUES; CIDADE; LOPES, 2009}). Dentre essas diferenças estão as de gênero, raça/etnia, geração, sexualidade, níveis de habilidades, entre outras. Sob tal perspectiva, é importante avaliar a capacidade do professor em incluir todos em todas as atividades, partindo do princípio de que incluir é proporcionar a mesma qualidade de execução da tarefa tanto para os mais, quanto para os menos habilidosos (GOELLNER, 2009; MARQUES; CIDADE; LOPES, 2009).

O POA procura contemplar todas essas nuances e, em estudo anterior, passou por fases que compõem o processo de construção de qualquer instrumento, que dizem respeito à elaboração dos itens, análise da validade de conteúdo e à pré-testagem (^{REICHENHEIM; MORAES, 2007}; ^{SOARES et al., 2017}; ^{STREINER, 2003}). Nessa pré-testagem, os valores de concordância entre os membros da Equipe Pedagógica (EP) do PST sobre os itens do POA foram satisfatórios e, em seguida, o próximo passo necessário diz respeito à análise em maior escala das medidas que o instrumento oferece (REICHENHEIM; MORAES, 2007; STREINER, 2003).

A análise das medidas de um instrumento referem-se aos procedimentos que visam estabelecer a validade e a confiabilidade dos resultados obtidos através dele, a fim de verificar a taxa de erro presente na medida e a variação sistemática entre diferentes indivíduos - confiabilidade; assim como o grau de confiança que poderemos atribuir às inferências que serão realizadas - validade (^{PASQUALI, 2003}; ^{STREINER; NORMAN, 2015}). Nesse sentido, o objetivo do presente estudo foi testar a validade de critério (validade concorrente) e confiabilidade (consistência interna, reprodutibilidade intra e interobservador) das medidas obtidas pelo POA.

Método

Desenho do Estudo

O processo para estabelecer a validade concorrente entre os observadores e o gabarito, bem como a confiabilidade intra e interobservadores para as duas videoaulas, encontram-se descritos na Figura 1.

Desse modo, para a validade concorrente foram comparadas as avaliações dos observadores com as do gabarito para as duas videoaulas. Para a confiabilidade intraobservador, foram comparadas as avaliações dos mesmos observadores para a mesma videoaula em momentos diferentes. Por fim, para a confiabilidade interobservador, foram analisados os dados de todos os observadores para as duas videoaulas¹.

Observadores

Os observadores foram recrutados por meio de uma divulgação nas redes sociais que se referia a uma capacitação online para professores de EF. Essa divulgação foi realizada nas redes sociais dos pesquisadores envolvidos e nas do PST. Inscreveram-se na capacitação graduandos, graduados e pós-graduados. Foram excluídos os participantes que não avaliaram nenhuma videoaula ou que apresentaram dados faltosos nas suas avaliações.

Procedimentos

Capacitação: Para utilizar o POA, é indispensável que os observadores passem por uma capacitação. A estrutura da capacitação online do POA teve uma carga horária total de 5h e está detalhada na Figura 2.

Protocolo de Observação de Aula (POA): O POA possui 22 itens distribuídos entre cinco famílias: Indicadores de Planejamento, Indicadores de Conteúdo, Indicadores de Procedimentos Metodológicos, Indicadores de Avaliação e Adesão/inclusão dos alunos (Anexo 1). Esses itens, quando agrupados, geram o escore de Qualidade Geral da Aula (QGA), que reflete o grau de aderência da aula aos preceitos teóricos do PST. A QGA pode ser classificada como: adequada (≥ 70%), parcialmente adequada (≥ 50% e < 75%) ou inadequada (< 50%).

Videoaulas: As videoaulas que compõem a capacitação foram filmadas por uma única filmadora apoiada a um tripé. Ambos foram posicionados de modo que todo o espaço utilizado na aula pudesse ser visualizado. A voz do professor foi captada por um microfone do tipo lapela e os vídeos produzidos foram editados no Adobe Premier Pro CC 2015.

Videoaula 1: Foi filmada em um núcleo do PST vinculado ao Convênio Recife/Pernambuco. O espaço físico utilizado foi uma quadra ampla e coberta. O tema da aula foi o Handebol e o nível de adesão da aula aos pressupostos teóricos do PST, de acordo com o gabarito, foi de 61,4%. Esse valor classifica uma aula como parcialmente adequada.

Videoaula 2: Também foi filmada em um núcleo do PST vinculado ao Convênio Recife/Pernambuco. O espaço físico foi um ambiente pequeno e não coberto situado na frente e na lateral da escola. O tema da aula foi o Voleibol e o nível de adesão da aula aos pressupostos teóricos do PST, de acordo com o gabarito, foi de 67,0%. Esse valor classifica uma aula como parcialmente adequada.

Gabarito: O gabarito foi gerado a partir da avaliação individual das videoaulas por dois membros da Equipe de Avaliação Pedagógica do PST², que, após reunião de consenso, acordaram sobre as classificações realizadas, gerando um valor único para cada item referente à aula avaliada.

Avaliação das videoaulas: Foram avaliadas individualmente pelos participantes durante a capacitação online. Cada videoaula foi avaliada duas vezes e em momentos diferentes, através de uma versão digital do POA que ficou disponível em um link gerado pelo Survey Monkey, criado especificamente para esse fim.

Análise Estatística

As características dos sujeitos foram apresentadas pela estatística descritiva. Para a normalidade dos dados, foi adotado o teste Shapiro-Wilk. A confiabilidade intra e interobservador foi analisada adotando o Coeficiente de Correlação Intraclasse (CCI), modelo aleatório de duas vias, com medidas médias para concordância absoluta [CCI (2, k)], a partir das medidas para cada item do POA e dos escores gerados. Os valores de CCI foram interpretados da seguinte maneira: valores ≤ 0,50 (baixa reprodutibilidade), > 0,50 até 0,75 (moderada reprodutibilidade), > 0,75 até 0,90 (alta reprodutibilidade) e valores > 0,90 (excelente reprodutibilidade) (^{KOO; LI, 2016}). Em complemento, para analisar a consistência interna, foi calculado o Alpha de Cronbach para cada família, bem como para todos os itens juntos. Para a validade concorrente, foi calculado o Índice de Concordância entre os valores obtidos em cada item pelos participantes e pelo gabarito.

Além disso, para comparar os escores gerados pelos participantes e pelo gabarito, foi realizado o teste não paramétrico de Wilcoxon, tendo em vista que, no teste Shapiro-Wilk, os dados não apresentaram distribuição normal. Em complemento, foi feita a análise por inspeção visual do gráfico de Bland-Altman, ainda com os valores dos escores. Todas as análises foram realizadas no IBM SPSS, versão 23.0, e as figuras foram feitas pelo Graph Pad Prism, versão 5.01. O nível de significância adotado foi de p < 0,05.

Resultados

Participaram do estudo professores de vários estados do Brasil, cujo tempo de experiência, nível de formação acadêmica e outras informações encontram-se detalhados na Tabela 1.

Inscreveram-se na capacitação 122 pessoas. Destas, 119 iniciaram a capacitação (avaliação da videoaula 1) e apenas 50 finalizaram todas as etapas (avaliação da videoaula 1 e 2, em dois momentos diferentes), ou seja, o equivalente a 41% dos inscritos.

Os valores de Alfa de Cronbach para cada família foi: 1. Indicadores de Planejamento - 0,76; 2. Indicadores de Conteúdo - 0,86; 3. Indicadores de Procedimentos Metodológicos - 0,84; 4. Indicadores de Avaliação - 0,82; e 5. Indicadores de Adesão/Inclusão dos alunos - 0,73. Considerando todos os itens do POA juntos, o Alfa de Cronbach foi 0,94. Os valores obtidos na análise da reprodutibilidade interobservadores (Tabela 2) apresentaram valores de CCI classificados como alto (videoaula 1 - observação 1 e 2 e videoaula 2, observação 2) e como excelente (videoaula 2, obsrvação 2).

A Tabela 3 apresenta os valores de reprodutibilidade intraobservadores que foram calculados a partir dos valores que os observadores atribuíram para cada item. Nesta tabela, percebe-se que, dos 22 itens que compõem o instrumento, 11 apresentaram valores de p significativos para ambas as videoaulas e a maioria desses itens demonstrou CCI classificado entre moderada e alta reprodutibilidade. Quanto aos demais itens, apenas três demonstraram valores insignificantes nas duas videoaulas (2. Encadeamento coerente das atividades e 14. Ensino do jogo). Os oito itens restantes só apresentaram valores satisfatórios em uma das videoaulas.

Na Tabela 4, podemos observar que os escores de todas as famílias apresentaram valores de CCI classificados entre moderados e altos. Desse modo, parece que as discordâncias presentes em alguns itens não influenciaram significativamente os escores gerais das famílias.

Em contrapartida, quando comparamos as avaliações dos observadores com a do gabarito para uma das aulas, os resultados mostram-se divergentes, tendo em vista que, apenas em cinco itens, mais da metade dos observadores concordaram com o gabarito (Tabela 5). Além do Índice de Concordância, também foi realizado o teste de Wilcoxon para verificar o quanto os observadores responderam semelhante ao gabarito, porém, os valores obtidos não apresentaram nenhuma semelhança significativa entre um e outro.

Para avaliar a validade concorrente dos escores de cada família com o gabarito, também foi feita a análise por inspeção visual do gráfico de Bland-Altman, explicitada na Figura 3.

Nesta representação visual, podemos perceber que, nos Indicadores de Planejamento, Conteúdo e Adesão/Inclusão dos alunos, parte dos observadores tenderam a superestimar as ações do professor representado na videoaula, classificando-as mais positivamente do que o gabarito. O inverso ocorreu com os Indicadores de Procedimentos Metodológicos e Avaliação. Por fim, no escore de Qualidade Global da Aula, ainda percebe-se a tendência em superestimar as ações do professor.

Discussão

O presente estudo se propôs a dar continuidade ao processo de validação das medidas do POA, compreendendo a validade de critério (observações dos participantes versus gabarito), consistência interna (grau de correlação entre os itens do instrumento), reprodutibilidade intraobservador (observação da mesma aula em momentos diferentes) e interobservador (observações de diferentes participantes sobre a mesma aula), a fim de garantir que o instrumento seja capaz de gerar resultados válidos durante futuras avaliações de aulas esportivas.

No que diz respeito à correlação entre os observadores para uma mesma videoaula, tanto neste estudo quanto no anterior, os valores de concordância foram significantes na maioria dos itens (^{SOARES et al., 2017}). Dentre os estudos que utilizaram o Alfa de Cronbach para calcular a consistência interna de instrumentos de observação de aula de diversas disciplinas, o POA apresentou valores superiores ou semelhantes a esses, que tenderam a ficar entre 0,54 e 0,92. (^{CHEN; HENDRICKS; ARCHIBALD, 2011}; ^{HILL et al., 2008}; ^{PIANTA; HAMRE; MINTZ, 2012}; ^{RESNICK; MATSUMURA, 2006}). Sendo assim, o POA demonstrou boa consistência interna.

Em relação às medidas intraobservador, os estudos que as realizaram o fizeram dentro de um intervalo de tempo bem maior, tendo como referência as estações do ano, além de utilizarem estatísticas diferentes, dificultando uma análise comparativa entre este e os demais estudos (^{HOFFMAN et al., 2004}; ^{PIANTA; HAMRE; MINTZ, 2012}). Em complemento, a validade de critério em outros estudos foi tida como a tentativa de associar empiricamente os escores do novo instrumento com os já existentes, o que seria inviável com o POA, tendo em vista sua exclusividade. Ainda houve estudos que citaram um valor de critério para avaliação da aula, porém não foi explicitado como chegaram a este valor de critério nem descreveram a estatística utilizada para correlacionar com as respostas dos observadores (HOFFMAN et al., 2004; ^{STECHER et al., 2007}).

No presente estudo, percebeu-se que os resultados do CCI demonstraram que os observadores concordaram entre si tanto nas avaliações de ambas as videoaulas, como nas duas observações da mesma aula em momentos diferentes. Desse modo, o POA parece despertar interpretação semelhante entre diferentes observadores e em momentos distintos. Ainda assim, ao mesmo tempo em que os observadores concordaram entre si, eles se distanciaram dos valores de critério. Investigações já demonstraram que, mesmo após formações extensivas, diferenças importantes na forma como os observadores interpretam distintas situações ainda podem existir (KELCEY, 2013). Além disso, a experiência dos observadores é um fator que demonstra diferença significativa nos valores obtidos, tendo em vista que observadores experientes tendem a se aproximar mais das medidas de critério, aplicando as instruções dadas na capacitação com maior facilidade e confiança (^{ECKES, 2006}).

Infelizmente, não nos atentamos a questionar os participantes sobre suas experiências prévias em observações protocoladas de aula, contudo, é provável que a maioria deles seja inexperiente, tendo em vista que essa não é uma habilidade comumente demandada no processo formativo de professores. Sendo assim, é provável que a possível inexperiência dos participantes tenha contribuído com parcela das discordâncias encontradas entre as observações e o gabarito.

Além disso, os observadores que participaram do estudo não foram o público-alvo inicial, ou seja, as Equipes Colaboradoras do PST, que são os responsáveis em realizar as avaliações in loco das aulas do programa. Sobre essas equipes, é provável que elas tenham um olhar mais acurado nas observações, tendo em vista sua intimidade com as diretrizes do PST, bem como sua experiência com outros modelos avaliativos que já foram adotados anteriormente. Neste estudo, optamos por testar o POA com um público mais variado, a fim de expandir o uso desses instrumentos para os demais campos educacionais que lidam com a educação esportiva, não o restringindo apenas ao uso do PST.

É importante considerar que o processo de validação não diz respeito apenas à integridade do instrumento, mas também a todo modelo de condução para sua aplicação, bem como ao perfil dos envolvidos nesse processo (^{STREINER; NORMAN, 2015}). Desse modo, além dos dados obtidos pelo instrumento, estamos avaliando tanto os participantes do estudo, quanto o modelo de capacitação que foi adotado. Portanto, os resultados obtidos dizem respeito ao sucesso ou insucesso de todo esse processo, e não apenas do POA.

A capacitação foi montada em plataforma online e os observadores eram levados a assistir vídeos de aulas de EF. Essas videoaulas tinham de 40 a 45 minutos de duração e era solicitado que fossem assistidas novamente entre 7 e 10 dias depois. Esse é um procedimento que demanda tempo e disciplina e que, por ser realizado pelos observadores em suas próprias casas e no horário em que desejassem, não tínhamos como controlar a fidelidade do procedimento. Em complemento, tivemos uma perda amostral significativa, compreendendo 59% dos inscritos, o que é comum em pesquisas que são realizadas via plataformas online. Somado a isso, apesar da capacitação ser de apenas 5 horas, assistir ao mesmo vídeo mais de uma vez é um procedimento cansativo, o que deve ter sido desmotivador para os participantes e pode tê-los levado a não completar a capacitação.

Em relação ao formato da capacitação, seria interessante se tivéssemos proporcionado feedbacks sobre as avaliações realizadas, dando aos observadores momentos de tentativa e erro. Nesse caso, é importante que a capacitação seja reformulada, fornecendo momentos de avaliações prévias, seguidas de feedbacks quanto às divergências e proximidades encontradas na observação de determinada aula em relação ao gabarito, assim como ocorreu em um dos estudos com objetivos semelhantes a este (^{HOFFMAN et al., 2004}).

De modo geral, o POA tem potencial para impactar de forma positiva as ações pedagógicas do PST, pois possibilitará a análise da qualidade das aulas do programa em larga escala a partir dos núcleos e das macrorregiões. A obtenção desses resultados auxiliará em intervenções mais direcionadas, a fim de viabilizar que as aulas sejam conduzidas de forma a proporcionar aos alunos vivências corporais mais próximas dos objetivos propostos pelo PST.

Entretanto, o POA transcende a medição de aulas, tendo em vista que também poderá ser utilizado como uma orientação para os professores, que poderão avaliar a sua própria aula e/ou planejá-las de acordo com os indicadores oferecidos pelo instrumento. Esse uso, segundo nossa hipótese, poderá ser válido não apenas para professores do PST, mas também por qualquer outro professor que lide com o ensino esportivo sob uma abordagem semelhante à do programa.

A EF, por exemplo, é uma disciplina obrigatória no currículo escolar, e que também se baseia no ensino dos esportes e das demais práticas da cultura corporal ^{(BRASIL, 1997}, ²⁰⁰⁰) . No que diz respeito aos procedimentos metodológicos e à postura do professor frente aos alunos, percebe-se que as ações realizadas tanto pelo professor de EF quanto do PST possuem muitos aspectos equivalentes. Além disso, os conteúdos da EF estão voltados para a cultura corporal do movimento, englobando os esportes, jogos, lutas, ginásticas, atividades rítmicas expressivas e conhecimentos sobre o corpo (BRASIL, 1997, 2000), assemelhando-se aos conteúdos previstos para o PST, que também estão direcionados para as manifestações de cultura corporal (^{DARIDO; OLIVEIRA, 2008}) . Ademais, ambas as abordagens prezam pelos princípios de inclusão e de diversidade, além de referirem-se aos conteúdos embasados nas dimensões conceituais, procedimentais e atitudinais, partindo então de uma perspectiva muita mais ampla em relação aos saberes inerentes aos esportes e a outras manifestações culturais relacionadas ao corpo (BRASIL, 1997, 2000; DARIDO; OLIVEIRA, 2008).

Desse modo, a condução de estudos futuros que verifiquem o impacto do POA na qualidade das aulas de professores de EF poderá proporcionar avanços no ensino esportivo em vários âmbitos (projetos sociais, aulas de EF etc.), beneficiando crianças, jovens e adultos de várias esferas econômicas. Além disso, o POA poderá estimular reflexões e inovações na forma como o ensino esportivo é teorizado e colocado em prática.

Conclusão

O POA demonstrou fácil aplicabilidade, tendo em vista os valores de confiabilidades obtidos. Porém, o modelo pelo qual o PST estruturou sua capacitação, bem como os participantes envolvidos, não favoreceu as análises de validade. Desse modo, é necessário que a capacitação online seja reformulada em alguns aspectos, tais como, oferecer momentos de tentativa e erro para os participantes, fornecendo feedbacks sobre as aulas avaliadas, a fim de que possam aplicar o critério de forma mais adequada. De modo geral, o POA traz boas perspectivas de aplicação e grande potencial de impacto no âmbito do ensino esportivo.