INTRODUÇÃO

Em todo o processo educativo escolar, a figura do professor tem um papel central, pois interage diretamente com os estudantes, coordenando as atividades educacionais diárias e intermediando os processos de ensino e aprendizagem. Sua atuação possui um grande poder discricionário em relação à execução de políticas educacionais, pois é ele que decide como vai realizar o gerenciamento da classe, quais métodos vai utilizar para apresentar ideias e desenvolver as habilidades e competências, as formas de se comunicar com os estudantes e outras decisões que tomam cotidianamente e que afetam direta e indiretamente a qualidade da educação (^{HANUSHEK, 1986}). É principalmente na sala de aula e na interação professor-estudante que o aprendizado acontece. Não é de se estranhar, portanto, a grande atenção que gestores públicos e pesquisadores em educação dedicam à atuação dos professores e às práticas pedagógicas conduzidas por eles.

Com a expansão das avaliações em larga escala e os resultados produzidos a partir delas, ampliou-se o debate acerca do efeito-escola e do efeito-professor - isto é, a capacidade que as ações escolares (efeito-escola) e a atuação dos professores (efeito-professor) têm em produzir resultados em termos de aprendizagem ou desempenho. Essas ações escolares e, mais especificamente, as ações realizadas pelos professores são definidas pelo campo de estudo da eficácia escolar como fatores que podem, ou não, estar associados ao desempenho. Ao se conhecer esses fatores e verificar o efeito que eles exercem sobre o desempenho, é possível propor políticas que visem melhorar a eficácia das ações escolares e, principalmente, da atuação dos professores, o que pode gerar impactos positivos nos resultados de desempenho das avaliações em larga escala (^{MORICONI, 2012}).

De um modo geral, as literaturas nacional e internacional sobre a eficácia do professor debruçam-se sobre aspectos referentes às características dos professores, mas que são externas à sala de aula, como, por exemplo, tempo de experiência no magistério, nível de escolaridade e desempenho nos processos seletivos de ingresso na carreira. O interesse dos estudos por esses aspectos deve-se à ampla disponibilidade de dados e, também, à importância que eles possuem na tomada de decisões relativas às políticas do magistério. Apesar de alguns estudos (^{RIVKIN, HANUSHEK E KAIN, 2005}; ^{CLOTFELTER, LADD E VIGDOR, 2007}; ^{ROCKOFF, 2004}; ^{DARLING-HAMMOND, 2005}; ^{BARROS et al, 2001}; ^{ALBERNAZ, FERREIRA E FRANCO, 2002}, ^{SOARES, 2003}) apontarem relações positivas entre essas características e o desempenho dos estudantes, as associações desses fatores ao aprendizado são pequenas (^{HANUSHEK, 1986}).

Enquanto parte das investigações encontra fraca ou nenhuma associação entre as características observáveis (escolaridade, salário, experiência) dos professores e o desempenho, outros estudos focalizam o tema da eficácia da atuação do professor - conjunto de características não observáveis, denominada traço latente.

No contexto estadunidense, a revisão de literatura realizada por ^{Nye, Konstantopoulos e Hedges (2004)} apresenta uma série de estudos baseados em diferentes amostras de estudantes, que indicam que 7% a 21% da variação das notas nos testes estandardizados são associadas à variação na eficácia dos professores. Outra compilação, realizada por ^{Hanushek e Rivkin (2004)}, analisa onze estudos com dados de natureza longitudinal e indicam variações de 0.08 a 0.36 desvio-padrão, em função da eficácia do professor, nos resultados dos estudantes. Outros estudos utilizando os dados longitudinais do Tennessee Value-Added Assessment System (TVASS), implementado no estado do Tennessee, mostram, segundo ^{Wright, Sanders e Horn (1997)}, que a eficácia do professor é o maior determinante do progresso acadêmico dos estudantes, superando inclusive os efeitos do nível socioeconômico.

Esses estudos baseiam-se na investigação dos efeitos dos professores, tendo em vista as diferenças no crescimento do desempenho em teses estandardizadas e partem da definição de que um bom professor é aquele que consegue obter maiores crescimentos em termos das notas dos seus estudantes, enquanto que um professor ruim é aquele que produz crescimentos menores de aprendizado (^{MORICONI, 2012}).

Estudo realizado por ^{Sammons (1999)} identifica algumas características-chave das escolas eficazes e que são associadas a bons desempenhos escolares. Algumas dessas características referem-se diretamente ao professor. Uma delas é definida por ^{Sammons (1999)} como prática consistente e refere-se à coerência com que os professores desenvolvem suas práticas e seguem abordagens comuns, definidas coletivamente e informadas a todos os atores escolares. Em outras palavras, isso significa que quando há unidade de propósitos, a atuação dos professores se torna mais consistente e isso pode contribuir positivamente para o desempenho dos estudantes.

Outro aspecto diz respeito à clareza dos objetivos do ensino, que englobam elementos como organização eficaz (preparar/planejar com antecedência as tarefas da aula), clareza de objetivos (quando os professores explicam claramente os objetivos da lição e se referem a eles durante a lição) e prática adaptativa (percepção de que os estudantes são diferentes, possuem ritmos e formas diferenciadas de aprender e, com isso, o professor faz uso de estratégias de ensino apropriadas, o que requer flexibilidade para modificar e adaptar seus estilos de aula).

^{Sammons (1999)} também destaca a importância de se ter altas expectativas em relação ao aprendizado, de se comunicar essas expectativas aos estudantes e de oferecer incentivos positivos quer seja em padrões de disciplina (desenvolvimento de sentimentos de pertencer e participar) ou de feedback (reconhecimento do sucesso). Ainda no que diz respeito às expectativas, ^{Cardelli e Elliot (2012)}, analisando, através de pesquisa qualitativa, um caso de sucesso de uma escola em área de risco no Rio de Janeiro, apontam as expectativas dos professores em relação ao desempenho dos alunos como um dos fatores responsáveis pelos bons resultados da escola analisada.

Por fim, aulas bem estruturadas também se caracterizam como um importante elemento associado a um bom desempenho. Recorrendo a vários achados de pesquisa, ^{Sammons (1999)} define aulas bem estruturadas como práticas que conseguem manter a atenção dos estudantes. Segundo a literatura mobilizada por ela, algumas dessas práticas são: a) técnicas para fazer perguntas abertas, pertinentes e desafiadoras; b) tornar claro o que tem que ser aprendido; c) ofertar materiais diversificados; d) passar e corrigir dever de casa; e) ensinar para todos os estudantes. É evidente que existem outras características que permeiam o processo de ensino e aprendizagem e promovem aprendizagens satisfatórias. Essas são apenas algumas práticas, apontadas pela literatura, que estão associadas ao desempenho.

No Brasil, os estudos sobre efeito-escola e efeito-professor (^{MACHADO SOARES, 2003}; ^{SOARES, 2004}; ^{SOARES e ALVES, 2007}; ^{OLIVEIRA, 2012}; ^{MORICONI, 2012)}são historicamente mais recentes e foram realizados sob a influência das pesquisas estrangeiras, sobretudo aquelas realizadas no contexto estadunidense. Além disso, os questionários das avaliações em larga escala (nacionais e estaduais) aplicadas no território brasileiro foram construídos com base na literatura estrangeira. Ou seja, é a partir dessa fundamentação teórica que os constructos, ou traços latentes, mensurados pelos questionários contextuais das avaliações foram definidos e daí a importância de referenciá-los.

As principais características sobre a atuação do professor já mencionadas serviram de referência para a construção dos itens referentes ao bloco Atitudes e Práticas Pedagógicas (IPP) do questionário aplicado aos estudantes e professores participantes da avaliação educacional em larga escala do estado do Espírito Santo. A partir desses itens, foi possível construir o indicador IPP, que se configura como objeto do presente trabalho.

Assim, alinhado ao campo de investigação sobre fatores associados à aprendizagem, este estudo tem como objetivo, por meio de uma abordagem quantitativa, investigar a associação entre o desempenho em Língua Portuguesa e em Matemática dos estudantes participantes da avaliação em larga escala do estado do Espírito Santo e o constructo Atitudes e Práticas Pedagógicas (IPP) - definido como um fator que se associa positivamente ao desempenho e que se refere de forma mais direta à atuação do professor.

O trabalho está divido em 3 seções, além desta introdução. Na próxima seção, apresentamos as estratégias de análise dos dados e os procedimentos utilizados para a realização desse estudo. A terceira seção apresenta e discute os principais resultados encontrados e, por fim, são feitas as considerações finais.

ESTRATÉGIA DE ANÁLISE

A fim de verificar empiricamente a associação entre a eficaz atuação dos professores e o desempenho dos estudantes, utilizamos os dados contextuais e de desempenho do Programa de Avaliação da Educação Básica do Espírito Santo para o ano de 2015 (PAEBES 2015). Para tanto, utilizamos as medidas de proficiência¹ em Língua Portuguesa e em Matemática dos estudantes do 9º ano do ensino fundamental e o Indicador de Atitudes e Práticas Pedagógicas (IPP). Para garantir a fidedignidade e a validade dos resultados, utilizamos algumas medidas de controle socioeconômico na análise, a saber: sexo, cor/raça, reprovação do aluno e nível socioeconômico dos estudantes.

Sabemos, por inúmeras pesquisas (^{SOARES e ALVES, 2003}; ^{CRAHAY, 2013}), que o sexo, a cor/raça e a trajetória escolar dos estudantes fazem diferença no seu desempenho, bem como no processo de ensino e aprendizagem, sendo um dos principais aspectos enfatizados nos estudos sobre as relações entre desigualdades sociais e desigualdades educacionais. A literatura demonstra como o sexo, a cor/raça e a trajetória, características muitas vezes consideradas “naturais” aos indivíduos, transformam-se em atributos socialmente relevantes para o desempenho em testes padronizados. Essas informações são levantadas neste estudo, portanto, com intuito de identificar a real associação das práticas pedagógicas com o desempenho estudantil. As características individuais são levantadas por meio de itens no questionário contextual dos estudantes. Um fator relacionado à trajetória escolar avaliado neste estudo se refere à reprovação. A rigor, repetência e reprovação são conceitos distintos. A repetência diz respeito à prática escolar de reter estudantes em um determinado ano escolar. Segundo ^{Correa (2013}, p.20), o repetente “seria qualquer aluno que se matriculasse na mesma série que no ano anterior, independente do motivo que o levasse a fazer isso. ” A repetência refere-se, portanto, aos estudantes que cursam o mesmo ano letivo duas vezes, por qualquer que seja o motivo. Assim, por exemplo, o estudante que saiu da escola e no ano seguinte retornou para a mesma etapa escolar que cursou no ano anterior é considerado um repente, mas não um reprovado. Já a reprovação é a prática escolar de reter o estudante por aprendizado insatisfatório. Ou seja, o estudante não avança na sua trajetória escolar por não ter aprendido os conteúdos próprios da etapa escolar que cursou; isso o leva a fazer novamente a mesma etapa. A informação acerca da reprovação, neste estudo, foi levantada por meio de um item no questionário contextual dos estudantes.

Por outro lado, o nível socioeconômico é um constructo latente, ou seja, ele não pode ser diretamente observado por nós como o são as características individuais. Por essa razão, precisamos de uma estratégia para levantar informações sobre características observáveis que revelem algo sobre essa dimensão. No âmbito da avaliação educacional, o que podemos fazer é incluir perguntas nos questionários a ser respondidos pelos estudantes sobre os bens, serviços e características dos domicílios. Essas perguntas, ao considerar tanto os aspectos econômicos (posse de bens de consumo, acesso a serviços públicos etc.) quanto os aspectos sociais e culturais (acesso a bens culturais, escolaridade dos pais etc.), permitiram criar o Índice Socioeconômico dos Estudantes (ISE), medida utilizada para representar numericamente a situação de estudantes e de seus familiares. Trata-se de uma medida comparativa entre os estudantes avaliados naquele ano e que pode ser agregada por escola - é feita pela média do ISE - para sintetizar as condições econômicas e sociais do público que frequenta aquela unidade. O ISE foi calculado com base na Teoria de Resposta ao Item (TRI); a calibração dos itens e o cálculo do ISE foram produzidos utilizando o software ^{Parscale (1996)}, seguindo o modelo para respostas graduadas de ^{Samejima (1969)}. Esse modelo parte do princípio de que as opções de resposta dos itens são ordenadas e cumulativas, isto é, a classificação em um determinado nível implica atingir o necessário ao nível anterior e cumprir algo mais. Por exemplo, se em um item em que o avaliado responde sobre o número de automóveis que sua família possui a resposta é 2, isso significa que o nível anterior (um automóvel) foi atendido e ainda há um ganho em relação a esse nível anterior (outro automóvel). Essa diferenciação entre níveis pode ter um caráter tanto quantitativo como qualitativo. A partir das respostas dos indivíduos aos itens do questionário foram calibrados os parâmetros dos itens por meio do método de Máxima Verossimilhança (ML). Esses parâmetros permitem ao modelo a definição das probabilidades dos indivíduos respondentes para cada categoria em cada item. Tomando o padrão de resposta do indivíduo e o conjunto de probabilidades para todos os itens, foi feito o cálculo do índice para cada questionário por meio do método de Média a Posteriori (EAP).

A atuação dos professores em sala de aula possui múltiplas dimensões que não são possíveis de ser captadas, de forma plena e holística, em estudos de abordagem quantitativa. Isso é devido, sobretudo, à limitação técnica do próprio instrumento de coleta de dados - os questionários. Tais instrumentos apresentam itens² que buscam captar informações sobre a percepção dos respondentes (estudantes e professores) acerca de algumas dimensões do constructo, aqui definido como Atitudes e Práticas Pedagógicas (IPP). Com base nas respostas aos itens do questionário, é possível construir um indicador que sintetiza o constructo ou traço latente.

Os itens referentes ao constructo IPP foram respondidos pelos estudantes (5º e 9º anos do ensino fundamental e 3º ano do ensino médio) e pelos professores. São itens de tipo Likert (^{DALMORO e VIEIRA, 2013}), com opções de respostas gradativas: concordo totalmente, concordo mais que discordo, discordo mais que concordo e discordo totalmente. Os itens foram escalonados de forma não paramétrica (^{FIELD, 2009}; ^{SIEGEL e CASTELLAN JR, 2006}), e diferencial dos itens (“DIF”); os pesquisadores devem construir assertivas que descrevam concretamente a dimensão avaliada, para que os respondentes se “posicionem” no continuum representado pelas vinhetas. Funcionamento diferencial dos itens, ou “DIF”, é a terminologia mais moderna para se referir à incomparabilidade das respostas, tendo em vista a variação na compreensão do significado dos itens (KING et al, 2004). Ainda conforme King et al (2004):

Nossa ideia-chave, além de seguir a tradição venerável de tentar escrever perguntas mais claras que sejam mais comparáveis, é um método de medir diretamente a incomparabilidade das respostas às perguntas da pesquisa e depois corrigi-las. Pedimos aos entrevistados que façam autoavaliações do conceito que está sendo medido, juntamente com avaliações, na mesma escala, de cada um dos vários indivíduos hipotéticos descritos por vinhetas curtas. Criamos medições interpessoalmente comparáveis usando respostas às avaliações de vinhetas, que têm níveis reais (mas não relatados) das variáveis que são as mesmas para cada respondente, para ajustar as autoavaliações. Nossos ajustes podem ser feitos com cálculos simples (recodificações simples) ou com um modelo estatístico mais sofisticado, que tem a vantagem de reduzir os custos de coleta de dados.³ (KING et al, 2004, p. 192, tradução nossa)

As vinhetas, portanto, funcionam como pontos de ancoragem em uma escala ordenada, onde aos itens é atribuído o valor 1, se o item é classificado abaixo da vinheta com o perfil mais baixo apresentado, com o valor 2, se o item foi classificado igual a esse, 3 se está entre esse e o perfil mediano, 4 se é igual ao mediano, 5 se está entre o mediano e o perfil alto, 6 se está classificado igual ao perfil alto e 7 se foi classificado acima do perfil alto. Essa recodificação feita em relação às vinhetas traz como resultado uma variável livre do “DIF”, com níveis ordinais facilmente interpretáveis. Há dois casos especiais em que a autoavaliação não obedece à ordem pensada para as vinhetas: “nó” e “violação”. O nó ocorre quando o respondente escolhe a mesma categoria de resposta para as vinhetas, já a violação se dá quando o respondente escolhe uma categoria de resposta mais alta para a(s) vinheta(s) que representa(m) um perfil mais baixo. Seguindo o método escolhido para a pontuação no PISA 2012 (^{OECD, 2013}), todas as violações foram consideradas como “nós amplos” e, dentre os valores derivados da recodificação dada por esse espectro mais amplo, a escolha foi feita pelo menor valor, ou seja, aquele no limite inferior da gama de possibilidades. A escolha do escore do limite inferior criou a maior variação e permitiu a melhor diferenciação entre os indivíduos. Exemplificando, digamos que um respondente classificou as vinhetas na seguinte ordem: perfil baixo, perfil alto, perfil mediano. Essa classificação foi considerada da seguinte maneira: perfil baixo, {perfil mediano, perfil alto}, com os colchetes indicando que a mesma classificação é atribuída às vinhetas mediana e alta. Uma ilustração gráfica do procedimento de recodificação, baseado em vinhetas para três exemplos com e sem vínculos é dada pela Figura 1. Os três estudantes hipotéticos neste exemplo forneceram exatamente as mesmas respostas aos três itens relatados, mas diferem em suas respostas às vinhetas. Como resultado, os escores nos itens ancorados também diferem. Mais detalhes sobre a abordagem de pontuação são fornecidos em King et al (2004), King e Wand (2007) e ^{OCDE (2013)}.

Fonte: Elaboração própria com base em OCDE, 2013.

FIGURA 1 Representação da ancoragem dos itens para três respondentes hipotéticos. 

Abaixo, são apresentados as vinhetas e os itens presentes nos questionários aplicados aos alunos e professores participantes da avaliação do PAEBES em 2015.

Vinhetas apresentadas para os estudantes

Itens apresentados para os estudantes do 5º EF

Itens apresentados para os estudantes do 9º EF e 3º EM

Vinhetas apresentadas para os professores

Itens apresentados para os professores

A fim de constatar se as questões que tratam das atitudes e práticas pedagógicas conformam uma medida que sintetiza o constructo, avaliamos os itens através das suas correlações, do Alpha de Cronbach e da análise de componentes principais. Essas análises foram conduzidas separadamente, utilizando as bases de microdados dos estudantes de cada etapa e dos professores. Adotamos, conforme recomenda a literatura (^{FIELD, 2009}), parâmetros mínimos: as correlações entre os itens superiores a 0,3, o Alpha de Cronbach superior a 0,5, a medida de adequação de Kaiser-Meyer-Olkin (KMO) superior a 0,8, o percentual da variância explicada pelo primeiro fator superior a 40%, a medida de autovalor superior a 1, e o diagrama de declividade mostrando a preponderância de um único fator. Em todos os casos, esses critérios foram satisfeitos e, portanto, extraímos o primeiro fator para representar a percepção dos atores. Posteriormente, os escores foram agregados pela média na respectiva escola. Para agregar os escores de professores e de estudantes das diferentes etapas, utilizamos a média ponderada pelo número de estudantes avaliados na escola.

Após a construção do IPP, utilizamos a modelagem linear hierárquica para estimar a influência desse índice sobre a proficiência dos estudantes. Os modelos hierárquicos são considerados os mais apropriados na literatura sobre eficácia escolar, uma vez que são capazes de distinguir, dentro de uma mesma escola e entre escolas, a diferença de desempenho dos estudantes. Dessa forma, é possível utilizar características individuais dos estudantes (ou seja, fatores externos à escola, como nível socioeconômico, cor/raça e sexo) para medir o quanto estas afetam o seu desempenho dentro da escola e, também, utilizar características das escolas (ou seja, fatores internos à escola, como atitudes e práticas pedagógicas) para medir de forma mais precisa o quanto fatores escolares impactam o desempenho desses mesmos estudantes.

Além dos fatores individuais do nível dos estudantes como sexo, cor/raça, nível socioeconômico e reprovação, o modelo permite avaliar também, ao nível da escola, o quanto a sua própria composição social influencia a proficiência esperada: percentual de meninas, percentual de brancos, percentual de reprovados e nível socioeconômico médio da escola. E, como objetivo principal, o modelo também permite verificar em qual medida a percepção que os atores escolares (estudantes e professores) possuem acerca das atitudes e práticas pedagógicas influencia na explicação da proficiência média. A partir da apresentação dos resultados, é possível dizer quais fatores têm efeito sobre o desempenho, bem como a direção (positiva ou negativa) e a força dessa influência (alta ou baixa).

RESULTADOS E DISCUSSÃO

As variáveis que compuseram o modelo podem ser divididas em três grupos segundo a sua forma de codificação. O primeiro se refere às informações de proficiência em Língua Portuguesa e Matemática, caracterizadas, do ponto de vista estatístico, como variáveis contínuas em escala natural. No PAEBES, essas escalas (uma de Língua Portuguesa e outra de Matemática) possuem média 250 e desvio padrão 50. Usualmente, as escalas de proficiência das avaliações são representadas como valor mínimo 0 e máximo 500, mas, como toda distribuição normal, ela não é limitada, e trata-se apenas de uma convenção seguida pela maioria dos sistemas de avaliação no Brasil. Como pode ser observado na Tabela 1, o valor médio da proficiência em Língua Portuguesa dos estudantes do 9º ano foi de 246,03 e em Matemática foi de 253,44 pontos.

O segundo grupo foi composto pelas variáveis dicotômicas, em que o grupo de referência assume sempre o valor de 1. As variáveis dicotômicas utilizadas neste estudo são: sexo (1 se mulher), cor (1 se branco) e reprovação (1 se o estudante afirmou já ter sido reprovado pelo menos uma vez). A média dessas variáveis indica a proporção de participação do grupo que assume valor 1. Podemos ler esses valores em percentuais: 52% dos estudantes do 9° ano são do sexo feminino, 25% são brancos(a) e 33% afirmaram já terem sido reprovados uma vez ou mais.

Por fim, o terceiro grupo de variáveis é o grupo com a distribuição padronizada em uma escala de 0 a 10, na qual os valores 0 e 10 são atribuídos conforme os limites dos índices, onde zero se refere à(s) escola(s) em que os atores escolares demonstraram ter a pior percepção ou as piores atitudes acerca das práticas pedagógicas escolares e dez se refere à(s) escola(s) em que os atores escolares demonstraram ter a melhor percepção e atitudes acerca das práticas, levando em consideração os fatores avaliados por meio dos itens dos questionário. Nas variáveis padronizadas de 0 a 10, o significado concreto de uma unidade a mais na medida é a distância de um decil entre os casos. As variáveis desse grupo são o nível socioeconômico dos estudantes e o nível socioeconômico médio da escola, o percentual de estudantes do sexo feminino na escola, o percentual de estudantes que se autodeclararam brancos na escola, o percentual de estudantes que disseram ter pelo menos uma reprovação na escola e, por fim, o índice de atitudes e práticas pedagógicas - IPP. Assim, as escolas possuem uma composição média de 52% de estudantes do sexo feminino, 25,2% de brancos e 29,4% de estudantes já reprovados.

A análise descritiva permitiu conhecer a distribuição dos fatores e as principais características dos respondentes e de suas escolas. O passo seguinte foi identificar se, em que direção e quanto cada fator influencia a proficiência em Língua Portuguesa e Matemática. Antes, porém, estimamos o modelo plenamente incondicional ou modelo nulo, ou seja, um modelo que não especifica fatores em nenhum nível. O objetivo da estimação do modelo nulo é verificar, através do coeficiente de correlação intraclasse (Intraclass Correlation Coefficient ou ICC),⁴ se existe uma variância significativamente elevada entre as escolas avaliadas. Esse coeficiente pode variar de 0 a 1 e, quanto mais próximo de zero for seu valor, maior a homogeneidade entre as escolas, sendo o desempenho escolar do estudante independente da escola na qual estuda (^{FERRÃO, 2003}). Assim, a utilização do modelo hierárquico de regressão só é justificada caso exista certa heterogeneidade de desempenho entre as escolas estudadas. Caso não haja, o modelo de regressão linear multivariada é suficiente.

O ICC encontrado no modelo nulo para Língua Portuguesa foi de 0,10, ou seja, cerca de 10% da variância do desempenho dos estudantes está associada à variabilidade entre as escolas. Já no modelo nulo para Matemática, o ICC foi de 0,17, o que indica que 17% da variância do desempenho pode estar associada à variação entre as escolas do estudo. Embora não sejam valores altos, a literatura especializada no campo das ciências sociais os considera suficientes para a estimação de um modelo hierárquico.⁵

O modelo de regressão hierárquico foi realizado com variáveis⁶no nível do estudante (primeiro nível) e com variáveis no nível da escola (segundo nível). Todas as variáveis do nível do estudante estão centralizadas na média do grupo e as do nível da escola estão centralizadas na grande média. Isso garante que os efeitos das variáveis e da composição não se misturem (^{RAUDENBUSH E BRYK, 2002}). No modelo final, a maior parte das características avaliadas, no nível do estudante e no nível da escola, é estatisticamente significativa, ou seja, quase todas têm influência na explicação das proficiências, algumas em maior e outras em menor valor. A única variável que não foi estatisticamente significativa no modelo final foi o percentual de meninas na escola, quando associada à proficiência em Matemática.

Como destacamos acima, a direção para a qual uma característica influencia a proficiência pode ser expressa pelo sinal de seu número. Os valores positivos significam que o fator incrementa o desempenho, enquanto valores negativos indicam que o fator gera decréscimo na proficiência. Nos modelos finais do presente estudo, a reprovação gera um decréscimo na proficiência em Língua Portuguesa e Matemática e o sexo feminino gera um decréscimo no desempenho em Matemática. Embora os dados apontem que o percentual de meninas tem um efeito negativo na proficiência esperada em Matemática, esse efeito não é estatisticamente significativo, conforme já mencionado (intervalo de confiança inferior a 95%). Os demais fatores têm impacto significativo (intervalo de confiança superior a 95%) e positivo sobre ambas as proficiências.

Os primeiros resultados apresentados referem-se ao modelo linear hierárquico determinado para análise dos fatores associados à proficiência em Língua Portuguesa no 9° ano do Ensino Fundamental. Esse modelo de dois níveis foi capaz de reduzir a explicação do desempenho pela variância quando comparado ao modelo nulo, ou seja, após a inserção das variáveis no modelo, 6% do desempenho em Língua Portuguesa continuou podendo ser explicado pela variabilidade entre as escolas. O gráfico 1 mostra as nove variáveis que compuseram o modelo e o impacto de cada variável na proficiência em Língua Portuguesa.

O valor destacado na parte superior do gráfico refere-se ao intercepto, ou seja, à proficiência esperada em Língua Portuguesa quando todas as variáveis do modelo assumem o valor de zero. Esse valor é de 248 pontos. Assim como esperado, a primeira variável do primeiro nível incluída no modelo - sexo feminino - teve um efeito positivo na proficiência. Segundo os dados, a proficiência esperada para as meninas é 14 pontos maior em comparação à esperada para os meninos. Esse achado corrobora os achados de outras pesquisas educacionais que já mostraram que as meninas costumam ter proficiência maior em Língua Portuguesa do que os meninos (^{CITTADIN E FRANÇA, 2016}). Os estudantes que se autodeclararam brancos(a) apresentaram uma proficiência esperada 4 pontos maior do que os estudantes que se declararam pardos(a), pretos(a), amarelos(a) ou indígenas, resultado em consonância com os achados de ^{Soares e Alves (2003)} e de ^{Laros, Marciano e Andrade (2010)}, que demonstraram uma desigualdade na proficiência entre os estudantes de cor/raça diferente da branca. A terceira característica do modelo se refere ao nível socioeconômico dos estudantes. De acordo com os dados, quanto melhor for a condição socioeconômica, maior a proficiência esperada. Nesse sentido, o resultado informa que a cada unidade à frente na escala criada para o índice socioeconômico, a proficiência esperada aumenta em 4 pontos. Esse achado vai ao encontro da literatura, na medida em que muitos estudos encontram uma correlação positiva entre o índice socioeconômico do estudante e seu desempenho (^{LAROS, MARCIANO E ANDRADE 2010}; ^{SOARES, 2004)}. No entanto, vale ressaltar que, segundo ^{Soares (2004)}, espera-se que o nível socioeconômico médio da escola sempre tenha um efeito maior sobre o desempenho do que apenas essa variável no nível do indivíduo.

No que diz respeito à reprovação, podemos constatar que os estudantes que vivenciaram a experiência da reprovação ao menos uma vez possuem 22 pontos de desvantagem na proficiência esperada, quando os comparamos aos estudantes que nunca foram reprovados. Essa característica foi a que demonstrou maior impacto (negativo) dentre todas aquelas que compuseram o modelo, corroborando os achados de outros estudos, que apontam a reprovação como a característica mais influente para a explicação do desempenho (^{ALBERNAZ, FERREIRA E FRANCO, 2002}). A reprovação é tema bastante discutido no campo educacional e vários estudos em contexto nacional e internacional (^{RIBEIRO, 1991}; ^{CRAHAY, 2006}; ^{JACOMINI, 2009}; ^{CORREA, 2013}) já demonstraram que tal prática escolar pouco contribui para uma aprendizagem satisfatória. Segundo ^{Crahay (2006}, p.243), “o fato de repetir um ano e de recomeçar toda a programação de um curso não ajuda os alunos em dificuldade a superar os obstáculos que os impedem de ser honrosamente bem-sucedidos na escola. ” Assim, ainda que o estudante tenha dificuldade e não tenha conseguido consolidar as aprendizagens próprias do ano escolar que cursou, sugere-se que outras estratégias sejam implantadas. ^{Crahay (2006}, p. 243) destaca ainda que a reprovação não se apresenta como uma ação escolar que ajuda os estudantes em dificuldade, sendo, portanto, “necessário procurar outros meios para resolver esse importante problema. ”

No nível da escola, foi possível controlar a influência da composição escolar no desempenho. Os resultados demonstraram que o percentual de estudantes do sexo feminino na escola é responsável por aumentar em 2 pontos o valor esperado da proficiência. O percentual de brancos na escola também aumenta em 2 pontos a proficiência esperada e o nível socioeconômico médio está associado a uma proficiência esperada superior a 6 pontos, quando comparada ao nível socioeconômico mais baixo. Assim, como observado no estudo de ^{Soares (2004)}, o nível socioeconômico médio da escola tem um efeito maior que o nível socioeconômico do estudante no desempenho. O percentual de estudantes reprovados na escola gera uma desvantagem de 2 pontos, quando comparado ao percentual de estudantes que nunca foram reprovados.

Por fim, a última variável do modelo refere-se ao Índice de Atitudes e Práticas Pedagógicas (IPP), um dos fatores de eficácia apontados pela literatura. Como já mencionado, esse índice foi formado a partir da percepção dos estudantes e professores acerca das práticas pedagógicas dos professores. A maneira como o(a) professor(a) administra a sala de aula e sua metodologia e interação com os estudantes estão diretamente relacionadas com o processo de ensino e aprendizagem e com o desempenho. Nesse sentido, como já esperado, os resultados do modelo hierárquico demonstram que o IPP influencia de forma significativa a proficiência em Língua Portuguesa, aumentando em 10 pontos o desempenho do estudante caso seus professores apresentem atitudes e práticas pedagógicas avaliadas como eficazes. Esse resultado evidencia um aspecto importante do contexto escolar, uma vez que reforça a importância do papel do professor no processo de ensino e aprendizagem. Além disso, permite uma análise crítica da forma como essas atitudes estão sendo construídas e como essas práticas estão sendo desenvolvidas no interior da escola e, mais especificamente, no interior da sala de aula, onde se dá a interação professor-estudante e onde é o locus do aprendizado.

Fonte: Elaboração própria com base nos dados do PAEBES 2015.

GRÁFICO 1 Resultados do Modelo Linear Hierárquico para Língua Portuguesa 

No gráfico 2, é possível verificar a influência dos mesmos fatores na proficiência esperada em Matemática. O valor do intercepto, ou seja, da proficiência esperada em Matemática quando todas as variáveis do modelo assumem o valor de zero, é de 256 pontos. O sexo feminino, como esperado, tem efeito negativo de 6 pontos sobre a proficiência esperada em Matemática. Esse dado corrobora os achados da literatura, uma vez que muitos estudiosos relatam que meninas possuem uma facilidade maior em testes cognitivos de Língua Portuguesa e meninos possuem uma facilidade maior em testes cognitivos de Matemática (^{CITTADIN E FRANÇA, 2016}). Os estudantes que se autodeclararam brancos(a) apresentaram um aumento de 4 pontos na proficiência esperada, assim como os estudantes com nível socioeconômico alto. Os estudantes que já foram reprovados pelo menos uma vez apresentam uma desvantagem em relação aos estudantes que nunca foram reprovados. Ter sido reprovado diminui em 22 pontos a proficiência esperada do estudante, fator importante de investigação, uma vez que se repete para as duas disciplinas avaliadas. Cabe enfatizar, portanto, a importância de investigação e de construção de estratégias que diminuam a cultura da reprovação (^{COSTA RIBEIRO, 1991}) como estratégia pedagógica e de aumento da aprendizagem.

Fonte: Elaboração própria com base nos dados do PAEBES 2015.

GRÁFICO 2 Resultados do Modelo Linear Hierárquico para Matemática 

O percentual de meninas na escola foi uma variável que não apresentou resultado estatisticamente significativo, o que significa dizer que o alto percentual de meninas na escola não influencia de forma significativa o desempenho em Matemática. Por outro lado, o percentual de estudantes brancos na escola e o nível socioeconômico possuem efeito positivo e significativo de 5 pontos na proficiência esperada. Assim como em Língua Portuguesa, ser reprovado tem efeito negativo de 3 pontos sobre a proficiência em Matemática. Por fim, confirmando a hipótese do estudo, as atitudes e práticas pedagógicas efetivas no interior da escola apresentaram um efeito de 11 pontos na proficiência esperada em Matemática. Esses resultados corroboram os dados encontrados na literatura que apontam a importância do papel do professor para a promoção do desenvolvimento cognitivo e a sua influência nos processos de ensino e aprendizagem (^{HANUSHEK, 1986}; ^{ALBERNAZ, FERREIRA E FRANCO, 2002}; MARCONI, 2012).

Entretanto, faz-se necessária uma ressalva acerca da limitação dos dados sobre o IPP. Os resultados encontrados se referem às práticas pedagógicas específicas (aquelas constantes no questionário contextual do PAEBES) apontadas pela literatura (^{SAMMONS, 1999}; ^{OLIVEIRA, 2012}; ^{MORICONI, 2012}) como práticas que promovem aprendizagens efetivas - exemplo: corrigir dever de casa. Nesse sentido, o índice foi formulado a partir da percepção que os atores escolares têm sobre essas práticas pedagógicas específicas. Não há dúvidas de que há muitas outras práticas sendo trabalhadas no contexto escolar, mais especificamente na sala de aula, e que por essas práticas perpassam interações múltiplas e complexas que não são captadas pelos questionários e que, portanto, não compõem o índice. Assim, considerando o recorte conceitual do que se entende por práticas pedagógicas neste estudo, identificamos que a boa percepção dos atores escolares sobre esse número restrito de práticas associa-se positivamente ao desempenho. A despeito da limitação conceitual que subjaz à construção do IPP, os resultados são confiáveis e vão ao encontro daquilo que a literatura já identificou como práticas eficazes promotoras de aprendizagem. Tal resultado reforça o uso eficiente dessas práticas nos processos de ensino e aprendizagem das escolas.

CONSIDERAÇÕES FINAIS

Os processos de ensino e aprendizagem se materializam em realidades complexas que são permeadas por inúmeros fatores que interagem e incidem direta e indiretamente sobre a aprendizagem dos estudantes.

Considerando que realidades complexas exigem modelos analíticos complexos (^{GOLDSTEIN, 2001}), este estudo teve o objetivo de investigar o efeito do Índice de Atitudes e Práticas Pedagógicas (IPP) sobre o desempenho dos estudantes, por meio de um modelo de regressão hierárquico (HLM). A abordagem multinível se caracteriza como a mais adequada para investigar fatores escolares associados ao desempenho, uma vez que os estudantes estão, necessariamente, agrupados em unidades escolares. Ou seja, há níveis diferentes de análise - o do estudante (que envolve características próprias dos estudantes, como sexo e raça/cor) e o da escola (que envolve características próprias da escola, como percentual de meninas/meninos e fatores contextuais, dentre os quais se pode citar o IPP).

Os principais resultados corroboram outros achados de pesquisa alinhados ao campo da eficácia escolar e reiteram o efeito significativo e positivo que práticas pedagógicas consideradas eficazes pela literatura exercem sobre o desempenho, tanto em Língua Portuguesa quanto em Matemática. O efeito do IPP sobre o desempenho foi controlado pelas características socioeconômicas (sexo, raça/cor, NSE e reprovação) - aquelas apontadas como as principais para a explicação do desempenho. Ademais, o efeito do IPP foi observado de forma isolada, sem considerar outros aspectos escolares (gestão escolar, clima escolar, entre outros) que também podem ajudar a explicar o desempenho.

A despeito disso, o efeito do IPP sobre o desempenho de ambas as disciplinas se mostrou bastante significativo e evidencia a necessidade de se olhar com mais atenção para as práticas pedagógicas e as interações - sobretudos aquelas envolvendo estudante e professor - que se estabelecem no interior da escola e da sala de aula.

Os recorrentes resultados das pesquisas, evidenciando a influência positiva que boas atitudes e práticas pedagógicas têm sobre o aprendizado, devem ser considerados pelos gestores escolares e pelos formuladores e implementadores de políticas educacionais. Identificar e mapear as boas atitudes e práticas docentes, seja por meio de uma abordagem quantitativa, qualitativa ou mista, podem dar subsídios importantes para as ações de formação inicial e continuada, bem como servir de subsídio para que professores e demais agentes escolares repensem suas próprias atitudes e práticas pedagógicas, a fim de garantir a aprendizagem dos estudantes.