INTRODUÇÃO
As evidências demonstram a importância de experiências educacionais de alta qualidade em ambientes de educação infantil (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OCDE, 2012). Os benefícios incluem a constante promoção do desenvolvimento de curto e longo prazos das crianças, como seu sucesso na trajetória escolar (MELHUISH et al., 2015), a possibilidade de reduzir desigualdades relacionadas a status socioeconômico (SIRAJ; MAYO, 2014) e o potencial para fomentar crescimento econômico a longo prazo (HO; CAMPBELL-BARR; LEESON, 2010).
Apesar de esses benefícios já serem bem reconhecidos (MELHUISH et al., 2015; PIANTA, 2012; SYLVA et al., 2014; TAYLOR et al., 2016), o debate acerca de como assegurar e maximizar experiências de alta qualidade na educação infantil continua em andamento. Definir as abordagens pedagógicas e as práticas da educação infantil que claramente apoiam e melhoram o desenvolvimento e a aprendizagem das crianças permanece uma prioridade das pesquisas. No entanto, o termo qualidade em si é um conceito controverso, em grande parte por conta de sua natureza subjetiva. Vários estudos mostraram que as partes interessadas (por exemplo: pais, educadores, crianças e governos) têm visões diferentes de qualidade e valorizam distintas características da prática (EDUCATION REVIEW OFFICE, 2010; PENN, 1996). Por exemplo, pais valorizam a proximidade de uma unidade de educação infantil de suas casas e a aparente felicidade das crianças quando a frequentam (PLANTENGA, 2011), enquanto muitos governos (incluindo o australiano) enfatizam o impacto no rendimento das crianças (seu desenvolvimento social, emocional e cognitivo). Uma discussão abrangente sobre as múltiplas perspectivas da qualidade pode ser encontrada em outras referências (KINGSTON, 2017; KINGSTON; MELVIN, 2012; MATHERS; SINGLER; KAREMAKER, 2012; MOSS; DAHLBERG, 2008).
A despeito da complexidade do termo qualidade, este estudo considera a medida de qualidade nacional do governo australiano - a avaliação do National Quality Standard (NQS) -, que, entre outras funções (prover informações sobre as políticas, assegurar responsabilidade pública e apoiar o direito de crianças e famílias de provisões de educação infantil de alta qualidade), mede e monitora a qualidade com foco no impacto que a educação infantil pode ter em seus rendimentos e aproveitamento das experiências ao longo da educação infantil (AUSTRALIAN CHILDREN’S EDUCATION & CARE QUALITY AUTHORITY - ACECQA, 2017a). Dada a falta de informação sobre até que ponto os resultados do NQS se alinham com aqueles que fazem previsões sobre o rendimento escolar das crianças, foram então comparados o NQS e duas escalas de avaliação de qualidade: Sustained Shared Thinking and Well Being (SSTEW) e a Early Childhood Environment Rating Scale-Extension (ECERS-E) (SIRAJ; KINGSTON; MELHUISH, 2015; SYLVA; SIRAJ-BLATCHFORD; TAGGART, 2003). Com base nos dados de nossos estudos de qualidade em educação infantil e nas pontuações obtidas pelo NQS do governo australiano, observamos como tais pontuações do NQS se comparam a essas duas escalas de avaliação de qualidade no que se refere aos resultados de aprendizagem das crianças (desenvolvimento social, emocional e cognitivo) (HOWARD et al., 2018; SYLVA et al., 2006).
TENTATIVAS INTERNACIONAIS DE COMPREENDER E MELHORAR A QUALIDADE DA EDUCAÇÃO INFANTIL
Governos de vários países tentam assegurar que seus processos e medidas para monitorar e melhorar serviços de educação infantil garantam ambientes educativos de alta qualidade para crianças e famílias. O governo do Reino Unido, por exemplo, examinou a qualidade ao renovar seus sistemas de fiscalização e currículos para crianças com menos de sete anos (PARKER, 2013). Após uma robusta revisão do currículo Te Whariki na Nova Zelândia, que considerou os rendimentos escolares das crianças e a provisão quase universal para as crianças em idade pré-escolar (NEW ZEALAND, 2017), a atenção do governo neozelandês se volta agora para a qualidade do atendimento.
De maneira semelhante, em 2009, os governos estaduais australianos estabeleceram o National Quality Framework (NQF) para todos os contextos e ambientes de educação infantil. Isso começou a vigorar em 2012 e foi feito para gerar maior consistência nos sistemas educacionais estaduais e territoriais, apoiado também pela implementação do Early Years Learning Framework (AUSTRÁLIA, 2009) e da avaliação pelo National Quality Standard (NQS) e seu sistema de pontuação (ACECQA, 2017a). O NQS australiano foi desenvolvido por um grupo de especialistas da primeira infância, em consulta com o governo, para estabelecer e manter a qualidade da educação infantil na Austrália por meio de uma estrutura regulatória abrangente (ver Tabela 1).
Em conjunto com as fiscalizações do governo e os processos internacionais de monitoramento, o NQS leva em consideração os julgamentos das equipes profissionais treinadas para conduzir a avaliação de uma grande variedade de elementos para, assim, atribuir uma pontuação que, conceitualmente, capta a qualidade do serviço em geral - incluindo a qualidade associada à aprendizagem e às conformidades nacionais. Os tipos de atendimento avaliados incluem atendimento domiciliar, unidade que opera em tempo integral (que cuida de bebês, crianças pequenas e crianças com idade pré-escolar) e programas de pré-escola (que se concentram no atendimento de crianças um ano antes do ingresso escolar).
O NQS visa a orientar educadores e provedores sobre o atendimento de qualidade na educação infantil. Além disso, as autoridades regulatórias têm enfatizado as questões relativas à segurança das crianças e à conformidade às regulamentações, como é observado em várias áreas de qualidade do NQS. No entanto, as pontuações de qualidade do NQS, geralmente, são interpretadas como intercambiáveis com medidas científicas de qualidade da educação infantil, que já demonstraram, empiricamente, que correspondem a melhores rendimentos relativos à aprendizagem e ao desenvolvimento das crianças (HOWARD et al., 2018; O’CONNELL et al., 2016). Apesar de ter sido sustentado por pesquisas (OCDE, 2006) e estar ligado ao Early Years Learning Framework (EYLF), há uma quantidade limitada de evidências disponíveis para avaliar se o NQS é capaz de diferenciar entre ambientes que se distinguem no que diz respeito ao impacto sobre o desenvolvimento e aprendizagem das crianças. A capacidade de fazer tal diferenciação é particularmente importante para crianças menos privilegiadas, para as quais a qualidade da educação infantil comprovadamente pode melhorar vários aspectos do seu desenvolvimento (MELHUISH et al., 2015).
CONCEITUALIZANDO QUALIDADE ASSOCIADA À MELHORIA DO APROVEITAMENTO DAS CRIANÇAS NA EDUCAÇÃO INFANTIL
Recentes estudos (TAYLOR et al., 2016) e revisão bibliográfica (MELHUISH et al., 2015; SIRAJ; KINGSTON, 2015) identificaram características importantes para melhorar a aprendizagem, o desenvolvimento e o bem-estar das crianças ao longo da educação infantil. São elas:
interações sensíveis, acolhedoras e emocionalmente receptivas entre adultos e crianças;
uma equipe que inclui professores e diretores com qualificações relevantes e adequadas;
um currículo desenvolvido de forma apropriada que valoriza a brincadeira e a aprendizagem;
razão adulto/criança que permite a interação de membros da equipe com as crianças regularmente e de maneira significativa;
líderes que incentivam a colaboração e mantêm a consistência na qualidade dos cuidados;
desenvolvimento profissional que garante a continuidade, estabilidade e melhoria da qualidade;
instalações que apoiam a segurança e a saúde das crianças e dos adultos e são acessíveis aos pais;
compartilhamento com os pais/responsáveis sobre os objetivos educacionais e suporte aos pais para o desenvolvimento de um ambiente de aprendizagem em casa.
NQS - ÁREAS DE QUALIDADE (QA) | SSTEW | ECERS-E |
QA1. Aspectos do projeto e das práticas pedagógicas para as crianças | Subescala 1: construindo confiança, segurança e independência | Subescala 1: letramento |
QA2. Saúde e segurança | Subescala 2: bem-estar social e emocional | Subescala 2: matemática |
QA3. Aspectos do ambiente físico | Subescala 3: apoiar e ampliar a linguagem e a comunicação | Subescala 3: ciências e meio ambiente |
QA4. Membros da equipe | Subescala 4: apoiar a aprendizagem e o pensamento crítico | Subescala 4: diversidade |
QA5. Relações com as crianças | Subescala 5: avaliar a aprendizagem e a linguagem | |
QA6. Parcerias com as famílias e comunidades | ||
QA7. A maneira em que os serviços são administrados e conduzidos |
Essas características demonstram a complexidade em promover o desenvolvimento cognitivo e socioemocional das crianças. Realmente, parece existir uma interação entre os aspectos da qualidade estrutural que estão associados à educação infantil de alta qualidade (por exemplo, tamanho das turmas, proporção adulto/criança, qualificações dos educadores) (HOWES et al., 2008; SLOT et al., 2015) e aspectos da qualidade do processo que se preocupam com as experiências vividas pelas crianças no dia a dia (por exemplo, as atividades, oportunidades e interações disponíveis dentro de um ambiente, os educadores e outras crianças e a disponibilidade e acessibilidade de materiais) (HOWES et al., 2008). Essa distinção entre qualidade estrutural e do processo ajuda a identificar os aspectos da qualidade que mais influenciam o desenvolvimento e a aprendizagem das crianças pequenas (DONABEDIAN, 1980; SIRAJ et al., 2017b).
Como a qualidade estrutural pode ser medida de maneira mais objetiva e com mais facilidade, seus aspectos são os mais frequentemente pesquisados e regulamentados, predominando nas inspeções e monitoramentos governamentais de educação infantil em vários países. A maneira como os diferentes aspectos de qualidade estrutural podem exercer influência não é simples, sendo que muitos estudos recentes sugerem haver um excesso descabido de confiança nas noções estruturais de qualidade (e.g.SLOT et al., 2015). Pesquisas internacionais mostram cada vez mais que o processo de interações adulto-criança e criança-criança prevê os rendimentos das crianças de maneira mais significativa (MELHUISH et al., 2015; SIRAJ; KINGSTON, 2015).
Resumindo as pesquisas disponíveis sobre a qualidade do processo, a OCDE (2012) reportou que a sensibilidade e receptividade dos educadores, a qualidade de suas interações e sua capacidade de ampliar e apoiar a aprendizagem e pensamento das crianças são aspectos críticos para seu rendimento. Esses aspectos da qualidade do processo, apesar de mais difíceis de captar do que os aspectos estruturais, têm sido o foco de pesquisas empíricas usando escalas de avaliação de qualidade em contextos de educação infantil. É, então, importante questionar como a qualidade definida pelas estruturas regulatórias corresponde à qualidade medida por tais escalas de avaliação.
QUALIDADE MEDIDA POR ESCALAS DE AVALIAÇÃO
Interações de alta qualidade definidas como aquelas que apoiam e ampliam o pensamento das crianças têm sido, cada vez mais, relacionadas com o aproveitamento da criança, ou seja, com o seu desenvolvimento socioemocional e cognitivo (PIANTA, 2012; SYLVA et al., 2014). Essas interações, chamadas de sustained shared thinking (SST) por Siraj-Blatchford et al. (2002, p. 8), são conceitualizadas como interações em que
[...] dois ou mais indivíduos “trabalham juntos” de maneira a resolver um problema, esclarecer um conceito, avaliar uma atividade, ampliar a narrativa, e assim por diante. As partes envolvidas nessa interação devem contribuir para a expressão do pensamento, que deve desenvolver e estender a compreensão do fenômeno, de uma ideia, hipótese etc.
Enquanto a influência das SST é refletida no currículo EYLF australiano e outros currículos internacionais (por exemplo, THE EARLY YEARS FOUNDATION STAGE do Reino Unido, 2012), práticas associadas a ele ainda são pouco compreendidas e observadas (SYLVA et al., 2004; TAYLOR et al., 2016). Portanto, o apoio à compreensão e prática das SST deve ser priorizado, medido e monitorado com precisão.
A compreensão sobre o importante papel do adulto em fomentar interações como acima citadas tem levado ao desenvolvimento de ferramentas elaboradas para captar práticas pedagógicas associadas aos aspectos da qualidade relativa aos processos.
A escala SSTEW (SIRAJ; KINGSTON; MELHUISH, 2015) foi criada para apoiar, aumentar e melhorar a identificação e prática de interações de alta qualidade dentro de ambientes de educação infantil. De maneira semelhante, a ECERS-E procura capturar a qualidade do currículo, como a aprendizagem matemática, científica e de letramento e sobre a diversidade. Esses instrumentos têm reputação internacional por medirem aspectos importantes da qualidade da educação infantil que são associados aos principais domínios do desenvolvimento (por exemplo, linguagem, numeracia, ciência, diversidade, autorregulação, bem-estar socioemocional), o que constitui práticas eficientes em cada um, pelos processos de padronização pelos quais tiveram que passar e pelas suas propriedades psicométricas bem estabelecidas (por exemplo, a validade da previsão de rendimentos escolares das crianças como linguagem e numeracia) (HOWARD et al., 2018; MATHERS; SINGLER; KAREMAKER, 2012; SYLVA et al., 2004). Escalas de avaliação de qualidade são usadas amplamente em estudos nas regiões da Europa e Pacífico Asiático, assim como na Austrália, com o intuito de capturar qualidade, mudanças em qualidade e para acompanhar desenvolvimento profissional (por exemplo, SIRAJ et al., 2018).
RECONCILIAR O NQS COM ESCALAS DE AVALIAÇÃO DE QUALIDADE
Em contraste, o NQS é uma ferramenta de regulamentação que cobre sete áreas de qualidade e 18 padrões (2-3 em cada área de qualidade), considerando aspectos importantes da qualidade estrutural e de processo em conjunto com a segurança das crianças e em conformidade com as regulamentações nacionais. A avaliação oficial do NQS, conduzida por assessores autorizados pelo governo, e a pontuação dos serviços de educação infantil na Austrália incluem unidades que recebem suas pontuações individuais para cada área de qualidade e uma pontuação geral de qualidade. Há cinco pontuações possíveis: são necessárias melhorias significativas; a caminho do NQS; atende às exigências do NQS; excede o NQS; e excelente. A menor e a maior pontuação raramente são atribuídas devido às condições vigentes nas unidades daquele país.
Há áreas importantes que se sobrepõem e outras que se diferem entre o NQS e as escalas de avaliação. Em termos de semelhança, elementos da área de qualidade 1 do NQS (aspectos do projeto e das práticas pedagógicas para as crianças) mostram mais sinergia com indicadores de escalas de qualidade que enfatizam a qualidade do processo do currículo. Por exemplo, a área de qualidade 1 do NQS fornece informações sobre os currículos e suas implementações, as habilidades dos educadores de terem abordagens centradas nas crianças e a promoção da autonomia das crianças, baseada em seus interesses, ideias, conhecimento e culturas. Isso inclui intencionalidade, planejamentos e avaliações no nível individual, apoio para a participação de todas as crianças e incentivo para a conscientização dos responsáveis sobre o planejamento e o progresso das crianças. Existem também semelhanças entre o SSTEW e a área de qualidade 5 do NQS (relações com crianças). Ambos salientam a importância de se construírem relacionamentos fortes e respeitosos para estimular a aprendizagem colaborativa e independência das crianças, bem como reconhecem a importância da parceria com pais e o ambiente de aprendizagem em casa (MELHUISH et al., 2008).
No entanto, as escalas de qualidade e o NQS se distinguem no escopo e na profundidade da qualidade avaliada. A ECERS-E, por exemplo, inclui matemática, ciências e letramento, enquanto o NQS usa esses termos com pouca frequência (apenas três menções de cada) e os posiciona como opcionais (por exemplo, “potenciais exemplos de prática”). Resumidamente, enquanto as escalas de avaliação de qualidade se concentram mais nos aspectos da qualidade do processo, o NQS conceitualiza a qualidade de maneira muito mais ampla, com um foco no estrutural e na conformidade com regulamentações (saúde e segurança, qualificações de educadores, razão adulto/crianças, etc.). Como tal, enquanto as escalas produzem evidências que podem relacionar melhores pontuações com melhores rendimentos das crianças, a pontuação do NQS não favorece essa possibilidade.
O PRESENTE ESTUDO
O estudo dá início a um processo de avaliação empírica que deve acompanhar qualquer sistema regulatório de larga escala. Estudos como esse já foram iniciados no Reino Unido e nos EUA (MATHERS; SINGLER; KAREMAKER, 2012; SABOL et al., 2013). Especificamente, esse estudo compara o NQS com duas escalas de avaliação de qualidade - ECERS-E e SSTEW -, combinando dados coletados durante projetos em grande escala na Austrália e nas avaliações regulatórias publicadas do NQS. Essas escalas foram selecionadas por se concentrarem na qualidade dos currículos (correspondendo à área de qualidade 1 do NQS) e na qualidade de interação (correspondendo à área de qualidade 5 do NQS). As associações foram examinadas entre as pontuações de escalas de avaliação de qualidade e as pontuações gerais e aquelas específicas para cada área de qualidade do NQS. Consideramos, também, os efeitos em potencial dos locais dos serviços (como estado), o período de tempo desde a avaliação do NQS (ou seja, em até dois anos das observações realizadas com a escala de avaliação) e a variabilidade em qualidade dentro das classificações do NQS. Era esperado que o NQS e as escalas de avaliação de qualidade fossem diferentes (ou seja, capturam distintos aspectos de qualidade) e ao mesmo tempo relacionados (ou seja, possuem um núcleo de qualidade em comum), dado que há pelo menos um pouco de sobreposição entre os índices, mesmo que intencionalmente diferentes em amplitude e objetivos.
MÉTODO
Amostra
A amostra foi constituída de 257 unidades de educação infantil em três estados da Austrália, selecionadas a partir de um conjunto de características específicas das unidades de educação infantil e não por simples representatividade. Amplamente consistente com distribuições nacionais, na amostra existem mais unidades em regiões metropolitanas (n = 156, 60,7%) do que não metropolitanas (n = 101, 29,3%) e mais unidades de atendimento integral (n = 221, 86,0%) do que pré-escolas (n = 36, 14,0%). O decil socioeconômico médio das áreas de captura de atendimento da educação infantil foi 3,92 (DP = 2,28) - de acordo com o índice Socio-economic Index for Areas, ou SEIFA, do Australian Bureau of Statistics (2008) -, que indica uma área de população com situação socioeconômica mais baixa do que é esperado na população em geral. A média de vagas por unidade correspondeu a 65,37 (DP = 28,30). Para as categorias de avaliação gerais do NQS, a maioria das unidades atingiu as classificações atende às exigências do NQS (n = 128, 49,8%) ou excede o NQS (n = 101, 39,3%). Poucas unidades foram avaliadas na categoria a caminho do NQS (n = 28, 10,9%), o que é consistente com o perfil de pontuações nacionais (ACECQA, 2018).
Essa amostra incluiu 323 salas onde foram conduzidas as observações (64 unidades tiveram duas salas observadas e uma teve três salas observadas). No entanto, cada unidade obteve apenas uma classificação geral do NQS. Para contornar a questão da não independência das observações nas unidades que tiveram mais de uma sala observada, uma sala foi aleatoriamente selecionada para inclusão, totalizando assim 257 pontuações independentes originárias das observações.
MEDIDAS
Para mais detalhes sobre as áreas de qualidade mais importantes abordadas pelo NQS, ECERS-E e SSTEW, ver a Tabela 1.
Pontuações do National Quality Standard (NQS)
As avaliações e pontuações do NQS australiano são feitas em todos serviços de educação infantil na Austrália. Profissionais autorizados e treinados visitam cada unidade para avaliar 18 padrões nas sete áreas de qualidade já mencionadas (ver Tabela 1). Essas pontuações individuais são, então, combinadas em uma classificação geral NQS para cada unidade. As pontuações foram expostas nas unidades e publicadas nacionalmente, sendo que os dados desta pesquisa foram retirados das publicações nacionais das pontuações. Dados sobre as pontuações das unidades para este estudo foram colhidos do registro nacional em março de 2017.
Escalas de avaliação de qualidade
A ECERS-E (SYLVA; SIRAJ-BLATCHFORD; TAGGART, 2003) mede a qualidade dos currículos, dos ambientes e da pedagogia em ambientes de educação infantil. Ela conta com 15 itens divididos em quatro subescalas. O SSTEW (SIRAJ; KINGSTON; MELHUISH, 2015) aborda práticas que ajudam as crianças a desenvolverem suas habilidades de pensar e revelar o seu pensamento (sustained shared thinking) e bem-estar emocional. A escala conta com 14 itens divididos em cinco subescalas. Os focos de cada subescala estão detalhados na Tabela 1.
As pontuações de ambas as escalas (ECERS-E e SSTEW) foram dadas a partir das observações feitas em sala durante um dia. Cada item recebeu uma pontuação entre 1 (de qualidade inadequada) e 7 (de excelente qualidade), com base em padrões da presença ou ausência dos indicadores de cada item. Uma pontuação 3 indica qualidade básica/mínima e 5 indica boa qualidade. Ambas as escalas demonstram boa confiabilidade e uma relação com o aproveitamento das crianças ao iniciarem a escolarização obrigatória (HOWARD et al., 2018; SYLVA et al., 2006). Há pontuações individuais para cada item das subescalas, pontuação para cada subescala, sendo esta última a média dos itens, e uma pontuação geral de toda a escala (Tabela 2), que corresponde à média das subescalas.
As avaliações feitas com as escalas foram conduzidas por observadores altamente treinados durante a observação de um dia em unidades participantes. Os observadores foram treinados intensivamente durante cinco dias, incluindo a prática em campo com um observador de referência e com experiência neste trabalho, seguido de testes de confiabilidade de concordância entre observadores comparando as pontuações independentes de uma observação de um dia inteiro com um observador experiente. Era necessário que os observadores atendessem ao rigoroso padrão de confiabilidade antes da coleta de dados em campo: correlação intraclasse excedendo 0,70 (M = 0,86); correlação excedendo 0,70 (M = 0,86); diferença média entre pontuações menor que 0,75 (M = 0,43); e acordo de pontuação (dentro de 1 ponto) de pelo menos 80% (M = 93%).
GERAL | ESTADO 1 N = 147 | ESTADO 2 N = 26 | ESTADO 3 N = 84 | |
Média de pontuação de qualidade ECERS-E | 2,86 (0,93) | 2,93 (0,93) | 2,58 (0,90) | 2,80 (0,93) |
1. Letramento | 3,51 (1,05) | 3,62 (1,05) | 3,15 (1,19) | 3,45 (0,98) |
2. Matemática | 2,70 (1,24) | 2,68 (1,13) | 2,54 (1,24) | 2,79 (1,43) |
3. Ciências e o meio ambiente | 2,72 (1,16) | 2,84 (1,19) | 2,46 (1,05) | 2,58 (1,12) |
4. Diversidade | 2,49 (1,00) | 2,60 (1,07) | 2,17 (1,00) | 2,39 (0,90) |
Média de pontuação de qualidade SSTEW | 3,66 (1,24) | 3,77 (1,17) | 3,78 (1,40) | 3,43 (1,30) |
1. Confiança, segurança e independência | 4,53 (1,39) | 4,62 (1,32) | 4,65 (1,61) | 4,34 (1,44) |
2. Bem-estar social e emocional | 4,00 (1,66) | 4,07 (1,57) | 4,19 (1,70) | 3,82 (1,80) |
3. Linguagem e comunicação | 4,24 (1,36) | 4,35 (1,21) | 4,50 (1,53) | 3,96 (1,51) |
4. Aprendizagem e pensamento crítico | 2,71 (1,33) | 2,78 (1,34) | 2,72 (1,37) | 2,58 (1,30) |
5. Avaliando aprendizagem e linguagem | 2,82 (1,40) | 3,01 (1,45) | 2,84 (1,52) | 2,46 (1,20) |
ECERS-E e SSTEW são medidos em uma escala de qualidade de educação infantil em 7 pontos, sendo 1 = inadequado, 3 = básico/mínimo, 5 = bom, 7 = excelente.
Características da unidade
Informações sobre a região geográfica, decil do SEIFA e tamanho do serviço dos centros foram coletadas no mesmo dia das observações das escalas. Dos registros nacionais, também captou-se o tempo passado desde a última classificação NQS (max. = 4,05 anos antes de nossas observações).
RESULTADOS
Exploração inicial dos dados
Embora não se esperasse que os resultados da observação das escalas de avaliação de qualidade fossem diferentes por estado, análises iniciais procuraram estabelecer isso antes de excluir tal fator das análises subsequentes (Tabela 2). Análises de regressão demonstraram que a adição de estado (codificado como variáveis dummy) para um modelo de SEIFA, região geográfica, tipo de atendimento e número máximo de vagas prevendo as classificações da ECERS-E não melhorou o model fit, ΔF(2, 249) = 0,29, p = 0,752. Esse foi o caso também para o SSTEW, ΔF(2, 249) = 0,58, p = 0,564. Como não houve efeitos sistemáticos “do estado” nas pontuações da ECERS-E ou do SSTEW, a variável “estado” foi omitida nas análises futuras.
Diferenças de qualidade entre as pontuações das escalas de avaliação e das categorias do NQS
ECERS-E
Para analisar as potenciais associações entre as pontuações ECERS-E e NQS, realizou-se a regressão múltipla hierárquica para investigar até que ponto as pontuações NQS (área de qualidade 1 e geral) previram as pontuações da ECERS-E, controlando SEIFA, região geográfica, tipo de atendimento e número de vagas (ver Tabela 3). O NQS foi recodificado como variável dummy, com a categoria de referência atende às exigências do NQS. O modelo inicial, incluindo variáveis apenas de controle, foi significativo, F (5, 251) = 3,11, p = 0,10, apesar de não haver nenhum preditor que tivesse uma contribuição independente e significativa à pontuação de qualidade da ECERS-E. O mesmo ocorreu ao se considerarem pontuações gerais do NQS ou a pontuação para área de qualidade 1 do NQS.
De interesse dessa investigação atual, o próximo passo incluiu as pontuações do NQS para investigar se as pontuações da ECERS-E melhoraram conforme melhoraram as pontuações do NQS. O modelo completo foi significante para as pontuações gerais do NQS, F(7, 249) = 4,16, p <0,001, e as pontuações da área de qualidade 1 do NQS, F(7, 249) = 4,00, p <0,001. A adição das pontuações do NQS no segundo passo melhorou o modelo (ver Tabela 4) e confirmou que as unidades que tiveram pontuação excede o NQS na classificação geral do NQS (ou na área de qualidade 1) alcançaram pontuações da ECERS-E significativamente mais altas do que aquelas que obtiveram a pontuação atende às exigências do NQS. Não há diferenças estatisticamente significativas nas pontuações da ECERS-E entre as unidades que receberam pontuação a caminho do NQS e atende às exigências do NQS. Tais resultados indicam uma associação entre classificações do NQS e pontuações de avaliação de qualidade, mas essa associação é ampla (não é específica à área de qualidade 1) e apenas nas classificações de qualidade do NQS mais altas. Realmente, as análises de regressão idênticas para as outras pontuações de áreas de qualidade do NQS (áreas de qualidade 2 até 7) tiveram resultados semelhantes, com unidades avaliadas como excede o NQS recebendo pontuações ECERS-E significantemente mais altas para cada análise (>βs foram de 0,17 a 0,21).
No entanto, a média das pontuações ECERS-E de unidades que excedem o NQS situava-se no nível básico/mínimo (pontuação 3 de 7) de acordo com as pontuações da ECERS-E (ver Tabela 3). Há, também, uma variabilidade substancial dentro dos níveis do NQS (Tabela 4): para a caminho, as pontuações ECERS-E foram de 1,67 a 4,29 (M = 2,61, DP = 0,72); para atende às exigências, as pontuações ECERS-E foram de 1,29 a 4,63 (M = 2,69, DP = 0,83); e para excede, as pontuações ECERS-E foram de 1,29 a 6,71 (M = 3,14, DP = 1,02).
PONTUAÇÃO NQS | |||
A CAMINHO | ATENDE ÀS EXIGÊNCIAS | EXCEDE | |
Área de qualidade 1: projeto e práticas pedagógicas* | |||
Média de pontuação de qualidade ECERS-E | 2,45 (0,60) | 2,74 (0,89) | 3,16 (0,99) |
1. Letramento | 3,03 (0,78) | 3,39 (1,01) | 3,86 (1,09) |
2. Matemática | 2,27 (0,69) | 2,65 (1,29) | 2,90 (1,24) |
3. Ciências e meio ambiente | 2,27 (0,85) | 2,56 (1,04) | 3,11 (1,33) |
4. Diversidade | 2,22 (0,85) | 2,37 (0,92) | 2,77 (1,11) |
Pontuações gerais do NQS | |||
Média de pontuação de qualidade ECERS-E | 2,61 (0,72) | 2,69 (0,83) | 3,14 (1,02) |
1. Letramento | 3,16 (0,76) | 3,32 (0,98) | 3,85 (1,12) |
2. Matemática | 2,56 (1,19) | 2,55 (1,16) | 2,93 (1,34) |
3. Ciências e meio ambiente | 2,37 (0,81) | 2,53 (1,02) | 3,05 (1,32) |
4. Diversidade | 2,33 (0,90) | 2,34 (0,95) | 2,72 (1,06) |
*Unidades para as categorias da área de qualidade 1 do NQS são: 20 estão a caminho, 153 atendem às exigências e 84 excedem.
PONTUAÇÃO NQS | ||||||||
ÁREA DE QUALIDADE 1 (ASPECTOS DO PROJETO E DAS PRÁTICAS PEDAGÓGICAS PARA AS CRIANCAS) | PONTUAÇÃO GERAL NQS | |||||||
N = 257 | N = 184 | N = 257 | N = 184 | |||||
ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | |
0,04** | 0,07** | 0,05** | 0,09** | |||||
SEIFA | 0,08 | 0,07 | 0,08 | 0,07 | ||||
Região geográfica | ||||||||
Metropolitana versus área central | 0,09 | 0,08 | 0,09 | 0,08 | ||||
Metropolitana versus áreas não centrais | -0,08 | -0,07 | -0,08 | -0,08 | ||||
Tipo de atendimento (unidade de tempo integral versus pré) | 0,10 | 0,12 | 0,11 | 0,15 | ||||
Número máximo de vagas | -0,08 | -0,08 | -0,06 | -0,06 | ||||
Pontuação NQS | ||||||||
Atende às exigências versus a caminho | -0,09 | -0,08 | -0,03 | -0,06 | ||||
Atende às exigências versus excede | 0,17** | 0,24** | 0,21** | 0,28** |
*p < 0,05; **p < 0,01.
SSTEW
As mesmas análises foram feitas para investigar as associações entre as pontuações do NQS (nas áreas de qualidade 1, 5 e geral) e pontuações do SSTEW (Tabela 6). O modelo inicial foi, mais uma vez, significativo (e idêntico) para as pontuações das áreas de qualidade 1, 5 e geral do NQS, F(5, 251) = 2,58, p = 0,027. Apenas a região geográfica foi significativa dentre os fatores de controle, de tal maneira que unidades na região central tiveram pontuações do SSTEW mais altas do que aquelas em áreas metropolitanas. A região geográfica não foi analisada mais profundamente, uma vez que essas unidades não foram selecionadas de maneira geograficamente representativa, e não era um objetivo a priori deste estudo.
O modelo melhorou significativamente com a adição das pontuações de área de qualidade 1 do NQS, F(7, 249) = 2,86, p = 0,007, e da área de qualidade 5, F(7, 249) = 3,02, p = 0,005, mas não das pontuações gerais do NQS. As inspeções desses resultados indicam que, para a área de qualidade 1 do NQS, as unidades que tiveram pontuação excedem do NQS tiveram pontuações no SSTEW consideravelmente maiores do que aquelas que alcançaram pontuação atende às exigências do NQS. Não houve diferença significativa entre pontuações do SSTEW para as unidades que receberam as classificações atende às exigências e a caminho do NQS. O mesmo padrão foi observado para a área de qualidade 5 do NQS. Isso demonstra que as associações do NQS com o SSTEW são específicas para as áreas de qualidade do NQS aqui estudadas, mas apenas entre classificações de qualidade mais alta. A repetição dessas análises para outras áreas de qualidade indicou que apenas a área de qualidade 7 do NQS foi associada adicionalmente com as pontuações do SSTEW, tanto que as unidades pontuadas como excedem tiveram pontuações SSTEW significativamente mais altas do que aquelas que receberam a pontuação atende às exigências (β = 0,18, p = 0,006). As pontuações SSTEW estavam, então, relacionadas às áreas de qualidade 1 e 5, como previsto, e também à área de qualidade 7.
Mais uma vez, a média de pontuações SSTEW para unidades que excedem ainda está abaixo do nível bom (ou seja, pontuação menor que 4) de acordo com a escala SSTEW (ver Tabela 5). Houve, também, uma variabilidade substancial dentro dos níveis do NQS (Tabela 5): para a caminho, as pontuações SSTEW foram de 1,48 a 5,98 (M = 3,41, DP = 1,07); para atende às exigências, as pontuações SSTEW foram de 1,05 a 5,88 (M = 3,51, DP = 1,28); e para excede, as pontuações SSTEW foram de 1,17 a 6,70 (M = 3,92, DP = 1,20).
PONTUAÇÃO NQS | |||
A CAMINHO | ATENDE ÀS EXIGÊNCIAS | EXCEDE | |
Área de qualidade 1: aspectos do projeto e das práticas pedagógicas para crianças | |||
Média de pontuação de qualidade do SSTEW | 3,27 (1,07) | 3,53 (1,25) | 4,00 (1,21) |
1. Confiança, segurança e independência | 4,18 (1,34) | 4,40 (1,44) | 4,86 (1,39) |
2. Bem-estar social e emocional | 3,45 (1,79) | 3,86 (1,67) | 4,40 (1,54) |
3. Linguagem e comunicação | 3,70 (1,26) | 4,15 (1,42) | 4,54 (1,19) |
4. Aprendizagem e pensamento crítico | 2,63 (1,40) | 2,53 (1,26) | 3,07 (1,39) |
5. Avaliando aprendizagem e linguagem | 2,40 (1,11) | 2,71 (1,32) | 3,10 (1,55) |
Área de qualidade 5: relações com crianças | |||
Pontuação de qualidade média SSTEW | 3,21 (,75) | 3,46 (1,25) | 3,94 (1,21) |
1. Confiança, segurança e independência | 4,30 (1,07) | 4,28 (1,40) | 4,86 (1,34) |
2. Bem-estar social e emocional | 3,54 (1,57) | 3,77 (1,74) | 4,33 (1,52) |
3. Linguagem e comunicação | 3,50 (1,01) | 4,04 (1,42) | 4,55 (1,24) |
4. Aprendizagem e pensamento crítico | 2,31 (0,70) | 2,56 (1,31) | 2,94 (1,37) |
5. Avaliando aprendizagem e linguagem | 2,36 (0,90) | 2,67 (1,27) | 3,03 (1,56) |
Pontuação geral do NQS | |||
Média de pontuação de avaliação de qualidade SSTEW | 3,41 (1,07) | 3,51 (1,28) | 3,92 (1,20) |
1. Confiança, segurança e independência | 4,26 (1,07) | 4,37 (1,49) | 4,81 (1,29) |
2. Bem-estar social e emocional | 3,75 (1,78) | 3,83 (1,69) | 4,30 (1,55) |
3. Linguagem e comunicação | 3,88 (1,23) | 4,14 (1,43) | 4,47 (1,26) |
4. Aprendizagem e pensamento crítico | 2,67 (1,29) | 2,51 (1,26) | 2,98 (1,40) |
5. Avaliando aprendizagem e linguagem | 2,48 (1,11) | 2,69 (1,38) | 3,06 (1,46) |
*p < 0,05; **p < 0,01.
Análises adicionais
Dada a prevalência de rotatividade de membros da equipe, aprendizagem contínua dos profissionais e outros fatores de mudança na área da educação infantil, análises subsequentes procuram avaliar se as associações entre o NQS e as escalas de avaliação de qualidade mudam quando as classificações de qualidade estavam dentro de um tempo razoável entre cada observação (ou seja, num prazo de dois anos). Foi considerado o período de dois anos porque o tempo entre pontuações do NQS pode ser longo, no entanto, as unidades mantêm suas pontuações (excede, bom, etc.), mesmo após mudanças em grande escala. Essas análises revelaram que as unidades avaliadas em períodos inferiores a 24 meses antes de receberem as pontuações de qualidade (n = 184 salas) estavam em conformidade com os padrões de resultados mencionados acima, enquanto aquelas avaliadas depois do período de 24 meses (n = 73) mostraram pequena associação. Análises subsequentes foram conduzidas nessa amostra reduzida, < 24 meses, e estão nas Tabelas 4 e 6 para a ECERS-E e o SSTEW. Esses resultados sugerem que as associações entre os resultados da avaliação do NQS e das avaliações feitas com as escalas de qualidade foram fortalecidas, em especial, quando estas ocorreram com o intervalo de 24 meses entre uma e outra.
DISCUSSÃO
O estudo procura avaliar o grau da associação entre o sistema de avaliação da Austrália NQS e as pontuações obtidas a partir do uso das escalas de avaliação de qualidade. Os resultados sugerem que o NQS captura elementos de qualidade em comum com essas escalas de avaliação, mas a associação se distingue predominantemente entre unidade de alta qualidade (excede) e baixa qualidade (a caminho, atende às exigências), e mais ainda quando as avaliações do NQS ocorreram dentro dos últimos dois anos. Apesar dessa associação, os níveis de qualidade até mesmo daquelas unidades que receberam a pontuação excede o NQS estavam, em média, em níveis básicos, como definido pelas escalas de avaliação de qualidade. Isso sugere que o NQS pode ser usado como mecanismo importante para chamar a atenção para a qualidade, assegurando um limite mínimo para todo campo da educação infantil, enquanto as escalas fornecem ferramentas e direcionamento para unidades que estão prontas para irem além do nível básico de qualidade. Esses resultados ecoam estudos internacionais semelhantes, que comparam monitoramento realizado pelo governo e qualidade de processo com medidas de qualidade obtidas por pesquisas. Na Inglaterra, por exemplo, as comparações entre processos de inspeção do governo e avaliações de qualidade do ambiente também são modestas (MATHERS; SINGLER; KAREMAKER, 2012), com resultados semelhantes encontrados nos EUA (SABOL et al., 2013).
Esse estudo também indica que há níveis altos de variabilidade nas medidas das escalas dentro das classificações de pontuação do NQS, mesmo ao serem consideradas apenas unidades que foram avaliadas nos últimos 24 meses. Isto é, muitas unidades que atingiram pontuações altas da ECERS-E e do SSTEW foram classificadas como não atendendo às exigências do NQS, e esse padrão recíproco também é comum. Apesar de as razões disso serem várias e complexas, propomos três explicações. Primeiramente, há diferenças nas áreas de qualidade consideradas. Ou seja, enquanto o NQS é necessariamente amplo em seu foco, há evidências de que combinar aspectos instrucionais, de processo e conformidade, sem enfatizar os elementos específicos ligados com o aproveitamento das crianças, pode obscurecer o significado das pontuações geradas. Como reportado por Sabol et al. (2013), durante a revisão de sistemas de monitoramento nos EUA, alguns indicadores de qualidade (por exemplo, interações adulto/criança) estão relacionados à aprendizagem das crianças, mas essas associações são mitigadas quando vários indicadores são adicionados à avaliação de qualidade, incluindo aspectos estruturais tipicamente encontrados dentro de sistemas de monitoramento e inspeção do governo que estão sendo estudados. Nesses casos, as classificações de alta qualidade não necessariamente denotam provisão ótima para o desenvolvimento e aprendizagem das crianças. Em vez disso, Sabol et al. (2013) sugerem que, onde são colhidas informações sobre vários aspectos de qualidade, deve-se tomar cuidado com a condução da análise e a apresentação de resultados em relatórios. Além disso, diante dos custos associados à coleta de vários indicadores de qualidade, pode ser mais econômico se concentrar em indicadores separadamente e que estabeleceram associações com a aprendizagem e o desenvolvimento das crianças. Por exemplo, nos resultados aqui discutidos, três áreas de qualidade do NQS estão relacionadas às dimensões de qualidade, especificamente relativas às interações como avaliado pela escala SSTEW (embora nenhuma diferenciação nas áreas de qualidade tenha ficado evidente em relação à ECERS-E). A apresentação dos resultados relativos a cada uma das diferentes dimensões que envolvem a qualidade de processo pode ressaltar importantes distinções entre os vários aspectos da qualidade da educação infantil.
PONTUAÇÃO NQS | ||||||||||||
ÁREA DE QUALIDADE 1 (ASPECTOS DO PROJETO E DAS PRÁTICAS PEDAGÓGICAS PARA TODAS AS CRIANÇAS) | ÁREA DE QUALIDADE 5 (RELAÇÕES COM AS CRIANÇAS) | PONTUAÇÃO GERAL NQS | ||||||||||
N = 257 | N = 184 | N = 257 | N = 184 | N = 257 | N = 184 | |||||||
ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | ΔR 2 | β | |
0,03* | 0,05** | 0,03* | 0,03* | 0,02 | 0,05** | |||||||
SEIFA | -0,02 | -0,01 | -0,02 | -0,02 | -0,02 | -0,02 | ||||||
Região geográfica | ||||||||||||
Metropolitana versus área central | 0,14* | 13 | 15* | 14 | 14* | 13 | ||||||
Metropolitana versus áreas não centrais | -0,03 | 0,04 | -0,03 | 0,03 | -0,03 | 0,04 | ||||||
Tipo de atendimento (unidade de tempo integral versus pré) | 0,06 | 0,13 | 0,07 | 0,14 | 0,07 | 0,15 | ||||||
Número máximo de vagas | -0,06 | -0,03 | -0,04 | -0,02 | -0,05 | -0,02 | ||||||
Pontuação NQS | ||||||||||||
Atende às exigências versus a caminho de | -0,07 | -0,09 | -0,04 | -0,06 | -0,02 | -0,10 | ||||||
Atende às exigências versus excede | 0,14* | 0,19* | 0,16* | 0,17* | 0,13 | 0,19* |
*p < 0,05; **p < 0,01.
Em segundo lugar, mesmo que haja um núcleo comum de qualidade captado por ambos os tipos de medidas, a qualidade da coleta dos dados depende amplamente do treinamento dos avaliadores e dos materiais e orientações oferecidos (incluindo como os indicadores podem ser entendidos e interpretados e como conceitos complexos, como SST, são descritos). Um indicador genérico, como “educadores e coordenadores [...] promovem um senso de comunidade nas unidades” - área de qualidade 5 do NQS - (ACECQA, 2017b, p. 24), pode ser interpretado de várias maneiras, como, por exemplo, significando “abraçar a diversidade cultural, sentimento de unidade da equipe, relacionamentos com os pais”, sendo que essas variadas interpretações podem ser consideradas satisfatórias dependendo das diferentes perspectivas.
Essa situação introduz questões de confiabilidade entre observadores, bem como objetivos incertos para os educadores que têm a responsabilidade de certificar que as diretrizes são atendidas. As escalas fornecem um modelo alternativo nesse sentido, com indicadores e descritores elaborados para serem concretos e tangíveis - eles podem ser vistos, ouvidos, lidos e necessitam de evidências específicas, observáveis e bem definidas. Apesar de essa avaliação envolver algum tipo de julgamento do observador, este deve ser treinado para dominar os princípios e concepções tanto das escalas quanto das práticas avaliadas para que se garanta a confiabilidade entre os observadores (SIRAJ et al., 2017a). Descrições de comportamentos que podem ser evidenciados dentro das escalas de avaliação de qualidade fornecem diretrizes, descrições e indicadores claros de práticas inadequadas, mínimas, boas ou excelentes, com indicadores que se complementam. Dessa perspectiva, a variação encontrada entre as pontuações do NQS e das escalas pode ser, pelo menos em parte, causada pelas diferentes interpretações dos avaliadores ou pelas diferentes interpretações que um avaliador pode ter de acordo com a evolução de suas experiências, seus olhares e pontos de referência ao longo do trabalho de observação.
Em terceiro lugar, existem, de propósito, algumas diferenças fundamentais nos princípios e práticas implícitos considerados por essas medidas de qualidade. Por exemplo, enquanto a ECERS-E tem duas subescalas dedicadas à matemática e ciências que consideram o papel de apoiador do adulto para fomentar as brincadeiras e experiências, o NQS faz pouca referência direta a essas áreas. Isso pode estar relacionado à crença generalizada no campo da educação infantil, e reforçada pelo NQS, sobre como as crianças pequenas aprendem. De fato, a pesquisa por trás dessas escalas reforça a importância de uma abordagem centrada na criança, em que educadores acompanham a liderança e os interesses das crianças enquanto brincam. No entanto, as escalas enfatizam especificamente a importância de impulsionar esses interesses e experiências de brincadeira para apoiar a aprendizagem e desenvolvimento por meio de SST, e em áreas como matemática, ciências e exploração. Atualmente, há pouca menção sobre essas práticas e domínios no NQS.
Outro fator que complica as associações entre as medidas é a taxa alta de rotatividade de membros de equipe no campo de educação infantil. Juntos, esses fatores podem contribuir para a discrepância frequente entre pontuações do NQS e pontuações das escalas, assim como para as médias baixas e minimamente diferentes das pontuações das escalas de avaliação distribuídas pelas classificações do NQS. Por exemplo, unidades que foram avaliadas como excede no NQS tiveram pontuação entre 1,29 (qualidade inadequada) e 6,71 (excelente qualidade), na ECERS-E, e entre 1,17 e 6,70, no SSTEW. Enquanto há uma associação geral e abrangente entre esses índices de qualidade, pelo menos quando considerado o período de dois anos entre cada uma das avaliações, existem também casos de desacordo sobre como os centros devem ser caracterizados em termos de sua qualidade. Isso sugere que, enquanto as classificações do NQS podem ser apropriadas para assegurar melhorias de qualidade em todo o campo da educação infantil, as escalas de avaliação de qualidade podem ser necessárias para identificar os maiores níveis de qualidade das unidades e os consequentes benefícios para as crianças e para informar as famílias sobre as oportunidades que as unidades podem oferecer às crianças.
Esse estudo apresenta resultados úteis para ajudar a entender, interpretar e apoiar o programa de avaliação do NQS da Austrália, em todos os estados, dado que três estados demonstraram padrões de resultados semelhantes. Primeiramente, enquanto aspectos estruturais da qualidade são importantes, especialmente em ambientes que demonstram níveis menores de qualidade, separar os aspectos da qualidade no que diz respeito aos rendimentos das crianças pode render informações adicionais úteis para a melhoria continuada da qualidade. Isso, é claro, requer avaliação dos aspectos do NQS que estão mais associados aos rendimentos futuros das crianças. Em relação aos aspectos de qualidade de processo já incorporados no NQS, pode ser prudente atualizar e incluir entendimentos mais recentes sobre o que é importante para o desenvolvimento das crianças. É relevante, também, considerar conteúdo, competência e confiança em áreas como matemática, ciências e exploração. Como alternativa para atualização do NQS e seguindo a linha das ações de alguns estados estadunidenses e autoridades locais do Reino Unido, medidas de pesquisa (incluindo escalas de avaliação de qualidade) podem ser úteis para fortalecer sistemas de inspeção e monitoramento - especialmente para unidades que já atendem aos padrões mínimos de qualidade nacionais. Se os governos se comprometerem com uma abordagem de qualidade baseada em evidências científicas, esse parece ser um passo na direção certa.