SciELO - Scientific Electronic Library Online

 
vol.30 número75Brasil en el sistema Arcosur desde la visión de los actores brasileñosAgradecimentos - Pareceristas índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.30 no.75 São Paulo set./dic 2019  Epub 08-Mayo-2020

https://doi.org/10.18222/eae.v30i75.6925 

Artigos

Comparando índices regulatórios e não regulatórios de qualidade da educação infantil australiana1

Comparando índices regulatorios y no regulatorios de calidad de la educación infantil en Australiat

Comparing regulatory and non-regulatory indices of early childhood education and care (ECEC) quality in the Australian early childhood sector

I University of Wollongong, Wollongong, Austrália; University of Oxford, Oxford, UK; iram.siraj@education.ox.ac.uk

II University of Wollongong, Wollongong, Austrália

III University of Sussex, Brighton, UK

IV University of Wollongong, Wollongong, Austrália

V University of Wollongong, Wollongong, Australia; University of Oxford, Oxford, UK; Birkbeck, University of London, London, UK

VI University of Wollongong, Wollongong, Austrália


RESUMO

Este estudo analisa as associações entre as pontuações provenientes de processos regulatórios de avaliação da qualidade da educação infantil australiana (Early Childhood Education and Care - ECEC) do National Quality Standard (NQS)2 e das duas escalas de avaliação de qualidade (SSTEW - Sustained Shared Thinking and Well Being; e ECERS-E - Early Childhood Environment Rating Scale-Extension). A amostra consiste em 257 unidades de ECEC em três estados australianos. Os resultados indicaram: associações positivas modestas entre as pontuações do NQS e das escalas; alguma especificidade entre as áreas de qualidade do NQS (aspectos do projeto e práticas pedagógicas para as crianças; relações com crianças) e de uma escala de avaliação - a SSTEW; variabilidade das pontuações das escalas de qualidade dentro de cada classificação do NQS; e atenuação dessas associações quando o tempo entre as avaliações ultrapassa 24 meses. As conclusões sugerem que o NQS e as escalas de avaliação indicam um núcleo comum de qualidade, mas capturam aspectos diferentes da qualidade, sugerindo que ambos poderiam ser usados para melhorar os padrões de qualidade nas pré-escolas australianas, onde as escalas de avaliação potencializam a qualidade ainda mais do que o NQS.

PALAVRAS-CHAVE: NATIONAL QUALITY STANDARD; ECERS-E; SSTEW; QUALIDADE; PRÉ-ESCOLA; REGULAMENTAÇÃO

RESUMEN

Este estudio analiza las asociaciones entre los puntajes provenientes de procesos regulatorios de evaluación de la calidad de la educación infantil australiana (Early Childhood Education and Care - ECEC) del National Quality Standard (NQS) y de las dos escalas de evaluación de calidad (SSTEW - Sustained Shared Thinking and Well Being; y ECERS-E - Early Childhood Environment Rating Scale-Extended). La muestra consiste en 257 unidades de ECEC en tres estados de Australia. Los resultados indicaron: asociaciones positivas modestas entre los puntajes del NQS y de las escalas; alguna especificidad entre las áreas de calidad del NQS (aspectos del proyecto y prácticas pedagógicas para los niños; relaciones con niños) y una escala de evaluación - la SSTEW; variabilidad de los puntajes de las escalas de calidad dentro de cada clasificación del NQS; y atenuación de dichas asociaciones siempre que el tiempo entre las evaluaciones supera los 24 meses. Las conclusiones sugieren que el NQS y las escalas de evaluación indican un núcleo común de calidad, pero capturan aspectos distintos de la calidad, lo que sugiere que ambos se podrían utilizar para mejorar los estándares de calidad en el sistema preescolar australiano, en el que las escalas de evaluación potencian todavía más la calidad que el NQS.

PALABRAS CLAVE: NATIONAL QUALITY STANDARD; ECERS-E; SSTEW; CALIDAD; SISTEMA PREESCOLAR; REGLAMENTACIÓN

ABSTRACT

This study examines associations between Australia’s regulatory ratings of quality in Early Childhood Education and Care (ECEC) - the National Quality Standard (NQS) - and two research-based quality rating scales. The analytic sample consisted of 257 ECEC services across three Australian states. Results indicated (1) modest positive associations between NQS ratings and scale scores; (2) some specificity between NQS quality areas (educational programs and practice; relationships with children) and one research scale - the Sustained Shared Thinking and Emotional Wellbeing (SSTEW) scale; (3) variability in quality scales scores within each NQS designation; and (4) mitigation of these associations when the time-gap between ratings exceeded 24 months. Findings suggest NQS and research scales tap some common core of quality, yet capture different aspects of quality, suggesting both could be used to raise standards of quality in Australian preschools, where the research scales potentiate raising quality to even higher levels than NQS.

KEYWORDS: NATIONAL QUALITY STANDARD; ECERS-E; SSTEW; QUALITY; PRESCHOOL; REGULATION

INTRODUÇÃO

As evidências demonstram a importância de experiências educacionais de alta qualidade em ambientes de educação infantil (ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OCDE, 2012). Os benefícios incluem a constante promoção do desenvolvimento de curto e longo prazos das crianças, como seu sucesso na trajetória escolar (MELHUISH et al., 2015), a possibilidade de reduzir desigualdades relacionadas a status socioeconômico (SIRAJ; MAYO, 2014) e o potencial para fomentar crescimento econômico a longo prazo (HO; CAMPBELL-BARR; LEESON, 2010).

Apesar de esses benefícios já serem bem reconhecidos (MELHUISH et al., 2015; PIANTA, 2012; SYLVA et al., 2014; TAYLOR et al., 2016), o debate acerca de como assegurar e maximizar experiências de alta qualidade na educação infantil continua em andamento. Definir as abordagens pedagógicas e as práticas da educação infantil que claramente apoiam e melhoram o desenvolvimento e a aprendizagem das crianças permanece uma prioridade das pesquisas. No entanto, o termo qualidade em si é um conceito controverso, em grande parte por conta de sua natureza subjetiva. Vários estudos mostraram que as partes interessadas (por exemplo: pais, educadores, crianças e governos) têm visões diferentes de qualidade e valorizam distintas características da prática (EDUCATION REVIEW OFFICE, 2010; PENN, 1996). Por exemplo, pais valorizam a proximidade de uma unidade de educação infantil de suas casas e a aparente felicidade das crianças quando a frequentam (PLANTENGA, 2011), enquanto muitos governos (incluindo o australiano) enfatizam o impacto no rendimento das crianças (seu desenvolvimento social, emocional e cognitivo). Uma discussão abrangente sobre as múltiplas perspectivas da qualidade pode ser encontrada em outras referências (KINGSTON, 2017; KINGSTON; MELVIN, 2012; MATHERS; SINGLER; KAREMAKER, 2012; MOSS; DAHLBERG, 2008).

A despeito da complexidade do termo qualidade, este estudo considera a medida de qualidade nacional do governo australiano - a avaliação do National Quality Standard (NQS) -, que, entre outras funções (prover informações sobre as políticas, assegurar responsabilidade pública e apoiar o direito de crianças e famílias de provisões de educação infantil de alta qualidade), mede e monitora a qualidade com foco no impacto que a educação infantil pode ter em seus rendimentos e aproveitamento das experiências ao longo da educação infantil (AUSTRALIAN CHILDREN’S EDUCATION & CARE QUALITY AUTHORITY - ACECQA, 2017a). Dada a falta de informação sobre até que ponto os resultados do NQS se alinham com aqueles que fazem previsões sobre o rendimento escolar das crianças, foram então comparados o NQS e duas escalas de avaliação de qualidade: Sustained Shared Thinking and Well Being (SSTEW) e a Early Childhood Environment Rating Scale-Extension (ECERS-E) (SIRAJ; KINGSTON; MELHUISH, 2015; SYLVA; SIRAJ-BLATCHFORD; TAGGART, 2003). Com base nos dados de nossos estudos de qualidade em educação infantil e nas pontuações obtidas pelo NQS do governo australiano, observamos como tais pontuações do NQS se comparam a essas duas escalas de avaliação de qualidade no que se refere aos resultados de aprendizagem das crianças (desenvolvimento social, emocional e cognitivo) (HOWARD et al., 2018; SYLVA et al., 2006).

TENTATIVAS INTERNACIONAIS DE COMPREENDER E MELHORAR A QUALIDADE DA EDUCAÇÃO INFANTIL

Governos de vários países tentam assegurar que seus processos e medidas para monitorar e melhorar serviços de educação infantil garantam ambientes educativos de alta qualidade para crianças e famílias. O governo do Reino Unido, por exemplo, examinou a qualidade ao renovar seus sistemas de fiscalização e currículos para crianças com menos de sete anos (PARKER, 2013). Após uma robusta revisão do currículo Te Whariki na Nova Zelândia, que considerou os rendimentos escolares das crianças e a provisão quase universal para as crianças em idade pré-escolar (NEW ZEALAND, 2017), a atenção do governo neozelandês se volta agora para a qualidade do atendimento.

De maneira semelhante, em 2009, os governos estaduais australianos estabeleceram o National Quality Framework (NQF) para todos os contextos e ambientes de educação infantil. Isso começou a vigorar em 2012 e foi feito para gerar maior consistência nos sistemas educacionais estaduais e territoriais, apoiado também pela implementação do Early Years Learning Framework (AUSTRÁLIA, 2009) e da avaliação pelo National Quality Standard (NQS) e seu sistema de pontuação (ACECQA, 2017a). O NQS australiano foi desenvolvido por um grupo de especialistas da primeira infância, em consulta com o governo, para estabelecer e manter a qualidade da educação infantil na Austrália por meio de uma estrutura regulatória abrangente (ver Tabela 1).

Em conjunto com as fiscalizações do governo e os processos internacionais de monitoramento, o NQS leva em consideração os julgamentos das equipes profissionais treinadas para conduzir a avaliação de uma grande variedade de elementos para, assim, atribuir uma pontuação que, conceitualmente, capta a qualidade do serviço em geral - incluindo a qualidade associada à aprendizagem e às conformidades nacionais. Os tipos de atendimento avaliados incluem atendimento domiciliar, unidade que opera em tempo integral (que cuida de bebês, crianças pequenas e crianças com idade pré-escolar) e programas de pré-escola (que se concentram no atendimento de crianças um ano antes do ingresso escolar).

O NQS visa a orientar educadores e provedores sobre o atendimento de qualidade na educação infantil. Além disso, as autoridades regulatórias têm enfatizado as questões relativas à segurança das crianças e à conformidade às regulamentações, como é observado em várias áreas de qualidade do NQS. No entanto, as pontuações de qualidade do NQS, geralmente, são interpretadas como intercambiáveis com medidas científicas de qualidade da educação infantil, que já demonstraram, empiricamente, que correspondem a melhores rendimentos relativos à aprendizagem e ao desenvolvimento das crianças (HOWARD et al., 2018; O’CONNELL et al., 2016). Apesar de ter sido sustentado por pesquisas (OCDE, 2006) e estar ligado ao Early Years Learning Framework (EYLF), há uma quantidade limitada de evidências disponíveis para avaliar se o NQS é capaz de diferenciar entre ambientes que se distinguem no que diz respeito ao impacto sobre o desenvolvimento e aprendizagem das crianças. A capacidade de fazer tal diferenciação é particularmente importante para crianças menos privilegiadas, para as quais a qualidade da educação infantil comprovadamente pode melhorar vários aspectos do seu desenvolvimento (MELHUISH et al., 2015).

CONCEITUALIZANDO QUALIDADE ASSOCIADA À MELHORIA DO APROVEITAMENTO DAS CRIANÇAS NA EDUCAÇÃO INFANTIL

Recentes estudos (TAYLOR et al., 2016) e revisão bibliográfica (MELHUISH et al., 2015; SIRAJ; KINGSTON, 2015) identificaram características importantes para melhorar a aprendizagem, o desenvolvimento e o bem-estar das crianças ao longo da educação infantil. São elas:

  • interações sensíveis, acolhedoras e emocionalmente receptivas entre adultos e crianças;

  • uma equipe que inclui professores e diretores com qualificações relevantes e adequadas;

  • um currículo desenvolvido de forma apropriada que valoriza a brincadeira e a aprendizagem;

  • razão adulto/criança que permite a interação de membros da equipe com as crianças regularmente e de maneira significativa;

  • líderes que incentivam a colaboração e mantêm a consistência na qualidade dos cuidados;

  • desenvolvimento profissional que garante a continuidade, estabilidade e melhoria da qualidade;

  • instalações que apoiam a segurança e a saúde das crianças e dos adultos e são acessíveis aos pais;

  • compartilhamento com os pais/responsáveis sobre os objetivos educacionais e suporte aos pais para o desenvolvimento de um ambiente de aprendizagem em casa.

TABELA 1 Áreas da qualidade conforme o NQS, SSTEW e ECERS-E 

NQS - ÁREAS DE QUALIDADE (QA) SSTEW ECERS-E
QA1. Aspectos do projeto e das práticas pedagógicas para as crianças Subescala 1: construindo confiança, segurança e independência Subescala 1: letramento
QA2. Saúde e segurança Subescala 2: bem-estar social e emocional Subescala 2: matemática
QA3. Aspectos do ambiente físico Subescala 3: apoiar e ampliar a linguagem e a comunicação Subescala 3: ciências e meio ambiente
QA4. Membros da equipe Subescala 4: apoiar a aprendizagem e o pensamento crítico Subescala 4: diversidade
QA5. Relações com as crianças Subescala 5: avaliar a aprendizagem e a linguagem
QA6. Parcerias com as famílias e comunidades
QA7. A maneira em que os serviços são administrados e conduzidos

Essas características demonstram a complexidade em promover o desenvolvimento cognitivo e socioemocional das crianças. Realmente, parece existir uma interação entre os aspectos da qualidade estrutural que estão associados à educação infantil de alta qualidade (por exemplo, tamanho das turmas, proporção adulto/criança, qualificações dos educadores) (HOWES et al., 2008; SLOT et al., 2015) e aspectos da qualidade do processo que se preocupam com as experiências vividas pelas crianças no dia a dia (por exemplo, as atividades, oportunidades e interações disponíveis dentro de um ambiente, os educadores e outras crianças e a disponibilidade e acessibilidade de materiais) (HOWES et al., 2008). Essa distinção entre qualidade estrutural e do processo ajuda a identificar os aspectos da qualidade que mais influenciam o desenvolvimento e a aprendizagem das crianças pequenas (DONABEDIAN, 1980; SIRAJ et al., 2017b).

Como a qualidade estrutural pode ser medida de maneira mais objetiva e com mais facilidade, seus aspectos são os mais frequentemente pesquisados e regulamentados, predominando nas inspeções e monitoramentos governamentais de educação infantil em vários países. A maneira como os diferentes aspectos de qualidade estrutural podem exercer influência não é simples, sendo que muitos estudos recentes sugerem haver um excesso descabido de confiança nas noções estruturais de qualidade (e.g.SLOT et al., 2015). Pesquisas internacionais mostram cada vez mais que o processo de interações adulto-criança e criança-criança prevê os rendimentos das crianças de maneira mais significativa (MELHUISH et al., 2015; SIRAJ; KINGSTON, 2015).

Resumindo as pesquisas disponíveis sobre a qualidade do processo, a OCDE (2012) reportou que a sensibilidade e receptividade dos educadores, a qualidade de suas interações e sua capacidade de ampliar e apoiar a aprendizagem e pensamento das crianças são aspectos críticos para seu rendimento. Esses aspectos da qualidade do processo, apesar de mais difíceis de captar do que os aspectos estruturais, têm sido o foco de pesquisas empíricas usando escalas de avaliação de qualidade em contextos de educação infantil. É, então, importante questionar como a qualidade definida pelas estruturas regulatórias corresponde à qualidade medida por tais escalas de avaliação.

QUALIDADE MEDIDA POR ESCALAS DE AVALIAÇÃO

Interações de alta qualidade definidas como aquelas que apoiam e ampliam o pensamento das crianças têm sido, cada vez mais, relacionadas com o aproveitamento da criança, ou seja, com o seu desenvolvimento socioemocional e cognitivo (PIANTA, 2012; SYLVA et al., 2014). Essas interações, chamadas de sustained shared thinking (SST) por Siraj-Blatchford et al. (2002, p. 8), são conceitualizadas como interações em que

[...] dois ou mais indivíduos “trabalham juntos” de maneira a resolver um problema, esclarecer um conceito, avaliar uma atividade, ampliar a narrativa, e assim por diante. As partes envolvidas nessa interação devem contribuir para a expressão do pensamento, que deve desenvolver e estender a compreensão do fenômeno, de uma ideia, hipótese etc.

Enquanto a influência das SST é refletida no currículo EYLF australiano e outros currículos internacionais (por exemplo, THE EARLY YEARS FOUNDATION STAGE do Reino Unido, 2012), práticas associadas a ele ainda são pouco compreendidas e observadas (SYLVA et al., 2004; TAYLOR et al., 2016). Portanto, o apoio à compreensão e prática das SST deve ser priorizado, medido e monitorado com precisão.

A compreensão sobre o importante papel do adulto em fomentar interações como acima citadas tem levado ao desenvolvimento de ferramentas elaboradas para captar práticas pedagógicas associadas aos aspectos da qualidade relativa aos processos.

A escala SSTEW (SIRAJ; KINGSTON; MELHUISH, 2015) foi criada para apoiar, aumentar e melhorar a identificação e prática de interações de alta qualidade dentro de ambientes de educação infantil. De maneira semelhante, a ECERS-E procura capturar a qualidade do currículo, como a aprendizagem matemática, científica e de letramento e sobre a diversidade. Esses instrumentos têm reputação internacional por medirem aspectos importantes da qualidade da educação infantil que são associados aos principais domínios do desenvolvimento (por exemplo, linguagem, numeracia, ciência, diversidade, autorregulação, bem-estar socioemocional), o que constitui práticas eficientes em cada um, pelos processos de padronização pelos quais tiveram que passar e pelas suas propriedades psicométricas bem estabelecidas (por exemplo, a validade da previsão de rendimentos escolares das crianças como linguagem e numeracia) (HOWARD et al., 2018; MATHERS; SINGLER; KAREMAKER, 2012; SYLVA et al., 2004). Escalas de avaliação de qualidade são usadas amplamente em estudos nas regiões da Europa e Pacífico Asiático, assim como na Austrália, com o intuito de capturar qualidade, mudanças em qualidade e para acompanhar desenvolvimento profissional (por exemplo, SIRAJ et al., 2018).

RECONCILIAR O NQS COM ESCALAS DE AVALIAÇÃO DE QUALIDADE

Em contraste, o NQS é uma ferramenta de regulamentação que cobre sete áreas de qualidade e 18 padrões (2-3 em cada área de qualidade), considerando aspectos importantes da qualidade estrutural e de processo em conjunto com a segurança das crianças e em conformidade com as regulamentações nacionais. A avaliação oficial do NQS, conduzida por assessores autorizados pelo governo, e a pontuação dos serviços de educação infantil na Austrália incluem unidades que recebem suas pontuações individuais para cada área de qualidade e uma pontuação geral de qualidade. Há cinco pontuações possíveis: são necessárias melhorias significativas; a caminho do NQS; atende às exigências do NQS; excede o NQS; e excelente. A menor e a maior pontuação raramente são atribuídas devido às condições vigentes nas unidades daquele país.

Há áreas importantes que se sobrepõem e outras que se diferem entre o NQS e as escalas de avaliação. Em termos de semelhança, elementos da área de qualidade 1 do NQS (aspectos do projeto e das práticas pedagógicas para as crianças) mostram mais sinergia com indicadores de escalas de qualidade que enfatizam a qualidade do processo do currículo. Por exemplo, a área de qualidade 1 do NQS fornece informações sobre os currículos e suas implementações, as habilidades dos educadores de terem abordagens centradas nas crianças e a promoção da autonomia das crianças, baseada em seus interesses, ideias, conhecimento e culturas. Isso inclui intencionalidade, planejamentos e avaliações no nível individual, apoio para a participação de todas as crianças e incentivo para a conscientização dos responsáveis sobre o planejamento e o progresso das crianças. Existem também semelhanças entre o SSTEW e a área de qualidade 5 do NQS (relações com crianças). Ambos salientam a importância de se construírem relacionamentos fortes e respeitosos para estimular a aprendizagem colaborativa e independência das crianças, bem como reconhecem a importância da parceria com pais e o ambiente de aprendizagem em casa (MELHUISH et al., 2008).

No entanto, as escalas de qualidade e o NQS se distinguem no escopo e na profundidade da qualidade avaliada. A ECERS-E, por exemplo, inclui matemática, ciências e letramento, enquanto o NQS usa esses termos com pouca frequência (apenas três menções de cada) e os posiciona como opcionais (por exemplo, “potenciais exemplos de prática”). Resumidamente, enquanto as escalas de avaliação de qualidade se concentram mais nos aspectos da qualidade do processo, o NQS conceitualiza a qualidade de maneira muito mais ampla, com um foco no estrutural e na conformidade com regulamentações (saúde e segurança, qualificações de educadores, razão adulto/crianças, etc.). Como tal, enquanto as escalas produzem evidências que podem relacionar melhores pontuações com melhores rendimentos das crianças, a pontuação do NQS não favorece essa possibilidade.

O PRESENTE ESTUDO

O estudo dá início a um processo de avaliação empírica que deve acompanhar qualquer sistema regulatório de larga escala. Estudos como esse já foram iniciados no Reino Unido e nos EUA (MATHERS; SINGLER; KAREMAKER, 2012; SABOL et al., 2013). Especificamente, esse estudo compara o NQS com duas escalas de avaliação de qualidade - ECERS-E e SSTEW -, combinando dados coletados durante projetos em grande escala na Austrália e nas avaliações regulatórias publicadas do NQS. Essas escalas foram selecionadas por se concentrarem na qualidade dos currículos (correspondendo à área de qualidade 1 do NQS) e na qualidade de interação (correspondendo à área de qualidade 5 do NQS). As associações foram examinadas entre as pontuações de escalas de avaliação de qualidade e as pontuações gerais e aquelas específicas para cada área de qualidade do NQS. Consideramos, também, os efeitos em potencial dos locais dos serviços (como estado), o período de tempo desde a avaliação do NQS (ou seja, em até dois anos das observações realizadas com a escala de avaliação) e a variabilidade em qualidade dentro das classificações do NQS. Era esperado que o NQS e as escalas de avaliação de qualidade fossem diferentes (ou seja, capturam distintos aspectos de qualidade) e ao mesmo tempo relacionados (ou seja, possuem um núcleo de qualidade em comum), dado que há pelo menos um pouco de sobreposição entre os índices, mesmo que intencionalmente diferentes em amplitude e objetivos.

MÉTODO

Amostra

A amostra foi constituída de 257 unidades de educação infantil em três estados da Austrália, selecionadas a partir de um conjunto de características específicas das unidades de educação infantil e não por simples representatividade. Amplamente consistente com distribuições nacionais, na amostra existem mais unidades em regiões metropolitanas (n = 156, 60,7%) do que não metropolitanas (n = 101, 29,3%) e mais unidades de atendimento integral (n = 221, 86,0%) do que pré-escolas (n = 36, 14,0%). O decil socioeconômico médio das áreas de captura de atendimento da educação infantil foi 3,92 (DP = 2,28) - de acordo com o índice Socio-economic Index for Areas, ou SEIFA, do Australian Bureau of Statistics (2008) -, que indica uma área de população com situação socioeconômica mais baixa do que é esperado na população em geral. A média de vagas por unidade correspondeu a 65,37 (DP = 28,30). Para as categorias de avaliação gerais do NQS, a maioria das unidades atingiu as classificações atende às exigências do NQS (n = 128, 49,8%) ou excede o NQS (n = 101, 39,3%). Poucas unidades foram avaliadas na categoria a caminho do NQS (n = 28, 10,9%), o que é consistente com o perfil de pontuações nacionais (ACECQA, 2018).

Essa amostra incluiu 323 salas onde foram conduzidas as observações (64 unidades tiveram duas salas observadas e uma teve três salas observadas). No entanto, cada unidade obteve apenas uma classificação geral do NQS. Para contornar a questão da não independência das observações nas unidades que tiveram mais de uma sala observada, uma sala foi aleatoriamente selecionada para inclusão, totalizando assim 257 pontuações independentes originárias das observações.

MEDIDAS

Para mais detalhes sobre as áreas de qualidade mais importantes abordadas pelo NQS, ECERS-E e SSTEW, ver a Tabela 1.

Pontuações do National Quality Standard (NQS)

As avaliações e pontuações do NQS australiano são feitas em todos serviços de educação infantil na Austrália. Profissionais autorizados e treinados visitam cada unidade para avaliar 18 padrões nas sete áreas de qualidade já mencionadas (ver Tabela 1). Essas pontuações individuais são, então, combinadas em uma classificação geral NQS para cada unidade. As pontuações foram expostas nas unidades e publicadas nacionalmente, sendo que os dados desta pesquisa foram retirados das publicações nacionais das pontuações. Dados sobre as pontuações das unidades para este estudo foram colhidos do registro nacional em março de 2017.

Escalas de avaliação de qualidade

A ECERS-E (SYLVA; SIRAJ-BLATCHFORD; TAGGART, 2003) mede a qualidade dos currículos, dos ambientes e da pedagogia em ambientes de educação infantil. Ela conta com 15 itens divididos em quatro subescalas. O SSTEW (SIRAJ; KINGSTON; MELHUISH, 2015) aborda práticas que ajudam as crianças a desenvolverem suas habilidades de pensar e revelar o seu pensamento (sustained shared thinking) e bem-estar emocional. A escala conta com 14 itens divididos em cinco subescalas. Os focos de cada subescala estão detalhados na Tabela 1.

As pontuações de ambas as escalas (ECERS-E e SSTEW) foram dadas a partir das observações feitas em sala durante um dia. Cada item recebeu uma pontuação entre 1 (de qualidade inadequada) e 7 (de excelente qualidade), com base em padrões da presença ou ausência dos indicadores de cada item. Uma pontuação 3 indica qualidade básica/mínima e 5 indica boa qualidade. Ambas as escalas demonstram boa confiabilidade e uma relação com o aproveitamento das crianças ao iniciarem a escolarização obrigatória (HOWARD et al., 2018; SYLVA et al., 2006). Há pontuações individuais para cada item das subescalas, pontuação para cada subescala, sendo esta última a média dos itens, e uma pontuação geral de toda a escala (Tabela 2), que corresponde à média das subescalas.

As avaliações feitas com as escalas foram conduzidas por observadores altamente treinados durante a observação de um dia em unidades participantes. Os observadores foram treinados intensivamente durante cinco dias, incluindo a prática em campo com um observador de referência e com experiência neste trabalho, seguido de testes de confiabilidade de concordância entre observadores comparando as pontuações independentes de uma observação de um dia inteiro com um observador experiente. Era necessário que os observadores atendessem ao rigoroso padrão de confiabilidade antes da coleta de dados em campo: correlação intraclasse excedendo 0,70 (M = 0,86); correlação excedendo 0,70 (M = 0,86); diferença média entre pontuações menor que 0,75 (M = 0,43); e acordo de pontuação (dentro de 1 ponto) de pelo menos 80% (M = 93%).

TABELA 2 Média de pontuações de qualidade (e DPs) da ECERS-E, SSTEW e suas respectivas subescalas por estado 

GERAL ESTADO 1 N = 147 ESTADO 2 N = 26 ESTADO 3 N = 84
Média de pontuação de qualidade ECERS-E 2,86 (0,93) 2,93 (0,93) 2,58 (0,90) 2,80 (0,93)
1. Letramento 3,51 (1,05) 3,62 (1,05) 3,15 (1,19) 3,45 (0,98)
2. Matemática 2,70 (1,24) 2,68 (1,13) 2,54 (1,24) 2,79 (1,43)
3. Ciências e o meio ambiente 2,72 (1,16) 2,84 (1,19) 2,46 (1,05) 2,58 (1,12)
4. Diversidade 2,49 (1,00) 2,60 (1,07) 2,17 (1,00) 2,39 (0,90)
Média de pontuação de qualidade SSTEW 3,66 (1,24) 3,77 (1,17) 3,78 (1,40) 3,43 (1,30)
1. Confiança, segurança e independência 4,53 (1,39) 4,62 (1,32) 4,65 (1,61) 4,34 (1,44)
2. Bem-estar social e emocional 4,00 (1,66) 4,07 (1,57) 4,19 (1,70) 3,82 (1,80)
3. Linguagem e comunicação 4,24 (1,36) 4,35 (1,21) 4,50 (1,53) 3,96 (1,51)
4. Aprendizagem e pensamento crítico 2,71 (1,33) 2,78 (1,34) 2,72 (1,37) 2,58 (1,30)
5. Avaliando aprendizagem e linguagem 2,82 (1,40) 3,01 (1,45) 2,84 (1,52) 2,46 (1,20)

ECERS-E e SSTEW são medidos em uma escala de qualidade de educação infantil em 7 pontos, sendo 1 = inadequado, 3 = básico/mínimo, 5 = bom, 7 = excelente.

Características da unidade

Informações sobre a região geográfica, decil do SEIFA e tamanho do serviço dos centros foram coletadas no mesmo dia das observações das escalas. Dos registros nacionais, também captou-se o tempo passado desde a última classificação NQS (max. = 4,05 anos antes de nossas observações).

RESULTADOS

Exploração inicial dos dados

Embora não se esperasse que os resultados da observação das escalas de avaliação de qualidade fossem diferentes por estado, análises iniciais procuraram estabelecer isso antes de excluir tal fator das análises subsequentes (Tabela 2). Análises de regressão demonstraram que a adição de estado (codificado como variáveis dummy) para um modelo de SEIFA, região geográfica, tipo de atendimento e número máximo de vagas prevendo as classificações da ECERS-E não melhorou o model fit, ΔF(2, 249) = 0,29, p = 0,752. Esse foi o caso também para o SSTEW, ΔF(2, 249) = 0,58, p = 0,564. Como não houve efeitos sistemáticos “do estado” nas pontuações da ECERS-E ou do SSTEW, a variável “estado” foi omitida nas análises futuras.

Diferenças de qualidade entre as pontuações das escalas de avaliação e das categorias do NQS

ECERS-E

Para analisar as potenciais associações entre as pontuações ECERS-E e NQS, realizou-se a regressão múltipla hierárquica para investigar até que ponto as pontuações NQS (área de qualidade 1 e geral) previram as pontuações da ECERS-E, controlando SEIFA, região geográfica, tipo de atendimento e número de vagas (ver Tabela 3). O NQS foi recodificado como variável dummy, com a categoria de referência atende às exigências do NQS. O modelo inicial, incluindo variáveis apenas de controle, foi significativo, F (5, 251) = 3,11, p = 0,10, apesar de não haver nenhum preditor que tivesse uma contribuição independente e significativa à pontuação de qualidade da ECERS-E. O mesmo ocorreu ao se considerarem pontuações gerais do NQS ou a pontuação para área de qualidade 1 do NQS.

De interesse dessa investigação atual, o próximo passo incluiu as pontuações do NQS para investigar se as pontuações da ECERS-E melhoraram conforme melhoraram as pontuações do NQS. O modelo completo foi significante para as pontuações gerais do NQS, F(7, 249) = 4,16, p <0,001, e as pontuações da área de qualidade 1 do NQS, F(7, 249) = 4,00, p <0,001. A adição das pontuações do NQS no segundo passo melhorou o modelo (ver Tabela 4) e confirmou que as unidades que tiveram pontuação excede o NQS na classificação geral do NQS (ou na área de qualidade 1) alcançaram pontuações da ECERS-E significativamente mais altas do que aquelas que obtiveram a pontuação atende às exigências do NQS. Não há diferenças estatisticamente significativas nas pontuações da ECERS-E entre as unidades que receberam pontuação a caminho do NQS e atende às exigências do NQS. Tais resultados indicam uma associação entre classificações do NQS e pontuações de avaliação de qualidade, mas essa associação é ampla (não é específica à área de qualidade 1) e apenas nas classificações de qualidade do NQS mais altas. Realmente, as análises de regressão idênticas para as outras pontuações de áreas de qualidade do NQS (áreas de qualidade 2 até 7) tiveram resultados semelhantes, com unidades avaliadas como excede o NQS recebendo pontuações ECERS-E significantemente mais altas para cada análise (>βs foram de 0,17 a 0,21).

No entanto, a média das pontuações ECERS-E de unidades que excedem o NQS situava-se no nível básico/mínimo (pontuação 3 de 7) de acordo com as pontuações da ECERS-E (ver Tabela 3). Há, também, uma variabilidade substancial dentro dos níveis do NQS (Tabela 4): para a caminho, as pontuações ECERS-E foram de 1,67 a 4,29 (M = 2,61, DP = 0,72); para atende às exigências, as pontuações ECERS-E foram de 1,29 a 4,63 (M = 2,69, DP = 0,83); e para excede, as pontuações ECERS-E foram de 1,29 a 6,71 (M = 3,14, DP = 1,02).

TABELA 3 Média da ECERS-E e pontuações da subescala ECERS-E (e DPs) para as pontuações NQS (a caminho, atende às exigências, excede) na área de qualidade 1 e pontuações em geral 

PONTUAÇÃO NQS
A CAMINHO ATENDE ÀS EXIGÊNCIAS EXCEDE
Área de qualidade 1: projeto e práticas pedagógicas*
Média de pontuação de qualidade ECERS-E 2,45 (0,60) 2,74 (0,89) 3,16 (0,99)
1. Letramento 3,03 (0,78) 3,39 (1,01) 3,86 (1,09)
2. Matemática 2,27 (0,69) 2,65 (1,29) 2,90 (1,24)
3. Ciências e meio ambiente 2,27 (0,85) 2,56 (1,04) 3,11 (1,33)
4. Diversidade 2,22 (0,85) 2,37 (0,92) 2,77 (1,11)
Pontuações gerais do NQS
Média de pontuação de qualidade ECERS-E 2,61 (0,72) 2,69 (0,83) 3,14 (1,02)
1. Letramento 3,16 (0,76) 3,32 (0,98) 3,85 (1,12)
2. Matemática 2,56 (1,19) 2,55 (1,16) 2,93 (1,34)
3. Ciências e meio ambiente 2,37 (0,81) 2,53 (1,02) 3,05 (1,32)
4. Diversidade 2,33 (0,90) 2,34 (0,95) 2,72 (1,06)

*Unidades para as categorias da área de qualidade 1 do NQS são: 20 estão a caminho, 153 atendem às exigências e 84 excedem.

TABELA 4 Resultados da regressão múltipla hierárquica para as pontuações relativas à ECERS-E em relação ao NQS (área de qualidade 1 e pontuacao geral) para toda a amostra (n = 257) e a amostra reduzida (em até 24 meses) (n = 187) 

PONTUAÇÃO NQS
ÁREA DE QUALIDADE 1 (ASPECTOS DO PROJETO E DAS PRÁTICAS PEDAGÓGICAS PARA AS CRIANCAS) PONTUAÇÃO GERAL NQS
N = 257 N = 184 N = 257 N = 184
ΔR 2 β ΔR 2 β ΔR 2 β ΔR 2 β
0,04** 0,07** 0,05** 0,09**
SEIFA 0,08 0,07 0,08 0,07
Região geográfica
Metropolitana versus área central 0,09 0,08 0,09 0,08
Metropolitana versus áreas não centrais -0,08 -0,07 -0,08 -0,08
Tipo de atendimento (unidade de tempo integral versus pré) 0,10 0,12 0,11 0,15
Número máximo de vagas -0,08 -0,08 -0,06 -0,06
Pontuação NQS
Atende às exigências versus a caminho -0,09 -0,08 -0,03 -0,06
Atende às exigências versus excede 0,17** 0,24** 0,21** 0,28**

*p < 0,05; **p < 0,01.

SSTEW

As mesmas análises foram feitas para investigar as associações entre as pontuações do NQS (nas áreas de qualidade 1, 5 e geral) e pontuações do SSTEW (Tabela 6). O modelo inicial foi, mais uma vez, significativo (e idêntico) para as pontuações das áreas de qualidade 1, 5 e geral do NQS, F(5, 251) = 2,58, p = 0,027. Apenas a região geográfica foi significativa dentre os fatores de controle, de tal maneira que unidades na região central tiveram pontuações do SSTEW mais altas do que aquelas em áreas metropolitanas. A região geográfica não foi analisada mais profundamente, uma vez que essas unidades não foram selecionadas de maneira geograficamente representativa, e não era um objetivo a priori deste estudo.

O modelo melhorou significativamente com a adição das pontuações de área de qualidade 1 do NQS, F(7, 249) = 2,86, p = 0,007, e da área de qualidade 5, F(7, 249) = 3,02, p = 0,005, mas não das pontuações gerais do NQS. As inspeções desses resultados indicam que, para a área de qualidade 1 do NQS, as unidades que tiveram pontuação excedem do NQS tiveram pontuações no SSTEW consideravelmente maiores do que aquelas que alcançaram pontuação atende às exigências do NQS. Não houve diferença significativa entre pontuações do SSTEW para as unidades que receberam as classificações atende às exigências e a caminho do NQS. O mesmo padrão foi observado para a área de qualidade 5 do NQS. Isso demonstra que as associações do NQS com o SSTEW são específicas para as áreas de qualidade do NQS aqui estudadas, mas apenas entre classificações de qualidade mais alta. A repetição dessas análises para outras áreas de qualidade indicou que apenas a área de qualidade 7 do NQS foi associada adicionalmente com as pontuações do SSTEW, tanto que as unidades pontuadas como excedem tiveram pontuações SSTEW significativamente mais altas do que aquelas que receberam a pontuação atende às exigências (β = 0,18, p = 0,006). As pontuações SSTEW estavam, então, relacionadas às áreas de qualidade 1 e 5, como previsto, e também à área de qualidade 7.

Mais uma vez, a média de pontuações SSTEW para unidades que excedem ainda está abaixo do nível bom (ou seja, pontuação menor que 4) de acordo com a escala SSTEW (ver Tabela 5). Houve, também, uma variabilidade substancial dentro dos níveis do NQS (Tabela 5): para a caminho, as pontuações SSTEW foram de 1,48 a 5,98 (M = 3,41, DP = 1,07); para atende às exigências, as pontuações SSTEW foram de 1,05 a 5,88 (M = 3,51, DP = 1,28); e para excede, as pontuações SSTEW foram de 1,17 a 6,70 (M = 3,92, DP = 1,20).

TABELA 5 Média SSTEW e pontuações das subescalas do SSTEW (e DPs) para pontuações do NQS (a caminho; atende às exigências; excedem) das áreas de qualidade 1, 5 e geral 

PONTUAÇÃO NQS
A CAMINHO ATENDE ÀS EXIGÊNCIAS EXCEDE
Área de qualidade 1: aspectos do projeto e das práticas pedagógicas para crianças
Média de pontuação de qualidade do SSTEW 3,27 (1,07) 3,53 (1,25) 4,00 (1,21)
1. Confiança, segurança e independência 4,18 (1,34) 4,40 (1,44) 4,86 (1,39)
2. Bem-estar social e emocional 3,45 (1,79) 3,86 (1,67) 4,40 (1,54)
3. Linguagem e comunicação 3,70 (1,26) 4,15 (1,42) 4,54 (1,19)
4. Aprendizagem e pensamento crítico 2,63 (1,40) 2,53 (1,26) 3,07 (1,39)
5. Avaliando aprendizagem e linguagem 2,40 (1,11) 2,71 (1,32) 3,10 (1,55)
Área de qualidade 5: relações com crianças
Pontuação de qualidade média SSTEW 3,21 (,75) 3,46 (1,25) 3,94 (1,21)
1. Confiança, segurança e independência 4,30 (1,07) 4,28 (1,40) 4,86 (1,34)
2. Bem-estar social e emocional 3,54 (1,57) 3,77 (1,74) 4,33 (1,52)
3. Linguagem e comunicação 3,50 (1,01) 4,04 (1,42) 4,55 (1,24)
4. Aprendizagem e pensamento crítico 2,31 (0,70) 2,56 (1,31) 2,94 (1,37)
5. Avaliando aprendizagem e linguagem 2,36 (0,90) 2,67 (1,27) 3,03 (1,56)
Pontuação geral do NQS
Média de pontuação de avaliação de qualidade SSTEW 3,41 (1,07) 3,51 (1,28) 3,92 (1,20)
1. Confiança, segurança e independência 4,26 (1,07) 4,37 (1,49) 4,81 (1,29)
2. Bem-estar social e emocional 3,75 (1,78) 3,83 (1,69) 4,30 (1,55)
3. Linguagem e comunicação 3,88 (1,23) 4,14 (1,43) 4,47 (1,26)
4. Aprendizagem e pensamento crítico 2,67 (1,29) 2,51 (1,26) 2,98 (1,40)
5. Avaliando aprendizagem e linguagem 2,48 (1,11) 2,69 (1,38) 3,06 (1,46)

*p < 0,05; **p < 0,01.

Análises adicionais

Dada a prevalência de rotatividade de membros da equipe, aprendizagem contínua dos profissionais e outros fatores de mudança na área da educação infantil, análises subsequentes procuram avaliar se as associações entre o NQS e as escalas de avaliação de qualidade mudam quando as classificações de qualidade estavam dentro de um tempo razoável entre cada observação (ou seja, num prazo de dois anos). Foi considerado o período de dois anos porque o tempo entre pontuações do NQS pode ser longo, no entanto, as unidades mantêm suas pontuações (excede, bom, etc.), mesmo após mudanças em grande escala. Essas análises revelaram que as unidades avaliadas em períodos inferiores a 24 meses antes de receberem as pontuações de qualidade (n = 184 salas) estavam em conformidade com os padrões de resultados mencionados acima, enquanto aquelas avaliadas depois do período de 24 meses (n = 73) mostraram pequena associação. Análises subsequentes foram conduzidas nessa amostra reduzida, < 24 meses, e estão nas Tabelas 4 e 6 para a ECERS-E e o SSTEW. Esses resultados sugerem que as associações entre os resultados da avaliação do NQS e das avaliações feitas com as escalas de qualidade foram fortalecidas, em especial, quando estas ocorreram com o intervalo de 24 meses entre uma e outra.

DISCUSSÃO

O estudo procura avaliar o grau da associação entre o sistema de avaliação da Austrália NQS e as pontuações obtidas a partir do uso das escalas de avaliação de qualidade. Os resultados sugerem que o NQS captura elementos de qualidade em comum com essas escalas de avaliação, mas a associação se distingue predominantemente entre unidade de alta qualidade (excede) e baixa qualidade (a caminho, atende às exigências), e mais ainda quando as avaliações do NQS ocorreram dentro dos últimos dois anos. Apesar dessa associação, os níveis de qualidade até mesmo daquelas unidades que receberam a pontuação excede o NQS estavam, em média, em níveis básicos, como definido pelas escalas de avaliação de qualidade. Isso sugere que o NQS pode ser usado como mecanismo importante para chamar a atenção para a qualidade, assegurando um limite mínimo para todo campo da educação infantil, enquanto as escalas fornecem ferramentas e direcionamento para unidades que estão prontas para irem além do nível básico de qualidade. Esses resultados ecoam estudos internacionais semelhantes, que comparam monitoramento realizado pelo governo e qualidade de processo com medidas de qualidade obtidas por pesquisas. Na Inglaterra, por exemplo, as comparações entre processos de inspeção do governo e avaliações de qualidade do ambiente também são modestas (MATHERS; SINGLER; KAREMAKER, 2012), com resultados semelhantes encontrados nos EUA (SABOL et al., 2013).

Esse estudo também indica que há níveis altos de variabilidade nas medidas das escalas dentro das classificações de pontuação do NQS, mesmo ao serem consideradas apenas unidades que foram avaliadas nos últimos 24 meses. Isto é, muitas unidades que atingiram pontuações altas da ECERS-E e do SSTEW foram classificadas como não atendendo às exigências do NQS, e esse padrão recíproco também é comum. Apesar de as razões disso serem várias e complexas, propomos três explicações. Primeiramente, há diferenças nas áreas de qualidade consideradas. Ou seja, enquanto o NQS é necessariamente amplo em seu foco, há evidências de que combinar aspectos instrucionais, de processo e conformidade, sem enfatizar os elementos específicos ligados com o aproveitamento das crianças, pode obscurecer o significado das pontuações geradas. Como reportado por Sabol et al. (2013), durante a revisão de sistemas de monitoramento nos EUA, alguns indicadores de qualidade (por exemplo, interações adulto/criança) estão relacionados à aprendizagem das crianças, mas essas associações são mitigadas quando vários indicadores são adicionados à avaliação de qualidade, incluindo aspectos estruturais tipicamente encontrados dentro de sistemas de monitoramento e inspeção do governo que estão sendo estudados. Nesses casos, as classificações de alta qualidade não necessariamente denotam provisão ótima para o desenvolvimento e aprendizagem das crianças. Em vez disso, Sabol et al. (2013) sugerem que, onde são colhidas informações sobre vários aspectos de qualidade, deve-se tomar cuidado com a condução da análise e a apresentação de resultados em relatórios. Além disso, diante dos custos associados à coleta de vários indicadores de qualidade, pode ser mais econômico se concentrar em indicadores separadamente e que estabeleceram associações com a aprendizagem e o desenvolvimento das crianças. Por exemplo, nos resultados aqui discutidos, três áreas de qualidade do NQS estão relacionadas às dimensões de qualidade, especificamente relativas às interações como avaliado pela escala SSTEW (embora nenhuma diferenciação nas áreas de qualidade tenha ficado evidente em relação à ECERS-E). A apresentação dos resultados relativos a cada uma das diferentes dimensões que envolvem a qualidade de processo pode ressaltar importantes distinções entre os vários aspectos da qualidade da educação infantil.

TABELA 6 Resultados da análise de regressão múltipla hierárquica para as pontuações do SSTEW em relação aos resultados do NQS - áreas de qualidade 1, 5 e geral - para toda a amostra (n = 257) e para amostra reduzida (n = 184) em até 24 meses 

PONTUAÇÃO NQS
ÁREA DE QUALIDADE 1 (ASPECTOS DO PROJETO E DAS PRÁTICAS PEDAGÓGICAS PARA TODAS AS CRIANÇAS) ÁREA DE QUALIDADE 5 (RELAÇÕES COM AS CRIANÇAS) PONTUAÇÃO GERAL NQS
N = 257 N = 184 N = 257 N = 184 N = 257 N = 184
ΔR 2 β ΔR 2 β ΔR 2 β ΔR 2 β ΔR 2 β ΔR 2 β
0,03* 0,05** 0,03* 0,03* 0,02 0,05**
SEIFA -0,02 -0,01 -0,02 -0,02 -0,02 -0,02
Região geográfica
Metropolitana versus área central 0,14* 13 15* 14 14* 13
Metropolitana versus áreas não centrais -0,03 0,04 -0,03 0,03 -0,03 0,04
Tipo de atendimento (unidade de tempo integral versus pré) 0,06 0,13 0,07 0,14 0,07 0,15
Número máximo de vagas -0,06 -0,03 -0,04 -0,02 -0,05 -0,02
Pontuação NQS
Atende às exigências versus a caminho de -0,07 -0,09 -0,04 -0,06 -0,02 -0,10
Atende às exigências versus excede 0,14* 0,19* 0,16* 0,17* 0,13 0,19*

*p < 0,05; **p < 0,01.

Em segundo lugar, mesmo que haja um núcleo comum de qualidade captado por ambos os tipos de medidas, a qualidade da coleta dos dados depende amplamente do treinamento dos avaliadores e dos materiais e orientações oferecidos (incluindo como os indicadores podem ser entendidos e interpretados e como conceitos complexos, como SST, são descritos). Um indicador genérico, como “educadores e coordenadores [...] promovem um senso de comunidade nas unidades” - área de qualidade 5 do NQS - (ACECQA, 2017b, p. 24), pode ser interpretado de várias maneiras, como, por exemplo, significando “abraçar a diversidade cultural, sentimento de unidade da equipe, relacionamentos com os pais”, sendo que essas variadas interpretações podem ser consideradas satisfatórias dependendo das diferentes perspectivas.

Essa situação introduz questões de confiabilidade entre observadores, bem como objetivos incertos para os educadores que têm a responsabilidade de certificar que as diretrizes são atendidas. As escalas fornecem um modelo alternativo nesse sentido, com indicadores e descritores elaborados para serem concretos e tangíveis - eles podem ser vistos, ouvidos, lidos e necessitam de evidências específicas, observáveis e bem definidas. Apesar de essa avaliação envolver algum tipo de julgamento do observador, este deve ser treinado para dominar os princípios e concepções tanto das escalas quanto das práticas avaliadas para que se garanta a confiabilidade entre os observadores (SIRAJ et al., 2017a). Descrições de comportamentos que podem ser evidenciados dentro das escalas de avaliação de qualidade fornecem diretrizes, descrições e indicadores claros de práticas inadequadas, mínimas, boas ou excelentes, com indicadores que se complementam. Dessa perspectiva, a variação encontrada entre as pontuações do NQS e das escalas pode ser, pelo menos em parte, causada pelas diferentes interpretações dos avaliadores ou pelas diferentes interpretações que um avaliador pode ter de acordo com a evolução de suas experiências, seus olhares e pontos de referência ao longo do trabalho de observação.

Em terceiro lugar, existem, de propósito, algumas diferenças fundamentais nos princípios e práticas implícitos considerados por essas medidas de qualidade. Por exemplo, enquanto a ECERS-E tem duas subescalas dedicadas à matemática e ciências que consideram o papel de apoiador do adulto para fomentar as brincadeiras e experiências, o NQS faz pouca referência direta a essas áreas. Isso pode estar relacionado à crença generalizada no campo da educação infantil, e reforçada pelo NQS, sobre como as crianças pequenas aprendem. De fato, a pesquisa por trás dessas escalas reforça a importância de uma abordagem centrada na criança, em que educadores acompanham a liderança e os interesses das crianças enquanto brincam. No entanto, as escalas enfatizam especificamente a importância de impulsionar esses interesses e experiências de brincadeira para apoiar a aprendizagem e desenvolvimento por meio de SST, e em áreas como matemática, ciências e exploração. Atualmente, há pouca menção sobre essas práticas e domínios no NQS.

Outro fator que complica as associações entre as medidas é a taxa alta de rotatividade de membros de equipe no campo de educação infantil. Juntos, esses fatores podem contribuir para a discrepância frequente entre pontuações do NQS e pontuações das escalas, assim como para as médias baixas e minimamente diferentes das pontuações das escalas de avaliação distribuídas pelas classificações do NQS. Por exemplo, unidades que foram avaliadas como excede no NQS tiveram pontuação entre 1,29 (qualidade inadequada) e 6,71 (excelente qualidade), na ECERS-E, e entre 1,17 e 6,70, no SSTEW. Enquanto há uma associação geral e abrangente entre esses índices de qualidade, pelo menos quando considerado o período de dois anos entre cada uma das avaliações, existem também casos de desacordo sobre como os centros devem ser caracterizados em termos de sua qualidade. Isso sugere que, enquanto as classificações do NQS podem ser apropriadas para assegurar melhorias de qualidade em todo o campo da educação infantil, as escalas de avaliação de qualidade podem ser necessárias para identificar os maiores níveis de qualidade das unidades e os consequentes benefícios para as crianças e para informar as famílias sobre as oportunidades que as unidades podem oferecer às crianças.

Esse estudo apresenta resultados úteis para ajudar a entender, interpretar e apoiar o programa de avaliação do NQS da Austrália, em todos os estados, dado que três estados demonstraram padrões de resultados semelhantes. Primeiramente, enquanto aspectos estruturais da qualidade são importantes, especialmente em ambientes que demonstram níveis menores de qualidade, separar os aspectos da qualidade no que diz respeito aos rendimentos das crianças pode render informações adicionais úteis para a melhoria continuada da qualidade. Isso, é claro, requer avaliação dos aspectos do NQS que estão mais associados aos rendimentos futuros das crianças. Em relação aos aspectos de qualidade de processo já incorporados no NQS, pode ser prudente atualizar e incluir entendimentos mais recentes sobre o que é importante para o desenvolvimento das crianças. É relevante, também, considerar conteúdo, competência e confiança em áreas como matemática, ciências e exploração. Como alternativa para atualização do NQS e seguindo a linha das ações de alguns estados estadunidenses e autoridades locais do Reino Unido, medidas de pesquisa (incluindo escalas de avaliação de qualidade) podem ser úteis para fortalecer sistemas de inspeção e monitoramento - especialmente para unidades que já atendem aos padrões mínimos de qualidade nacionais. Se os governos se comprometerem com uma abordagem de qualidade baseada em evidências científicas, esse parece ser um passo na direção certa.

REFERÊNCIAS

AUSTRALIA. Department of Education Employment and Workplace Relations. Belonging, being and becoming: The Early Years Learning Framework (EYLF) for Australia. Canberra: Australian Government, 2009. [ Links ]

AUSTRALIAN BUREAU OF STATISTICS. An introduction to Socio-Economic Indexes for Areas (SEIFA). Canberra: ABS, 2008. (Information Paper, n. 2039.0). Disponível em: http://www.abs.gov. au/ausst ats/abs@.nsf/mf/2039.0. Acesso em: 16 ago. 2016. [ Links ]

AUSTRALIAN CHILDREN’S EDUCATION & CARE QUALITY AUTHORITY. Australian Children’s Education and Care Quality Authority. 2017a. Disponível em: http://www.acecqa.gov.au/national-quality-framework/the-national-quality-standard. Acesso em: 7 jun. 2017. [ Links ]

AUSTRALIAN CHILDREN’S EDUCATION & CARE QUALITY AUTHORITY. Guide to the national quality standard. [S. l.]: ACECQA, 2017b. Disponível em: http://files.acecqa.gov.au/files/National-Quality-Framework-ResourcesKit/NQF-Resource-03-Guide-to-NQS.pdf. Acesso em: jun. 2017. [ Links ]

AUSTRALIAN CHILDREN’S EDUCATION & CARE QUALITY AUTHORITY. Guide To The National Quality Framework. [S. l.]: ACECQA, 2018. Disponível em: https://www.acecqa.gov.au/sites/default/files/2018-09/Guide-to-the-NQF.pdf. Acesso em: out. 2018. [ Links ]

DEPARTMENT OF CHILDREN AND YOUTH AFFAIRS. Early childhood Ireland. Dublin: DCYA, 2017. [ Links ]

DONABEDIAN, A. Explorations in quality assessment and monitoring. The definition of quality and approaches to its assessment. Ann Arbor, MI: Health Administration Press, 1980. v. 1. [ Links ]

EDUCATION REVIEW OFFICE. Quality in early childhood services. Wellington: ERO, 2010. [ Links ]

HO, D.; CAMPBELL-BARR, V.; LEESON, C. Quality improvement in early years settings in Hong Kong and England. International Journal of Early Years Education, v. 18, n. 3, p. 243-258, 2010. [ Links ]

HOWARD, S. J.; SIRAJ, I.; MELHUISH, E. C.; KINGSTON, D.; NEILSEN-HEWETT, C.; DE ROSNAY, M.; DUURSMA, E.; LUU, B. Measuring interactional quality in pre-school settings: introduction and validation of the Sustained Shared Thinking and Emotional Wellbeing (SSTEW) scale. Early Child Development and Care, Aug. 2018. https://doi.org/10.1080/03004 430.2018.15115 49.Links ]

HOWES, C.; BURCHINAL, M.; PIANTA, R. C.; BRYANT, D.; EARLY, D.; CLIFFORD, R.; BARBARIN, O. Ready to learn? Children’s pre-academic achievement in prekindergarten. Early Childhood Research Quarterly, v. 23, n. 1, p. 27-50, 2008. [ Links ]

KINGSTON, D. A mixed methods study: evaluating the impact of a bespoke professional development based on an analysis of existing quality in one local authority. PhD (Dissertation) - University College London (UCL), London, 2017. Disponível em: http://disco very.ucl.ac.uk/15515 41/. Acesso em: 26 fev. 2018. [ Links ]

KINGSTON, D.; MELVIN, J. Quality and effectiveness in working with children and young people. In: EDMOND, N.; PRICE, M. (ed.). Integrated working with children and young people supporting development from Birth to Nineteen. London: Sage, 2012. [ Links ]

MATHERS, S.; SINGLER, R.; KAREMAKER, A. Improving quality in the early years: a comparison of perspectives and measures. London: Nuffield Foundation, 2012. [ Links ]

MELHUISH, E.; EREKY-STEVENS, K.; PETROGIANNIS, K.; ARIESCU, A.; PENDERI, E.; RENTZOU, K.; TAWELL, A.; SLOT, P. L.; BROEKHUIZEN, M.; LESEMAN, P. A review of research on the effects of Early Childhood Education and Care (ECEC) upon child development. CARE Project; Curriculum Quality Analysis and Impact Review of European Early Childhood Education and Care (ECEC). Technical Report. European Commission, 2015. Disponível em: http://ecec-care.org/resources/publications/. Acesso em: 7 jun. 2017. [ Links ]

MELHUISH, E. C.; SYLVA, K.; SAMMONS, P.; SIRAJ-BLATCHFORD, I.; TAGGART, B.; PHAN, M. Effects of the home learning environment and preschool center experience upon literacy and numeracy development in early primary school. Journal of Social Issues, v. 64, n. 1, p. 95-114, 2008. [ Links ]

MOSS, P.; DAHLBERG, G. Beyond quality in early childhood education and care - Languages of evaluation. New Zealand Journal of Teachers’ Work, v. 5, n. 1, p. 3-12, 2008. [ Links ]

NEW ZEALAND. Ministry of Education. More children in early childhood education. New Zealand, 2017. Disponível em: https://education.govt.nz/ministry-ofeducation/government-education-initiatives/better-public-services/more-children-in-early-childhood-education/. Acesso em: 5 set. 2017. [ Links ]

O’CONNELL, M.; FOX, S.; HINZ, B.; COLE, H. Quality early education for all. Melbourne: Mitchell Institute, 2016. (Mitchell Institute Report, n. 01/2016). [ Links ]

ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Starting strong II: early childhood education and care. Paris: OECD, 2006. [ Links ]

ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Starting strong III: a quality toolbox for early childhood education and care. Paris: OECD, 2012. [ Links ]

PARKER, I. Early developments: bridging the gap between evidence and policy in early-years education. London: Institute for Public Policy Research, 2013. [ Links ]

PENN, H. Who influences policy in early childhood services? International Journal of Early Years Education, v. 4, n. 3, p. 5-17, 1996. [ Links ]

PIANTA, R. C. Handbook of early childhood education. London: Guildford Press, 2012. [ Links ]

PLANTENGA, J. Local providers and loyal parents: competition and consumer choice in the Dutch childcare market. In: LLOYD, E.; PENN, H. (ed.). Childcare markets: can they deliver an equitable service? Bristol: The Policy Press, 2011. [ Links ]

SABOL, T. J.; SOLIDAY HONG, S. L.; PIANTA, R. C.; BURCHINAL, M. Can rating pre-K programs predict children’s learning? Science, v. 341, n. 6148, p. 845-846, 2013. [ Links ]

SIRAJ, I.; CHEESEMAN, S.; KINGSTON, D.; LYSAGHT, P. Quality Interactions Study (QIS) report: working with DoE preschools to strengthen the quality of intentional & relational pedagogy. Sydney: New South Wales Department of Education, 2017a. [ Links ]

SIRAJ, I.; HOWARD, S. J.; NEILSEN-HEWETT, C.; MELHUISH, E. C.; KINGSTON, D.; DE ROSNAY, M.; DUURSMA, E.; LUU, B. Fostering Effective Early Learning (FEEL) study. NSW Department of Education, Australia, 2018. [ Links ]

SIRAJ, I.; KINGSTON, D. An independent review of the Scottish Early Learning and Childcare (ELC) workforce and Out of School Care (OSC) workforce. Edinburgh: Scottish Government, 2015. [ Links ]

SIRAJ, I.; KINGSTON, D.; MELHUISH, E. Assessing quality in early childhood education and care. Sustained Shared Thinking and Emotional Wellbeing (SSTEW) Scale for 2-5 year olds provision. London: IOE UCL Press, 2015. [ Links ]

SIRAJ, I.; KINGSTON, D.; NEILSEN-HEWETT, D.; HOWARD, S.; MELHUISH, E.; DE ROSNAY, M.; DUURSMA, E.; LUU, B. Fostering effective early learning: a review of the current international evidence considering quality in early childhood education and care programmes - in delivery, pedagogy and child outcomes. Sydney: New South Wales Department of Education, 2017b. Disponível em: https://education.nsw.gov.au/media/ecec/pdf-documents/FEEL-Study-Literature-Review-Final.pdf. Acesso em: 9 jun. 2017. [ Links ]

SIRAJ, I.; MAYO, A. Social class and educational inequality. The impact of parents and schools. Cambridge: Cambridge University Press, 2014. [ Links ]

SIRAJ-BLATCHFORD, I.; SYLVA, K.; MUTTOCK, S.; GILDEN, R.; BELL, D. Researching Effective Pedagogy in the Early Years (REPEY). London: Department for Education publishing, 2002. (DfES Research Report, 356). [ Links ]

SLOT, P. L.; LESEMAN, P.; VERHAGEN, J.; MULDER, H. Associations between structural quality aspects and process quality in Dutch early education and care settings. Early Childhood Research Quarterly, v. 33, p. 64-76, 2015. [ Links ]

SYLVA, K.; MELHUISH, E.; SAMMONS, P.; SIRAJ, I.; TAGGART, B.; SMEES, R.; TOTH, K.; WELCOMME, W.; HOLLINGWORTH, K. Students’ educational and developmental outcomes at age 16. Effective Pre-school, Primary and Secondary Education (EPPSE) 3-16 Project. London: Department for Education, 2014. [ Links ]

SYLVA, K.; MELHUISH, E.; SAMMONS, P.; SIRAJ-BLATCHFORD, I.; TAGGART, B. The effective provision of pre-school education (EPPE) project. Final report. Nottingham, UK: Department for Education, 2004. [ Links ]

SYLVA, K.; SIRAJ-BLATCHFORD, I.; TAGGART, B. ECERS-E: The Early Childhood Environment Rating Scale Curricular Extension to ECERS-R. Stoke on Trent: Trentham Books, 2003. [ Links ]

SYLVA, K.; SIRAJ-BLATCHFORD, I.; TAGGART, B.; MELHUISH, E.; SAMMONS, P. Capturing quality in early childhood through environment rating scales. Early Childhood Research Quarterly, v. 21, p. 76-92, 2006. [ Links ]

TAYLOR, C.; THORPE, K.; NGUYEN, C.; ADAMS, R.; ISHIMINE, K.; FERGUSON, A.; GILLEY, T.; WESTON, K.; CLEVELAND, G.; SIRAJ, I. The E4Kids study: assessing the effectiveness of Australian early childhood education and care programs. Melbourne: Melbourne University, 2016. [ Links ]

THE EARLY YEARS FOUNDATION STAGE. Pack. London: Early Education, 2012. [ Links ]

1Artigo publicado originalmente em inglês, pela Springer, no periódico The Australian Educational Researcher, v. 46, n. 3, em 16 de abril de 2019. DOI: https://doi.org/10.1007/s13384-019-00325-3.

2O National Quality Standard é o documento oficial australiano que indica os padrões de qualidade para a educação infantil.

Recebido: 29 de Abril de 2019; Aceito: 27 de Maio de 2019

TRADUÇÃO:

Lisa SantanaVII

REVISÃO TÉCNICA:

Eliana BheringVIII e Sara Badra de OliveiraIX

VII

Freelancer; São Paulo-SP, Brasil; lisa.bsantana@gmail.com

VIII

Fundação Carlos Chagas (FCC), São Paulo-SP; Universidade Federal do Rio de Janeiro (UFRJ), Rio de Janeiro-RJ, Brasil; ebhering@fcc.org.br

IX

Freelancer; São Paulo-SP, Brasil; https://orcid.org/0000-0003-4415-168X; sara.badra.oliveira@gmail.com

A pesquisa de Iram Siraj

se concentra na compreensão do relacionamento entre qualidade, pedagogia e avaliação precoce dos rendimentos de desenvolvimento das crianças. Ela trabalha com grupos transdisciplinares em estudos longitudinais para avaliar o impacto de longo prazo na qualidade de pré-escolas e ambientes de casa para crianças de diferentes origens e fundos.

A pesquisa de Steven J. Howard

investiga o desenvolvimento de crianças pequenas, assim como as implicações educacionais dessas capacidades em evolução. Isso inclui pesquisas para identificar abordagens eficientes para apoiar o desenvolvimento de crianças que sejam de baixo custo e flexíveis, assim como identificar maneiras de monitorar o progresso do desenvolvimento das crianças que são acessíveis, aceitáveis e acionáveis para aqueles que trabalham com crianças pequenas.

Denise Kingston

leciona cursos de graduação e pós-graduação no Department of Education and Social Work. Ela é uma professora qualificada e psicóloga educacional, e sua pesquisa atual se concentra em apoiar e melhorar a qualidade da educação infantil por meio de desenvolvimentos profissionais baseados em pesquisa.

Cathrine Neilsen-Hewett

é diretora de Early Years na University of Wollongong, e tem expertise em desenvolvimento de crianças, pedagogia e práticas da primeira infância e treinamento de equipes e socialização infantil.

Edward C. Melhuish

é um expert internacional em desenvolvimento infantil e o impacto de aprendizagem em casa e experiências pré-escolares nos rendimentos futuros das crianças. Ele também possui vasta experiência em conectar o desenvolvimento infantil com políticas sociais, e é consultor para OECD, WHO e EU.

Marc de Rosnay

é diretor acadêmico no Early Start, University of Wollogong, e tem interesse e expertise específicos em desenvolvimento socioemocional e de comunicação na primeira infância.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons