Introdução
As avaliações em larga escala, presentes em diferentes contextos e com abrangências variadas (local, nacional e internacional), têm-se configurado como mecanismos de formulação de políticas públicas para o desenvolvimento socioeconômico e da qualidade da educação. Entre essas avaliações, notadamente, o Programa de Avaliação Internacional de Estudantes (PISA) desempenha um papel de destaque nesse cenário.
Para Cotta (2001), sua abordagem demanda que os educadores desenvolvam estratégias pedagógicas eficazes para promover uma educação de qualidade nos países participantes do PISA. Dentre as estratégias destacadas pelo autor estão: a) o desenvolvimento de habilidades do século XXI, incluindo pensamento crítico e colaboração; b) a integração de conteúdos e contextos reais, alinhando-se ao enfoque interdisciplinar; c) o fomento à leitura e compreensão textual; d) a diversificação de métodos de ensino com aprendizagem ativa e tecnologia; e) a implementação de avaliações formativas regulares; f) a promoção da inclusão e diversidade, garantindo oportunidades equitativas; g) o estímulo à metacognição, promovendo autonomia; h) a facilitação da colaboração entre professores; i) o foco em línguas e literacia, essenciais para o sucesso acadêmico; j) e a abertura à inovação, integrando novas tecnologias nos processos de ensino e aprendizagem.
Assim, o PISA, reconhecido por sua abrangência internacional, oferece resultados sobre avanços e deficiências no ensino, orientando planos nacionais de educação e influenciando mudanças no sistema de ensino, sobretudo nas práticas pedagógicas dos professores, incluindo a avaliação realizada por eles (Schleicher, 2019; Jolandek; Pereira; Mendes, 2019; Fernandes et al., 2018).
Destacamos que o PISA é aplicado a estudantes de 15 anos, independentemente da série/ano escolar. Trata-se de uma iniciativa da Organização para a Cooperação e Desenvolvimento Econômico (OECD) e, na edição do ano de 2018, teve a participação de 79 países, incluindo Brasil e Portugal (Schleicher, 2019). Essa avaliação, que abrange Leitura, Matemática e Ciências, cujos dados podem ser utilizados por educadores, mas são mais comumente usados por órgãos de gestão educacional e empresas contratadas pelos sistemas educativos para promover a formulação de políticas educacionais, baseia-se nos pontos fortes e fracos dos sistemas educacionais que adotaram essa avaliação (Carnoy et al., 2015; Soares; Candian, 2007).
O desempenho acadêmico dos estudantes que participam das avaliações do PISA, medido por notas, está diretamente relacionado com o conhecimento dos alunos, especialmente o domínio da leitura, que é um indicador das habilidades avaliadas (Esteban, 2000; Sassaki et al., 2018). Fatores, como a disponibilidade de livros, o background (contexto) familiar (incluindo renda e escolaridade dos pais) e características pessoais, têm influenciado positivamente tanto o desempenho como o desenvolvimento do gosto pela leitura (Miranda et al., 2015; Pinto; Bixirão Neto; Carvalho, 2019). Além disso, elementos do sistema educacional, a formação dos professores, o contexto cultural e as práticas educativas também exercem influência significativa sobre o desempenho em Leitura (Salokangas; Kauko, 2015; Bartholomeu et al., 2016; Matos; Ferrão, 2016).
O PISA não apenas serve como uma ferramenta estratégica para mudanças no sistema educacional, conforme enfatizado por Schleicher (2019), mas também funciona como um indicador preditivo das habilidades dos estudantes em Matemática, Leitura e Ciências. O background familiar, o ambiente domiciliar e escolar, além de fatores socioeconômicos, exerce papéis significativos no desempenho acadêmico, evidenciando correlações positivas com habilidades socioemocionais (Fernandes et al., 2018; Sassaki et al., 2018; Miranda et al., 2015). Essas constatações ressaltam a relevância do PISA como um indicador abrangente para orientar a formulação de políticas públicas e tomadas de decisões dos gestores educacionais (Carvalho, 2016).
Além de estar correlacionado com o domínio de conteúdos e compreensão profunda dos conceitos de determinadas áreas, os resultados do PISA têm fundamentado uma narrativa sobre a (des)qualificação da educação. No entanto, os usos do PISA centrados na prestação de contas (accountability) e na criação de rankings têm limitado sua capacidade de orientar políticas educacionais de maneira eficaz. Em vez de promover decisões informadas, como o desenvolvimento de planejamentos educacionais que atendam às diversas realidades contextuais, esses usos frequentemente resultam em avaliações subjetivas que não são, necessariamente, úteis para a tomada de decisões concretas (Verger; Fontdevila; Parcerisa, 2019).
Diante dessa situação, levantamos estes questionamentos: quais métodos de avaliação das aprendizagens são utilizados pelos docentes de diferentes países da América Latina? Em que medida o PISA tem possibilitado compreender os impactos dessa avaliação nas práticas avaliativas dos professores em seu cotidiano escolar? É possível identificar aproximações entre os métodos de avaliação dos professores que responderam ao questionário contextual do PISA de 2018?
Destacamos a relevância desta pesquisa na medida em que visa a subsidiar discussões envolvendo a política de avaliação educacional em larga escala (PISA) em diferentes países, fornecendo insumos sobre as metodologias de avaliação utilizadas pelos professores em sua prática pedagógica e que podem influenciar os resultados do PISA e seus usos nas políticas educacionais. As informações levantadas podem servir como potencial para orientar os rumos das políticas educacionais de diferentes países, considerando suas influências internacionais e nacionais, sobretudo discutindo em que medida os professores têm utilizado métodos de avaliação das aprendizagens dos estudantes revelados por meio do questionário do PISA do ano de 2018.
Nesse sentido, o objetivo desta pesquisa consiste em analisar os métodos de avaliação das aprendizagens dos estudantes que são frequentemente utilizados pelos docentes de cinco países da América Latina (Brasil, Chile, Panamá, Peru e República Dominicana). Para isso, foram consideradas as respostas dos professores ao questionário contextual do PISA de 2018, que contou com a participação de docentes. Uma hipótese levantada neste estudo é que o questionário do PISA é insuficiente para avaliar as dimensões da coavaliação e da avaliação compartilhada, mesmo se propondo a avaliar as aprendizagens de maneira ampla.
Marco teórico
Neste estudo, delimitamos como marco teórico-conceitual alguns elementos que se apresentam no campo acadêmico de forma amplamente difundida. Esses conceitos incluem a definição de avaliações educacionais de larga escala, de acordo com Ramos-Zincke (2018) e Contreras e Torres (2023), que buscam definir a qualidade do ensino, das aprendizagens e, em alguns casos, traçar perfis de estudantes e da sociedade em consonância com as políticas neoliberais em vigor na educação.
Dada a adoção dessas características, as avaliações de larga escala enfrentam desafios substanciais em relação às suas finalidades (Vanlommel; Schildkamp, 2019) e frequentemente se encaixam no que é internacionalmente conhecido como sistemas de responsabilização (accountability). Esses sistemas concentram-se na avaliação do desempenho dos estudantes em relação a conteúdos curriculares específicos (Ozga, 2020), o que, no caso deste estudo, será assumido como o PISA.
Um segundo conceito mobilizado neste estudo corresponde à Avaliação para a aprendizagem, interpretada de forma ampla. Refere-se à obtenção de evidências relacionadas com a situação específica dos alunos, a fim de fornecer feedback que os ajude a seguir em frente. Sua ênfase está na autorregulação e autonomia dos alunos com referência ao seu aprendizado, competência que se desenvolve por meio da autoavaliação e do diálogo em sala de aula (Black; Willim, 2006).
Outro conceito que envolve as práticas avaliativas é a centralidade de quem realiza a avaliação, entendido como agente da avaliação, o que inclui a autoavaliação, a heteroavaliação e a coavaliação (Castejón Oliva et al., 2011; Buscà et al., 2010). A autoavaliação ocorre quando o próprio indivíduo ou grupos avaliam suas ações e processos de aprendizagem (Casanova, 1997). Representada pela lógica de subjetividade, na medida em que o sujeito autoavaliado se torna parte das avaliações e toma consciência de seus sucessos e fracassos, atribui-se à autoavaliação a ideia de autoaprendizagem e/ou de autonomia pessoal a elementos inter-relacionados, conduzindo ao desenvolvimento de um sistema educativo com permanentes atitudes formadoras (Castillo; Cabrerizo, 2012).
A heteroavaliação constitui-se como aquela em que o avaliador e o avaliado não são a mesma pessoa. Costuma ser realizada dentro do centro educativo, por exemplo, quando o professor avalia seus alunos, ou é a equipe de gerenciamento que avalia alguns aspectos da própria escola (Casanova, 1997; Castillo; Cabrerizo, 2012). Marcada pelo acompanhamento, monitoramento e orientação do professor, há, no entanto, imposição de controle externo, que serve para verificação e julgamento das aprendizagens dos estudantes, ao mesmo tempo em que também serve aos educadores como avaliação de seu próprio ensino e atividade acadêmica em geral.
O terceiro agente da avaliação, denominado coavaliação, ocorre quando pessoas ou grupos pertencentes a um centro educativo se avaliam mutuamente, trocando seu papel de forma alternada (Castillo; Cabrerizo, 2012). Nela se assume a função de responsabilidade compartilhada e de intercomunicação contínua de todo o processo de ensino e de aprendizagem (Stieg et al., 2022).
O termo retroalimentação, traduzido do inglês feedback, embora às vezes também seja usado como retrorregulação, retroação ou referência, tem sua aplicação no campo da educação na medida em que determina que os resultados alcançados influenciem a previsão inicial e cada uma das fases da avaliação (Stieg, 2022). A retroalimentação, exercida a partir dos processos de ensino-aprendizagem, auxilia no redirecionamento dos diferentes elementos que compõem o modelo didático, superando o caráter instrumental e referencial da avaliação (Cardona, 1994) e favorecendo o desejo de corrigir os aspectos que podem ser melhorados na dinâmica do ensino e aprendizagem (Gosálbez, 1989).
Nesse sentido, ao analisarmos as fontes, a partir desse marco teórico, entendemos que o estudo das avaliações educacionais de larga escala pode ser identificado nas respostas dos professores ao questionário contextual do PISA 2018. Compreendemos que essas respostas podem oferecer pistas (Ginzburg, 1989) de como a avaliação para as aprendizagens, os agentes da avaliação e a retroalimentação se fazem presentes nos métodos de avaliação utilizados pelos professores de cinco países da América Latina.
Metodologia
Caracteriza-se como uma pesquisa de natureza mista (quantitativa e qualitativa) (Creswell; Plano Clark, 2013) e fundamenta-se no método comparado (Bloch, 1998). As fontes compreendem as respostas dos professores à seguinte pergunta incluída no questionário contextual do PISA 2018: “Com que frequência você usa os seguintes métodos de avaliação do aprendizado do aluno?”. Essa pergunta se desdobra em sete itens: a) Eu desenvolvo e aplico minhas próprias avaliações; b) Eu aplico um teste padronizado; c) Eu coleto dados das tarefas de classe ou dever de casa; d) Eu faço os alunos responderem às questões em frente da turma; e) Eu permito que os próprios alunos julguem seus progressos; f) Eu providencio retornos escritos dos trabalhos dos alunos juntamente com uma nota, expressa em número ou letra; g) Eu observo os alunos quando estão realizando tarefas particulares e providencio feedback imediato.
Esses itens foram organizados em uma escala que apresenta aos participantes quatro alternativas de resposta: “nunca”, “algumas aulas”, “muitas aulas” e “todas as aulas”. Com o propósito de quantificação, inicialmente, essas opções foram codificadas como 1, 2, 3 e 4, respectivamente. Nesse contexto, uma média mais elevada sinalizaria uma frequência mais regular na adoção das práticas mencionadas.
Em seguida, e com base na natureza intrínseca dos itens, estabelecemos três categorias de análise que se alinham com os métodos de avaliação para a aprendizagem, concentrando-se nas dimensões heteroavaliação (Categoria 1), autoavaliação (Categoria 2) e retroalimentação (Categoria 3). O objetivo central dessa categorização consiste em operacionalizar uma análise comparativa, empregando os dados do PISA como fundamento nessas categorias.
Os países selecionados para essa análise são todos da América Latina que participaram do levantamento: Brasil (n = 8.969), Chile (n = 3.755), Panamá (n = 3.632), Peru (n = 5.146) e República Dominicana (n = 2.700). As informações coletadas foram organizadas em tabelas e submetidas à análise por meio de medidas descritivas, incluindo média aritmética, desvio padrão e coeficiente de variação. Esta última representa em porcentagem a divisão da segunda pela primeira, oferecendo uma dimensão sobre a regularidade das respostas. Neste caso, quanto menor o coeficiente de variação, maior é a semelhança entre as opiniões dos professores. Gomes (1985) classifica o coeficiente de variação como: baixo, caso o valor seja inferior a 10%; médio, com o valor entre 10% e 20%; alto, se o valor estiver entre 20% e 30%; e muito alto para valores acima de 30%.
Além disso, em virtude da natureza ordinal da escala utilizada, recorremos ao teste não paramétrico U de Mann e Whitney (1947) para efetuar a comparação entre as respostas dos países. Em síntese, a diferença entre as respostas foi considerada estatisticamente significativa quando o p-valor foi inferior a 0,05 (ou 5%), nível de significância adotado, conforme estabelecido como padrão na literatura. Todas essas análises foram executadas utilizando o software estatístico R, versão 4.1.0 (R Core Team, 2021).
Resultados
A primeira categoria corresponde aos Métodos de avaliação para a aprendizagem com foco na heteroavaliação, na qual se apresentam e discutem as respostas referentes aos itens A, B e C (Tabela 1). Na segunda categoria, abordamos os Métodos de Avaliação para a Aprendizagem com foco na autoavaliação, que são tratados nos itens D e E (Tabela 2). Na terceira categoria, que foi estruturada com base nas respostas aos itens F e G (Tabela 3), discutimos os Métodos de avaliação para a aprendizagem com foco na retroalimentação.
Métodos de avaliação para a aprendizagem com foco na heteroavaliação
A Tabela 1 apresenta as estatísticas descritivas e inferenciais relacionadas com a primeira categoria de método de avaliação identificada no questionário contextual do PISA 2018 aplicado para professores: a heteroavaliação.
Tabela 1: Frequência com que os professores fazem uso de métodos de avaliação da aprendizagem com foco na heteroavaliação
| Item A - Eu desenvolvo e aplico minhas próprias avaliações | ||||||
|---|---|---|---|---|---|---|
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.212 | 3,11838066 | A | 0,758927315 | 24,33722493 | Alto |
| Chile | 2.367 | 2,932826362 | B | 0,90492699 | 30,85511646 | Muito Alto |
| Panamá | 1.945 | 3,63907455 | C | 0,655853742 | 18,02254207 | Médio |
| Peru | 3.692 | 3,137053088 | A | 0,788708769 | 25,14170932 | Alto |
| República Dominicana | 1.899 | 2,883622959 | B | 0,937566757 | 32,51350021 | Médio |
| Item B - Eu aplico um teste padronizado | ||||||
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.167 | 2,2663054 | A | 0,889214971 | 39,23632584 | Muito Alto |
| Chile | 2.358 | 2,190839695 | B | 0,90754124 | 41,42435623 | Muito Alto |
| Panamá | 1.928 | 2,71473029 | C | 1,072840313 | 39,51922285 | Muito Alto |
| Peru | 3.692 | 2,442307692 | D | 0,88912893 | 36,40527902 | Muito Alto |
| República Dominicana | 1.865 | 2,319571046 | A | 0,979559363 | 42,23019444 | Muito Alto |
| Item C - Eu coleto dados das tarefas de classe ou dever de casa | ||||||
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.206 | 2,80868229 | A | 0,874736946 | 31,14403326 | Muito Alto |
| Chile | 2.372 | 2,756323777 | B | 0,889121804 | 32,25752398 | Muito Alto |
| Panamá | 1.937 | 3,453278265 | C | 0,718521715 | 20,80694517 | Alto |
| Peru | 3.693 | 2,992959653 | D | 0,795638148 | 26,58365765 | Alto |
| República Dominicana | 1.910 | 3,452356021 | C | 0,731191525 | 21,17949367 | Alto |
Fonte: Elaboração própria com base nos dados disponíveis no questionário contextual do PISA 2018.
*Médias seguidas pela mesma letra não diferem entre si pelo teste Mann-Whitney (p-valor > 0,05).
Com base nas respostas dos docentes aos itens A, B e C, observamos a variação nas médias das avaliações utilizadas por esses profissionais entre os países. As Médias do Panamá foram as mais elevadas, como evidenciado na Tabela 1. No entanto, é importante registrar que, para o item C, não identificamos diferença estatisticamente significativa entre as médias das respostas no Panamá e na República Dominicana. Por outro lado, apesar de o Chile apresentar as médias mais baixas, não observamos diferenças estatisticamente significativas com a República Dominicana para o item A.
Quanto à variabilidade das respostas, destacamos uma heterogeneidade notável, especialmente no item B, em que o coeficiente de variação foi classificado como muito alto em todos os países analisados. Esse cenário aponta que não houve uma convergência de opiniões entre os docentes nos diferentes países.
A variabilidade nas respostas expressa diferenças nos métodos de desenvolvimento e aplicação de avaliações produzidas pelos próprios docentes, quando estabelecidas análises comparadas entre os países. Isso pode ser influenciado por métodos de ensino, diretrizes curriculares ou abordagens pedagógicas específicas. Por outro lado, a menor variabilidade no Panamá indica um movimento inverso ao caso anterior.
Métodos de avaliação para a aprendizagem por autoavaliação
A Tabela 2 apresenta as estatísticas descritivas e inferenciais relacionadas com a segunda categoria de método de avaliação identificada no questionário contextual do PISA 2018 aplicado para professores: a autoavaliação.
Tabela 2: Frequência com que os professores fazem uso de métodos de avaliação para a aprendizagem com foco na autoavaliação
| Item D - Eu faço os alunos responderem a questões em frente da turma | ||||||
|---|---|---|---|---|---|---|
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.168 | 1,964009288 | a | 0,857640236 | 43,66782993 | Muito Alto |
| Chile | 2.354 | 2,242141037 | b | 0,911546719 | 40,65519092 | Muito Alto |
| Panamá | 1.938 | 2,628998968 | c | 0,928354587 | 35,31209399 | Muito Alto |
| Peru | 3.693 | 2,909017059 | d | 0,798629637 | 27,45359069 | Alto |
| República Dominicana | 1.910 | 3,276963351 | e | 0,796749413 | 24,3136504 | Alto |
| Item E - Eu permito que os próprios alunos julguem seus progressos | ||||||
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.186 | 2,173158504 | a | 0,868582595 | 39,96867202 | Muito Alto |
| Chile | 2.368 | 2,403293919 | b | 0,814214487 | 33,87910571 | Muito Alto |
| Panamá | 1.936 | 2,606404959 | c | 0,927673871 | 35,59208511 | Muito Alto |
| Peru | 3.693 | 2,723260222 | d | 0,809698179 | 29,73267751 | Alto |
| República Dominicana | 1.909 | 3,085385018 | e | 0,819191696 | 26,55071219 | Alto |
Fonte: Elaboração própria com base nos dados disponíveis no questionário contextual do PISA 2018.
*Médias seguidas pela mesma letra não diferem entre si pelo teste Mann-Whitney (p-valor > 0,05).
Com base nas respostas dos docentes aos itens D e E, é evidente uma variação nas médias das avaliações utilizadas por esses profissionais em todos os países. Apresenta-se mais expressiva na República Dominicana para ambos os itens. Em contrapartida, o Brasil registra as médias mais baixas, indicando uma menor frequência na adoção das práticas mencionadas. Dessa forma, enquanto o Brasil demonstra uma menor inclinação por ambas as práticas de autoavaliação, o Peru e a República Dominicana parecem adotar essas práticas com mais frequência.
O Coeficiente de Variação, por sua vez, revela uma considerável variabilidade nas respostas de todos os países, destacando-se o Brasil, o Chile e o Panamá, cuja classificação proposta por Gomes (1985) é considerada muito alta. Isso sugere que o uso de métodos que favorecem a autoavaliação é mais variável entre os docentes desses países.
Métodos de avaliação para as aprendizagens com foco no feedback
A Tabela 3 apresenta as estatísticas descritivas e inferenciais relacionadas com a terceira categoria de método de avaliação identificada no questionário contextual do PISA 2018 aplicado para professores: a retroalimentação.
Tabela 3: Frequência com que os professores fazem uso de métodos de avaliação da aprendizagem com foco na retroalimentação
| Item F - Eu providencio retornos escritos dos trabalhos dos alunos juntamente com uma nota, expressa em número ou letra | ||||||
|---|---|---|---|---|---|---|
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.191 | 2,566364862 | A | 0,855691035 | 33,34253239 | Muito Alto |
| Chile | 2.365 | 2,349682875 | B | 0,890592663 | 37,90267495 | Muito Alto |
| Panamá | 1.942 | 3,053553038 | C | 0,877229537 | 28,72815785 | Alto |
| Peru | 3.694 | 2,785056849 | d | 0,84815401 | 30,45374137 | Muito Alto |
| República Dominicana | 1.910 | 3,392146597 | e | 0,734804956 | 21,66194578 | Alto |
| Item G - Eu observo os alunos quando estão trabalhando nas tarefas particulares e providencio feedback imediato | ||||||
| Respondentes | Média | Comparação | Desvio padrão | CV | Classificação CV | |
| Brasil | 5.196 | 2,780408006 | a | 0,879853802 | 31,64477299 | Muito Alto |
| Chile | 2.379 | 3,109289617 | b | 0,766464152 | 24,6507803 | Alto |
| Panamá | 1.943 | 3,476582604 | c | 0,681603159 | 19,60555052 | Médio |
| Peru | 3.694 | 3,240119112 | d | 0,723571413 | 22,33163004 | Alto |
| República Dominicana | 1.911 | 3,510727368 | e | 0,695176658 | 19,80149937 | Médio |
Fonte: Elaboração própria com base nos dados disponíveis no questionário contextual do PISA 2018.
*Médias seguidas pela mesma letra não diferem entre si pelo teste Mann-Whitney (p-valor > 0,05).
Em ambos os casos, destacamos que a República Dominicana apresenta a maior média, enquanto o Chile e o Brasil registram as médias mais baixas, respectivamente. Importante ressaltar que esses métodos, que englobam a oferta de retornos escritos dos trabalhos dos alunos, acompanhados de uma nota expressa em número ou letra, também incluem a possibilidade de conduzir os alunos a responder a questões em frente da turma, além de permitir que os próprios estudantes avaliem seus progressos. A observação dos alunos durante atividades específicas e a oferta de feedback imediato são práticas consideradas, conforme apresentado na Tabela 3.
No que diz respeito ao coeficiente de variação, constatamos uma variabilidade significativa nos dados, com exceção do Panamá e da República Dominicana, no item G, no qual observamos uma variabilidade média. Isso sugere uma maior convergência nas respostas dos docentes nesses dois países em relação a essas práticas específicas. Em resumo, os professores dos cinco países indicam preferências e abordagens diversas ao fornecerem feedback aos estudantes durante os processos avaliativos.
Discussão
No contexto dos discursos dos organismos internacionais para os países latino-americanos sobre qualidade, aprendizagem e avaliação sistêmica, é fundamental considerar a interseção com os métodos de avaliação para aprendizagem, conforme evidenciado pelo questionário contextual do PISA 2018. A análise das práticas avaliativas dos professores em cinco países da América Latina - Brasil, Chile, Panamá, Peru e República Dominicana - revela um complexo cenário educacional, em que os métodos utilizados pelos docentes para avaliar o progresso dos alunos variam significativamente.
Ao analisar os dados correspondentes às respostas dos professores que participaram do questionário contextual do PISA no ano de 2018, com foco nos métodos de avaliação, foi possível perceber três aspectos centrais: métodos que centralizam as práticas avaliativas na ação dos próprios docentes (heteroavaliação); práticas avaliativas que reconhecem a necessidade de colocar os estudantes no centro dos processos avaliativos, demarcando a autonomia e processos colaborativos (autoavaliação); e as práticas avaliativas que funcionam como mecanismos de retroalimentação dos processos de ensino e de aprendizagem (feedback).
Na categoria heteroavaliação, encontramos uma notável disparidade nas médias das avaliações entre os países analisados. A variabilidade indica que os professores utilizam métodos distintos ao desenvolverem suas próprias avaliações, apontando para a influência de métodos de ensino, diretrizes curriculares e abordagens pedagógicas específicas. Fica evidente, nessa primeira categoria, que o próprio questionário do PISA direciona os itens sobre os métodos de avaliação utilizados pelos professores, reforçando a ideia de avaliação centrada no professor dentro de uma função somativa de avaliação.
Na avaliação somativa, avalia-se para identificar o nível de aprendizagem alcançado pelo aluno, determinar a eficácia de todos os elementos do processo educativo ou, ainda, certificar por meio de uma comparação interindividual, classificar e qualificar (Casanova, 1997). Essa forma de avaliação permite a identificação de variáveis; a especificação de unidades ou faixas mensuráveis; a construção de um instrumento de avaliação; e a coleta, elaboração, análise, interpretação e aplicação prática dos dados (Castillo; Cabrerizo, 2012). Talvez por ser a função que predomina na lógica dos próprios exames estandardizados, ela ainda se faça presente como uma opção preponderante nas práticas avaliativas dos professores que fazem parte deste estudo.
A heterogeneidade nas respostas da primeira categoria sugere a ausência de uma convergência de opiniões entre os docentes nos diferentes contextos, refletindo uma percepção variada sobre a avaliação centrada na ação do professor. Nesse sentido, identificamos uma notável discrepância entre as médias das avaliações com foco na heteroavaliação em todos os países. Isso indica que os professores têm uma percepção diferente ou utilizam métodos distintos para desenvolver suas próprias avaliações em comparação com o teste padronizado, semelhante ao PISA, o que sugere que os métodos de avaliação variam substancialmente.
Tamayo (2018) define a heteroavaliação como um tipo de avaliação em que a pessoa avaliadora tem um papel distinto da pessoa que é avaliada. No marco da educação, convencionalmente, a heteroavaliação ocorre quando os professores planejam, projetam e aplicam a avaliação dos estudantes. Geralmente, esse tipo de avaliação é o mais utilizado na educação, e talvez sempre o professor tenha uma função ativa.
Segundo Vera et al. (2018), a prática docente focalizada na heteroavaliação tende a centralizar a avaliação nos princípios de hierarquia do professor em frente aos estudantes. Por outro lado, esses mesmos métodos exercem um papel importante desde que se faça uso de diferentes meios e instrumentos.
Trata-se de uma técnica em contraste com a avaliação por pares (coavaliação), em que os estudantes com a mesma condição pontuam seu desempenho mutuamente. É uma medida que deve ser objetiva e não deve envolver sessões pessoais na hora de valorar e qualificar outro indivíduo (Rodríguez; Ibarra; García, 2013). Assim, quando realizada de maneira correta, o resultado pode ser muito benéfico.
Ainda estabelecendo uma análise comparada entre as respostas dos docentes dos diferentes países, constatamos uma proximidade no item B, “Eu aplico um teste padronizado”. Nesse caso, todos os países apresentaram um alto índice de concordância (CV muito alta). Em contrapartida, ao compararmos esses dados com os apresentados no item A, “Eu desenvolvo e aplico minhas próprias avaliações”, verificamos uma disparidade significativa de CV entre os países. Esses dados oferecem elementos para compreendermos que os exames padronizados, como o PISA, têm influenciado a prática avaliativa dos professores. Em todos os países, foi encontrado um uso muito alto desses testes. Ao mesmo tempo, a elaboração de avaliações pelos próprios docentes, com exceção do Chile, tem recebido menos destaque nos métodos de heteroavaliação.
Além disso, a avaliação por meio de testes padronizados pode indicar uma preocupação dos docentes em adequar suas práticas às exigências externas, visto que avaliações internacionais, nacionais e locais têm ocupado um lugar central nas políticas públicas educativas desses países, reforçando a concepção de accountability e a produção de rankings (Vanlommel; Schildkamp, 2019; Ozga, 2020). A preocupação decorrente desse processo reside na diminuição da autonomia docente associada a uma avaliação externamente orientada que não considera primariamente a aprendizagem do aluno, mas sim a definição prévia das competências e habilidades que eles deveriam possuir (Verger; Fontdevila; Parcerisa, 2019).
Na categoria autoavaliação, as médias das avaliações também variam significativamente entre os países. A República Dominicana se destaca com médias mais expressivas, enquanto o Brasil registra as médias mais baixas. A considerável variabilidade nas respostas de todos os países indica que o uso de métodos que favorecem a autoavaliação é mais variável entre os docentes. Notamos uma menor inclinação do Brasil por essas práticas em comparação com o Peru e a República Dominicana, que parecem adotá-las com mais frequência.
Desse modo, a classificação CV muito alto ou alto nos itens D e E, que compõem o método de autoavaliação, evidencia uma preocupação dos docentes em valorizar a participação dos alunos, colocando-os como corresponsáveis por seu processo formativo. Isso revela, em certa medida, um movimento inverso ao que foi percebido na categoria anterior, na qual o foco da avaliação são critérios determinados externamente.
Alonzo, Valencia e Vargas (2018), por exemplo, consideram a autoavaliação parte fundamental na formação holística dos estudantes, na medida em que promove a reflexão da ação de um indivíduo em relação a uma determinada atividade, buscando corrigir aspectos que se encontram no processo de sua formação.
Rodríguez, Ibarra e García (2013) definem a autoavaliação como o envolvimento dos estudantes na realização de julgamentos sobre os resultados de sua aprendizagem, sobretudo quando usada a avaliação formativa. O autor menciona que a autoavaliação é um requisito importante, visto que possibilita o desenvolvimento de capacidades de autopercepção e a autorregulação das próprias aprendizagens.
Entretanto, é preciso problematizar a própria concepção avaliativa que tem orientado os métodos de autoavaliação empregados pelos docentes, pois o PISA tem dado ênfase às competências socioemocionais (Fernandes et al., 2018; Sassaki et al., 2018; Miranda et al., 2015), que podem envolver tanto a autoavaliação individual como entre pares. Nesse contexto, a autoavaliação também poderia estar alinhada com os testes padronizados como o PISA, influenciando, assim, a prática avaliativa dos docentes.
Na categoria retroalimentação, a análise revela que a República Dominicana apresenta a maior média, enquanto o Chile e o Brasil registram as médias mais baixas. A variabilidade dos dados sugere que os professores dos cinco países indicam preferências e abordagens diversas ao fornecerem feedback aos estudantes durante os processos avaliativos. Identificamos uma maior convergência nas respostas dos docentes no Panamá e na República Dominicana em relação a práticas específicas de retroalimentação.
Nessa categoria, foram evidenciados os métodos avaliativos que se centralizam na retroalimentação (feedback), considerada essencial para que os professores regulem seus processos de ensino e os estudantes obtenham consciência de suas aprendizagens de modo contínuo e dialogicamente.
Biggs (2005) considera a avaliação por retroalimentação uma ação com potencial para identificar o quê e como os estudantes aprendem, dado que, em muitas ocasiões, os alunos não estudam para aprender um determinado conteúdo, mas simplesmente são motivados a obter uma boa nota, anulando a possibilidade de adotar estratégias para mudar essa situação. Um processo avaliativo que toma a retroalimentação como princípio básico permite ensinar aos estudantes como estão desenvolvendo atividades de aprendizagem, como podem fazer melhor, quais são os erros mais comuns que cometem e como podem superá-los. O desenvolvimento de uma retroalimentação sistemática possibilita, ainda, propiciar aos discentes processos metacognitivos, porque é a partir da informação fornecida pelo professor que o aluno pode, inclusive, autoavaliar seu desempenho (Biggs, 2005; Stieg, 2022).
É interessante observar que apenas o Brasil apresenta, no item G, um CV muito alto, enquanto países, como Panamá e República Dominicana, têm um CV médio. Entendemos que a falta de um feedback imediato evidencia uma concepção de avaliação como produto, tendo um fim em si mesma (Stieg, 2022). Portanto, a avaliação perde seu principal potencial, que é orientar a prática pedagógica do professor para garantir o direito à aprendizagem.
Diante desse cenário, os resultados do PISA deveriam auxiliar os professores a repensar a avaliação realizada nas salas de aula. Segundo Macias e Monereo (2018), essa avaliação deveria ser um instrumento de constante retroalimentação do trabalho educacional, exercendo, principalmente, a função substancial da avaliação e não apenas de instrumento de medida.
Para Vilca Cruz et al. (2022), nas escolas do Peru, parece haver um número minoritário de docentes que tem empregado de maneira efetiva a retroalimentação em busca de orientar educandos capazes de aprender e gerar conhecimentos significativos e de qualidade para que, com essa aquisição, possam desempenhar o seu papel social de forma integral e autônoma em e para a vida. Os autores acrescentam que a retroalimentação é necessária para superar o não aprendido ou o não logrado por meio da percepção adequada do professor que deve contar com a habilidade de administrar e gerenciar esse fator preponderante para o bom funcionamento da avaliação formativa com resultados positivos (Vilca Cruz et al., 2022).
Montalván (2017) destaca o efeito positivo que os espaços de retroalimentação têm dentro e fora da aula. Para o autor, essas ações permitem que os estudantes se sintam mais confiantes, tornando o clima propício para o aprendizado e podendo desenvolver-se de maneira a alcançar os objetivos educacionais. Nesse ponto, concordamos com a conclusão obtida por Montalván (2017), ao afirmar que a ajuda e a ação oportuna do professor no processo de ensino-aprendizagem permitem que os alunos alcancem as habilidades estabelecidas nos objetivos dos processos educativos.
No entanto, é necessário fazer menção às respostas dos professores ao questionário contextual do PISA 2018, em que é manifestado mais interesse em promover metodologias de avaliação com foco na heteroavaliação, porém é preciso potencializar o uso também de metodologias de autoavaliação e retroalimentação.
A análise das três categorias (heteroavaliação, autoavaliação e retroalimentação) revela uma disparidade nas respostas dos professores obtidas nos cinco países abordados por este estudo. No entanto, é perceptível que, embora reconheçamos a existência desses três métodos de avaliação, há uma notável lacuna em itens que respaldem as ideias de avaliação entre pares, conhecida como coavaliação (Castejón Oliva et al., 2011), e na avaliação compartilhada, que possibilita o diálogo e a tomada de decisões nos processos avaliativos (López-Pastor, 2009).
De fato, a inclusão de itens no questionário contextual do PISA que enfatizem também essas duas abordagens de desenvolvimento de métodos de avaliação da aprendizagem na educação básica (coavaliação e avaliação compartilhada) pode contribuir significativamente para a coleta de dados específicos sobre as relações de avaliação estabelecidas entre os estudantes de maneira mútua, elucidando os significados de como os alunos aplicam o que aprendem (Santos, 2005). É importante destacar que esses resultados podem refletir as diferenças contextuais, especialmente aquelas relacionadas com aspectos políticos, culturais, sociais e dimensões geográficas distintas.
Conclusões
Este estudo, que teve como objetivo analisar com que frequência os professores de cinco países da América Latina (Brasil, Chile, Panamá, Peru e República Dominicana) utilizam determinados métodos de avaliação das aprendizagens de seus alunos, indicou algumas aproximações e distanciamentos. Nesse sentido, os métodos de avaliação das aprendizagens utilizados pelos docentes de diferentes países da América Latina incluem heteroavaliação, autoavaliação e retroalimentação.
Na primeira categoria, os resultados evidenciaram que a prática de desenvolver e aplicar avaliações próprias variou consideravelmente entre os países. O Panamá se destaca por apresentar uma variabilidade relativamente menor, indicando maior consistência nas respostas. A aplicação de testes padronizados também reflete diferenças nas preferências, com o Brasil e o Panamá mostrando menor variabilidade. O Chile e a República Dominicana têm uma preferência mais marcada por essa prática. Os métodos de coleta dados das tarefas de classe ou dever de casa revelam variações com o Panamá novamente apresentando menor variabilidade nas respostas.
Na segunda categoria, de acordo com as narrativas dos professores, ficou evidente que as metodologias de autoavaliação são mais diversas no Brasil em comparação com as de outros países. Enquanto a prática de fazer os alunos responderem a questões em frente à turma mostra uma tendência global positiva, a variabilidade nas respostas destaca diferenças significativas. A autoavaliação dos alunos também reflete diferenças marcantes entre os países, com o Brasil apresentando a maior variabilidade, indicando uma diversidade de perspectivas entre os docentes. Essa heterogeneidade sugere a necessidade de uma reflexão mais aprofundada sobre a clareza dos critérios de avaliação e a compreensão de seus usos por parte dos docentes, enfatizando a importância de considerar não apenas as médias, mas também a dispersão das respostas para o entendimento mais abrangente dessas práticas de avaliação no contexto educacional.
Na terceira categoria, a prática de fornecer retornos escritos dos trabalhos dos alunos junto com uma nota mostra variabilidade. O Brasil foi o país com maior variabilidade. A observação dos alunos, durante tarefas particulares e o fornecimento de feedback imediato, também varia, com o Panamá e a República Dominicana apresentando menor variabilidade.
Dentre as tendências gerais, foi possível identificar que no Brasil os professores apresentaram maior variabilidade nas respostas, indicando uma diversidade de metodologias para avaliar as aprendizagens dos estudantes, desde aquelas com características de heteroavaliação, de autoavaliação e de retroalimentação. O Chile e República Dominicana tendem a preferir os testes padronizados, mas com variações na preferência por outras práticas. O Panamá indicou maior consistência nas respostas, indicando uma abordagem mais uniforme nas práticas avaliativas. No Peru, houve variação nas preferências, com uma inclinação para práticas de avaliação próprias e aplicação de testes padronizados (heteroavaliação).
Ao analisar as três categorias, percebemos que os métodos de avaliação indicados pelos professores variam substancialmente entre os países. A heteroavaliação ainda é predominante, refletindo uma abordagem tradicional centrada no papel ativo do professor. A autoavaliação e a retroalimentação, embora presentes, mostram uma variabilidade significativa, indicando diferentes graus de adoção por parte dos docentes.
A ausência de itens que respaldem a avaliação entre pares (coavaliação) e a avaliação compartilhada destaca uma lacuna nas práticas avaliativas consideradas no estudo. A inclusão desses elementos no questionário contextual do PISA 2018 pode enriquecer a compreensão das relações de avaliação estabelecidas entre os estudantes e os professores, promovendo uma visão mais abrangente e colaborativa dos processos de aprendizagem.
Os resultados obtidos também ressaltam a importância de considerar as diferenças contextuais, incluindo aspectos políticos, culturais, sociais e geográficos, ao interpretar as práticas avaliativas. Cada país apresenta particularidades que influenciam as escolhas dos professores no desenvolvimento e aplicação de métodos de avaliação. A compreensão desses resultados é importante para auxiliar políticas educacionais e práticas pedagógicas mais alinhadas com as necessidades e preferências locais. Além disso, ressalta a importância da contextualização ao interpretar dados educacionais, reconhecendo que as metodologias indicadas no questionário contextual do PISA apresentaram variações significativas em diferentes contextos.
Ao questionarmos sobre os possíveis impactos do PISA nas práticas avaliativas dos professores, observamos a existência de uma articulação entre os discursos dos organismos internacionais e os métodos de avaliação indicados pelos docentes, o que evidencia a complexidade do cenário educacional latino-americano. Embora a busca por padrões globais seja evidente, a implementação prática desses padrões varia substancialmente entre os países.
De modo geral, foi possível identificar aproximações entre os métodos de avaliação dos professores que responderam ao questionário contextual do PISA de 2018. A análise comparativa indica a complexidade e a diversidade das práticas avaliativas na educação, destacando a necessidade de se promover uma abordagem mais abrangente que contemple diferentes modalidades de avaliação e fomente a colaboração entre os estudantes. O entendimento desses aspectos pode contribuir para o aprimoramento das práticas educacionais e a promoção de ambientes de aprendizagem mais eficazes e inclusivos.
É importante ressaltar que essas conclusões são baseadas nos dados fornecidos e em análises preliminares do questionário contextual do PISA de 2018, porém uma investigação mais detalhada se faz necessária para uma compreensão completa do cenário educacional em cada país. Esta análise comparativa forneceu uma visão geral das tendências observadas nos diferentes itens contemplando cinco países, mas uma análise mais aprofundada pode ser realizada com outros métodos estatísticos e a partir de outras categorias.










texto em 



