INTRODUÇÃO

O Certificado de Proficiência em Língua Portuguesa para Estrangeiros, Celpe-Bras, é o exame oficial brasileiro que afere proficiência em língua portuguesa a partir de tarefas que integram compreensão e produção, simulando atividades de uso do português em esferas que demandam “familiaridade com diferentes práticas de letramento de que participam cidadãos escolarizados” (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Inep], ²⁰²⁰, p. 30).¹ Inicialmente proposto como uma “certificação de uso da língua portuguesa para participar da vida na universidade, o que envolveria criar um instrumento de avaliação que aferisse o potencial dos candidatos para ler, escrever, ouvir e falar em interações da vida cotidiana e estudantil” (^{Schlatter, 2014}), o exame passou a ser utilizado também como “pré-requisito para a validação de diplomas de profissionais estrangeiros que pretendem trabalhar no País” (^{Inep, 2020}, p. 18) e como uma das possibilidades de comprovação de proficiência em língua portuguesa para fins de naturalização (^{Portaria n. 623, 2020}).

De acordo com ^{Schlatter (2014)}, desde a concepção da proposta, havia o compromisso de o exame promover uma atualização da área de português como língua adicional (PLA), entendendo que um

. . . instrumento de avaliação construído a partir do conceito de uso da linguagem e da noção de gêneros do discurso [poderia] propor parâmetros para um ensino que se voltasse para oportunidades de uso da língua visando à participação dos educandos em diferentes situações de comunicação em que o português fosse a língua de socialização entre os participantes. (^{Schlatter, 2014}).

Com efeito, como mostram várias pesquisas na área, ao longo dos anos o Celpe-Bras serviu como inspiração e parâmetro para orientar a elaboração de materiais didáticos, programas de cursos, currículos e outros instrumentos de avaliação, preenchendo a lacuna deixada pela falta de documentos orientadores para o ensino (^{Schoffen & Martins, 2016}; ^{Inep, 2020}).² Parte essencial da disseminação das orientações teórico-metodológicas do Celpe-Bras teve relação com o desenho dos eventos de avaliação, sediados em Brasília, que, desde 1998, têm como foco a “formação tanto de examinadores quanto de professores que pudessem preparar seus alunos para esse exame. Por isso, desde o início, a proposta foi reunir professores das instituições que aplicavam o exame para os eventos de correção” (^{Schlatter, 2014}).

A partir de 2020, em decorrência da pandemia da covid-19, que limitou a realização de eventos presenciais, a formação dos avaliadores passou a ser realizada on-line. Houve, então, a necessidade de pensar na operacionalização de uma formação que, ao passo que pudesse ser realizada de forma independente pelos avaliadores, continuasse o trabalho de alinhar procedimentos necessários para garantir a confiabilidade da avaliação e o compromisso de disseminar práticas de avaliação que pudessem ser adotadas também no ensino de PLA. Para esse fim, foram criados cursos on-line para a formação de avaliadores da parte oral (^{Schlatter et al., 2024}) e da parte escrita, este último de nossa autoria e foco deste artigo.

Neste trabalho, apresentamos o curso elaborado,³ explicitando seus objetivos, suas bases teóricas e a abordagem metodológica utilizada nas atividades propostas e explicando de que modo o desenho do curso propõe o desenvolvimento do letramento em avaliação de professores de PLA. Pressupondo que a avaliação proposta no Celpe-Bras, sustentada pela perspectiva de uso da linguagem, teve em vista propiciar mudanças no ensino de PLA (^{Schlatter et al., 2009}), concordamos com ^{Scaramucci (2004)} ao defender que somente o exame, por mais inovador que seja em comparação com práticas de ensino vigentes, não é suficiente para atualizá-las. Segundo a autora, uma maneira de estimular inovações nas práticas docentes é propiciar oportunidades para a reflexão sobre seu fazer pedagógico. Tendo em vista que essa meta tem marcado historicamente o percurso dos eventos de avaliação presenciais do Celpe-Bras, mostramos como o desenho do curso on-line de formação de avaliadores da parte escrita do Celpe-Bras, elaborado em 2021 e atualizado em 2022 e 2023, traz subsídios para fomentar o letramento em avaliação de línguas dos avaliadores e a formação de professores de PLA nas práticas de avaliação de textos e de ensino de produção escrita em uma perspectiva dialógica, que entende que o uso da linguagem se dá por meio de gêneros do discurso.

Para tal, apresentamos, na próxima seção, o referencial teórico que aporta a noção de letramento em avaliação de línguas e a abordagem metodológica prática-reflexão-prática utilizada no curso. A seguir, descrevemos as características do exame, explicitando o seu potencial formativo nas práticas de ensino de PLA, e, na sequência, elencamos os objetivos e conteúdos do curso de formação de avaliadores da parte escrita, relacionando-os ao propósito que o Celpe-Bras tem de também formar professores. A partir disso, ilustramos, com duas atividades que tratam de conhecimentos teóricos e práticos do exame, o potencial formativo do curso para avaliadores e professores atentos a modos de avaliar coerentes com uma perspectiva de uso de linguagem e que possam sustentar suas práticas avaliativas com base em um repertório de princípios teóricos pertinentes e robustos. Nas considerações finais, destacamos as contribuições que o curso pode oferecer para as áreas de avaliação e de ensino de produção textual em PLA.

LETRAMENTO EM AVALIAÇÃO DE LÍNGUAS

O letramento em avaliação de línguas (LAL) é uma área de estudos dentro do campo da avaliação que se consolidou enquanto perspectiva teórica recentemente. ^{Taylor (2013}, p. 405) aponta que, assim como em muitos outros usos do termo letramento, tão corrente nos estudos contemporâneos, “o foco está na habilidade de compreender o conteúdo e o discurso associados a um determinado domínio ou atividade, e na habilidade de participar e de se expressar de maneira adequada em relação a isso”.⁴ Tratado por alguns como letramento em avaliação (LA) e, mais recentemente, tentando contemplar a lacuna da especificidade linguística que se impunha, como letramento em avaliação de línguas (LAL), ambos os conceitos são reconhecidos como “um importante foco de atenção, debate, formulação de políticas e ação na educação e na sociedade em geral” (^{Taylor, 2013}, p. 405).

Adotamos a definição de ^{Pill e Harding (2013}, p. 381), que descrevem o LAL como “um repertório de competências que permitem a um indivíduo compreender, avaliar e, em alguns casos, criar testes de línguas e analisar dados de testes”. Segundo os autores, são esperados diferentes níveis de proficiência em LAL dos diversos participantes envolvidos nas práticas avaliativas, isto é, nem todo sujeito envolvido com a avaliação a experiencia ou precisa experienciá-la da mesma maneira.⁵ Uma professora que pretende avaliar seus alunos em relação à aprendizagem de determinados conteúdos abordados em aula pode utilizar conhecimentos práticos necessários para criar instrumentos de avaliação, sem, necessariamente, saber explicitar a teoria que os embasa ou que seria útil para aprimorar sua compreensão conceitual de diferentes métodos e parâmetros de avaliação, por exemplo.

A partir dos diferentes estágios de letramento em avaliação de línguas sugeridos por ^{Pill e Harding (2013)}, ^{Taylor (2013)} descreve quatro perfis de pessoas que trabalham com testes e que demandam diferentes níveis de proficiência em LAL: elaboradores de testes, professores, gestores acadêmicos e profissionais em avaliação de línguas. Para diferenciar esses perfis, a autora elaborou um construto com oito dimensões: “(1) conhecimento teórico, (2) habilidades técnicas, (3) princípios e conceitos, (4) metodologias de ensino de línguas, (5) valores socioculturais, (6) práticas locais, (7) crenças pessoais e (8) atribuição de notas e tomada de decisão” (^{Taylor, 2013}, p. 410). Cada um dos perfis projeta maior ou menor nível de proficiência em cada uma das dimensões elencadas, sendo que os profissionais em avaliação de línguas precisam demonstrar alta proficiência em todas, isto é, um letramento multidimensional nas oito dimensões. Segundo a autora, dos professores se espera que possam demonstrar letramento multidimensional em metodologias de ensino de línguas; letramento conceitual nas habilidades técnicas, nos valores socioculturais, nas práticas locais e nas crenças pessoais; e letramento procedimental na teoria, na atribuição de notas e tomada de decisão e nos princípios e conceitos.

Pode-se afirmar, segundo esses autores, que oportunidades de desenvolver o LAL possibilitam ampliar os conhecimentos teóricos e práticos de avaliadores e professores e a confiança para tomar decisões em diferentes momentos do processo avaliativo: do desenvolvimento das ferramentas de avaliação à aplicação, da análise de desempenhos e atribuição de notas aos usos dos exames. Destacamos, portanto, que o conhecimento dos princípios e conceitos que embasam as propostas avaliativas e a familiaridade com as técnicas e os procedimentos de avaliação alinhados à perspectiva teórica adotada podem sustentar as tomadas de decisão e as escolhas relativas às práticas de avaliação e de ensino que se pretendem implementar e defender como as desejáveis em nossa atuação como avaliadores e professores.

Considerando o Celpe-Bras como um exame de alto impacto social e o papel central que os avaliadores da parte escrita desempenham na correção dos textos, um dos objetivos principais dos responsáveis pelo exame é garantir que os avaliadores estejam alinhados em relação ao construto teórico que está sendo testado e, ao mesmo tempo, identifiquem essas características no desempenho dos examinandos para então alcançar uma consistência razoável na atribuição das notas. Do mesmo modo, há de se considerar que muitos dos avaliadores de exames de línguas atuam em outras áreas, especialmente como professores, e que a formação recebida para avaliar produções textuais em um exame de larga escala que é parâmetro de proficiência na área, como o Celpe-Bras,⁶ pode ser considerada uma ação de formação em LAL para outras atuações profissionais dos avaliadores. Nesse sentido, um curso de formação para avaliadores também pode resultar em impactos na atuação daquele mesmo sujeito como elaborador de itens, professor ou gestor educacional, por exemplo.

Para propor o desenvolvimento em LAL em uma formação on-line compatível com o desenho construído nos eventos de avaliação presenciais do Celpe-Bras e com potencial de formar avaliadores e professores, alinhamo-nos com ^{Yan e Fan (2020}, p. 242) quando propõem que “o modelo baseado em aprendizagem na prática e mediado pela experiência tem implicações importantes para o desenho de formações em avaliação para todos os envolvidos”. O esquema exposto na Figura 1, desenvolvido pelos autores, mostra como o desenvolvimento do LAL pode acontecer a partir de um desenho de prática-reflexão-prática, ou seja, a prática como início e fim de um ciclo para a compreensão aprofundada das bases teóricas e práticas de um sistema de avaliação.

Fonte: ^{Yan e Fan (2020}, p. 238).

FIGURA 1 Modelo de desenvolvimento do letramento em avaliação 

Os autores apontam que, para professores de línguas, o desenvolvimento do LAL pode vir “de práticas de avaliação colaborativas ou diálogos com pesquisadores na área de avaliação de línguas, coordenadores de avaliações, mentores de professores ou instrutores experientes em programas de línguas” (^{Yan & Fan, 2020}, p. 242). Ainda que as diferentes relações de docentes com as habilidades e competências necessárias para a avaliação sejam foco recente de análise e descrição (^{Stabler-Havener, 2018}), ^{Giraldo (2021)} sugere, na mesma linha de ^{Yan e Fan (2020)}, que as práticas bem-sucedidas de desenvolvimento do LAL sejam pensadas a partir das demandas dos professores, de maneira situada e prática, afastando-se o máximo possível da abstração e com base na reflexão. Além disso, entendemos como fundamental nesse desenho induzir a mobilização do repertório de conhecimentos e práticas de ensino e avaliação que os professores já tenham para a resolução de desafios avaliativos semelhantes aos que irão enfrentar e que, mediante feedbacks em relação às soluções dadas, possam confirmar, ajustar, mudar o que sabiam e, assim, ampliar seus repertórios.

Conforme aponta ^{Taylor (2013)}, entender como o LAL é proposto e como evolui é essencial para desenvolver e implementar formações sobre avaliação para diferentes grupos. Dentre as iniciativas destacadas por ^{Giraldo (2021)}, estão o uso de materiais autoformativos e programas de formação profissional em LAL, tais como pesquisas colaborativas, cursos sobre avaliação, dentre outros. ^{Giraldo (2021}, p. 207) afirma que tais iniciativas podem não só ampliar conhecimentos teóricos e técnicos na área de avaliação, mas também propiciar que “professores se tornem mais críticos em relação a suas práticas ou sistemas de avaliação”. Nesse escopo de possibilidades, nosso objetivo aqui é mostrar de que modo a concepção do desenho do curso de formação de avaliadores da parte escrita do Celpe-Bras - os conteúdos que o compõem e a abordagem metodológica implementada - coloca em prática uma proposta de desenvolvimento de LAL.

A partir desse escopo teórico, entendemos que, para além do treinamento oferecido para avaliar os textos dos examinandos, um curso de formação de avaliadores tem potencial para estimular o desenvolvimento do LAL, entendendo que a experiência do fazer avaliativo pode promover reflexões que consolidam e ampliam os recursos teóricos e práticos necessários para o contexto específico de avaliação (parte escrita do Celpe-Bras), os quais podem também ser úteis a outros contextos profissionais. Como poderá ser visto mais adiante, tanto os conteúdos selecionados como a abordagem metodológica proposta no curso aqui apresentado visam a propiciar esse aprofundamento teórico e prático em relação ao exame e, a partir de atividades de uso de conhecimentos prévios e de habilidades avaliativas já conhecidas pelos cursistas, estimular a reflexão sobre a prática e, em seguida, a vivência de novas práticas considerando possíveis desenvolvimentos promovidos pela reflexão.

Na próxima seção, apresentamos o exame Celpe-Bras para contextualizar suas bases teóricas e o potencial formativo projetado. Na seção seguinte, discorremos sobre o curso de formação de avaliadores da parte escrita, salientando como os conteúdos propostos podem fornecer aos avaliadores oportunidades de prática e reflexão sobre a prática com potencial para impactar, além da sua atuação como avaliadores, também seus fazeres docentes. Mais adiante, apresentamos duas atividades do curso para ilustrar de que modo induzem a prática e a reflexão com vistas a promover a aprendizagem dos avaliadores-professores sobre as práticas avaliativas e de ensino de produção escrita.

POTENCIAL FORMATIVO DO CELPE-BRAS: CARACTERÍSTICAS DO EXAME

De acordo com o documento-base do exame (^{Inep, 2020}), o Celpe-Bras está fundamentado em uma visão de uso da linguagem em práticas sociais de que participam cidadãos escolarizados, levando em conta os propósitos locais e situados construídos conjuntamente pelos participantes em cada evento comunicativo. Nesse sentido, ser proficiente em língua portuguesa, para o exame,

. . . implica ser capaz de engajar-se em diferentes situações de uso da língua portuguesa no mundo, mostrando adequação às demandas dos vários contextos. Ser proficiente, nessa perspectiva, significa ser capaz de construir enunciados adequados para participar de contextos de comunicação em diferentes esferas de uso da linguagem, segundo ^{Schoffen (2009)}. Essa visão de proficiência leva em conta [o uso situado e contextualizado da língua], e não a mera manipulação de formas gramaticais ou itens lexicais. (^{Inep, 2020}, p. 28).

A partir dessa definição de proficiência, o exame avalia o desempenho dos examinandos em tarefas que integram compreensão e produção oral e escrita em duas partes: parte oral (PO) e parte escrita (PE). A PO consiste em uma interação, de cerca de 20 minutos, com um avaliador-interlocutor e observada por um avaliador-observador, em duas etapas. A primeira trata de questões relativas à vida e aos interesses do examinando, e a segunda versa sobre três diferentes temas da atualidade, a partir da leitura de materiais curtos contendo texto e imagem (^{Inep, 2020}). A avaliação do desempenho é realizada ao final da interação, pelos dois avaliadores, que, individualmente, consideram os seguintes aspectos: compreensão oral, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia.⁷

Na parte escrita do exame, foco deste artigo, a proficiência dos examinandos é avaliada por meio de quatro tarefas que integram compreensão oral, leitura e produção escrita. ^{Bachman e Palmer (1996}, p. 44) definem tarefa como “uma atividade que envolve indivíduos no uso da linguagem com o objetivo de atingir uma meta ou objetivo específico em uma situação específica”. Ao propor tarefas em que o examinando é solicitado a escutar ou ler textos em português que circulam em diferentes esferas de atuação para escrever com determinados propósitos e interlocuções explicitadas na situação de comunicação do enunciado, o exame busca simular situações de uso da língua fora do contexto de testagem e, assim, conferir maior grau de autenticidade ao desempenho projetado (^{Bachman, 2002}). Segundo o documento-base do Celpe-Bras,

Na Parte Escrita do Celpe-Bras, cada tarefa específica, a ser cumprida a partir de seu enunciado, está circunscrita a um evento comunicativo, em que são explicitadas as condições de produção para o participante ajustar seu texto aos propósitos dessa tarefa. Uma das implicações desse procedimento é que os objetivos de compreensão levam em conta os textos usados como insumo e são determinados pelos propósitos de escrita. É fato que diferentes comportamentos e interpretações podem ocorrer a depender dos objetivos que o leitor/ouvinte tiver ou que forem dele solicitados. Portanto, a compreensão só pode ser bem avaliada em uma tarefa se esses objetivos forem explicitados no enunciado, tal como expõe Scaramucci (1995; 1999). (^{Inep, 2020}, p. 31).

Para esse exame, portanto, ser proficiente em língua portuguesa significa “ser capaz de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo” (^{Schoffen, 2009}, p. 102). Isso implica que uma tarefa que se propõe a avaliar essa proficiência necessariamente precisará determinar a realização de uma ação por meio da língua (defender um ponto de vista, sustentar uma opinião, convencer o leitor a apoiar determinada causa, responder a um posicionamento, por exemplo), dentro de determinado contexto, com determinado propósito. Isso também implica a expectativa de construção de uma posição de enunciação em relação a interlocutores determinados, posição que se constituirá no próprio texto, na configuração da interlocução, tendo em vista a produção de enunciados reconhecíveis como dentro do gênero discursivo proposto. Nessa perspectiva, não apenas a ação a ser realizada está contemplada no enunciado da tarefa, mas também os critérios que serão utilizados para avaliar o desempenho do examinando, já que tanto o propósito quanto os critérios de avaliação são provenientes do contexto de uso, simulam usos da língua que acontecem fora da situação do teste e envolvem expectativas de engajamento de participantes em uma situação específica (^{Bachman, 2002}).

Cada tarefa da PE apresenta um material de insumo (em geral, reportagens provenientes da mídia brasileira) que contém as informações necessárias para cumprir os objetivos solicitados no enunciado. São utilizados como materiais de insumo, nas quatro tarefas que compõem a PE, um vídeo, um áudio e dois textos impressos, em atividades que demandam a integração de habilidades de compreensão e produção escrita, conforme apresentado na Tabela 1. Cabe salientar que tal desenho de tarefas projeta, para a preparação de examinandos e também para o ensino de PLA, não só o acesso a e a interação com textos orais e escritos que circulam na sociedade brasileira, como também o uso de textos com propósitos variados para a participação em diversas esferas de atuação humana.⁸

Para a avaliação dos textos escritos, todos os elementos que compõem a tarefa são levados em consideração e, de modo integrado, se tornam critérios para avaliar o desempenho do examinando e determinar o nível de proficiência alcançado naquela tarefa. A avaliação da PE é baseada em parâmetros de avaliação holísticos com descritores para cada nível (elementar, básico, intermediário, intermediário superior, avançado, avançado superior) que são constituídos por critérios de avaliação: os textos recebem uma nota global, que representa o grau de adequação deles à situação comunicativa proposta na tarefa, levando em consideração a configuração da interlocução, o gênero do discurso e os propósitos solicitados, além da utilização de informações do texto de insumo e da mobilização de recursos linguísticos adequados para a realização da tarefa. A escolha pela avaliação holística na PE busca operacionalizar o construto do exame, que é “incompatível com a ideia de avaliar o conhecimento ou a acurácia dos recursos linguísticos de forma independente do uso da língua” (^{Inep, 2020}, p. 38). Avaliar a proficiência em língua portuguesa com base em uma perspectiva holística e integrando habilidades de compreensão e produção é outro aspecto que o exame projeta para a preparação do examinando e para o ensino de PLA. Não é suficiente ler e responder a perguntas sobre um texto ou apresentar acurácia no uso de conteúdos gramaticais ou lexicais; o que importa para ser considerado proficiente é, levando em conta a interlocução e o propósito em diferentes participações sociais, se a leitura feita e a seleção dos recursos expressivos para produzir um determinado texto em língua portuguesa podem ser consideradas pertinentes e adequadas àquela participação proposta.

Conforme explicitado, tanto a elaboração das tarefas da PE quanto os critérios e procedimentos de correção dos textos têm como enquadre teórico uma perspectiva de produção escrita como prática social. Se transposto para o contexto educacional, isso implica promover, no ensino de produção escrita e na avaliação de textos, um “conjunto de práticas sociais que usam a escrita, enquanto tecnologia e enquanto sistema simbólico, em contextos específicos, para objetivos específicos” (^{Kleiman, 1995}, p. 19). Entendemos que, na condição de um exame de alta relevância, as características do Celpe-Bras expostas aqui podem contribuir para estimular tais práticas pedagógicas. No entanto, como já afirmamos, o instrumento de avaliação por si só não é suficiente para gerar mudanças na preparação de examinandos e nas maneiras de ensinar e avaliar produção escrita.

Ao analisar os efeitos retroativos da prova de inglês do vestibular da Universidade Estadual de Campinas (Unicamp) em aulas de um professor de inglês, ^{Scaramucci (1999)} já salientava que as interpretações que o participante fez da concepção de leitura que fundamentava a prova (que exigia explicitar discursivamente a compreensão de, por exemplo, pontos de vista, argumentos, relações e aspectos implícitos dos textos) foi parcialmente diferente do construto do exame, e que o impacto da prova em suas aulas foi maior em relação ao conteúdo (inserção de textos e atividades de leitura) do que na abordagem pedagógica das aulas de leitura.⁹ Especificamente em relação a efeitos retroativos do exame Celpe-Bras no ensino de PLA, a autora afirma, a partir de estudo que reuniu respostas de professores a um questionário abrangente sobre as percepções e ações do professor, que o exame não transformou a visão de linguagem dos professores, mas parece ter colaborado para “os fazer incorporar outros elementos a uma prática já existente” (^{Scaramucci, 2004}, p. 220). A autora salienta que mudanças e inovações nas práticas de ensino não parecem acontecer de forma automática a partir da simples implementação de exames, e defende que esses direcionamentos podem se tornar mais promissores quando existem também “propostas de formação que levem o professor a refletir e teorizar sua prática a partir da explicitação de suas crenças, concepções e pressupostos teóricos” (^{Scaramucci, 2004}, p. 217).

As conclusões desses trabalhos nos sinalizam a relevância de outras ações combinadas ao Celpe-Bras que possam contribuir para esclarecer, reforçar ou aprofundar os conhecimentos teóricos e práticos que embasam a avaliação e que podem, ao mesmo tempo, formar a equipe de avaliadores e qualificar o trabalho de professores que pretendem ensinar português com base nos mesmos pressupostos, como é o caso do curso de formação de avaliadores da parte escrita do Celpe-Bras que apresentaremos a seguir. Reconhecendo a necessidade de investir no letramento em avaliação de professores a partir de diversas frentes (^{Quevedo-Camargo & Scaramucci, 2018}) e o papel social da avaliação na educação, um dos propósitos do curso é que a formação de avaliadores possa reverberar na formação de professores em LAL, visto que grande parte dos avaliadores do Celpe-Bras também atua como professores de PLA.

O CURSO DE FORMAÇÃO DE AVALIADORES DA PARTE ESCRITA DO CELPE-BRAS

A elaboração do curso autoformativo para os avaliadores da parte escrita do Celpe-Bras foi pensada para preceder os encontros síncronos de capacitação da equipe de avaliação¹⁰ com vistas a balizar os conhecimentos dos avaliadores sobre o exame e, desse modo, reproduzir, a distância, o desenho da formação que ocorria presencialmente. Conforme mencionado, desde a primeira aplicação do exame, em 1998, os eventos de avaliação do Celpe-Bras foram concebidos como formação de avaliadores e também de professores, considerando a intervenção desejada da equipe que concebeu o exame em aproximar as práticas pedagógicas vigentes na época a abordagens mais contemporâneas.

De 1998 a 2014, os eventos de avaliação ocorreram presencialmente¹¹ e reuniam, além dos integrantes da Comissão Técnico-Científica do Exame (CTC), outros profissionais da área, especialmente professores de ensino superior que oferecem cursos de PLA em suas universidades, com o objetivo de difundir as orientações ao maior número possível de instituições, contribuindo para o impacto na formação de novos professores. Com a impossibilidade de realizar encontros presenciais de formação durante a pandemia da covid-19, em 2021 foi elaborado um curso autoformativo de 18 horas que passou a ser disponibilizado na plataforma Moodle pela empresa responsável pela correção do exame (^{Schlatter et al., 2023}). Por ser autoformativo, o curso não conta com um mediador e propõe oportunidades de aprendizagem por meio de ciclos prática-reflexão-prática:¹² prática com os procedimentos de avaliação, os princípios e conceitos que a orientam, reflexão a partir de feedbacks, que trazem comentários e explicações relativas às respostas dos cursistas nas atividades, sucedidas por novas práticas e feedbacks. Tal abordagem metodológica tem como base uma perspectiva de aprendizagem a partir da experiência, da mobilização de conhecimentos prévios, do cotejo do uso desses conhecimentos com novos conhecimentos, da reflexão assistida sobre a prática e de oportunidades continuadas de uso dos conhecimentos necessários para resolver problemas e desempenhar as ações projetadas (^{Kolb & Kolb, 2013}; Referencial curricular: Lições do Rio Grande. Linguagens, Códigos e suas Tecnologias. Língua Portuguesa e Literatura, Língua Estrangeira Moderna, ²⁰⁰⁹).

Desse modo, as atividades propostas nas unidades do curso autoformativo buscam adaptar a reflexão sobre a prática antes construída coletivamente em eventos presenciais, para induzi-la, de modo individual, contando com feedbacks específicos e robustos em relação às ações e tomadas de decisão propostas aos cursistas. Entendemos que, desse modo, no ir e vir da prática para a reflexão, as atividades têm o potencial para promover o uso e o desenvolvimento de conhecimentos, técnicas e habilidades necessárias e relevantes para que os cursistas possam atuar com autonomia e desenvoltura como avaliadores da PE de acordo com as concepções e orientações do Celpe-Bras. Os objetivos do curso são:

Em 2022 e 2023, foram feitas atualizações no curso elaborado em 2021: atualizaram-se as tarefas e os textos que compunham a avaliação diagnóstica e a avaliação de aprendizagem, aumentou-se a carga horária de 18 horas para 20 horas e criou-se uma unidade introdutória, que passou a oferecer mais insumos sobre a história e as características do exame Celpe-Bras. A Tabela 2 apresenta os objetivos específicos e as atividades de cada unidade, mostrando o conteúdo abordado da forma como está organizado na versão mais recente do curso.

Como pode ser visto na Tabela 2, após uma breve apresentação de informações essenciais sobre o exame, o cursista segue para a etapa de diagnóstico, em que irá testar seus conhecimentos prévios sobre os procedimentos de avaliação de textos da PE e os princípios e conceitos que embasam essa prática. Com base no desempenho do cursista, é(são) indicado(s) o(s) módulo(s) mais relevante(s) para sua formação. Se o cursista obtiver resultado de avaliador experiente (70% de acertos na avaliação diagnóstica), ele avançará diretamente para a Unidade 4, e, caso deseje revisar e aprofundar conhecimentos teóricos e práticos sobre o exame, poderá realizar as unidades anteriores, contribuindo, desse modo, para a validação do curso.

Ao longo do curso, o cursista recebe feedback em todas as atividades que realiza, com indicação de resposta esperada, comentários e explicações, e é informado sobre seu percurso (porcentagem de atividades realizadas nos módulos designados, com base no diagnóstico). Ao final, ele será avaliado pelo desempenho na avaliação de textos, como feito na unidade diagnóstica, mas agora acrescida de uma seleção da melhor justificativa para as notas atribuídas e, também como realizado anteriormente, um quiz sobre os conteúdos teóricos. A certificação de “Avaliador da parte escrita do exame Celpe-Bras” será concedida ao cursista que concluir 70% das atividades de cada unidade designada e alcançar 70% de aproveitamento no curso (Unidade 4); a Unidade 4 poderá ser realizada uma segunda vez para obtenção de uma nota melhor, se for de interesse do cursista.

Conforme já mencionado, o desenho prática-reflexão-prática prevê atividades que promovem a prática a partir do conhecimento prévio e induzem à reflexão por meio de feedbacks às respostas dadas. O feedback fornece as explicações necessárias para a reflexão sobre o que foi vivenciado pelo cursista e sobre o conhecimento utilizado para resolver a atividade e provê sugestões para a prática de avaliação, a partir de tarefas do exame e textos de examinandos. Os feedbacks explicativos (escritos e gravados em áudios e vídeos) remetem aos documentos do exame (documento-base, parâmetros de avaliação, caderno de provas comentadas) relacionados aos tópicos em pauta. Desse modo, entendemos que o curso trata das diferentes dimensões do LAL propostas por ^{Taylor (2013)}: conhecimento teórico, habilidades técnicas, princípios e conceitos, metodologias de ensino de línguas, valores socioculturais, práticas locais, crenças pessoais, atribuição de notas e tomada de decisão. Os conteúdos abordados tratam dessas dimensões na medida em que revisam e aprofundam: a teoria que sustenta as práticas avaliativas, os procedimentos avaliativos, os princípios e conceitos relativos à linguagem, proficiência e avaliação de uso da língua portuguesa, o confronto e o ajuste de convicções pessoais diante dos valores e das práticas do exame, a tomada de decisões sobre a avaliação dos textos conforme os parâmetros e as orientações do exame. Na seção a seguir, apresentamos duas atividades do curso para ilustrar de que modo os cursistas são convidados a se engajar nessas dimensões em um movimento constante de prática-reflexão-prática, com oportunidades de revisão e aprendizagem dos conhecimentos necessários para avaliar os textos da PE e também para ensinar produção textual de acordo com a visão de escrita como prática social operacionalizada no exame Celpe-Bras.

A INDUÇÃO DE CICLOS DE PRÁTICA-REFLEXÃO-PRÁTICA

O avaliador ocupa um espaço central em avaliações de desempenho, uma vez que, como aponta ^{Attali (2016}, p. 99), elas “envolvem necessariamente julgamentos subjetivos” relacionados a diferentes experiências, concepções e perspectivas do que seja considerado uso adequado ou não adequado de uma língua. Para a autora, isso é ainda mais relevante nas avaliações de produções escritas, que envolvem habilidades multifacetadas e critérios de avaliação que demandam eles próprios a interpretação dos avaliadores. Diante desse desafio, o curso propõe atividades que convidam o cursista a envolver-se na avaliação de textos e na análise de asserções sobre o construto e os procedimentos avaliativos do Celpe-Bras, considerando que, nesse contexto de avaliação, o LAL deve ser desenvolvido para promover um alinhamento maior na atribuição de notas (buscando, assim, aumentar a confiabilidade das notas atribuídas) e, ao mesmo tempo, como já vimos, projetar efeitos retroativos desse desenvolvimento em outras áreas de atuação desses profissionais.

Isso posto e levando em conta os impactos do exame nas vidas dos examinandos, a atuação dos avaliadores do Celpe-Bras demanda muita responsabilidade e comprometimento profissional, exigindo, como já vimos, um conhecimento multidimensional (o mais alto nível de proficiência) nas oito dimensões apresentadas por ^{Taylor (2013)} e que repetimos aqui: conhecimento teórico, habilidades técnicas, princípios e conceitos, metodologias de ensino de línguas, valores socioculturais, práticas locais, crenças pessoais e atribuição de notas e tomada de decisão. Na tabela de conteúdos do curso apresentada anteriormente (Tabela 2), pudemos observar que essas dimensões estão contempladas nos temas abordados, nos objetivos e nas atividades propostas. Nesta seção, mostramos, a partir da descrição mais minuciosa de duas atividades, o modo como foram desenhadas para propiciar a aprendizagem dessas dimensões no ciclo prática-reflexão-prática.

Antes de ilustrar essa abordagem metodológica do curso, cabe dizer que não há um requisito especificado em relação ao nível de letramento em avaliação na seleção dos examinadores. Diante disso, o curso de formação caracteriza-se como uma oportunidade para potencializar o letramento que esses participantes já têm, garantindo um balizador comum para atuação na avaliação do exame, além de possibilitar a ampliação de conhecimentos que esses sujeitos já possam ter construído em práticas externas ao exame. Entendemos que o ciclo descrito por ^{Yan e Fan (2020)}, de prática-reflexão-prática (Figura 1), e implementado no curso, propicia tal oportunidade a partir da experiência de avaliação situada com materiais autênticos do exame, uso de conhecimentos relacionados ao construto e aos procedimentos avaliativos, e a proposta de (re)pensar sobre o que já é conhecido mediante feedbacks explicativos, que contemplam a familiarização com os aspectos teóricos e procedimentais da avaliação do Celpe-Bras, bem como a reflexão e prática avaliativa com base no construto teórico do exame.

As atividades que selecionamos para mostrar o ciclo prática-reflexão-prática ilustram a abordagem metodológica adotada na elaboração de todas as atividades que compõem o curso. Considerando os conteúdos abordados na introdução, nas quatro unidades e na autoavaliação (Tabela 2), optamos por apresentar atividades provenientes das Unidades 2 e 3, já que estas tematizam dois aspectos fundamentais para o desenvolvimento do LAL nesse contexto: o construto teórico do exame e o uso dos parâmetros de avaliação.¹³

A atividade a seguir faz parte da Unidade 2, que tem como objetivo experienciar, conhecer e/ou revisar os parâmetros de avaliação da parte escrita do Celpe-Bras por meio da prática e da reflexão - neste caso específico, sobre como se dá a avaliação do cumprimento do propósito, da configuração da relação de interlocução e da recontextualização de informações (Figura 2). Após informar o cursista dos critérios de avaliação em foco (Tela 5), ele é solicitado a avaliar seis textos da Tarefa 1 (Tela 6). Ao clicar em um dos botões, o cursista pode ler o texto e selecionar, entre três descritores, o que considera mais adequado para descrever o desempenho analisado (Tela 7). Na sequência, ele poderá confrontar sua avaliação com o que é esperado pelo exame, lendo ou ouvindo o feedback sobre o texto (Tela 8). O cursista pode seguir para um novo texto e repetir cada uma das avaliações quantas vezes desejar, confrontando minuciosamente cada comentário com suas percepções e convicções, e, desse modo, ajustar sua prática ao que é esperado no exame.

Fonte: ^{Schlatter et al. (2023)}.

FIGURA 2 Atividade 1 - Unidade 2 

Como pode ser visto no ciclo prática-reflexão-prática e nas partes hachuradas do texto do feedback apresentado após as telas, as dimensões do LAL (^{Taylor, 2013}) tratadas aqui são o conhecimento dos princípios e conceitos do exame (uso da língua para realizar as ações propostas pelo enunciado da tarefa, levando em conta interlocução, propósito, retextualização de informações do texto de insumo e uso de recursos linguísticos e discursivos), as habilidades técnicas (interpretação dos parâmetros de avaliação de acordo com o construto do exame e visão global do texto) e a avaliação e tomada de decisão (cotejo do texto em foco com os descritores de cada nível de proficiência). Todas essas dimensões são fundamentais para o desenvolvimento do LAL nesse contexto: o avaliador precisa conhecer o exame e seu construto, operacionalizá-lo no que podemos reconhecer como habilidade técnica, conhecer princípios e dominar conceitos que fazem parte da avaliação e da tomada de decisão - neste caso, em uma avaliação simulada que reproduz a prática situada do exame. Nesse sentido, o feedback propicia uma oportunidade de o cursista cotejar a sua resposta com a resposta esperada e calibrá-la por meio da leitura de justificativas que explicitam a interpretação esperada dos parâmetros de avaliação, utilizando para isso o discurso especializado que se espera que ele aprenda para justificar suas próprias decisões.

Os textos avaliados nessa atividade são os mesmos que já constavam na avaliação diagnóstica, na Unidade 1 do curso. Após essa primeira prática de validar os textos e atribuir uma nota (para dar-se conta dos conhecimentos prévios que já possui), na Unidade 2 os cursistas são convidados a novamente avaliarem os textos e refletirem sobre sua avaliação a partir de um feedback elaborado para cada texto, como exemplificado na Figura 2. Como vimos, os feedbacks produzidos relacionam os critérios de avaliação do exame com trechos do texto, apresentando aos cursistas as justificativas para a atribuição das notas. Assim, o cursista poderá perceber quais aspectos do texto são relevantes para sua análise e de que modo esses aspectos devem ser avaliados, levando em conta os parâmetros do exame. Ele poderá aprender também a interpretar os descritores de cada nível a partir de exemplos concretos. Essa prática continuada de modo comparativo com outros textos de outros níveis propicia, em consonância com o modelo de LA de ^{Yan e Fan (2020)} e, como vimos acima, em todas as dimensões de LAL propostas por ^{Taylor (2013)}, uma aprendizagem na prática sustentada por uma reflexão que propõe calibrar as percepções iniciais sobre os desempenhos de acordo com o que é esperado dentro desse contexto específico de avaliação.

A atividade a seguir faz parte da Unidade 3, que tem como objetivo aprofundar os conhecimentos sobre o construto teórico que embasa o exame - neste caso específico, a noção de tarefas da parte escrita (Figura 3). Após informar o cursista sobre os objetivos da atividade (Tela 8), ele é solicitado a analisar como são elaboradas as tarefas da PE a partir de seus enunciados (Tela 9). Ao clicar em um dos botões roxos, o cursista deve completar os enunciados de seis tarefas com os elementos que integram a situação comunicativa proposta em cada tarefa (Tela 9). A seguir, ele poderá conferir se suas respostas estão corretas e clicar no botão azul para ler, na íntegra, o que se espera que seja produzido em cada enunciado da tarefa. Na Tela 10, o cursista poderá sistematizar os conhecimentos teóricos adquiridos nessa atividade assistindo a um vídeo ou lendo o feedback (trecho apresentado após as telas).

Fonte: ^{Schlatter et al. (2023)}.

FIGURA 3 Atividade 2 - Unidade 3 

Nessa atividade, como pode ser visto nos trechos hachurados, o feedback sistematiza o modo como os elementos da situação de comunicação são explicitados pelo enunciado (a relação de interlocução, o gênero discursivo e o propósito sociocomunicativo), relacionando esses elementos à visão de proficiência do exame, explicitando como a tarefa busca operacionalizar convites para usar a língua portuguesa para realizar ações no mundo com recursos linguísticos, discursivos e culturais pertinentes e adequados a uma situação de comunicação específica. Também explicita como esses aspectos são considerados como parâmetros de avaliação do texto. Novamente, o cursista tem a oportunidade de analisar vários enunciados e depois refletir sobre o que fez, revisando, confirmando ou aprofundando os conhecimentos sobre as características do exame e relacionando-as com a teoria que as sustentam. Nesse sentido, as dimensões de conhecimento teórico, habilidades técnicas e princípios e conceitos (^{Taylor, 2013}) são mobilizadas. Para o avaliador de produções textuais do Celpe-Bras, confirmar e/ou aprender conhecimentos práticos e teóricos sobre a composição de uma tarefa de produção escrita a partir de textos de insumo diversos e sobre os aspectos que compõem uma situação de comunicação específica no exame é fundamental para que possa atuar de modo confiante em uma avaliação de textos que é orientada por uma perspectiva de escrita como prática social.

As atividades que acabamos de apresentar ilustram a abordagem metodológica adotada em todo o conjunto de atividades do curso autoformativo. Conforme pode-se observar, essa abordagem implementa uma perspectiva de aprendizagem construída a partir da experiência e da reflexão sobre o que foi feito, para então praticar novamente e, nesse ciclo prática-reflexão-prática, cotejar concepções e práticas avaliativas conhecidas com as concepções e práticas avaliativas esperadas no exame Celpe-Bras. Espera-se que o LAL desenvolvido nesse contexto possa também servir como repertório em outras atividades profissionais que esse avaliador possa exercer, por exemplo, na preparação de candidatos ao exame, no ensino de PLA e na elaboração de materiais didáticos, testes e programas de ensino.

Concordamos com ^{Yan e Chuang (2022}, p. 155) que,

. . . para que a formação de corretores seja eficaz, uma prática repetida talvez seja necessária, pois pode lembrá-los dos construtos e parâmetros de avaliação do exame e criar oportunidades para que pratiquem o uso da grade de avaliação para os níveis de desempenho.

Entendemos que o desenho prática-reflexão-prática e a oportunidade de engajar-se nesse ciclo de maneira contínua e reiterada têm o potencial tanto de gerar a formação “das pessoas envolvidas com o Exame, a exemplo das equipes de elaboração e correção” (^{Inep, 2020}, p. 19), quanto de possibilitar a propagação dessas práticas na atuação desses profissionais no ensino de produção textual e na avaliação de textos em PLA alinhados com uma perspectiva de escrita como prática social.

Conforme afirmamos anteriormente, somente o formato de um exame que propõe tarefas integradas de escuta ou leitura de textos que circulam na sociedade como insumo para produzir textos para interlocutores e propósitos específicos pode não ser suficiente para promover efeitos retroativos desejáveis no ensino de produção escrita. Para uma compreensão aprofundada de fazeres avaliativos e didáticos que sejam coerentes com a visão de escrita como prática social, é importante também ter acesso aos pressupostos teóricos e técnicos e, principalmente, à prática continuada de avaliação orientada por parâmetros que operacionalizam tal perspectiva. A experiência e a prática comentada e refletida possibilitam contrastar conhecimentos prévios com novos conhecimentos e, assim, compreender e ampliar repertórios, alinhar-se (ou não) a determinados modos de avaliar e ensinar valorizados em determinados contextos e justificar posicionamentos como avaliadores e professores.

CONSIDERAÇÕES FINAIS

Conforme exposto neste artigo, o curso de formação de avaliadores da parte escrita do Celpe-Bras foi desenhado com o objetivo primeiro de alinhar concepções e procedimentos com vistas a contribuir para a confiabilidade da avaliação. Em um contexto em que entendemos como fundamental alcançar um alto nível de LAL para uma atuação profissional e ética dos avaliadores, o curso também tem o compromisso de disseminar práticas de avaliação que possam fazer parte da atuação do professor no ensino de produção escrita em PLA, tornando-se, desse modo, uma política formativa importante na área.

As dimensões do LAL apresentadas por ^{Taylor (2013)} e os ciclos de prática-reflexão-prática descritos por ^{Yan e Fan (2020)} fundamentam o desenho do curso e seu potencial formativo para avaliadores e professores de PLA. Com o objetivo de apresentar o curso e refletir sobre a formação de avaliadores e o desenvolvimento do LAL, descrevemos os conteúdos tratados no curso (Tabela 2) e duas atividades propostas para os cursistas (Figuras 2 e 3) para defender a relevância de conhecer, revisar e aprofundar diferentes dimensões de conhecimentos e práticas avaliativas para atuar em contextos de avaliações de larga escala e também de ensino de línguas. Em resumo, o cursista será incentivado a lançar mão de diferentes aspectos que caracterizam o construto do exame - e que poderão embasar práticas pedagógicas -, e operacionalizar princípios e conceitos que fundamentam a atribuição de notas e as tomadas de decisão quanto ao nível de proficiência do desempenho analisado - nesse caso, em uma avaliação simulada que demanda respostas semelhantes às que vivenciará nas práticas avaliativas das quais irá participar como avaliador da parte escrita do Celpe-Bras. A partir dessa prática situada, espera-se que o cursista confronte valores socioculturais e suas próprias crenças com o construto e os procedimentos avaliativos do exame e, a partir disso, que, em ciclos de prática-reflexão-prática, vá revisando, confirmando, calibrando e/ou alterando suas concepções e convicções sobre avaliação e ensino de produção escrita para participar de modo mais confiante de práticas de avaliação e de ensino fundamentadas em uma perspectiva de compreensão e produção da linguagem como práticas sociais.

Nesse sentido, entendemos que o curso pode contribuir como uma experiência vivida e refletida para o trabalho com a produção de textos com os alunos em sala de aula. Cabe salientar que, nesse contexto, as oportunidades cíclicas incluem possibilidades de reescrita do texto, conversas com colegas conhecidos e solidários sobre modos de aperfeiçoar o texto e de submissão de versões revisadas a leitores projetados. Esse movimento também é proposto no curso, uma vez que os avaliadores-professores podem voltar e refazer as atividades e suas avaliações, ajustando suas ações para ir ao encontro do que, nesse caso, os parâmetros de proficiência em pauta orientam. Ciente do que é exigido e valorizado em diferentes esferas de atuação, poderão eles próprios avaliar se e até que ponto interessa cumprir os parâmetros vigentes, conhecendo os riscos que estão em jogo em qualquer interação com o outro por meio do texto escrito.