Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
O ensino de línguas estrangeiras passou por transformações ao longo das últimas cinco décadas, influenciadas por diversas discussões teóricas, metodológicas e políticas. Emergiram novas teorias e abordagens que evidenciam aspectos mais complexos do processo aprendizagem-avaliação-ensino1 de línguas. Essas mudanças repercutiram nas práticas pedagógicas, resultando em uma revisão na forma de avaliação, a fim de abranger as habilidades linguísticas e atender às necessidades dos estudantes e da sociedade.
Ao adotarmos a visão de língua “linguagem como ação no mundo” (Scaramucci, 2006, p. 60), um dos principais desafios enfrentados é alinhar a avaliação a essa concepção. Para realizar avaliações de acordo com essa perspectiva, torna-se fundamental criar situações nas quais os estudantes possam demonstrar sua capacidade de construir significados, bem como seu conhecimento discursivo, sociocultural e situacional, indo além da memorização e aplicação de estruturas gramaticais isoladas. Outro desafio significativo relacionado à avaliação é o reconhecimento de seu papel crucial no ensino, uma vez que ela pode determinar o alcance dos objetivos de ensino e fornecer informações para tomadas de decisões administrativas e pedagógicas.
Diante de questões tão pertinentes ao campo da avaliação, é necessário que a formação de professores priorize a compreensão das dimensões sociais, políticas e éticas da avaliação. Estudos como os de Stiggins (1991), Rolim (1998), López Mendoza e Bernal Arandia (2009), Fulcher (2012) e Quevedo-Camargo e Scaramucci (2018) identificaram níveis baixos de letramento em avaliação entre professores, o que pode ser decorrente do fato de a avaliação ser frequentemente negligenciada na formação inicial (Quevedo-Camargo, 2020), deixando uma lacuna significativa. Algumas implicações dessa carência incluem: (i) concepção intuitiva por parte dos professores no momento de avaliar; (ii) redução da avaliação a uma mera verificação quantitativa de respostas corretas e incorretas dos alunos, visando exclusivamente à atribuição de notas; (iii) falta de coerência nas provas e critérios de correção, resultando em avaliações injustas, impressionistas e subjetivas; (iv) ênfase na competência linguística em detrimento de outras competências; (v) predomínio de métodos do tipo somativo; (vi) resistência ao uso de avaliações alternativas; e (vii) avaliação focada nos elementos isolados da língua, como vocabulário e gramática.
Os autores mencionados anteriormente sugerem estratégias para mitigar os efeitos da ausência de discussão na área de avaliação. Uma dessas estratégias é a implementação de cursos, oficinas, disciplinas e palestras centrados no desenvolvimento de conhecimentos, habilidades e princípios (Davies, 2008; Giraldo, 2018) para a elaboração de práticas avaliativas críticas e reflexivas, direcionadas tanto à formação inicial quanto à formação continuada. Pesquisas como as conduzidas por Fernandes (2019), Brum-Barreto (2023) e Carvalho Pinto (2023) destacam a importância de cursos e discussões na formação de professores de língua espanhola, evidenciando impactos positivos na ampliação da compreensão sobre língua e avaliação.
Nesse sentido, o objetivo deste artigo é apresentar uma proposta de conhecimentos, habilidades e princípios para o desenvolvimento do letramento em avaliação de línguas (LAL) de professoras de espanhol no ensino público. Adicionalmente, com base nos dados da pesquisa de doutorado de Carvalho Pinto (2023), descrever como esse desenvolvimento pode ocorrer na prática.
Para tanto, iniciamos com a metodologia do trabalho e abordamos o conceito em avaliação de línguas e as definições propostas por pesquisadores sobre LAL, explicitando nossa compreensão acerca do termo. Posteriormente, exploramos as contribuições da literatura para identificar os conhecimentos, habilidades e princípios necessários ao desenvolvimento de LAL. Em seguida, analisamos e discutimos o desenvolvimento de duas habilidades durante o curso: (i) definir de forma precisa os objetivos avaliativos e (ii) elaborar critérios de correção. Por fim, apresentamos as considerações finais.
METODOLOGIA DA PESQUISA
A pesquisa que deu origem a este artigo se insere no paradigma qualitativo-interpretativista (Moita Lopes, 1994) e é fundamentada nas premissas da pesquisa colaborativa (Desgagné, 2007; Horikawa, 2008). Os dados2 foram gerados a partir de um curso de formação continuada destinado a professoras de língua espanhola do ensino público.
O curso, intitulado Reflexões sobre Avaliação de Língua Espanhola na Escola Pública, foi ofertado remotamente entre os meses de fevereiro e maio de 2023, com carga horária total de 46 horas, sendo 30 horas síncronas - distribuídas ao longo de 10 encontros - e 16 horas assíncronas. Esse curso teve como objetivo principal promover um espaço de discussão e elaboração de avaliações em língua espanhola, visando a contribuir para o desenvolvimento do letramento em avaliação das professoras participantes.
Do total de inscritos, 32 foram inicialmente selecionados e apenas 20 cumpriram as exigências para participar do curso. Desse número, somente 8 professoras realizaram todas as atividades propostas e concluíram o curso. Os dados apresentados neste artigo, porém, são provenientes da participação de três delas, Cecília, Fernanda e Nicole (nomes fictícios), que atuam nos anos finais do ensino fundamental, ensino médio e no Centro de Estudos de Línguas (CEL).3 Todas têm formação superior em licenciatura em Letras e também realizaram cursos de especialização. É importante salientar que as participantes têm vasta experiência docente.
Durante o curso, as professoras foram convidadas a desenvolver uma avaliação e entregá-la ao final do programa. Essa elaboração foi compartilhada não apenas com a pesquisadora/professora, mas também com as demais participantes, que contribuíram com suas opiniões. Além disso, o papel da pesquisadora foi o de avaliar as tarefas entregues, fornecer feedbacks por escrito e realizar uma sessão individual síncrona de orientação com cada participante, permitindo que as professoras repensassem e implementassem as mudanças sugeridas, quando necessário.
É importante ressaltar que, no início do curso, as professoras participantes apresentaram uma atividade avaliativa que haviam aplicado anteriormente aos alunos. A partir da análise dessas atividades, o curso foi desenvolvido, e o conhecimento preexistente das professoras sobre avaliação foi ressignificado.
Como instrumento de investigação, analisamos três diários reflexivos (D1, D2 e D3), empregados com o propósito de auxiliar as professoras a refletirem sobre o processo de construção da tarefa avaliativa a ser entregue no final do curso. Vistos como meio para fomentar análises pessoais sobre o processo de aprendizagem, os diários serviram como ferramentas para que as professoras considerassem elementos importantes, tais como desafios, êxitos, objetivos e desempenho. Compreendemos que a prática de registrar reflexões nos diários contribui significativamente para o processo de conscientização na formação continuada dos professores. Esses diários são recursos que incentivam a reflexão crítica e focam a atenção em temas específicos, possibilitando que as professoras realizem uma avaliação mais profunda de suas práticas pedagógicas.
LETRAMENTO EM AVALIAÇÃO EM CONTEXTO DE LÍNGUAS: ALGUMAS DEFINIÇÕES
O conceito de letramento em avaliação de línguas, originalmente proveniente da educação geral,4 foi incorporado à avaliação de línguas estrangeiras, ampliando-se com base nos construtos teóricos das áreas de educação e linguística aplicada. A discussão sobre as definições desse termo e a importância de seu desenvolvimento têm sido objeto de amplo debate por parte de diversos pesquisadores tanto no âmbito nacional (Scaramucci, 2006, 2016; Scaramucci & Boffi, 2013; Quevedo-Camargo & Scaramucci, 2018; Fernandes, 2019; Quevedo-Camargo & Sousa, 2022; Brum-Barreto, 2023; Carvalho Pinto, 2023) quanto internacional (Inbar-Lourie, 2008, 2013; Fulcher, 2012; Taylor, 2013; Coombe, 2018; Giraldo, 2018, 2020, 2021). Esses estudiosos têm desempenhado um papel fundamental na exploração das questões essenciais relacionadas a esse conceito. Com base nas contribuições desses autores, buscamos analisar as definições de LAL e compreender as nuances que permeiam esse campo de estudo.
Do ponto de vista da linguística aplicada, compreende-se que a avaliação em língua estrangeira se distingue da avaliação em outras disciplinas pois requer habilidades adicionais, dadas as especificidades linguísticas envolvidas. Scaramucci (2016, p. 148) observa que os conhecimentos sobre a avaliação estão na confluência da linguística aplicada e da educação, sendo “ampliados e reforçados com as reflexões geradas pela inclusão de construtos relacionados à linguagem - visão de língua(gem), língua estrangeira e proficiência - envolvendo questões de interpretação, entre outros”. Dessa forma, compreendemos que LAL compartilha definições gerais da educação, mas destaca sua especificidade central relacionada à linguagem.
Para explorar o conceito de letramento em avaliação de línguas e entender os conhecimentos, as habilidades e os princípios necessários para que os professores possam lidar com as avaliações de sala de aula, consultamos as definições fornecidas por Fulcher (2012), Coombe (2018) e Quevedo-Camargo e Pinheiro (2021) na área da linguística aplicada.
Para iniciar as discussões, apresentamos uma definição de LAL amplamente reconhecida e difundida entre os pesquisadores da área, conforme proposto por Fulcher (2012). Esse autor define LAL como:
Os conhecimentos, as habilidades e as capacidades necessários para projetar, desenvolver, manter ou avaliar testes padronizados em larga escala e/ou baseados em sala de aula, familiaridade com os processos de teste e consciência dos princípios e conceitos que orientam e sustentam a prática, incluindo ética e códigos de prática. A capacidade de colocar conhecimento, habilidades, processos, princípios e conceitos dentro de estruturas históricas, sociais, políticas e filosóficas mais amplas para entender por que as práticas surgiram, como surgiram e para avaliar o papel e o impacto dos testes na sociedade, nas instituições e nos indivíduos. (Fulcher, 2012, p. 125, tradução própria).5
O autor destaca que o conceito abrange uma série de aspectos relevantes, que incluem a necessidade de situar as práticas avaliativas dentro de contextos históricos, sociais, políticos e filosóficos, a importância de discutir os princípios éticos que influenciam nossas práticas avaliativas e a compreensão dos papéis e impactos das avaliações, tanto naquelas de larga escala quanto nas de desempenho, sobre os indivíduos, as instituições e a sociedade.
Uma definição mais contemporânea sobre LAL foi apresentada em um glossário organizado por Coombe (2018), que define o termo da seguinte maneira:
. . . Letramento em Avaliação é o conhecimento e a compreensão abrangente sobre as competências e as habilidades dos estudantes, é interpretar os dados coletados das avaliações, usar essas interpretações para melhorar o aprendizado e o desenvolvimento dos alunos e tomar decisões apropriadas. (Coombe, 2018, p. 10, tradução própria).6
Observa-se que a autora enfatiza a avaliação do desempenho dos estudantes pelos professores, salientando a importância de avaliar não apenas o conhecimento de elementos fragmentados da língua, mas também o uso que os alunos fazem da língua estrangeira, refletindo em uma avaliação mais abrangente e contextualizada. Além disso, destaca a importância de interpretar os resultados da avaliação de forma crítica e reflexiva, visando a identificar pontos fortes e áreas que carecem de melhoria no processo de ensino e aprendizagem. Essa análise aprofundada dos dados permite aos educadores tomarem decisões informadas e implementarem estratégias pedagógicas mais eficazes para promover o desenvolvimento contínuo dos alunos.
Na visão de Quevedo-Camargo e Pinheiro (2021), o letramento em avaliação de línguas assume o papel de um referencial que delineia a competência profissional do professor em avaliação. Isso implica a capacidade de utilizar conhecimentos que orientem a aplicação eficaz da função avaliativa, bem como a concepção e análise dos resultados das atividades ou instrumentos de avaliação, em consonância com as demandas contemporâneas da sociedade.
É importante notar que, na definição anteriormente mencionada, as auto-ras introduzem uma questão crucial: a necessidade de que as atividades e os instrumentos de avaliação dialoguem com as demandas sociais atuais. Isso decorre do fato de que as teorias mais tradicionais no ensino de línguas estrangeiras muitas vezes negligenciam o aspecto do agir social, da autonomia e da cidadania. Portanto é fundamental considerar essa perspectiva ao planejar e implementar práticas avaliativas no contexto de ensino de línguas.
As discussões promovidas pelos autores e autoras mencionados anteriormente desempenham um papel essencial em nossa compreensão do conceito de LAL. Ao considerarmos que essas perspectivas se complementam, podemos resumir nosso entendimento do conceito aqui adotado:
. . . letramento em avaliação de línguas refere-se aos conhecimentos, habilidades e princípios necessários para elaborar e desenvolver práticas avaliativas de forma crítica e reflexiva em sala de aula. Isto inclui a compreensão do contexto local e a definição clara dos objetivos de aprendizagem e dos critérios de correção. Além disso, está relacionado à tomada de decisões adequadas, com base nos resultados das avaliações dos estudantes, levando em consideração princípios éticos, justos, democráticos e transparentes. Ser letrado em avaliação de línguas implica também em avaliar o papel e o impacto dos exames externos e das suas próprias práticas avaliativas nos sujeitos envolvidos e nas instituições educacionais. (Carvalho Pinto, 2023, pp. 58-59).
Vale destacar que a construção do entendimento sobre LAL está em constante fluxo, e não podemos ignorar as novas demandas sociais - algumas das quais não são tão recentes -, tais como as realidades multilíngues, a translinguagem, o bilinguismo, as línguas para fins específicos, as abordagens socioculturais. Essas demandas têm levado a uma mudança gradual no discurso de LAL, resultando em um repertório conceitual e prático mais amplo (Inbar-Lourie, 2008).
Nesta seção, buscamos apresentar autores brasileiros e estrangeiros relevantes da área, destacar as peculiaridades do letramento em avaliação de línguas, discutir as definições propostas por esses autores e apresentar uma definição própria embasada nos teóricos da área. Na próxima seção, exploramos as contribuições da literatura sobre avaliação de línguas estrangeiras para a formulação dos diferentes níveis de conhecimentos, habilidades e princípios que as professoras de espanhol possuem ou precisam desenvolver para realizar avaliações eficazes.
CONTRIBUIÇÕES DA LITERATURA PARA O DESENVOLVIMENTO DE LAL
Ao investigarmos os componentes essenciais para o desenvolvimento do letramento em avaliação entre professores de línguas estrangeiras, enfrentamos um desafio significativo devido à falta de diretrizes claras e consolidadas. Essa dificuldade se torna particularmente marcante ao considerarmos que as práticas avaliativas variam consideravelmente em diferentes contextos institucionais e políticos, o que confere ao processo características, exigências e demandas específicas. Ademais, adotamos a perspectiva que reconhece “o professor como um representante de valores e de experiências provenientes de um contexto político, social e didático que influencia tanto em sua prática quanto em suas atitudes metodológicas e nos instrumentos que elabora” (Quevedo-Camargo & Pinheiro, 2021, pp. 11-12).
De modo geral, LAL abrange conhecimentos, habilidades e princípios relacionados às avaliações de línguas. Esses três elementos têm se mantido constantes nas discussões teóricas e nas pesquisas sobre LAL, conforme apontado por Davies (2008) e retomado nos trabalhos de Scaramucci (2016) e Giraldo (2018, 2021). Segundo Davies (2008), esses componentes incluem: (i) conhecimentos, que envolvem uma compreensão profunda das métricas e da descrição da linguagem e de seus contextos; (ii) habilidades, que se referem à formação em metodologias adequadas, incluindo a elaboração de itens, estatísticas, análise e abrangência dos testes; e (iii) princípios, que dizem respeito ao uso apropriado dos testes de língua, considerando seu impacto, equidade e questões éticas e profissionais.
Para compreender a relação entre os três componentes, baseamo-nos em Giraldo (2018) com a seguinte proposta:
Diversos pesquisadores da área têm contribuído para definir quais conhecimentos, habilidades e princípios são essenciais. É importante notar que, embora alguns autores não utilizem exatamente esses termos, eles propõem construtos que oferecem insights para um conceito que ainda está longe de uma definição limitada (Giraldo, 2018). Para aprofundar a compreensão do que constitui o LAL e expandir e detalhar uma lista fundamental de conhecimentos, habilidades e princípios Figura 1), Giraldo (2018) propôs 66 descritores para LAL, que estão subdivididos em:
Fonte: Elaboração das autoras, com base em Giraldo (2018).
FIGURA 1 Letramento em avaliação de línguas
conhecimentos: a) consciência de questões da linguística aplicada; b) consciência sobre as teorias e os conceitos; c) conhecimento sobre o que é ser letrado em avaliação; d) consciência do contexto da avaliação de línguas;
habilidades: e) habilidades instrucionais; f) habilidades de elaboração; g) habilidades em medição; h) habilidades tecnológicas;
princípios: i) conscientização e ações em relação a questões críticas na avaliação de línguas.
Além dos componentes para a elaboração, desenvolvimento e avaliação dos exames externos ou das práticas avaliativas de sala de aula, Quevedo-Camargo e Sousa (2022) identificam outras características essenciais ao LAL dos professores de línguas estrangeiras. Essas características incluem: (i) a capacidade de integrar conhecimentos locais e globais; (ii) a adoção de uma postura crítica que facilite a identificação do que é relevante para a sua realidade específica; e (iii) o reconhecimento de como contribuições de contextos externos podem colaborar com o de ensino/aprendizagem/avaliação da língua que estão ensinando. Concordamos com as autoras, especialmente, quanto à importância de estar atentos aos conhecimentos, realidades e contextos locais, mantendo-nos abertos às contribuições externas que podem auxiliar os processos avaliativos. Adicionalmente, as autoras destacam a necessidade de o professor de línguas ser um sujeito que não só consome, mas também produz avaliações de maneira crítica. Nesse contexto, “ele deve saber por quê, o quê, quando e como avaliar seus alunos, assim como deve interpretar os resultados por meio de suas avaliações” (Quevedo-Camargo & Scaramucci, 2018, p. 239).
Para complementar, Scaramucci (2014) levanta aspectos fundamentais para que professores de línguas estrangeiras sejam letrados em avaliação. Ela enfatiza a importância de os educadores entenderem os contextos, papéis e funções das avaliações tanto no âmbito educacional quanto no social. É crucial que os professores tenham clareza sobre a abordagem adotada, pois isso facilita a compreensão de conceitos-chave, como língua, linguagem, língua estrangeira (segunda língua, língua não materna), os papéis dos envolvidos e a metodologia. Além disso, é necessário que tenham uma compreensão básica sobre conceitos como confiabilidade, praticidade, validade e construto. Ainda segundo a autora, é necessário capacitar professores para que possam definir claramente os objetivos da aprendizagem, que serão fundamentais nas avaliações; compreender a influência mútua entre ensino e avaliação; utilizar os resultados das avaliações, tanto internas quanto externas, para fundamentar decisões pedagógicas; empregar diversos tipos de instrumentos avaliativos para permitir uma ampla demonstração de habilidades pelos alunos; desenvolver sistemas próprios de avaliação com critérios bem definidos; comunicar eficazmente os resultados; identificar práticas de avaliação não éticas ou ilegais; e entender a avaliação como uma prática que possui significativas dimensões sociais, políticas e éticas, reconhecendo sua natureza não neutra.
Com base na literatura da área de avaliação em língua estrangeira e nos dados obtidos no curso que nos serviu de contexto para a pesquisa, sugerimos também uma definição de LAL baseada em descritores para o desenvolvimento de LAL de professoras de língua espanhola em atuação em escolas públicas.
Utilizamos a estruturação proposta por Davies (2008), dividida em conhecimentos, habilidades e princípios, e escolhemos os descritores necessários para fomentar o LAL.
Descritores propostos para o desenvolvimento de LAL
É fundamental ressaltar que identificamos alguns descritores essenciais para o desenvolvimento do letramento em avaliação de línguas, categorizados em conhecimentos, habilidades e princípios, conforme Davies (2008). Para isso, como mencionando anteriormente, revisamos as contribuições dos insights de especialistas na área como Inbar-Lourie (2013), Scaramucci (2014), Giraldo (2018, 2020, 2021) e Quevedo-Camargo e Sousa (2022).
Além disso, os resultados do curso revelaram a necessidade de aprofundar o LAL entre professores de língua espanhola do ensino público, focando aspectos de áreas da linguística aplicada, como aquisição de língua, abordagem e avaliação. Compreendemos também a importância de definir objetivos e critérios claros, desenvolver enunciados precisos, fornecer feedbacks adequados e adotar uma postura crítica, ética, transparente, democrática e justa. A partir dos conhecimentos que as professoras trouxeram, observou-se que esses temas não foram discutidos adequadamente nas formações iniciais ou continuadas.
No contexto desta pesquisa, consideramos necessários os descritores selecionados para o desenvolvimento do letramento em avaliação de línguas. Esses conhecimentos, habilidades e princípios foram escolhidos com base no que as professoras demonstraram conhecer ou desconhecer, bem como em sua importância para o uso da avaliação como ferramenta para coleta de evidências e tomada de decisões, tanto por parte dos professores quanto dos estudantes. Adicionalmente, enfatizamos que uma avaliação bem-informada e reflexiva proporciona uma compreensão aprofundada das necessidades de aprendizado, o que por sua vez pode significativamente contribuir para melhorar os processos educacionais e a aprendizagem dos estudantes.
Como proposta de desenvolvimento de LAL, apresentamos os descritores utilizados como referência no curso ministrado: conhecimento sobre conceitos teóricos na área da linguística aplicada, como abordagem, aquisição de língua, línguas estrangeiras, etc.; como os fatores externos (sentimentos, condições físicas, financeiras e sociais) podem influenciar no momento da coleta de evidências; impacto das avaliações nas escolas, nos indivíduos e na sociedade; diferentes tipos de avaliação e seus propósitos avaliativos; conceitos-chave da área, como validade, confiabilidade, autenticidade; avaliação como uma prática social e politicamente construída; e contextos locais de avaliação, que incluem práticas e crenças pessoais.
Incluem-se também as habilidades em definir claramente os objetivos de ensino e de avaliação; adequar os instrumentos aos propósitos avaliativos estabelecidos; elaborar critérios claros e rubricas; tomar decisões a partir dos resultados coletados durante as práticas avaliativas; desenvolver enunciados claros nos instrumentos avaliativos; fornecer feedback com o objetivo de auxiliar os estudantes em seus processos; e identificar itens mal projetados.
Além disso, os princípios envolvem compreender a avaliação baseada em princípios éticos, transparentes, democráticos e justos; usar os dados de avaliação eticamente; dar tratamento justo aos estudantes; ter práticas democráticas, nas quais os estudantes possam compartilhar suas opiniões e participar do processo avaliativo; adotar uma postura crítica7 e reflexiva perante usos injustos ou antiéticos das práticas avaliativas.
Para ilustrar, usamos como referência o esquema de Giraldo (2018) (Figura 1) e adicionamos os descritores necessários para o desenvolvimento de LAL neste trabalho (Figura 2). É fundamental destacar que a seleção foi elaborada para aprimorar o letramento em avaliação das professoras que participaram deste estudo. No entanto é importante que os conhecimentos, habilidades e princípios identificados sejam discutidos, ampliados e adaptados em discussões futuras.
Nesta seção, exploramos os descritores necessários para o desenvolvimento de LAL na presente pesquisa. Em seguida, apresentamos e discutimos exemplos práticos, focalizando duas categorias específicas: a elaboração de objetivos avaliativos e a formulação de critérios de correção.
EXEMPLOS DA PRÁTICA: ELABORAÇÃO DE OBJETIVOS E CRITÉRIOS
Com base nos dados do curso e na revisão da literatura, sugerimos que duas habilidades necessárias para o desenvolvimento do LAL sejam: (i) definir de forma precisa os objetivos avaliativos e (ii) elaborar critérios de correção. É necessário que os envolvidos na avaliação, incluindo os estudantes e os professores, tenham clareza sobre os objetivos a serem alcançados, e que os critérios estabelecidos tornem o processo mais justo e menos subjetivo. Dessa forma, pretendemos demonstrar na prática como ocorreu o desenvolvimento dessas duas habilidades entre as professoras envolvidas na pesquisa.
Elaboração dos objetivos avaliativos
Os objetivos orientam o ensino e, quando bem definidos, têm o potencial de transformar as avaliações em ferramentas eficazes para informar e ajustar práticas pedagógicas. Conforme apontado por Scaramucci (1999), os problemas da avaliação começam no planejamento, pois a ausência de objetivos específicos nessa fase pode representar um grande desafio, pois impede uma direção clara sobre o que se deseja alcançar.
Solicitamos às participantes da pesquisa que revisassem seus objetivos de aprendizagem e elaborassem objetivos avaliativos para as atividades desenvolvidas para serem utilizadas em suas turmas. Durante o curso, enfatizamos a importância de alinhar os objetivos de avaliação aos de ensino, para garantir uma conexão direta entre ambos. A partir dos feedbacks da pesquisadora às tarefas relacionadas à construção de instrumentos avaliativos, elas refletiram sobre a necessidade de construir objetivos claros, coerentes e específicos, que orientassem e fossem compreendidos por elas e pelos estudantes. Para analisar a elaboração dos objetivos, utilizamos as respostas dos diários reflexivos D1, D2 e D3.
Para tanto, apresentamos, na Tabela 1, as diferentes versões de três participantes: Cecília, Fernanda e Nicole.
TABELA 1 Objetivos avaliativos das participantes Cecília, Fernanda e Nicole
| CECÍLIA | FERNANDA | NICOLE | |
|---|---|---|---|
| D1 | • revisar o pretérito indefinido; • conhecer o gênero biografia; • aprender os gêneros musicais. |
• a prática da oralidade com o conteúdo trabalhado. | • inserir o aluno no idioma que está começando a estudar; • distinguir o som dos fonemas; • aprender a falar, ouvir e escrever o espanhol. |
| D2 | • reconhecer o pretérito indefinido dentro de uma canção; • extrair informações gerais e específicas de um texto; • produzir um texto a partir de sua experiência pessoal e apresentar. |
• avaliar de forma integrada a produção de um diálogo e apresentação por meio da linguagem formal ou informal. | • inserir o aluno no idioma que • está começando a estudar; • distinguir o som dos fonemas; • aprender a falar, ouvir e escrever o espanhol. |
| D3 | • extrair informações gerais e específicas de um texto; • produzir um texto a partir da sua experiência pessoal; • apresentar o texto oralmente aos colegas. |
• avaliar de forma integrada a produção de um diálogo e apresentação por meio da linguagem formal ou informal. | • elaborar um infográfico sobre animais em perigo de extinção; • usar corretamente a ortografia e os numerais ordinais e cardinais; • usar o vocabulário referente ao mundo animal; • usar o presente do indicativo (verbos regulares e irregulares) e os pretéritos. |
Fonte: Elaboração das autoras com dados da pesquisa.
Após serem solicitadas a refletir sobre os objetivos da avaliação a ser construída, observamos que, na versão inicial (D1), os objetivos estão descritos de maneira ampla e geral, como “aprender os gêneros musicais” (Cecília), “a prática da oralidade com o conteúdo trabalhado” (Fernanda) e “aprender a falar, ouvir e escrever o espanhol” (Nicole). Essas metas são vagas, pois não especificam, por exemplo, quais são os gêneros musicais, os conteúdos trabalhados, a abordagem da prática da oralidade e as habilidades específicas a serem desenvolvidas pelos estudantes.
É necessário destacar que, embora avaliar as habilidades linguísticas seja relevante, os objetivos se tornam mais efetivos quando descritos de forma precisa e detalhada. Em vez de mencionar apenas a prática da oralidade, Fernanda poderia detalhar aspectos específicos da comunicação oral relacionados à produção do gênero “diálogo”, como fluência, pronúncia, competência interacional, adequação lexical e gramatical ou adequação ao interlocutor, por exemplo.
Por estarem descritos de maneira vaga, os objetivos dificultam a definição de resultados esperados, dos materiais a serem utilizados e das ferramentas a serem empregadas. Através de uma revisão detalhada e da especificação de cada objetivo, os professores podem criar um planejamento mais claro e eficaz, facilitando a avaliação do desempenho dos estudantes e a adequação das estratégias de ensino. Objetivos bem definidos são fundamentais para um ensino direcionado e uma avaliação mais precisa e eficiente. Conforme Luckesi (2011), planejar é uma atividade intencional que envolve projetar objetivos e definir os meios para alcançá-los. Portanto, se não conhecemos os objetivos, como podemos avaliar se os atingimos?
Para fomentar um diálogo entre as professoras do curso e as participantes, foram enviados alguns questionamentos escritos com o intuito de ajudá-las a refletir sobre a elaboração de objetivos avaliativos mais alinhados. Esses questionamentos foram direcionados individualmente a cada participante, considerando seus respectivos diários reflexivos. A intenção de questionar e sugerir metas mais específicas às professoras foi orientar as participantes na definição de objetivos avaliativos mais precisos e direcionados. Assim, no D3, solicitamos às participantes que lessem os comentários, sugestões e questionamentos enviados, refletissem sobre os objetivos da avaliação final e os ajustassem, se necessário.
Ao comparar as construções dos objetivos avaliativos no D1 e no D2, notamos que as participantes demonstraram uma postura reflexiva ao revisarem seus objetivos. A análise dos objetivos de Cecília revela uma mudança significativa: no D1, ela definiu os objetivos como “revisar o pretérito indefinido”, “aprender os gêneros musicais” e “conhecer o gênero biografia”; já no D2, ela os modificou para “reconhecer o pretérito indefinido” e “produzir um texto a partir de sua experiência pessoal e apresentar”. Essa reformulação evidencia a compreensão de Cecília sobre a importância de objetivos mais precisos.
No D3, a versão final dos objetivos, destacamos as decisões de Cecília, que optou por remover o objetivo “reconhecer o pretérito indefinido dentro de uma canção” e dividiu “produzir um texto a partir de sua experiência pessoal e apresentar” em duas partes: “produzir um texto a partir da sua experiência pessoal” e “apresentar o texto oralmente aos colegas”. Ao enfatizar a avaliação dos estudantes por meio da produção textual, Cecília decidiu que não fazia sentido que os estudantes reconhecessem um tempo verbal específico que aparece em uma canção, por exemplo. Além disso, a professora poderá avaliar o uso dos pretéritos na atividade proposta de produção escrita, um relato pessoal.
Também podemos observar, nos objetivos de Fernanda e Nicole, que foram delineadas metas mais precisas e específicas para avaliação. Inicialmente, Fernanda definiu nos diários D1 e D2 o objetivo “a prática da oralidade com o conteúdo trabalhado”, mas, para a avaliação final, optou por uma abordagem mais integrada, propondo “avaliar de forma integrada a produção de um diálogo e apresentação por meio da linguagem formal ou informal”. Esse refinamento sugere uma preocupação em avaliar não apenas a habilidade oral, mas também a capacidade dos estudantes de adaptar sua linguagem ao contexto. Por sua vez, Nicole estabeleceu múltiplos objetivos para observar o desempenho de seus estudantes, o que reflete um esforço em abranger diferentes aspectos do aprendizado e avaliação dentro do curso.
Através das atividades conduzidas com as professoras e da análise dos dados obtidos, concordamos com Scaramucci (1999), que salienta que os desafios da avaliação têm sua origem no planejamento. Isso ocorre frequentemente porque o planejamento é geralmente elaborado no início do ano, quando os professores ainda não têm uma compreensão completa das expectativas, interesses e necessidades dos estudantes, muitas vezes limitando-se a cumprir exigências da escola. Nesse sentido, se nossa meta é avaliar para a aprendizagem, é preciso que tenhamos uma visão de onde queremos chegar. Sem objetivos claros, compreensíveis, alcançáveis e específicos, torna-se inviável coletar evidências, retroalimentar o ensino e a aprendizagem ou fornecer um feedback eficaz.
Podemos considerar que as participantes compreenderam a importância de elaborar objetivos avaliativos para orientar o processo de ensino, aprendizagem e avaliação. Além disso, observa-se que, em diferentes graus, as participantes foram capazes de desenvolver objetivos mais claros, precisos e atingíveis. Essa habilidade de estabelecer metas específicas contribui para uma avaliação mais efetiva e direcionada, possibilitando mais compreensão do desempenho dos estudantes e das áreas que podem ser trabalhadas.
Outra habilidade importante a ser desenvolvida pelos professores de língua estrangeira a fim de se tornarem profissionais letrados em avaliação é estabelecer critérios claros. Essa habilidade está intrinsecamente relacionada à definição de objetivos avaliativos. Dessa forma, na próxima seção, procederemos à análise da elaboração desses critérios.
Construção dos critérios de correção
A habilidade de utilizar critérios claros e bem definidos na correção de instrumentos avaliativos é fundamental para o desenvolvimento do letramento em avaliação de professores de línguas estrangeiras, conforme apontam Scaramucci (1999), Giraldo (2018) e Quevedo-Camargo e Pinheiro (2021). Essa prática é crucial para promover uma avaliação mais justa, confiável e transparente, além de reduzir a subjetividade inerente ao processo avaliativo, assegurando maior equidade (Quevedo-Camargo & Pinheiro, 2021). Nesse contexto, nosso objetivo ao abordar a definição de critérios foi conscientizar as professoras sobre a importância dessa prática.
Sob a perspectiva de avaliação aqui adotada, ao aplicar um instrumento avaliativo, é essencial corrigir e analisar os resultados para observar se os objetivos foram alcançados. Para isso, é imprescindível que o professor disponha de critérios de correção claros e bem definidos, sendo recomendável torná-los explícitos para os alunos. Frequentemente, esses critérios são estabelecidos pelo professor, mas é possível envolver os estudantes na construção dos critérios e das rubricas. Essa prática pode fomentar uma maior comunicação sobre o processo avaliativo entre professores e estudantes, garantindo que ambos estejam alinhados. Além disso, pode promover também transparência e evitar ambiguidades, permitindo que os alunos saibam exatamente o que se espera deles durante o processo avaliativo.
A definição de critérios claros facilita a retroalimentação eficaz do ensino, permitindo que os professores identifiquem e comuniquem com precisão os pontos fortes e as áreas que os estudantes precisam desenvolver. Conforme mencionado anteriormente, ao estabelecer parâmetros bem definidos, a subjetividade na atribuição de resultados e na tomada de decisões é minimizada.
A elaboração de critérios é um dos princípios fundamentais para uma avaliação ética, estando diretamente associada à transparência que “engloba também a clareza a respeito das diferentes formas de avaliar e dos objetivos almejados, que devem ser compreendidos pelos diferentes atores envolvidos” (Quevedo-Camargo & Pinheiro, 2021, p. 17). A ausência de informações relacionadas à avaliação pode criar oportunidades para injustiças e vulnerabilidades.
Durante o curso, com o propósito de demonstrar a teoria na prática, discutimos a elaboração de critérios e apresentamos diversas escalas holísticas e analíticas. Além disso, solicitamos às participantes que estabelecessem critérios de forma colaborativa, a partir de instrumentos de produção escrita e oral desenvolvidos pela pesquisadora. Por fim, após decidirem os objetivos de avaliação e o instrumento avaliativo, as participantes desenvolveram uma grade de correção, conforme apresentado a seguir.
Na Tabela 2, apresentamos os critérios de correção elaborados pela participante Cecília, que teve como objetivo a produção de um texto a partir de experiências pessoais dos estudantes. Sua grade de correção pode ser dividida em quatro partes: (i) estrutura do gênero; (ii) adequação gramatical; (iii) adequação lexical; e (iv) pronúncia e entonação.
TABELA 2 Critérios elaborados por Cecília
| Criterios | |||
|---|---|---|---|
| Escribió el título | () sí | () no | |
| Escribió la introducción | () sí | () no | |
| Escribió el desarrollo | () sí | () no | |
| Escribió la conclusión | () sí | () no | |
| Escribió dos momentos | () sí | () no | |
| Adecuación gramatical | |||
| Puntuación | () adecuado | () parcialmente adecuado | () inadecuado |
| Verbo en pretérito indefinido | () adecuado | () parcialmente adecuado | () inadecuado |
| Uso correcto de los marcadores temporales | () adecuado | () parcialmente adecuado | () inadecuado |
| Cohesión y coherencia | () adecuado | () parcialmente adecuado | () inadecuado |
| Adecuación lexical | |||
| Partes de la casa | () adecuado | () parcialmente adecuado | () inadecuado |
| Útiles escolares | () adecuado | () parcialmente adecuado | () inadecuado |
| El uso de las tecnologías, aparatos y expresiones específicas | () adecuado | () parcialmente adecuado | () inadecuado |
| Pronunciación | |||
| () adecuado | () parcialmente adecuado | () inadecuado | |
| Entonación | |||
| () adecuado | () parcialmente adecuado | () inadecuado | |
Fonte: Dados da pesquisa.
Por sua vez, a participante Fernanda, cujo objetivo era avaliar de forma integrada a produção e apresentação de um diálogo utilizando linguagem formal ou informal de acordo com a situação, apresentou critérios que podem ser divididos em: (i) local da situação; (ii) saudações utilizadas; (iii) frases interrogativas; (iv) soletração; (v) despedida; (vi) pronúncia: sons, ritmos e entonação; e (vii) fluência: fluxo natural e espontâneo da fala, conforme a Tabela 3.
TABELA 3 Critérios elaborados por Fernanda
| Rubrica para corrección escrita y presentación oral | |
|---|---|
| local da situação | () formal () informal |
| saudações utilizadas | () de acordo com o tratamento escolhido () fora do tratamento escolhido |
| frases interrogativas | • utilizou os pronomes corretamente sim () não () • fez uso dos signos de pontuação sim () não () • frases de acordo com o contexto sim () não () |
| deletreo | () soube os nomes das letras em espanhol () apresentou dificuldades para algumas letras () apresentou dificuldades para muitas letras |
| despedida | () de acordo com o tratamento escolhido () fora do tratamento escolhido |
| pronúncia - sons, ritmo e entonação |
() adequada com raras marcas da língua materna () adequada com algumas marcas da língua materna () inadequada com muitas marcas da língua materna |
| fluência - fluxo natural e espontâneo da fala | () apresenta pausas e hesitações para organização do pensamento sem prejudicar a comunicação () apresenta dificuldade em diferentes momentos, comprometendo um pouco a interação () apresenta dificuldade frequentemente e compromete a interação () apresenta muita dificuldade comprometendo substancialmente a interação |
Fonte: Dados da pesquisa.
Por fim, a participante Nicole, que teve como objetivo principal a elaboração de um infográfico sobre animais em perigo de extinção, especificou os critérios de correção, que podem ser subdivididos em: (i) uso correto da ortografia, dos numerais ordinais e cardinais e do tempo presente do indicativo e os pretéritos; (ii) gênero infográfico; e (iii) adequação lexical, conforme a Tabela 4.
TABELA 4 Critérios elaborados por Nicole
| Orientaciones del trabajo de los animales en peligro de extinción |
|---|
| • Criterios - Cree una infografía sobre animales en peligro de extinción; - Use la ortografía correctamente; - Utilice el vocabulario referente al mundo animal; - Introduzca el nombre científico del animal elegido; - Utilice correctamente los numerales ordinales y cardinales; - Use el tiempo presente de indicativo (verbos regulares e irregulares) y los pretéritos. |
| Género infográfico |
| • Título; • Informaciones relevantes (texto); • Imágenes; • Gráficos; • Pie (Bibliografía). |
| Adecuación lexical |
| • Nombres de los animales (buscar al menos 2 animales); • Hoja cartográfica (región, tamaño); • Causas da extinción (deforestación, caza, etc.); • Climas que estos animales viven. |
Fonte: Dados da pesquisa.
Ao analisarmos os critérios de correção elaborados pelas professoras, observamos que algumas combinam listas de verificação (sim/não) com grades de avaliação, que utilizam bandas de conceitos (satisfatório, desenvolvido, adequado). Segundo Brookhart (2013), há uma distinção entre rubrica, lista de verificação e grade de avaliação. Uma rubrica é um conjunto organizado de critérios para avaliar o trabalho dos alunos, incluindo dois aspectos: a definição clara e lógica dos critérios e as descrições dos diferentes níveis de desempenho associados a cada critério. Por outro lado, uma lista de verificação é uma ferramenta que consiste em uma série de características específicas acompanhadas de um espaço para marcar se cada uma está presente ou ausente. Ela divide uma tarefa em itens, fornecendo uma lista de elementos que devem ser verificados, o que facilita a compreensão do que é necessário para realizar a tarefa, pois contém itens concretos a serem conferidos. As grades de avaliação são semelhantes às listas de verificação, pois também dividem as atribuições em partes distintas. No entanto, em vez de uma decisão binária (sim/não ou presente/ausente), utilizam uma escala de graduação para avaliar o grau de cada característica.
Com base nos critérios estabelecidos pelas professoras, é possível identificar quais conhecimentos e habilidades elas avaliam. Para organizar esses critérios, observamos que eles estão relacionados a: a) estrutura (do gênero e da apresentação); b) aspectos gramaticais (pontuação, coesão e coerência, verbos); c) aspectos lexicais (partes da casa, material escolar, tecnologia, animais, etc.); e d) pronúncia (som, entonação, ritmo).
É relevante notar que as participantes Cecília e Fernanda mencionam a pronúncia como parte dos critérios de avaliação. O conceito de pronúncia abrange aspectos como sons, entonação e ritmo, ou seja, aspectos suprassegmentais, avaliando sua adequação. Assim, ao incluírem esses elementos, Cecília e Fernanda ampliam o conceito tradicional de pronúncia, que muitas vezes se limita à descrição dos sons e suas combinações ou à quantificação dos erros sonoros cometidos pelos estudantes.
Ao examinar a grade de avaliação de Fernanda, notamos que ela inclui o contexto como um critério na avaliação da produção do diálogo. Isso sugere que, na perspectiva da participante, os estudantes devem ser capazes de adaptar a linguagem ao contexto da situação comunicativa que eles próprios criaram. Esse enfoque da professora está alinhado com a visão de que a linguagem é influenciada pelo contexto em que é utilizada. A ênfase no contexto pode ajudar os estudantes a compreenderem não apenas as estruturas linguísticas, mas também como usá-las de maneira adequada em diferentes situações comunicativas.
É relevante ressaltar que a elaboração de critérios avaliativos foi o tema mais enfatizado pelas participantes do curso, pois elas salientaram que não haviam tido contato prévio com essa habilidade. Além disso, as participantes expressaram grande interesse e reconheceram a importância de desenvolver competências nessa área, o que evidencia uma lacuna significativa na formação anterior e a relevância do curso para preencher essa necessidade.
CONSIDERAÇÕES FINAIS
Neste artigo, apresentamos uma proposta de descritores, organizados em conhecimentos, habilidades e princípios (Davies, 2008) e detalhados por Giraldo (2018) (Figura 1), necessários para o desenvolvimento de letramento em avaliação de língua entre professoras de língua espanhola em contextos de ensino público. Baseamo- -nos na literatura da área, incluindo os trabalhos de Inbar-Lourie (2013), Scaramucci (2014), Giraldo (2018, 2020, 2021) e Quevedo-Camargo e Sousa (2022), e delimitamos os descritores necessários para o desenvolvimento do letramento em avaliação pelas participantes do estudo (Figura 2).
Além disso, ilustramos como o desenvolvimento das habilidades de elaboração de objetivos avaliativos e construção de critérios de correção foi aplicado na prática durante um curso sobre avaliação em língua espanhola. Inicialmente, os objetivos avaliativos propostos pelas professoras eram imprecisos e gerais. No entanto, após as intervenções da pesquisadora, esses objetivos tornaram-se mais claros, alcançáveis e específicos.
Os critérios de correção foram elaborados pelas participantes com o objetivo de minimizar a subjetividade na avaliação. Observamos que as grades construídas cobriam diversos aspectos, como estrutura, uso gramatical e lexical, além de diferentes dimensões da pronúncia.
É importante destacar que os baixos níveis de letramento em avaliação de línguas podem ser melhorados por meio de cursos, oficinas e disciplinas tanto na formação inicial quanto na formação continuada. Tais iniciativas devem focar a prática de aspectos essenciais da avaliação, como elaboração de instrumento, definição de objetivos e critérios e formulação de enunciados. Dessa maneira, é possível desenvolver práticas avaliativas mais justas e coerentes, que funcionem efetivamente como ferramentas de retroalimentação nos processos de ensino e aprendizagem.
