Introdução

A leitura é um tema transversal, que vem sendo estudado e debatido por pesquisadores das mais diversas áreas do conhecimento, entre as quais estão a Linguística, principalmente em duas de suas subáreas, psicolinguística e linguística aplicada, além da educação, psicologia, fonoaudiologia, medicina, entre outras. Isso se justifica porque, tratando-se de um fenômeno multidimensional, a leitura não poderia ser estudada apenas por uma área, visto que envolve aspectos biológicos e culturais, o que faz com que ela se configure como uma atividade complexa, que deve ser estudada e compreendida a partir de múltiplas perspectivas e diferentes recortes.

O lugar assumido neste estudo é o da psicolinguística, que observa a leitura considerando as relações cognitivas, metacognitivas e afetivas que se estabelecem entre o indivíduo e o estímulo ao qual ele é exposto – o texto –, em determinado ambiente e condição e com vistas a alcançar determinado objetivo de compreensão. Dada a natureza do sistema de escrita, a leitura se constitui como uma atividade cultural que é, em geral, aprendida por meio de processos de ensino e aprendizagem sistematizados, comumente em ambiente escolar.

Sinteticamente e considerando a lente usada aqui para observar a leitura, é possível identificar duas grandes dimensões relativas ao seu processamento: a decodificação linguística e a compreensão, ou seja, a transposição grafêmico-fonológica, que leva ao reconhecimento de palavras, e à produção de sentidos, que é alcançada pela relação entre as diversas camadas textuais e os conhecimentos prévios relevantes do leitor ( ^{HOOVER; TUNMER, 1992}; ^{VIANA, 2009}; ^{PERFETTI; LANDI; OAKHILL, 2013}). Atendendo à complexidade do encontro do leitor com o texto, a leitura é entendida como uma competência constituída por um conjunto de habilidades, tal como explicam Souza, Seimetz-Rodrigues e Weirich ( ²⁰¹⁹, p. 166):

Dizer que a leitura é uma competência implica [...] considerá-la como um conjunto de habilidades não compulsórias e não espontâneas (ou, pelo menos, não espontâneas enquanto não forem aprendidas) que precisam ser elaboradas, desenvolvidas e praticadas, a fim de que se saiba o que fazer e como fazer quando se lê, para que o propósito de alguma sorte de produção de sentidos (tal sorte depende daquilo que o leitor ou o professor ou instrutor almejam) tenha chance de ser obtido, ou seja, de que haja possibilidade de desencadeamento de um processo de representação mental e retextualização do escrito.

As habilidades requeridas para ler vão dos níveis mais básicos aos mais complexos e são acionadas a depender dos objetivos da leitura ou da compreensão leitora e dos conhecimentos procedimentais e declarativos específicos de que o leitor dispõe, em uma dada condição. Os objetivos podem ser relativos a aspectos de identificação, análise, elaboração, discussão, síntese, entre outros; e as habilidades requeridas implicam a identificação da palavra, passando ou não pela decodificação, a computação morfológico-sintática, o acesso a significações básicas, produções de sentidos que excedem a linha do texto e processos de inferenciação de diferentes ordens que incidem tanto sobre a unidade palavra quanto sobre unidades textuais maiores e suas inter-relações.

Na medida em que as sociedades se tornaram mais dependentes da escrita, novos níveis de competência leitora passaram a ser exigidos dos indivíduos, o que gerou a necessidade de criar mecanismos para avaliá-los. Isso faz com que não apenas as escolas se utilizem da avaliação da leitura como forma de diagnóstico, subsídio para ações de ensino e seriação dos estudantes, como também outros âmbitos da sociedade a empreguem para seleção, remediação e investigação sobre seus impactos na humanidade.

Historicamente, a avaliação de habilidades de leitura remonta ao séc. VII, na China, onde era usada, ao lado de outros testes de inteligência, no sistema de exames para o serviço civil e, posteriormente, para ingresso nas universidades. O mesmo ocorreu na Grã-Bretanha e nos EUA no séc. XX (GARDNER, 1996). No âmbito escolar, segundo Pearson e Hamm ( ²⁰⁰⁵), ela remonta aos primórdios da escola; entretanto, como atividade formal, só passou a ser discutida no século XX, pouco antes da Segunda Guerra Mundial. Inicialmente, buscava avaliar a leitura oral; posteriormente, a leitura silenciosa, passando aos testes padronizados e à velocidade da leitura – incentivados pelo behaviorismo – até o início dos anos 1970.

A avaliação da leitura desenvolveu-se, sobretudo, a partir das novas tecnologias para a investigação dos componentes da compreensão leitora propostos por Davis, em 1944 ( ^{PEARSON; HAMM, 2005}), perpassando diversas outras técnicas de avaliação voltadas tanto para aspectos da decodificação quanto para aspectos da compreensão.

No contexto brasileiro, ao empreender um levantamento bibliográfico sobre pesquisas que mostram a trajetória da avaliação de leitura, nota-se uma lacuna, devido à escassez de literatura na área, que, em grande parte, é constituída de esparsos artigos científicos. Os livros identificados tratam de informações sócio-históricas e aspectos enunciativos e políticos da leitura a partir do século XIX, com ênfase na alfabetização, nos aspectos subjetivos do leitor e na história do livro ( ^{MORTATTI et al., 2014} ; ^{LAJOLO; ZILBERMAN, 2019}), sem abordar a questão da avaliação. As perspectivas teóricas a respeito da leitura, evidenciadas a partir de 1970, coincidem com as estadunidenses e são por elas fundamentadas, havendo, entretanto, no Brasil, nas últimas décadas, um destaque para os aspectos sócio-históricos e interacionistas da leitura, em detrimento dos cognitivos, especialmente no âmbito escolar.

Os estudos apontam para alguns aspectos que devem ser atendidos quando se pretende avaliar a leitura. Primeiramente, é preciso ter em conta o leitor que se intenciona avaliar. Além disso, considerar qual é o objetivo da avaliação e da leitura, o tipo de conhecimento a ser avaliado (declarativo, procedimental, condicional), o nível linguístico (fonológico, lexical, morfológico, sintático, semântico – tanto frasal como interfrasal –, textual, discursivo ou pragmático); no caso da compreensão leitora, ainda o aspecto que se pretende avaliar, o nível de complexidade que se quer capturar e, finalmente, de quais recursos se dispõe para realizar a avaliação.

Cabe salientar que a leitura é uma atividade avaliada sempre de maneira indireta, devido aos processos psicológicos nela envolvidos e ao fato de que nenhum instrumento é suficientemente completo para avaliá-la ( ^{SOUZA; CARVALHO, 2019}), sobretudo no que se refere à compreensão. É necessário, portanto, um conjunto de instrumentos e técnicas, com diferentes formatos, itens, textos, suportes, entre outros, que compreendam toda a amplitude do construto, das habilidades básicas até as superiores, desde que pesados a finalidade da avaliação, o público avaliado e as condições em que a avaliação ocorrerá ( ^{ALDERSON, 2000}).

Diante do exposto, objetiva-se com esta pesquisa identificar, caracterizar e discutir pesquisas realizadas no Brasil sobre a avaliação da leitura, entre os anos 2014 e 2020, com foco nos processos cognitivos investigados, nas habilidades de leitura medidas e nos instrumentos de testagem utilizados, de modo a delinear parâmetros, critérios e condições que vêm sendo considerados relevantes pelos pesquisadores para a avaliação. Em síntese, visa-se, por meio de um estudo de revisão sistemática, investigar a seguinte questão: Quais parâmetros, critérios e condições de avaliação podem ser distinguidos nas investigações sobre a avaliação da leitura no Brasil?

Método

O método de revisão sistemática objetiva conhecer a produção científica sobre determinado tema, permitindo ao pesquisador situar-se quanto ao estado da questão ( ^{NÓBREGA-THERRIEN; THERRIEN, 2004}).

Com vistas à revisão aqui exposta, realizou-se primeiramente busca com as seguintes combinações de palavras‑chave, utilizando operadores booleanos: avaliação, avaliação de leitura, instrumento de avaliação, test? de leitura, instrumento, tes?, teste, testagem, AND leitura OR compreensão leit?, OR compreensão leitora, OR compreensão da leitura, compreensão de leitura OR desempenho em leitura, conforme sintaxe permitida pelos mecanismos de busca das bases de dados. Foram consultadas, nos meses de junho e julho de 2020 e revisadas em janeiro e abril de 2021, as bases de dados da Biblioteca Virtual em Saúde (BVS – Lilacs e Pepsic) e a Biblioteca Científica Eletrônica On‑line (SciELO), o Portal de Periódicos da Capes e a Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), por serem tidas como importantes bases das publicações nacionais em psicologia, interfaces e áreas correlatas, tais como psicolinguística, educação, psicopedagogia e fonoaudiologia, que se interessam de maneira especial pela temática.

De posse dos trabalhos localizados, aplicaram-se os critérios de inclusão, isto é: trabalhos que avaliassem leitura típica, publicados entre os anos 2014 e 2020, cujo público-alvo fosse falante do português brasileiro, a partir de 6 anos de idade ou do 1º ano do Ensino Fundamental (EF), e cujos testes ou avaliações de leitura aplicados fossem em português brasileiro. No caso de artigos derivados de teses ou dissertações já identificadas e selecionadas, foram incluídos apenas aqueles cujo recorte era diferente do proposto no trabalho original. Para a pré-seleção, analisou-se a presença de algum dos descritores ou correlatos no título e nas palavras-chave e, em caso positivo, remeteu-se aos objetivos anunciados nos resumos. Foram excluídas publicações com uma ou mais das seguintes características: estar presente em mais de uma base de dados; apresentar outros focos de discussão não relativas especificamente aos descritores, não ser pesquisa empírica ou derivar e discutir os mesmos aspectos de tese ou dissertação já selecionada.

Restringiu‑se a busca a artigos, teses e dissertações publicados em um recorte dos últimos sete anos anteriores à redação do presente artigo, considerando uma publicação anterior sobre o tema, de Dias et al. ( ²⁰¹⁶), que abrangeu os anos de 2009 a 2013. Justifica-se, portanto, o recorte do período 2014 a 2020 em razão de haver revisão sistemática prévia que contempla até 2013 e de não ser viável a inclusão de pesquisas do ano em que a busca foi revisada para fins de confirmação: janeiro a abril de 2021. Assim, inicialmente, identificaram-se, a partir dos descritores, 8.482 trabalhos, sendo 7.615 no Portal de Periódicos da Capes, 439 na BVS (Lilacs), 92 na BVS (Pepsic), 46 na BDTD e 290 na SciELO. A última etapa da seleção foi realizada com base no conteúdo dos trabalhos, chegando-se ao total de 151 publicações, que foram submetidas à análise detalhada e que podem ser identificadas pela letra T (de trabalho), seguida do número de ordem – exemplo T1, T2 etc. As publicações analisadas, cujos títulos estão em ordem alfabética, podem ser acessadas no drive ( https://drive.google.com/file/d/1tnNejzi73mPKscxvCw5x9i1nBDrLmotS/view?usp=drive_link).

Após o processo de seleção, foram tabulados os dados dos estudos, discriminando-se e analisando-se as seguintes variáveis: de perfil – 1) Tipo de pesquisa, 2) Ano, 3) Periódico (no caso dos artigos), 4) Instituição de Ensino Superior (IES), 5) Programa de Pós-graduação (PPG), 6) Autoria: autor de artigos, autor e professor orientador (para teses e dissertações), 7) Base de dados; e de conteúdo – 1) Foco de interesse, 2) Objetivo, 3) Público-alvo, 4) Instrumento utilizado para avaliar leitura, 5) Habilidades de leitura medidas, 6) Resultados. Finalmente, a partir do que se obteve na análise das variáveis – cujas informações foram levantadas a fim de auxiliar na compreensão dos dados-alvo e da pesquisa como um todo – realizou-se o exame da amostra, segundo categorias de instrumentos de testagem e habilidades de leitura, observando os parâmetros utilizados na construção ou seleção do instrumento. A análise segue acompanhada de discussão crítica do material.

Ressalta-se que, tal como esclarecido na exposição do problema e dos objetivos desta pesquisa bibliográfica de revisão sistemática, trata-se de um estudo de mapeamento do estado da questão, não de um estudo propositivo acerca do delineamento de parâmetros, critérios e condições relevantes à avaliação da compreensão leitora. Tal estudo propositivo foi desenvolvido como pesquisa de doutoramento de Carvalho ( ²⁰²²).

Resultados

Conteúdo das pesquisas

Em geral, verificou-se que os focos de interesse que mais se mantiveram ao longo dos anos foram a validação de instrumentos e os efeitos de intervenções. A maioria das pesquisas (132) estabeleceu seu público-alvo com base na escolaridade, e a etapa de ensino com maior número de pesquisas foi o EF (121), sobretudo os anos iniciais. Quatro pesquisas investigaram alunos do Ensino Médio (EM); uma, da Educação de Jovens e Adultos (EJA); e onze, do Ensino Superior (ES). As que selecionaram os participantes por faixa etária (17), fizeram-no conforme a seguinte distribuição: 6 anos (uma), 6 –12 anos (11), 9 –14 (três), 14 –16 anos (uma), adultos e idosos (seis). Além dessas, uma teve como público-alvo docentes de língua portuguesa do EF. Os números evidenciam ênfase na pesquisa relacionada à leitura inicial, observando-se diminuição brusca em relação aos estudantes do EM, da EJA e ES, e até mesmo de indivíduos em suas áreas de especialidade ou dos que já estão fora da escola.

Os métodos dos estudos foram delineados aqui com base no ambiente, na abordagem teórica e na técnica de coleta de dados ( ^{GIL, 2017}). Assim, foram contabilizadas 137 pesquisas com delineamento experimental, quatro pesquisas-ação, duas descritivas/exploratórias, dois estudos de caso e seis pesquisas mistas (envolvendo observação não participante, pesquisa-ação e experimental).

Os instrumentos usados para a testagem foram bastante variados: empregaram-se em torno de 64 tipos diferentes para medir as habilidades de leitura, e alguns estudos valeram-se de mais de um. A seguir, são apresentados os quatro principais instrumentos ou técnicas de testagem usados nas pesquisas selecionadas.

Dos instrumentos elencados na tabela, 75 contemplam apenas a compreensão leitora e dezoito a avaliação de reconhecimento de palavras; o restante avalia dois ou mais processos.

Os trabalhos que tiveram como público-alvo alunos dos anos iniciais do EF investigaram habilidades relativas à decodificação, fluência (acurácia, velocidade e prosódia), interpretação literal e inferencial, relação entre as consciências fonológica, morfológica, sintática e metatextual, e a compreensão leitora e o vocabulário, utilizando-se sobretudo do TDE – Subteste de Leitura, e do PROLEC. Para os estudantes dos anos finais do EF, a ênfase esteve na capacidade de elaborar inferências. Pesquisas cujos participantes foram estudantes do EM e ES destacaram aspectos relacionados à compreensão leitora.

Observa-se na tabela 2 que a maior parte dos estudos que investigaram a compreensão leitora se valeu de testes de compreensão leitora do tipo resposta construída e múltipla-escolha (38) – doravante TCL – e de testes de cloze (37), quase unicamente (apenas 11 e cinco, respectivamente, utilizaram-nos em conjunto com outro instrumento de avaliação da compreensão). Cinco TCL fizeram uso do mesmo modelo de teste, utilizando-se de mais de um texto ou tarefa. Os dois tipos de teste, em sua maioria, foram elaborados especificamente para as pesquisas em questão.

A primazia dos TCL e dos testes cloze nas pesquisas analisadas contrasta com os achados de Dias et al. ( ²⁰¹⁶), em cujo trabalho o TDE aparece na frente do cloze como o mais utilizado. Isso se explica, em parte, pela seleção de trabalhos realizada pelas autoras, que se resumiu a artigos e incluiu populações de desenvolvimento atípico.

Nos estudos cujas habilidades investigadas corresponderam à compreensão leitora, buscou-se verificar o impacto, sobre ela, de fatores de ordens bastante variadas: linguísticos (conectivos, prosódia, simplificação sintática, tipo e gênero textual, vocabulário, fluência), individuais (gênero, idade, condição socioeconômica), cognitivos (memória, metacognição, processamento auditivo), socioculturais ( e.g., práticas de leitura e letramento), pedagógicos (método de ensino, intervenções, ordem das tarefas) e afetivos (motivação).

Quanto aos objetivos, os estudos que buscaram validar instrumentos em desenvolvimento focalizaram a avaliação de características psicométricas relacionadas à validade da estrutura interna, de construto, de conteúdo e de critério, além de traduzir e adaptar instrumentos. Alguns conjugaram a busca por evidências de validade com a observação do desempenho em leitura dos participantes. Os que se dedicaram a verificar o impacto de intervenções no desenvolvimento ou aprimoramento das habilidades de leitura exibiram uma diversidade de objetivos: investigar, verificar e analisar os efeitos de atividades de consciência fonológica e de ensino das relações grafêmico-fonológicas; memória de trabalho no incremento das habilidades de leitura; técnica de coloração silábica, recursos verbais e não verbais do gênero quadrinhos; ensino de sinônimos; programa de remediação da compreensão de leitura; métodos de ensino. Outros visaram caracterizar, descrever e observar a evolução, comparar e correlacionar o desempenho em leitura, verificar o nível de compreensão leitora, identificar dificuldades de decodificação e compreensão leitora, investigar a relação entre fatores extralinguísticos e a leitura etc.

Descrição e análise

Foram analisados os instrumentos utilizados e as habilidades de leitura medidas nos trabalhos selecionados, entendendo-se que o objetivo de um instrumento psicométrico de avaliação da leitura é medir, ainda que indiretamente, o domínio do indivíduo sobre os processos requeridos na leitura mediante a manipulação, pelo pesquisador, de tarefas, fatores de texto e situação ou condição de leitura. Tendo isso em vista, foram consideradas as seguintes categorias para análise: a) processos cognitivos – abordagens, estratégias ou finalidades cognitivas utilizadas pelo leitor no decorrer do seu envolvimento com o texto (contexto e/ou intertexto) visando à realização da tarefa proposta; b) habilidade requerida – acionamento dos conhecimentos procedimentais; c) nível de dificuldade – estágio de leitura que se pretende acessar por meio do teste; d) características de entrada do teste – estímulo, tipo de item e formato da resposta; e) justificativa para escolha do teste – critérios que determinaram a seleção ou criação do instrumento de testagem; f) informações sobre validação – tipos de busca de evidências de validade às quais o instrumento foi submetido.

Testes de compreensão leitora

Os 38 ⁴ TCL utilizados para avaliar a compreensão leitora foram bastante variados. Alguns basearam-se na Prova Brasil (três), no Indicador de Analfabetismo Funcional –INAF (dois), no Exame Nacional de Desempenho dos Estudantes – ENADE (um), na Avaliação Nacional da Alfabetização – ANA (um), na Provinha Brasil (um) e em testes desenvolvidos por outros autores, como por exemplo, Mahon (2002) e Oakhill e colaboradores (2005) (dois). Nos demais casos, foram elaborados testes específicos para a pesquisa.

O processo cognitivo investigado foi generalizado em compreensão leitora, e foram definidas, na maioria dos casos, apenas as habilidades de leitura. Habilidades de realização de inferências foram observadas em 26 pesquisas; interpretação literal, em 10; localização de informações, em quatro; estratégias metacognitivas, em cinco; e quatro, avaliação/reflexão da informação. ⁵ Quanto ao nível de dificuldade, quatro estudos informaram que o TCL foi adequado ao nível e ano de escolaridade, dois, apenas ao controle do nível de dificuldade dos textos-base, um destacou que o grau de dificuldade dos textos, as questões e as alternativas de resposta foram avaliados por especialistas e, contrariando o esperado de pesquisas científicas, 31 publicações não indicaram se o teste foi ajustado para o estágio de leitura que se pretendia acessar.

As características de entrada variaram, conforme exposto na tabela 1:

Destaca-se que, das 38 pesquisas que se utilizaram de TCL, cinco o fizeram por meio digital; algumas utilizaram perguntas feitas e respondidas oralmente durante a leitura do texto, com interrupções programadas. As que se valeram de estímulo visual e auditivo justificaram a leitura conjunta oral do pesquisador como forma de facilitar o processo para os estudantes que, porventura, apresentassem dificuldade de decodificação. Em quatro trabalhos, o suporte foi inferido, já que não foi claramente mencionado.

Quanto à justificativa para a escolha do instrumento, 27 trabalhos não a indicaram, fato que surpreende, visto que um dos critérios para a escolha de determinado instrumento é que seja analisado quanto à sua eficiência para o objetivo proposto para a avaliação. A ausência de justificativa pode revelar falta de clareza quanto às características e qualidades que levaram à sua escolha. Os que o fizeram, justificaram que o TCL é um recurso que ajuda na classificação do desempenho na compreensão leitora. Um deles explicou que permite avaliar de modo mais controlado diversos processos de compreensão. Alguns esclareceram especificamente a escolha do formato de item resposta construída, afirmando que elas favorecem a argumentação, as relações entre texto e práticas sociais de leitura, bem como a identificação de processamentos que exigem maior esforço cognitivo por parte do leitor. Um justificou a opção pelo formato múltipla escolha, explicando que permite investigar aspectos relativos ao significado contextual de palavras, identificar os objetivos e ponto de vista do autor, aspectos literais e inferenciais do texto, além de ser objetivo e de fácil correção. Essa justificativa é questionável, já que é possível observar as mesmas habilidades por meio de respostas construídas. Houve ainda os que basearam a escolha na confiabilidade de teste padronizado, como a Prova Brasil. Um deles explicou que, apesar de considerar que o teste de perguntas não é o ideal para verificar a compreensão, optou pelo instrumento para verificar se os leitores conseguiriam evocar aspectos literais e inferenciais do texto, e não somente decodificá-lo.

Em relação a evidências de validade dos testes, apenas seis das 38 pesquisas as mencionaram, indicando a validade de conteúdo e os graus de precisão e discriminação dos itens, ou apenas afirmando que essas evidências foram constatadas, sendo que duas eram dedicadas à construção e validação de instrumentos.

Testes cloze

Dos 37 ⁶ trabalhos que empregaram testes cloze, 20 usaram os seguintes instrumentos desenvolvidos por Santos (2005) e validados para o EF: A princesa e o fantasma e Uma vingança infeliz, para os anos iniciais, e Coisas da natureza, para os anos finais. Quatro pesquisas usaram o texto Desentendimento, de Veríssimo (1995); uma, o instrumento O campinho, de Spinillo e Mahon (2007); seis textos foram elaborados especificamente para a investigação, um era parte de um subteste do Instrumento de Avaliação da Leitura Inicial (IAL-I) e um, cloze de sentenças.

Quanto aos processos cognitivos investigados, 18 trabalhos não o detalharam; contudo, infere-se que seriam os de elaboração e interpretação da informação, visto que avaliam a construção do modelo situacional do texto pelo leitor. Oito não aludiram ao termo processo cognitivo; desses, dois usaram a expressão processo de compreensão, um processo de leitura e cinco não fizeram qualquer referência ao termo como concebido nesta revisão. Em oito das pesquisas, a compreensão leitora foi tida ora como construto composto por várias habilidades e processos cognitivos, ora como habilidade a ser medida pelo instrumento ou demandas específicas das tarefas.

Em 31 dos trabalhos, evidenciou-se que a habilidade verificada ou a demanda exigida pela tarefa foi a compreensão leitora, no sentido de identificar entendimento global do texto lido, a partir do preenchimento correto das lacunas. Dois estudos verificaram habilidades de construção de inferências; dois, a compreensão leitora com demanda de escolha sintática e lexical para compreensão em nível de estrutura textual; um, o processamento local imediato e um, a interpretação.

Referente ao nível de dificuldade, isto é, ao estágio de leitura que se pretende acessar por meio do teste, 15 indicaram que os instrumentos levaram em conta o nível de escolaridade ou ano escolar, e dois apontaram apenas que o nível de complexidade é baixo, fácil ou difícil, sem justificar; as demais pesquisas não fizeram menção. As características de estímulo e suporte foram visuais (escritas) e impressas, respectivamente.

Quanto ao formato do teste, cinco utilizaram o cloze múltipla escolha, que, segundo Santos Burochovitch e Oliveira (2009), é uma variação que permite ao leitor preencher a lacuna a partir de múltiplas alternativas. Em um dos trabalhos, não ficou claro se o formato de resposta foi oral ou se o tipo de teste foi o cloze pós-leitura oral. O restante utilizou o cloze tradicional, de Taylor ( ¹⁹⁵³).

Novamente, contrariando o esperado de pesquisas científicas, dos 37 trabalhos, 16 não justificaram a escolha do instrumento utilizado. Os que o fizeram, destacaram que a opção pelo teste de cloze se deu por ser uma medida prática, rápida e confiável, flexível e de fácil uso, correção e cálculo de pontuação, além do baixo custo e de já haver claras evidências de sua validade, sobretudo de critério, relativo aos anos escolares avaliados.

Quanto a informações sobre evidências de validade do instrumento, 17 fizeram alguma menção; 16 referem evidências de validade de critério para os testes ou textos, três, de conteúdo, dois estudos, de construto, três, de convergente; cinco citaram aspectos relacionados à consistência interna e três, a índices de precisão; três, apenas à existência de evidências de validade do instrumento, sem deixar claro quais são, e três destacaram aspectos de validade do modelo de cloze original.

Teste de Desempenho Escolar (TDE) – Subteste de leitura

Dezoito ⁷ trabalhos empregaram o Teste de Desempenho Escolar (TDE) – Subteste de leitura para avaliar as habilidades propostas. Em 14, o processo cognitivo observado foi a decodificação; os outros quatro não esclareceram. A habilidade medida foi a leitura de palavras isoladas.

O nível de dificuldade foi justificado em cinco pesquisas, com base em pressupostos teóricos relativos a como os itens são distribuídos por ano escolar do EF. O estímulo, considerando ser um único instrumento com protocolo definido, foi, em geral, visual; o suporte foi impresso e o formato de resposta, oral.

Em relação à justificativa para escolha do TDE, seis trabalhos não apresentaram. Dos que o fizeram, três frisaram o fato de ele ser um instrumento construído especificamente para escolares brasileiros. A maioria enfatizou o aspecto das evidências de validade do teste, sobretudo de critério. Um deles justificou o interesse em normatizar uma edição que avalie estudantes dos anos finais do EF, e outro, que ele foi utilizado apenas para definir a composição da amostra. Metade dos trabalhos não se referiu às evidências de validade do instrumento. Os que o fizeram, conforme mencionado, destacaram sua validade de critério.

Provas de Avaliação dos Processos da Leitura – PROLEC

Onze ⁸ das 151 pesquisas utilizaram o PROLEC e o PROLEC – SE–R como instrumentos de medida. As tarefas da bateria PROLEC podem ser aplicadas a escolares do 2º ao 5º ano, e do PROLEC – SE–R, do 6º ao 9º ano do EF. Esse instrumento padronizado foi, originalmente, elaborado por Cuetos, Rodrigues e Ruano, em 1996, e adaptado ao português brasileiro por Capellini, Oliveira e Cuetos, em 2014.

Cinco trabalhos que utilizaram o PROLEC/PROLEC – SE–R objetivaram observar o processo de decodificação, quatro, o de compreensão leitora, dois, ambos os processos, e um, traduzir e adaptar o instrumento. Os que tinham como foco a decodificação investigaram a habilidade de leitura de palavras e pseudopalavras (três), de identificação de letras e processos lexicais (dois), de palavras frequentes e não frequentes (um) e de processos sintáticos e semânticos (um). Aqueles que focaram a compreensão mediram habilidades relacionadas à interpretação literal e inferencial. Quanto ao nível de dificuldade, dez não o citaram, e um argumentou, em seus resultados sobre a Prova de Avaliação de Textos (PROLEC–T), que ela é de baixo grau de dificuldade e baixa variabilidade de escores, o que evidenciaria insatisfatória validade interna.

Visto ser um material impresso, o estímulo e o suporte não variaram. O formato dos itens foi o de resposta construída; desses, três estudos citaram que a resposta foi oral, três não informaram se foi oral ou escrita e cinco não indicaram o tipo de formato.

Três trabalhos justificaram a escolha do instrumento; um deles, com base em sua capacidade de avaliar os diferentes processos e subprocessos envolvidos na leitura; outro, a partir de seu objetivo, explicou que a escolha se deu pela necessidade de buscar evidências de validade e avaliar a normatização da versão brasileira publicada no manual. O último baseou-se na grande aceitação do instrumento por profissionais tanto da educação como da saúde. Com relação a evidências de validade do instrumento, apenas dois trabalhos fizeram menção, uma de critério e outra, externa.

Instrumentos utilizados em mais de duas pesquisas

Dentre os 64 tipos de instrumentos utilizados nas pesquisas, além dos descritos acima, os utilizados em mais de dois trabalhos foram: tarefas de avaliação da consciência morfológica ^{9 / 10} , tarefas de decisão lexical ^{11 / 12} , Protocolo de Avaliação da Compreensão de Leitura (PROCOMLE) ¹³ , de Cunha e Capellini (2019), testes de leitura oral ¹⁴ , Questionário de Avaliação da Consciência Metatextual (QACM) ¹⁵ , de Santos e Cunha (2012), Teste de Competência de Leitura Silenciosa de Palavras e Pseudopalavras (TCLPP) ¹⁶ , de Seabra e Capovilla ( ²⁰¹⁰), Teste de Nomeação Automatizada Rápida (RAN) ^{17 / 18} , de Denckla e Rudel (1974), reconto ¹⁹ , testes de leitura de palavras ²⁰ – três com base em Salles (2005), Teste Contrastivo de Compreensão Auditiva e de Leitura ²¹ , de Capovilla e Seabra (2013) ²² e o Teste de Leitura: Compreensão de Sentenças (TELCS) ²³ , adaptado de Lobrot (1967,1980) por Vilhena et al. (2016).

Em geral, essas pesquisas tiveram como foco os processos cognitivos de decodificação, acesso lexical, metalinguagem e compreensão leitora. As habilidades medidas foram: reconhecimento de palavras, fluência, consciência metatextual, morfológica e morfossintática e, na compreensão leitora, interpretação literal e inferencial. Quanto ao nível de dificuldade da tarefa, poucas pesquisas a mencionaram. Já as características de entrada foram citadas pela maioria, ainda que algumas o tenham feito com pouco detalhamento.

Novamente, chama a atenção o fato de que raras pesquisas justificaram a escolha do instrumento. O mesmo aconteceu com suas evidências de validade. Os que o fizeram, destacaram a validade de conteúdo, de construto e de critério, esta última, sobretudo no que se refere à etapa escolar dos participantes.

Com base nos objetivos propostos para esta pesquisa de revisão sistemática e no problema que se pretende responder, passa-se a seguir a uma discussão dos aspectos mais relevantes.

Discussão geral

Das pesquisas selecionadas, a maior parte se configurou em artigos científicos que tinham como objetivo encontrar evidências de validade para instrumentos que estavam sendo construídos ou já eram utilizados para avaliar aspectos da leitura no Brasil, ou ainda verificar efeitos de determinadas intervenções no desempenho em leitura dos participantes. Tendo isso em vista, constatou-se que a abordagem metodológica mais utilizada foi a experimental, ainda que, em muitos casos, sem clareza a respeito do nível de controle do ambiente, tal como requerem as pesquisas experimentais. Vale destacar, entretanto, que a não verbalização acerca do controle não necessariamente indica efetiva ausência de cumprimento deste requisito às pesquisas experimentais, ainda que se espere clareza no detalhamento metodológico.

O público-alvo das pesquisas foi escolhido com base, sobretudo, no nível de escolaridade, e a etapa priorizada foi a dos anos iniciais do EF, e alguns na faixa etária, que também coincidiu com a etapa de ensino. Essa tendência em pesquisas de leitura voltadas ao âmbito escolar, e nele, aos anos iniciais de escolarização, pode ser observada nos trabalhos encontrados também nas bases de dados internacionais. Isso se reflete no fato de que poucas pesquisas se dedicaram a investigar o comportamento de leitores adultos proficientes, a leitura especializada e, por conseguinte, os níveis superiores de competência leitora, o que repercutiu no número limitado de investigações voltadas à compreensão leitora estratégica. Esses níveis de competência leitora, segundo o Pisa, exigem desde habilidades, basicamente, de localização explícita de pequenas informações até aquelas que possibilitam uma compreensão ampla e detalhada e que requerem a integração de um ou mais textos ( ^{OCDE, 2017}).

Grande parte das pesquisas, mormente as que se dedicaram à decodificação e à metalinguagem, utiliza instrumentos comercializados. Considerando que a maioria delas investigou fatores relacionados ao processo de decodificação, as habilidades medidas se limitaram à leitura de palavras e pseudopalavras, fluência, além das consciências fonológica, morfológica e sintática, e, no caso da compreensão, observaram-se habilidades de interpretação literal e inferencial iniciais. Desse modo, foram enfatizados os níveis mais elementares de processamentos relativos à leitura. Essa escolha dos pesquisadores pode ser um reflexo dos índices de proficiência em leitura dos estudantes brasileiros abaixo do esperado na última década e da identificação de que os problemas que os motivam têm relação com a fase inicial da aprendizagem da leitura ( ^{OCDE, 2018}; ^{BRASIL, 2020}).

Os instrumentos que focalizaram a compreensão leitora, em geral, foram construídos especialmente para as respectivas pesquisas. Um aspecto que chama a atenção é que metade das pesquisas que investigaram aspectos da compreensão leitora o fizeram utilizando-se apenas de um instrumento; e não apenas isso, mas em grande parte somente do teste cloze. Alderson ( ²⁰⁰⁰, p. 206, tradução livre nossa) adverte para a inadequação desse tipo de avaliação: “[...] Bons testes de leitura empregam várias técnicas diferentes, possivelmente até no mesmo texto, mas certamente em toda a gama de textos testados”. Isso porque diferentes técnicas permitem observar diferentes habilidades de leitura (OAKHILL; CAIN; ELBRO, ²⁰¹⁷). Ademais, segundo Alderson ( ²⁰⁰⁰, p. 9, tradução livre nossa), “os elaboradores dos testes devem também considerar o nível de sentido que eles acreditam que os leitores devem ‘extrair’ de um texto específico ao avaliar ‘o quão bem’ eles entenderam o texto em questão”.

Ainda nos testes cloze, ao se referirem ao que se pretendia observar em termos de processos cognitivos, os trabalhos se resumiram a mencionar a compreensão leitora de forma geral, sem especificar qual o componente da compreensão. Estudos têm mostrado, todavia, que esse formato de teste se relaciona principalmente com a capacidade de decodificação ( ^{NATION; SNOWLING, 1997}). Isso foi ilustrado por Keenan, Betjemann e Olson ( ²⁰⁰⁸) em um item cloze no qual a falha em decodificar apenas uma palavra levou participantes a uma resposta incorreta. Alderson ( ²⁰⁰⁰, p. 7, tradução livre nossa) explica que técnicas cloze podem induzir alguns leitores “a ler de uma maneira particular (prestando muita atenção a palavras individuais, por exemplo, ou ler o texto que precede a lacuna, mas não o texto seguinte)”, o que dificulta a generalização do desempenho para uma determinada capacidade de leitura. Outra questão levantada pelo autor, em se tratando de compreensão leitora, é que o cloze não dá conta de avaliar se o leitor leu um texto de forma crítica, ou apenas de maneira passiva, o que limita a visão de compreensão derivada do produto avaliado por esse tipo de instrumento.

A maioria dos trabalhos não informou quais evidências de validade foram encontradas para abonar o uso do instrumento na pesquisa nem justificar sua escolha. Com base nas informações neles constantes, pode-se inferir que a credibilidade de determinado instrumento estava no fato de ter sido utilizado em muitas pesquisas. Esse achado corrobora o que Keenan, Betjemann e Olson ( ²⁰⁰⁸, p. 294, tradução livre nossa) afirmam em relação ao que se reconhece teoricamente a respeito da compreensão leitora, mas que não se confirma nas pesquisas:

A compreensão é uma construção cognitiva complexa, que consiste em habilidades de múltiplos componentes. Mesmo que essa complexidade seja reconhecida teoricamente, quando se trata de avaliação, há uma tendência a ignorá-la e tratar os testes como se todos estivessem medindo a mesma “coisa”. Isso se reflete no fato de que os pesquisadores que medem a compreensão raramente fornecem informações sobre por que escolheram o teste específico que usaram. Implícita nesse comportamento está a sugestão de que realmente não importa qual teste foi usado, porque todos estão medindo a mesma construção.

Outro aspecto a ser considerado é que, sobretudo no que se refere aos TCL, não se encontraram, nas pesquisas analisadas, argumentos que justificassem a escolha dos textos-base nem do formato, conteúdo e estrutura dos itens com base no processo cognitivo que se pretendia observar e na habilidade que queria medir. Ao selecionar um texto para um TCL, é preciso ter em mente que sua complexidade é um dos fatores que mais afeta a interação de cada leitor com as questões de avaliação individuais, e que é preciso equilibrar os itens de forma a que se saiba que nível de raciocínio (por exemplo, inferir, analisar, sintetizar) será necessário para respondê-los, de modo a que todos os níveis pretendidos sejam contemplados ( ^{ACHIEVE.ORG, 2019}).

Observou-se, a princípio, um relato pouco criterioso e detalhado do método dos estudos analisados, o que limitou a identificação de parâmetros, critérios ou condições definidos para balizar as decisões de criação ou escolha do instrumento empregado. Além disso, entende-se que a falta de rigor ou clareza desses aspectos também dificulta ao leitor do texto a compreensão de como a pesquisa foi desenvolvida e de sua confiabilidade. Esse fato pode ter ocorrido em razão de a maioria dos trabalhos serem artigos, cuja publicação nos periódicos tem espaço de redação limitado. Ainda que não necessariamente a falta de informações metodológicas possa ser considerada desabonadora ou desqualificadora das pesquisas, há que se considerar que o leitor acessa somente o que é relatado sobre a pesquisa, não tendo acesso ao seu processo de desenvolvimento. Daí a importância de os relatos de pesquisa serem os mais claros possíveis quanto aos seus fundamentos teóricos e metodológicos.

Considerações finais

A questão motivadora da presente investigação foi: Quais parâmetros, critérios e condições de avaliação podem ser distinguidos nas investigações sobre a avaliação da leitura no Brasil? Para respondê-la, estabeleceu-se como objetivo geral desta pesquisa bibliográfica, mapear e discutir, segundo o método de revisão sistemática, o que vem sendo pesquisado no Brasil sobre a avaliação da leitura, quais os instrumentos utilizados nas pesquisas, processos cognitivos em foco, habilidades de leitura medidas e o que os trabalhos indicam, a partir de seus métodos, como parâmetros para a avaliação da leitura.

Provavelmente, esta pesquisa não abrangeu muitos trabalhos devido aos parâmetros dos mecanismos de busca das bases de dados, que consistem, em geral, em seus títulos, autores ou assuntos/palavras-chave. Nesse sentido, pesquisas sobre leitura ou compreensão leitora que não têm como foco a testagem, a avaliação da leitura ou a compreensão leitora não foram contempladas, pois não aparecem nos itens citados. Para revisões sistemáticas futuras, sugere-se inverter a busca, de sorte que sejam selecionados trabalhos cuja ênfase seja a investigação de habilidades de leitura ou compreensão leitora, e indiretamente os instrumentos utilizados para isso.

Conhecer o que tem sido investigado, a partir de que teorias e métodos, bem como quais os resultados encontrados acerca do objeto de interesse, a saber, sobre a avaliação da leitura, permitiu reunir informações provenientes de outras pesquisas, de forma a possibilitar a compreensão sobre o arcabouço de conhecimento científico produzido nos últimos anos a respeito do tema, assim como orientar o planejamento de novas investigações, indicando possíveis lacunas de pesquisa.

Com base nos resultados encontrados nas investigações sobre a avaliação da leitura no Brasil entre 2014 e 2020, conclui-se que o nível de leitura mais fortemente investigado é o da leitura inicial, fase para a qual se encontra o maior número de instrumentos disponíveis, não sendo necessária, neste nível educacional, a elaboração de instrumento de coleta de dados especificamente para investigar processos de compreensão leitora mais avançados ou aprofundados. Os instrumentos de coleta de dados mais comumente empregados são os testes de compreensão leitora (TCL), os testes cloze, o Teste de Desempenho Escolar – Subteste de leitura (TDE) e as Provas de Avaliação dos Processos de leitura (PROLEC).

Aspecto relevante de ser destacado é a dificuldade de se encontrarem informações claras a respeito das decisões metodológicas de significativa parte das pesquisas. Há carência de detalhes e até de informações que justifiquem e argumentem em favor de determinada decisão. Visou-se com esta análise não avaliar a qualidade das pesquisas, mas trazer evidências da literatura acerca de quais são as pesquisas que vêm investigando a avaliação da leitura no Brasil na última década e de como essas pesquisas são conduzidas no que diz respeito fundamentalmente a aspectos metodológicos. Não estava no escopo deste estudo propor parâmetros e critérios para a avaliação da leitura; estudo com este propósito foi conduzido por Carvalho ( ²⁰²²).

Por fim, salienta-se a importância dos estudos de revisão sistemática em todas as áreas da pesquisa científica, pois se trata de um método de investigação que busca coletar evidências empíricas, a partir de parâmetros claramente delineados, que permitem reprodutibilidade e se enquadram em critérios de elegibilidade pré-determinados para responder a uma pergunta investigativa. O estudo aqui relatado apresenta um mapeamento acerca das pesquisas conduzidas no Brasil na última década que tenham se debruçado sobre a avaliação da leitura, focalizando aspectos metodológicos e demais informações relevantes para o reconhecimento do que vem sendo investigado e como as pesquisas vêm sendo conduzidas. Tal tipo de informação oferece subsídios a pesquisas futuras acerca do mesmo tema, trazendo luz aos pesquisadores por meio da indicação do estado da arte. É um método de pesquisa que, em muito, favorece o avanço das ciências por meio da síntese das pesquisas já desenvolvidas.