SciELO - Scientific Electronic Library Online

 
vol.25RACIST DISCOURSES AND THE CONSTRUCTION OF MEMORY THROUGH MEMESFACTORS ASSOCIATED WITH SLEEP DISORDERS IN UNIVERSITY STUDENTS author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Share


ETD Educação Temática Digital

On-line version ISSN 1676-2592

ETD - Educ. Temat. Digit. vol.25  Campinas  2023

https://doi.org/10.20396/etd.v25i00.8667022 

ARTIGO

INTERVENÇÃO EM COMPREENSÃO DE LEITURA E FUNÇÕES EXECUTIVAS: EFEITOS NA RESOLUÇÃO DE PROBLEMAS MATEMÁTICOS1

REMOTE TEACHING WORK IN TIMES OF PANDEMIC: DIFFERENCES AND MULTIPLE CONTEXTS

INTERVENCIÓN EN COMPREENSIÓN LECTORA Y FUNCIONES EJECUTIVAS: EFECTOS EN LA RESOLUCIÓN DE PROBLEMAS MATEMÁTICOS

Helena Vellinho Corso2 

Évelin Fulginiti de Assis3 

Júlia Beatriz Lopes-Silva4 

Luciane da Rosa Piccolo5 

2Doutora em Psicologia - Universidade Federal do Rio Grande do Sul (UFRGS). Porto Alegre, RS - Brasil. Professora - Faculdade de Educação - Universidade Federal do Rio Grande do Sul (UFRGS). Porto Alegre, RS - Brasil. E-mail: hvcorso@gmail.com

3Doutora em Educação - Universidade Federal do Rio Grande do Sul (UFRGS). Porto Alegre, RS - Brasil. Especialização em Psicopedagogia. Centro Universitário Ritter dos Reis (UniRITTER). Brasil. Porto Alegre, RS - Brasil. E-mail: evelin_assis@hotmail.com

4Doutora em Saúde da Criança e do Adolescente - Universidade Federal de Minas Gerais (UFMG). Belo Horizonte, MG - Brasil. Professora Adjunta - Universidade Federal de Minas Gerais (UFMG). Belo Horizonte, MG - Brasil. E-mail: silvajbls@gmail.com

5Doutora em Psicologia - Universidade Federal do Rio Grande do Sul (UFRGS). Porto Alegre, RS - Brasil. Pós-doutorado - Columbia University. Nova York, NY - Estados Unidos. Pesquisadora - New York University Langone Medicine Center (NYULMC). Nova York, NY - Estados Unidos. E-mail: lucianepiccolo@gmail.com


RESUMO

Este estudo investigou o impacto de um programa de intervenção em compreensão de leitura e funções executivas, com eficácia demonstrada para o aprimoramento da habilidade de compreensão leitora (CL) e de funções executivas (FE), no desempenho de alunos em tarefas de resolução de problemas quantitativos (RP). Estudantes do 5º ano do Ensino Fundamental de duas escolas públicas foram distribuídos em duas classes controle (GC; n=35) e duas experimentais (GE; n=29). A professora das classes experimentais recebeu treinamento para implementar o programa, composto por uma seleção de textos narrativos e atividades voltadas ao desenvolvimento da CL e das FE. Foram realizadas avaliações pré e pós-intervenção de desempenho em problemas de raciocínio quantitativo. Comparados ao GC, participantes do GE apresentaram escores mais altos em problemas de raciocínio quantitativo, de maneira geral, e, particularmente, nos de raciocínio multiplicativo, com tamanhos de efeito moderados (d de Cohen = 0,69 e d=0,52, respectivamente). Análises exploratórias da força de associação entre RP e CL e RP e FE demonstraram correlações moderadas a fortes entre as medidas de RP e várias medidas de CL, além de correlações entre raciocínio aditivo e atenção auditiva e memória de trabalho (componente fonológico e executivo central). Como implicação educacional, destaca-se a relevância do trabalho com a compreensão de leitura também no ensino de matemática, visto o favorecimento da habilidade de RP por meio da intervenção voltada à CL e às FE.

PALAVRAS-CHAVE Intervenção em Compreensão de Leitura; Compreensão de Leitura; Funções Executivas; Resolução de Problemas Quantitativos

ABSTRACT

This study investigated the impact of a intervention program on reading comprehension and executive functions, which has demonstrated efficacy in improving reading comprehension (RC) and executive functions (EF) abilities, on quantitative problem-solving (PS). Fifth-grade students from two public schools were divided into two control classes (CG; n=35) and two experimental classes (EG; n=29). The experimental classes’ teacher received training to implement the program, which was composed of a selection of narrative texts and activities aiming to promote RC and EF development. Students’ performance on PS was evaluated pre- and post-intervention. Compared to the CG, students from the EG showed higher scores on PS broadly and, particularly, on the multiplicative reasoning task, with medium effect sizes (Cohen’s d=0.69 and d=0.52, respectively). Exploratory analysis of the strength of the association between PS and RC and PS and EF demonstrated moderate to strong correlations between measures of PS and several RC tasks, as well as between additive reasoning and auditory attention and working memory (phonological component and central executive). In terms of educational implications, this study highlights the relevance of including reading comprehension in mathematics education, since PS abilities were improved through an intervention focusing on RD and EF.

KEYWORDS Remote teaching work; Digital media; Teacher training; Education in pandemic

RESUMEN

Este estudio investigó el impacto de un programa de intervención en comprensión lectora y funciones ejecutivas con eficacia demostrada para mejorar las habilidades de comprensión lectora (CL) y funciones ejecutivas (FE) en la resolución de problemas cuantitativos (RP). Los alumnos de 5º grado de primaria de dos colegios públicos se distribuyeron en dos clases de control (CG; n=35) y dos experimentales (EG; n=29). El profesor de la clase experimental recibió formación para aplicar el programa, consistente en una selección de textos narrativos y actividades dirigidas al desarrollo de la CL y las FE. Se realizaron evaluaciones de rendimiento en problemas de razonamiento cuantitativo antes y después de la intervención. En comparación con el GC, los participantes del GE obtuvieron puntuaciones más altas en los problemas de razonamiento cuantitativo, en general, y particularmente en los problemas de razonamiento multiplicativo, con tamaños de efecto moderados (d de Cohen = 0.69 y d=0.52, respectivamente). Los análisis exploratorios de la fuerza de asociación entre RP y CL y RP y FE mostraron correlaciones de moderadas a fuertes entre las medidas de RP y varias medidas de CL, además de correlaciones entre el razonamiento aditivo y la atención auditiva y la memoria de trabajo (componente fonológico y ejecutivo central). Como implicación educativa, destaca la relevancia de trabajar la comprensión lectora también en la educación matemática, ya que la habilidad de RP se ve favorecida a través de la intervención dirigida a CL y FE.

PALABRAS CLAVE Intervención en la Comprensión Lectora; Comprensión Lectora; Funciones Ejecutivas; Resolución de Problemas Cuantitativos

1 INTRODUÇÃO

Relações de associação positiva entre a linguagem e a matemática têm sido apontadas pela literatura científica das áreas de Neurologia, Neuropsicologia e Psicologia Cognitiva, as quais serão exploradas no decorrer deste artigo. Em termos neurobiológicos, sabe-se que entre as diferentes regiões e sistemas cerebrais que contribuem para o processamento matemático estão as regiões temporo parietais ligadas ao processamento da linguagem. Estas se encarregam da representação verbal dos algarismos e são ativadas na realização de operações matemáticas e cálculos precisos (DE SMEDT, 2018). Estudos na área da Psicologia Cognitiva apontam que a linguagem está entre os correlatos cognitivos da aprendizagem matemática, além da memória de trabalho e outras funções executivas: há evidências da importância da linguagem para o desenvolvimento de habilidades em matemática e do impacto que um desenvolvimento atípico do sistema linguístico tem sobre o desempenho matemático (FLETCHER et al 2009; JOYNER; WAGNER, 2019).

Portanto, quando se diferenciam as habilidades acadêmicas envolvidas na aprendizagem matemática, é possível especificar também os aspectos da linguagem oral e/ou escrita que subjazem a esses subdomínios, o que é relevante não só para o planejamento do ensino diante de alunos com desenvolvimento típico ou sob risco de dificuldades, mas para o diagnóstico e o tratamento dos transtornos de aprendizagem com sintomas na matemática. Enquanto transtornos envolvendo cálculos e transcodificação numérica estão associados com déficits no processamento fonológico (juntamente com déficits atencionais e de memória de trabalho) (LOPES-SILVA et al., 2014, 2016), transtornos que envolvem resolução de problemas matemáticos ligam-se a déficits em compreensão de linguagem e raciocínio (além da memória de trabalho) (GRIGORENKO et al., 2021).

Nesse sentido, a resolução de problemas (RP), abordada neste trabalho como uma habilidade, põe em evidência, de modo particular, o envolvimento da compreensão de leitura (CL), pois o enunciado verbal constitui um pequeno texto que precisa ser compreendido para que se possa inferir o cálculo ou o raciocínio a ser feito (FLETCHER et al., 2009). Ao mesmo tempo, as funções executivas (FE) aparecem como um correlato cognitivo comum a ambas as habilidades, conforme evidenciam Jacob e Parkinson (2015) em metanálise com 67 estudos cujos resultados apontam para associações moderadas entre FE e desempenho acadêmico em leitura e em matemática. Um estudo anterior (ASSIS et al., 2021) também mostrou correlações entre tarefas de CL, de RP e de FE. Quanto uma intervenção combinada de CL e FE interfere de forma positiva no desempenho em RP? Essa é a pergunta que o presente estudo se propõe a responder, a partir de uma pesquisa com desenho experimental, que implementou um programa de favorecimento da CL com ênfase nas FE, e verificou seu efeito sobre o desempenho em tarefas de RP. Convém mencionar que a análise do efeito deste programa de intervenção especificamente sobre o desempenho em CL é abordada em outro estudo (CORSO; PICCOLO, 2021), por isso não será discutida ao longo deste artigo.

2 REFERENCIAL TEÓRICO

2.1 Compreensão de leitura

No âmbito da Psicologia Cognitiva, foram desenvolvidos modelos para descrever o processamento do texto. Diferentes autores enfatizam um ou outro componente da complexa habilidade, mas entre os vários consensos está a consideração de que a CL resulta em uma representação mental, uma espécie de síntese elaborada através de um processo construtivo que relaciona elementos do texto com conhecimento prévio do leitor, via estabelecimento de inferências (KENDEOU et al., 2014). Kintsch e Rawson (2005) denominam de ‘modelo da situação’ tal representação mental. Ela vai além da construção do ‘texto base’ (construído mediante informação explicitada no texto e a partir de processos mais básicos e inferências automáticas), para integrar essa informação textual num sistema de relações e significados (a partir de processos mais complexos, que incluem inferências estratégicas), de modo a permitir ao leitor uma compreensão profunda do texto (KINTSCH, 1998). Para a realização de um modelo mental do texto, diversos processos e competências são necessários, dentre eles a ativação de significados de palavras. Mais especificamente, a profundidade do conhecimento do vocabulário, ou seja, a compreensão das relações entre palavras individuais e os conceitos, e a velocidade de ativação do vocabulário estão relacionadas à compreensão linguística e leitora (OAKHILL; CAIN; ELBRO, 2017).

2.2 Resolução de problemas

A resolução de problemas pode ser compreendida como um método de ensino, um processo, uma meta, dentre outras perspectivas (BRANCA, 1997). No presente trabalho, entende-se a RP como uma habilidade matemática que, conforme discutido anteriormente, recruta diferentes fatores cognitivos para sua execução. Os problemas matemáticos, alvos da resolução, são, antes de qualquer coisa, textos que precisam ser lidos e compreendidos e que dependem, para sua resolução, da construção de um modelo da situação que permita definir a estratégia a ser usada (a operação e os elementos ou números que a comporão), o que possibilita inferir que a habilidade de CL tenha uma influência na RP.

Neste estudo, os problemas usados envolvem o raciocínio quantitativo e, pela maneira como são apresentados aos estudantes, podem ser denominados de word problems. Neste tipo de problema, as informações relevantes para a resolução são apresentadas por meio de um enunciado verbal (breve narrativa) e não na forma de notação matemática (VERSCHAFFEL; GREER; DE CORTE, 2000). O raciocínio quantitativo, por sua vez, é baseado nas relações entre quantidades - diferentemente da aritmética, que se baseia nas relações entre números (NUNES et al., 2016). Relações entre quantidades não necessariamente envolvem números, por exemplo: Ana tem mais livros que Pedro, que tem mais livros que José. Logo, Ana tem mais livros que José. Além disso, Nunes et al. (2016) explicam que o raciocínio quantitativo é dividido em raciocínio aditivo e raciocínio multiplicativo, o primeiro envolvendo situações parte-todo (transformação, comparação ou composição) e o segundo envolvendo situações de razão ou correspondência um para muitos (produto de medida, relação direta, relação inversa ou proporcionalidade).

2.3 Relações entre CL e RP

Stephany (2021) aponta que são poucos os estudos a abordar especificamente a relação entre CL e RP, sendo ainda menor o número de pesquisas que levam em conta, especificamente, o impacto da habilidade de construir o modelo da situação do texto do problema sobre a capacidade de resolução. A autora apresenta um estudo que, além de usar medidas de desempenho matemático e de diversos componentes da CL (realização de inferências, monitoramento da compreensão, entre outros), operacionaliza o construto de modelo da situação através de uma tarefa envolvendo imagens que representam o tópico global do problema, e que o participante deveria selecionar em meio a imagens que funcionavam como distratores. Um modelo de equação estrutural mostrou que a RP apresentou uma associação maior com a construção do modelo da situação do que com as medidas que correspondiam ao desempenho matemático; por sua vez, o modelo da situação sofreu impacto importante da habilidade de realizar inferências (STEPHANY, 2021). A autora conclui que os processos de compreensão envolvidos em textos não matemáticos e textos matemáticos são comparáveis e que a promoção da habilidade de CL deve ser incorporada a lições matemáticas.

Em consonância, outro estudo recente (ASSIS et al., 2021) também demonstra as relações significativas existentes entre RP, CL e FE. Os achados indicam que a resolução de problemas apresentados oralmente está relacionada com a CL no que concerne à realização de inferências, isto é, quanto maior a capacidade dos estudantes para realizar inferências, melhor o desempenho na tarefa de RP. No que diz respeito às FE, novamente foi evidenciada correlação significativa entre a resolução de problemas e a memória de trabalho e fluência verbal. Isso significa que, para resolver os problemas apresentados oralmente, os alunos precisavam se apoiar na memória de trabalho e na fluência verbal, o que faz sentido visto a necessidade de manter e manipular as informações do problema mentalmente para resolvê-lo.

O estudo de Stephany (2021) apresenta um desenho correlacional (método de estudo de correlação), porém se observou que a direção da relação foi testada através de modelagem estrutural. O bom índice de ajuste apresentado pelo modelo permitiu concluir pelo papel decisivo da CL na RP. A inferência de causalidade por meio de modelagem estrutural é obtida através de confirmação de um modelo teórico, via uma combinação de análise fatorial confirmatória e regressão linear múltipla (BYRNE, 2011). Um outro modelo de estudo experimental que permite inferir causalidade são os estudos de intervenção. O presente estudo é uma pesquisa de intervenção com desenho experimental, no qual os alunos do grupo que participou do experimento receberam instrução voltada para o desenvolvimento da CL e das FE, através de atividades específicas de CL e de atividades que envolveram os textos lidos e estimularam as FE de forma mais genérica. Não fez parte da intervenção qualquer tipo de instrução ou treino específico em problemas matemáticos ou tarefas que envolvessem raciocínio quantitativo. O objetivo do presente estudo é testar a hipótese de que uma intervenção focada exclusivamente no aprimoramento da habilidade de CL e de FE pode provocar a melhora no desempenho dos alunos em RP.

3 MÉTODO

O presente estudo é uma pesquisa de intervenção com desenho experimental, no qual os alunos do grupo que participou do experimento receberam instrução voltada para o desenvolvimento da CL e das FE, através de atividades específicas de CL e de atividades que envolveram os textos lidos e estimularam as FE de forma mais genérica. Não fez parte da intervenção qualquer tipo de instrução ou treino específico em problemas matemáticos ou tarefas que envolvessem raciocínio quantitativo. O objetivo do presente estudo é testar a hipótese de que uma intervenção focada no aprimoramento da habilidade de CL e de FE pode provocar a melhora no desempenho dos alunos em RP.

3.1 Participantes

O estudo tomou lugar em duas escolas da rede pública estadual (cujas diretoras assinaram os termos de anuência), envolvendo quatro turmas de quinto ano e três professoras que assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) - duas da escola 1, cujos alunos não receberam a intervenção, e uma da escola 2, que recebeu treinamento para implementar a intervenção junto às suas duas classes (turnos da manhã e da tarde). Participaram 64 alunos - 35 provenientes das duas turmas da escola 1 (grupo controle - GC) e 29 distribuídos nas duas turmas da escola 2 (grupo experimental - GE) - que receberam a autorização dos pais ou responsáveis mediante assinatura de TCLE. Os alunos (29 meninas; 35 meninos), matriculados no 5º ano do Ensino Fundamental (EF), apresentavam idades entre 9 e 12 anos. Todos os alunos das turmas experimentais, ou grupo experimental (GE), participaram das atividades do programa implementado. As análises para verificação dos efeitos da intervenção, entretanto, incluíram apenas os alunos que preenchiam os critérios: ausência de histórico de doenças neurológicas ou psiquiátricas; de dificuldades auditivas ou visuais não corrigidas (informações aferidas através do questionário preenchido pelos pais); desempenho igual ou superior ao percentil 25 no teste de Raven Escala Especial (ANGELINI et al., 1999); Português como língua materna. A Tabela 1 apresenta a caracterização da amostra (número total de participantes N=64) e por grupos segundo idade, sexo, nível socioeconômico (NSE), percentil no teste de inteligência e número de alunos com histórico de repetência, bem como sua distribuição nas duas escolas. Isso resultou em 57 alunos na amostra final (número de participantes incluídos n=57), sendo 33 do GC e 24 do GE. Dos critérios de exclusão da amostra, somente a escala Raven apresentou resultados abaixo do percentil 25 para 7 sujeitos, os quais foram excluídos das análises finais.

Tabela 1 Características da amostra no pré-teste para a amostra completa e para a amostra final por grupos (GC e GE)6  

  Amostra final (n=57)
  Amostra total
(N=64)
Grupo controle
(n=33)
Grupo experimental
(n=24)
 
Características M (SD) ou n(%) M (SD) ou n(%) M (SD) ou n(%) p
Idade (anos) 10,3 (0,6) 10,4 (0,6) 10,2 (0,7) 0,44a
Sexo (feminino) 23 (40%) 13 (39%) 10 (42%) 0,90b
NSE (escore total) 5,1 (0,8) 5,2 (0,7) 5,0 (0,9) 0,31a
Raven Percentil <25 7 (11%) c 0 0 1,00b
Repetência escolar 9 (14%) 5 (15%) 3 (12%) 1,00b

Fonte: As autoras.

3.2 Instrumentos

O estudo foi aprovado pelo comitê de ética da Universidade, sob o número 70460017.3.0000.5347). Foram utilizados os seguintes instrumentos, aplicados em todos os sujeitos da amostra:

  1. Teste Matrizes Progressivas de Raven (ANGELINI et al., 1999), aplicado por uma psicóloga, de forma coletiva (máximo nove crianças por grupo).

  2. Problemas de Raciocínio Quantitativo (NUNES, 2009), aplicado por uma das pesquisadoras, de forma coletiva. A tarefa consistiu em 18 problemas matemáticos (nove de raciocínio aditivo e nove de raciocínio multiplicativo) com atribuição de 1 ponto às respostas corretas e 0 às incorretas (o escore na tarefa pode ir de 0 até 18 pontos). Nesta tarefa, o enunciado verbal é lido pelo examinador, enquanto o participante tem diante de si folhas apenas com imagens correspondentes à questão apresentada, onde deve assinalar sua resposta. Nos espaços para as respostas correspondentes a cada problema, há imagens que representam aspectos do problema em si ou possibilidades de resultado, conforme os exemplos abaixo:

    Fonte: das autoras, adaptado de Nunes (2009).

    Figura 1 Exemplos de problemas de raciocínio quantitativo 

  3. Avaliação da Compreensão de Leitura Textual - COMTEXT - ANELE 2 (CORSO et al., 2017), aplicado individualmente pela equipe de uma das pesquisadoras e composto por duas tarefas que avaliam a CL a partir da leitura silenciosa de um texto narrativo: o questionário de múltipla escolha com 10 perguntas (QT), sendo 5 literais (QL) e 5 inferenciais (QI); e o reconto (recordação livre) que, em termos quantitativos, é avaliado através do número de cláusulas (partes) da história (Cl), da porcentagem de cláusulas da cadeia principal da história (PCP) e do número de inferências (Inf) e reconstruções (Rec) que a criança introduz em seu relato, sendo essas as variáveis utilizadas na análise.

  4. Avaliação das Funções Executivas: foram aplicadas, de forma individual por uma psicóloga, as tarefas da bateria NEUPSILIN-Inf (SALLES et al., 2016) que avaliam atenção, memória de trabalho e funções executivas: cancelamento de figuras, repetição de dígitos na ordem direta, repetição de dígitos na ordem indireta, repetição de sequência de blocos na ordem indireta, fluência verbal (ortográfica e semântica) e tarefa go/no go.

  5. Questionário Socioeconômico (Associação Brasileira de Empresas de Pesquisa [ABEP], 2009) e de condições de saúde e escolarização, preenchido pelos pais ou responsáveis. A escala de classificação econômica foi utilizada para se verificar a homogeneidade dos grupos quanto ao nível socioeconômico (NSE), considerando que os alunos do GE e do GC pertenciam a escolas distintas, embora ambas estaduais e de localização aproximada.

A seguir, serão apresentados os procedimentos relativos à implementação da pesquisa, considerando os momentos de aplicação dos instrumentos e a descrição do programa de intervenção.

3.3 Procedimentos

A pesquisa foi realizada no ano de 2019. A avaliação inicial (pré-teste) no GC e GE aconteceu concomitante ao treinamento, por uma das pesquisadoras, da professora que implementaria a intervenção. Após o término desta, a avaliação final (pós-teste) foi realizada junto aos participantes dos dois grupos (GC e GE).

Em relação à intervenção, uma das pesquisadoras elaborou um programa de leitura com vistas ao favorecimento da CL e das FE (CORSO; PICCOLO, 2021). A construção do Programa envolveu diferentes etapas, seguidas com rigor metodológico (revisão de literatura, seleção de textos, planejamento das atividades, redação de manual para orientação da professora, análise de juízes com vistas à validade de conteúdo). De forma resumida, as atividades do programa envolvem a linguagem oral (vocabulário, organização de discurso, interações verbais sobre a história, como opiniões e inferências); a leitura (reconhecimento preciso da palavra, fluência na decodificação); o ensino de estratégias de compreensão (ex: monitoramento para a detecção de erros, sínteses, escritas sobre o texto). As três categorias de competências das FE - a atenção executiva (que também diz respeito a controle de comportamento e autorregulação), a memória de trabalho e a flexibilidade cognitiva (DIAMOND, 2013) - são contempladas de diferentes formas, desde a motivação para a leitura (oferta de histórias de ficção de conteúdo envolvente), passando pelo estímulo à autorregulação dos alunos no desenvolvimento das atividades e envolvendo, também, a criatividade e aspectos executivos motores em tarefas a partir do texto (por exemplo, desenhos). A implementação do programa pela professora, com a classe inteira, ocorreu em uma frequência de 3 dias na semana, ao longo de 8 semanas (total de 24 sessões, duração de 1 hora e meia, em média). A intervenção não incluiu tarefas de resolução de problemas de raciocínio quantitativo, ou qualquer outra atividade matemática.

3.4 Análise de dados

Todos os participantes da amostra final (N = 57) foram incluídos nas análises estatísticas baseadas na atribuição inicial do grupo (GC ou GE). As análises utilizaram o software IBM SPSS versão 26.

Primeiramente, as características sociodemográficas (idade, sexo e NSE), o escore no Raven e a repetência escolar, coletadas na avaliação pré-intervenção, foram descritas em termos de frequência, média e desvio padrão e comparadas, por grupo (GC e GE), usando testes de comparação de médias (teste t para diferenças de médias das variáveis contínuas e qui-quadrado para frequências de variáveis categóricas). Ainda que os grupos GE e GC sejam equivalentes em termos de idade e sexo dos participantes, estas características foram incluídas como covariáveis nas análises ajustadas, tendo em vista sua potencial influência no desempenho em RP (KLACZYNSKI; ANEJA, 2002).

Posteriormente, para comparar os desempenhos entre grupos no pré e no pós- intervenção, os escores em RP foram utilizados como variável dependente e o grupo (GC ou GE) como variável independente em análises de teste t de Student (sem ajuste para covariáveis). Para comparar os desempenhos no pós-intervenção nas medidas de RP entre os grupos GC e GE, foram utilizados modelos de Análise de Covariância (ANCOVA), incluindo escores em RP no pós-intervenção como variável dependente, grupo (GC e GE) como variável independente e covariáveis, incluindo escores na avaliação pré-intervenção, idade e sexo das crianças. Os tamanhos de efeito foram avaliados pelos coeficientes d de Cohen (1988), seguindo os critérios de tamanho de efeito: d = 0,20 pequeno, d = 0,50 médio e d = 0,80 grande. Por fim, para estimar a mudança média nos resultados entre pré e pós-intervenção nas tarefas de RP intragrupos, foi utilizada ANCOVA de medidas repetidas, incluindo a idade e o sexo do participante como covariáveis. Os resultados são relatados antes e depois da correção de Bonferroni para comparações múltiplas, resultando em p (nível de significância) < 0,02 para os três desfechos principais (0,05/3). Para melhor compreender as relações entre as variáveis, foram realizadas análises exploratórias de correlações de Pearson entre as medidas de CL, FE, e RP. Tal análise teve o objetivo de examinar a força das associações entre os desempenhos na RP e em CL, de um lado, e os desempenhos na RP e em FE, de outro, comparando-as por meio da ferramenta “r-to-z transformation test” (LENHARD; LENHARD, 2014).

4 RESULTADOS

A Tabela 2 apresenta os resultados das análises de comparação entre GC e GE pré e pós-intervenção. As análises não ajustadas (teste t) e ajustadas para covariáveis idade e sexo (ANCOVA) mostraram que não houve diferenças significativas entre GC e GE no pré-teste. Já no pós-teste, o GE apresentou escores significativamente mais altos do que o GC na tarefa de raciocínio multiplicativo e no escore total de raciocínio quantitativo - tanto nas análises não ajustadas quanto nas análises ajustadas por covariáveis e por escore pré-intervenção nas tarefas de RP. No pós-teste, o GE também apresentou média mais alta de escore na tarefa de raciocínio aditivo do que o GC, mas a diferença não foi estatisticamente significativa (p=0,06). Quanto às análises intra-grupo, as diferenças no desempenho entre o pré e o pós-intervenção foram estatisticamente significativas apenas para o GE e para as três variáveis (Tabela 2). Todos os resultados (com ou sem ajuste de covariáveis) mantiveram-se estatisticamente significativos após a correção de Bonferroni para múltiplas comparações.

Tabela 2 Comparação entre GC e GE no desempenho em matemática no pré-teste e no pós-teste.7  

    Controle
(n=33)
Experimental
(n=24)
Modelos não
ajustados
Modelos ajustados
Tarefas Momento da
avaliação
M (SD) M (SD) T da t db
Raciocínio
Aditivo
Pré-teste 7,38 (2,38) 7,52 (1,04) 0,28 0,08 - -
  Pós-teste 7,41 (2,21) 8,09 (0,95) 1,38t 0,38 1,95t 0,34
Raciocínio
multiplicativo
Pré-teste 4,81 (2,56) 5,52 (1,97) 1,11 0,30 - - -
  Pós-teste 5,16 (2,26) 6,57 (1,95) 2,41* 0,65 2,26* 0,52
Raciocínio
Quantitativo
total
Pré-teste 13,09 (3,31) 13,04 (2,48) 0,06 0,02 - -
Pós-teste 12,56 (4,16) 14,65 (2,57) 2,13* 0,58 2,30* 0,69

Fonte: As autoras.

Fonte: As autoras.

Figura 2 Gráficos com as análises intragrupos 

Quanto ao GE, foi testada a possível associação entre a frequência às sessões de intervenção e o desempenho em RP. As crianças participaram de 22 sessões em média (mínimo 16 e máximo 24 sessões). Não foi encontrada associação significativa entre frequência e desempenho em RP (ou seja, mesmo alunos que participaram de poucas sessões parecem ter se beneficiado da intervenção).

A Tabela 3 apresenta as correlações entre as medidas de RP, de CL e de FE para o grupo experimental no pós-teste:

Tabela 3 Correlação entre medidas de RP, CL e FE para o grupo experimental no pós-teste8  

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2
0
TRQ -                                      
RA 0,77** -                                    
RM 0,95** 0,54** -                                  
QT 0,76** 0,60** 0,70** -                                
QI 0,75** 0,67** 0,66** 0,93** -                              
QL 0,50* 0,27 0,53** 0,77** 0,47* -                            
Cl 0,71** 0,53** 0,67** 0,84** 0,76** 0,68** -                          
PCP 0,72** 0,53** 0,69** 0,83** 0,73** 0,71** 0,97** -                        
Inf 0,47* 0,28 0,48* 0,61** 0,53** 0,54** 0,64** 0,60** -                      
Rec -0,58** -0,42* -0,56** -0,39 -0,50* -0,07 -0,46* -0,38 -0,04 -                    
AV -0,13 -0,13 -0,11 -0,18 -0,15 -0,17 -0,07 -0,14 -0,44* -0,21 -                  
AA 0,31 0,54** 0,15 0,26 0,30 0,11 0,18 0,23 -0,21 -0,29 -0,21 -                
TA 0,21 0,30 0,12 0,19 0,23 0,06 0,11 0,13 -0,38 -0,41 0,35 0,69** -              
MTT
ot
0,33 0,21 0,33 0,49* 0,50* 0,31 0,49* 0,50* 0,45* -0,32 -0,34 0,39 0,27 -            
MTF
EC
0,36 0,45* 0,25 0,47* 0,47* 0,31 0,45* 0,45* 0,42* -0,16 -0,29 0,31 0,28 0,76** -          
MTv
esp
-0,03 -0,26 0,09 0,08 0,04 0,11 0,18 0,19 0,11 -0,19 -0,24 0,25 0,06 0,57** 0,02 -        
GnG 0,32 0,24 0,31 0,10 0,12 0,03 0,09 0,07 -0,05 -0,32 0,23 -0,15 -0,02 -0,02 0,14 -0,17 -      
FVO
rt
0,03 0,23 -0,07 0,01 0,01 0,00 0,11 0,11 0,03 0,32 0,12 -0,27 -0,24 -0,28 0,16 -0,47* 0,40 -    
FVS
em
0,19 0,24 0,14 0,46* 0,37 0,44* 0,53** 0,49* 0,51* 0,07 -0,14 -0,02 -0,07 0,43* 0,60** 0,10 0,11 0,34 -  
FVT
ot
0,16 0,29 0,07 0,36 0,30 0,34 0,45* 0,42* 0,41 0,19 -0,06 -0,13 -0,15 0,22 0,53** -0,12 0,25 0,69** 0,92** -

Fonte: As autoras

Foram observadas correlações significativas moderadas a fortes (0,42 a 0,76) entre as medidas de RP e de CL (todas positivas, com exceção das correlações entre RP e reconstruções no reconto, conforme o esperado, já que as reconstruções correspondem a eventos que não aparecem na história recontada e não poderiam ser inferidos a partir dela, indicando a não-compreensão do texto). Dentre as medidas de CL e de RP, não foi verificada correlação positiva apenas entre os problemas de raciocínio aditivo com o questionário literal (r=0,27; p=0,21), e com o total de inferências do reconto (r=0,28; p=0,20). Quanto às correlações entre as tarefas de RP e de FE, verificam-se apenas duas associações positivas significativas e moderadas: entre problemas de raciocínio aditivo com a tarefa de memória de trabalho (componente fonológico e executivo central) (r=0,45; p=0,01) e com a tarefa de atenção auditiva (r=0,54; p=0,03). Foi comparada a magnitude das correlações entre FE e RP, de um lado, e CL e RP, de outro, através da ferramenta “r-to-z transformation test” (LENHARD; LENHARD, 2014) e não foi verificada diferença significativa na força de associação entre [CL x RP] e [FE x RP]. Mesmo assim, é digno de nota o fato de que todas as medidas de CL tenham apresentado correlações significativas com o total de acertos de RP e com o total de RM, e, com exceção de duas medidas de CL, com o total de RA.

5 CONSIDERAÇÕES FINAIS

O presente estudo experimental investigou o impacto de uma intervenção focada em CL e FE na habilidade de RP. Apesar da intervenção não contemplar qualquer atividade matemática, foi observada uma melhora significativa do grupo experimental na RP, quando comparada ao desempenho do pré-teste, e tal diferença não foi observada no grupo controle. No pós-teste, o grupo experimental apresentou desempenho superior ao do grupo controle no total da tarefa de raciocínio quantitativo e no raciocínio multiplicativo. Por fim, foram observadas correlações moderadas a fortes entre as medidas de RP e várias medidas de CL, e correlações entre raciocínio aditivo e memória de trabalho (componente fonológico e executivo central) e atenção auditiva.

O delineamento experimental utilizado permitiu observar a transferência de efeitos da intervenção em CL e FE na RP, o que pode ser interpretado como evidência do compartilhamento de características ou mecanismos cognitivos entre estas habilidades (SALA & GOBET, 2017). Fuchs e colaboradores (2021) investigaram diferenças entre três tipos de intervenção em RP: intervenção baseada na construção de esquemas com instrução de linguagem incorporada; a mesma intervenção, mas sem instrução de linguagem; e intervenção baseada em conhecimentos numéricos (por exemplo, aritmética), sem componentes específicos de problemas. Os autores concluíram que intervenções que trabalham com estratégias da RP, mas também incorporam aspectos linguísticos, são as mais eficazes. Neste tipo de intervenção, as crianças eram ensinadas, por exemplo, que o processamento isolado de palavras não era uma boa estratégia para a resolução de problemas, e que elas deveriam interpretá-lo como um todo para compreender corretamente o que era solicitado. De forma análoga, o presente estudo é inovador ao demonstrar que, mesmo sem foco específico no raciocínio quantitativo, intervenções que englobam aspectos como linguagem oral, leitura e estratégias de compreensão, contribuem para o melhor desempenho em problemas.

Para resolver adequadamente um problema de raciocínio quantitativo, além da habilidade aritmética, o estudante deve compreender corretamente a instrução, o que requer boas habilidades de vocabulário, compreensão leitora e compreensão oral (KINTSCH & GREENO, 1985). Num estudo de metanálise, Peng e colaboradores (2020) analisaram 27 estudos que investigaram a relação entre linguagem e RP. Os autores reportam que a média de correlação entre linguagem e RP era de r=0,46, 95% IC [0,41, a 0,51]. Após o controle da inteligência e memória de trabalho, este valor foi reduzido para r=0,15, 95% IC [0,12 a 0,18]. Entretanto, em comparação com outras habilidades avaliadas na metanálise, como conhecimento numérico e cálculo, os problemas apresentam a relação mais consistente com a linguagem. Segundo os autores, essa relação se deve ao fato de que a resolução de um problema de raciocínio quantitativo envolve a realização de inferências e compreensão sobre as relações entre as quantidades, em vez de simplesmente recrutar o vocabulário e decodificação de texto. A CL, da mesma forma, engaja habilidades relacionadas à criação desta representação global da significação do texto. No presente estudo, essa relação pode ser confirmada através da análise das correlações entre raciocínio quantitativo e CL: tanto o escore total, quanto o raciocínio aditivo e multiplicativo tiveram associações significativas com diversas habilidades de CL.

Nesse sentido, o fato de os alunos ouvirem o enunciado dos problemas lidos por outra pessoa não descaracteriza o exercício como envolvendo CL. A questão central aqui é haver um texto que precisa ser compreendido. Segundo Goldmann e Wolfe (2001), por exemplo, a CL corresponde ao entendimento e lembrança da informação verbal que as pessoas veem ou escutam a partir do texto. Na tarefa de RP utilizada aqui, o participante fica apenas desobrigado do reconhecimento da palavra. Permanecem na tarefa demais componentes da CL, como a realização de inferências, vocabulário, e elaboração de um modelo mental do problema (modelo da situação). Além disso, outros estudos também utilizaram apresentação oral de problemas matemáticos (CIRINO et al., 2015; HASSINGER-DAS et al., 2014).

A melhora do desempenho do grupo experimental no pós-teste, tanto no raciocínio aditivo quanto no multiplicativo, pode ser interpretada de acordo com a hipótese de Kintsch e Greeno (1985) de que estes problemas podem ser conceituados como uma forma de CL, visto que a intervenção em CL proporcionou ganhos significativos na RP. Este resultado sugere que a participação no programa pode trazer benefícios para a RP, mesmo que ambos os grupos tenham apresentado alto desempenho no pré-teste e no pós-teste para o raciocínio auditivo. Deve-se também destacar o fato de que os problemas de raciocínio multiplicativo são mais desafiadores, exigindo um raciocínio mais complexo. De fato, nos dois grupos o desempenho nestes problemas foi baixo no pré-teste, e a diferença entre GC e GE no pós- teste foi significativa, o que indica que a intervenção foi efetiva para ajudar os estudantes nos raciocínios demandados por esses problemas.

Apesar de o padrão de correlações no pós-teste ter sido mais amplamente associado às diferentes habilidades de CL, é importante pontuar a relação significativa entre o raciocínio aditivo e as medidas de atenção auditiva e memória de trabalho. De acordo com Fuchs e colaboradores (2021), a atenção está associada à capacidade do estudante se engajar na RP, sendo importante juntamente ao acesso às informações armazenadas na memória de trabalho. Através destes processos, os estudantes podem raciocinar para integrar novas informações na memória de trabalho ao induzir logicamente relações descritas nos problemas, o que também permite a distinção entre informações relevantes e irrelevantes. Ao ouvir um problema, o aluno deve atentar-se às informações relevantes e armazená-las na memória de trabalho para a criação da representação mental do problema e busca da estratégia necessária para resolvê-lo.

Uma possível limitação do presente estudo é a ausência de dados acerca das habilidades numéricas básicas dos estudantes, que também podem impactar na resolução de problemas. Entretanto, é importante ressaltar que os grupos não apresentavam diferenças significativas no pré-teste em relação à habilidade de resolução de problemas, deste modo, a diferença entre os grupos no pós-teste provavelmente não pode ser atribuída a diferenças no nível de aritmética entre eles, e sim, à consequência da intervenção em CL e FE.

Estudos futuros devem realizar avaliações continuadas para avaliar a manutenção do efeito da intervenção ao longo do tempo. Os resultados aqui reportados apresentam grande relevância educacional, especialmente porque a competência da criança em resolver problemas matemáticos é um grande preditor de desfechos positivos e de salários na vida adulta (BATTY; KIVIMÄKI; DEARY, 2010). Deste modo, intervenções em CL podem favorecer estudantes que apresentam dificuldades na leitura, mas também, na resolução de problemas.

1O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (Capes) - Código de Financiamento 001. This study was financed in part by the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brazil (CAPES) - Finance Code 001.

6Nota: a valores de p para comparações de grupo por meio do teste t ou b teste qui-quadrado; c crianças excluídas da amostra total; NSE= nível socioeconômico.

7Nota: a d de Cohen para comparação de grupos por modelos não ajustados para covariáveis (teste t); b d de Cohen para comparação de grupos por modelos ajustados por desempenho no pré-teste e covariáveis (ANCOVA); * p<0,05; t p<0,06.

8Nota: N = 23-24; **p < 0,01; *p < 0,05, TRQ- total raciocínio quantitativo; RA- total raciocínio aditivo; RM- Total raciocínio multiplicativo; QT- total questionário; QI- questões inferenciais; QL – questões literais; Cl – total cláusulas recontadas; PCP – porcentagem cláusulas cadeia principal; Inf- número de inferências; Rec- número de reconstruções; AV - Atenção Visual Cancelamento de Figuras; AA - Atenção Auditiva Repetição de Dígitos (ordem direta); TA – Total Atenção; MTTot – Memória de Trabalho Total; MTFEC – Memória de Trabalho componentes fonológico e executivo central; MTvesp -Memória de Trabalho componente visuoespacial; GnG – Tarefa Go/No-Go; FVOrt – Fluência verbal ortográfica; FVSem – Fluência verbal semântica; FVTot – Fluência verbal total.

REFERÊNCIAS

ANGELINI, A. L.; ALVES, I. C. B.; CUSTÓDIO, E. M.; DUARTE, W. F.; DUARTE, J. L. M. Matrizes Progressivas Coloridas de Raven: escala especial. São Paulo, SP: CETEPP, 1999. [ Links ]

ASSIS, É. F. et al. Relações entre a compreensão de leitura, resolução de problemas de raciocínio quantitativo e funções executivas. Ciência e Educação, Bauru, v. 27, e21004, 2021. https://doi.org/10.1590/1516-731320210004 [ Links ]

ASSOCIAÇÃO BRASILEIRA DE EMPRESAS E PESQUISA [ABEP]. Critério de classificação econômica Brasil, 2009. Disponível em: http://www.abep.org/criterio-brasil . Acesso em: 20 fev. 2019. [ Links ]

BATTY, G. D.; KIVIMÄKI, M.; DEARY, I. J. Intelligence, education, and mortality. British Medical Journal (Clinical Research Ed.), London, 340, c563, 2010. http://dx.doi.org/10.1136/bmj.c563 [ Links ]

BRANCA, N. A. Resolução de problemas como meta, processo e habilidade básica. In.: KRULI, S.; REYS, R. E. (org.). DOMINGUES, H. H.; CORBO, O. (trad.). A resolução de problemas na matemática escolar. São Paulo: Atual, 1997. p. 4 -12. [ Links ]

BYRNE, B. Structural equation modeling with MPlus. New York: Routledge, 2011. 432 p. [ Links ]

CIRINO, P. et al. Cognitive and mathematical profiles for different forms of learning difficulties. Journal of Learning Disabilities, Chicago, v. 48, n. 2, 2015. https://doi.org/10.1177/0022219413494239 [ Links ]

COHEN, J. Statistical power analysis for the behavioral sciences. 2 ed. Hillsdale, NJ: Lawrence Erlbaum Associates, Publishers, 1988. [ Links ]

CORSO, H.; PICCOLO, L.; MINÁ, C.; SALLES, J. Anele 2 - Comtext: avaliação de compreensão de leitura textual, Porto Alegre: Vetor, 2017. [ Links ]

CORSO, H. V.; PICCOLO, L. Avaliação de efetividade do programa de compreensão leitora: resultados da intervenção no quinto ano escolar. Estudos e Pesquisas em Psicologia, v. 21, n. spe, p. 1703-1727, 2021. https://doi.org/10.12957/epp.2021.64042 [ Links ]

DE SMEDT, B. Language and arithmetic: the potential role of phonological processing. In. Heterogeneity of function in numerical cognition. Elsevier, 2018. pp 51-72. https://doi.org/10.1016/B978-0-12-811529-9.00003-0 [ Links ]

DIAMOND, A. Executive functions. Annual Review of Psychology, San Mateo, v. 64, p. 135- 168, 2013. https://doi.org/10.1146/annurev-psych-113011-143750 [ Links ]

FLETCHER, J.; LYONS, R.; FUCHS, L.; BARNES, M. Transtornos de aprendizagem: da identificação à intervenção. Porto Alegre, RS: Artmed, 2009. 334 p. [ Links ]

FUCHS, L. S. et al. Closing the word-problem achievement gap in first grade: schema-based word-problem intervention with embedded language comprehension instruction. Journal of Educational Psychology, Washington, v. 113, n.1, p. 86-103, 2021. http://dx.doi.org/10.1037/edu0000467 [ Links ]

GOLDMANN, S. R.; WOLFE, M. B. W. Text comprehension: Models in psychology. In: SMELSER, Neil; BALTES, Paul. International Encyclopedia of the Social & Behavioral Sciences, USA: Elsevier, 2001. [ Links ]

GRIGORENKO, E. L. et al. Understanding, educating, and supporting children with specific learning disabilities: 50 years of science and practice. American Psychologist, USA, v. 75, n. 1, 2021. https://pubmed.ncbi.nlm.nih.gov/31081650/Links ]

HASSINGER-DAS, B. et al. Domain-general mediators of the relation between kindergarten number sense and first-grade mathematics achievement. Journal of Experimental Child Psychology, New York, v. 118, 2014. https://doi.org/10.1016/j.jecp.2013.09.008 [ Links ]

JACOB, R.; PARKINSON, J. The potential for school-based interventions that target executive function to improve academic achievement: a review. Review of Educational Research, USA, v. 85, n. 4, p. 512-552, 2015. https://doi.org/10.3102/0034654314561338 [ Links ]

JOYNER R. E.; WAGNER R. K. Co-Occurrence of reading disabilities and math disabilities: a meta-analysis, scientific studies of reading. Scientific Studies of Reading, London, v. 24, n. 1, p. 14-22, 2019. https://doi.org/10.1080/10888438.2019.1593420 [ Links ]

KENDEOU, P.; VAN DEN BROEK, P.; WHITE, M. J. A cognitive view of reading comprehension: implications for reading difficulties. Learning Disabilities: research & practice, New York: Wiley, v. 29, n. 1, 2014. https://doi.org/10.1111/ldrp.12025 [ Links ]

KINTSCH, W. Comprehension: a paradigm for cognition. New York: Cambridge University Press, 1998. [ Links ]

KINTSCH, W.; RAWSON, K. A. Comprehension. In: SNOWLING, Margaret; HULME, Charles. (eds). The science of reading: a handbook. Oxford, UF: Blackwell, 2005. p. 209-226. [ Links ]

KINTSCH, W.; GREENO, J. G. Understanding and solving word arithmetic problems. Psychological Review, Washington, 1985. v. 92, p. 109-129. https://dx.doi.org/10.1037/0033-295X.92.1.109 [ Links ]

KLACZYNSKI, P. A.; ANEJA, A. Development of quantitative reasoning and gender biases. Developmental Psychology, Washington, v. 38, n. 2, 208-221, 2002. https://doi.org/10.1037/0012-1649.38.2.208 [ Links ]

LENHARD, W.; LENHARD, A. Hypothesis tests for comparing correlations. Bibergau (Germany): Psychometrica, 2014. https://doi.org/10.13140/RG.2.1.2954.1367 [ Links ]

LOPES-SILVA, J. B. et al. Phonemic awareness as a pathway to number transcoding. Frontiers in Psychology, Switzerland v. 5, n.13, 2014. https://doi.org/10.3389/fpsyg.2014.00013 [ Links ]

LOPES-SILVA, J. B.; MOURA, R. J. de; JÚLIO-COSTA, A.; WOOD, G. SALLES, J. F.; HAASE, V. G. What is specif and what is shared between numbers and words? Frontiers in Psychology, Switzerland, v. 7, n. 22, 2016. https://doi.org/10.3389/fpsyg.2016.00022 [ Links ]

NUNES, T. Teacher notes: family-school partnership to promote mathematics for deaf children. Oxford, UK: Oxford University, 2009. 187 p. http://www.education.ox.ac.uk/ndcs/Resources/teachersbook_exercises.pdfLinks ]

NUNES, T. et al. Teaching and learning about whole numbers in primary school. ICME-13 Topical Surveys. Springer Open, 2016. [ Links ]

OAKHILL, J.; CAIN, K.; ELBRO, C. Compreensão de leitura: teoria e prática. São Paulo, SP: Hogrefe, CETEPP, 2017. [ Links ]

PENG, P. et al. Examining the mutual relations between language and mathematics: a meta- analysis. Psychological Bulletin, Washington, v. 146, n. 7, p. 595-634, 2020. http://dx.doi.org/10.1037/bul0000231 [ Links ]

SALA, G.; GOBET, F. Does far transfer exist? Negative evidence from chess, music, and working memory training. Current directions in psychological science, v. 26, n.6, p. 515-520. 2017. https://doi.org/10.1177%2F0963721417712760 [ Links ]

SALLES, J. F. et al. Instrumento de avaliação neuropsicológica breve infantil NEUPSILIN-INF. São Paulo, SP: Vetor, 2016. [ Links ]

STEPHANY, S. The influence of reading comprehension on solving mathematical word problems: A situation model approach. In: FRITZ, Annemarie; Gürsoy, Erkan; HERZOG, Moritz. Diversity dimensions in mathematics and language learning. Berlin, Boston: De Gruyter, 2021. 432 p. [ Links ]

VERSCHAFFEL, L.; GREER, B.; DE CORTE, E. Making sense of word problems. Educational Studies in Mathematics, Switzerland, v. 42, p. 211-213, 2000. https://doi.org/ 10.1023/A:1004190927303 [ Links ]

Recebido: 19 de Setembro de 2021; Aceito: 07 de Fevereiro de 2023; Publicado: 03 de Outubro de 2023

Revisão grammatical realizada por: Scribere

E-mail:scribererevisaotextual@gmail.com

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution Non-Commercial No Derivative, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais, sem alterações e que o trabalho original seja corretamente citado.