SciELO - Scientific Electronic Library Online

 
vol.28 issue67Understanding the SIMAVE in the light of the three generations of basic education evaluationAn analysis of the concepts that permeate the Pronatec professional training author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Share


Estudos em Avaliação Educacional

Print version ISSN 0103-6831On-line version ISSN 1984-932X

Est. Aval. Educ. vol.28 no.67 São Paulo Jan./Apr. 2017  Epub Jan 10, 2017

https://doi.org/10.18222/eae.v28i67.4244 

Artigos

Tendências da produção de conhecimento em avaliação das aprendizagens no Brasil (2010-2014)

Tendencias de la producción de conocimiento en evaluación de los aprendizajes en Brasil (2010-2014)

Trends in knowledge production in learning evaluation in Brazil (2010-2014)

Rosaria de Fátima BoldarineI 

Raquel Lazzari Leite BarbosaII 

Sérgio Fabiano AnnibalIII 

IGrupo de Estudos e Pesquisas sobre Linguagem, Ensino e Narrativa de Professores, Universidade Estadual Paulista “Júlio de Mesquita Filho”, Assis, São Paulo, Brasil, rosariaboldarine@gmail.com

IIFaculdade de Ciências e Letras, Universidade Estadual Paulista “Júlio de Mesquita Filho”, Assis, São Paulo, Brasil, raqueleite@uol.com.br

IIIDepartamento de Educação, Universidade Estadual Paulista “Júlio de Mesquita Filho”, Assis, São Paulo, Brasil, sergioannibal@gmail.com


Resumo:

O presente artigo é fruto de uma revisão bibliográfica cujo objetivo foi identificar aspectos relevantes da produção científica brasileira sobre avaliação das aprendizagens, no período de 2010 a 2014, em onze periódicos da área educacional com reconhecida relevância. Foram analisados 174 trabalhos, divididos em cinco eixos: avaliação no ensino superior, avaliação na educação básica, avaliação externa, avaliação e formação continuada de professores, e outras dimensões. Os resultados demonstraram que o tema avaliação está sendo contemplado em diversos periódicos, com um número considerável de artigos que tratam da avaliação das aprendizagens. Muitos desses artigos indicam que na vida escolar ainda predomina a avaliação como medida, ou seja, a avaliação vista como uma questão essencialmente técnica. A proposta é trazer elementos que contribuam com o entendimento das práticas avaliativas em nossa realidade e inspirar outros pesquisadores, colaborando para a expansão do conhecimento acerca da avaliação no campo educacional brasileiro.

Palavras-chave: Avaliação da Aprendizagem; Revisão da Literatura; Produção Técnico-Científica; Periódico

Resumen:

El presente artículo es fruto de una revisión bibliográfica cuyo objetivo fue el de identificar aspectos relevantes de la producción científica brasileña sobre evaluación de los aprendizajes en el periodo de 2010 a 2014, en once renombradas revistas del área educacional. Se analizaron 174 trabajos, divididos en cinco ejes: evaluación en la educación superior, evaluación en la educación básica, evaluación externa, evaluación y formación continuada de profesores y otras dimensiones. Los resultados demostraron que el tema evaluación se contempla en diversas revistas, con un considerable número de artículos que tratan de la evaluación de los aprendizajes. Muchos de estos artículos indican que en la vida escolar todavía predomina la evaluación como medida, es decir, la evaluación vista como un tema esencialmente técnico. La propuesta es aportar elementos que contribuyan para entender las prácticas evaluativas en nuestra realidad e inspirar a otros investigadores, colaborando para expandir el conocimiento acerca de la evaluación en el campo educacional brasileño.

Palabras clave: Evaluación del Aprendizaje; Revisión de la Literatura; Producción Técnico-Científica; Revista

Abstract:

This article is the result of a bibliographical review aiming to identify relevant aspects of Brazilian scientific production on learning evaluation, which was carried out in eleven well-known education journals from 2010 to 2014. We evaluated 174 studies divided into five areas: higher education evaluation, basic education evaluation, external evaluation, evaluation and continuous training of teachers and other dimensions. The results showed that the evaluation theme is currently discussed in various periodicals, with a considerable number of articles dealing with learning evaluation. Many of these articles show that, in school life, evaluation is still the standard, i.e. evaluation is regarded as essentially a technical issue. This article proposes to bring elements that contribute to the understanding of evaluation practices and inspire other researchers, contributing to the expansion of knowledge evaluation in the Brazilian educational field.

Keywords: Learning Evaluation; Literature Review; Technical and Scientific Production; Periodical

INTRODUÇÃO

Há quase duas décadas, a preocupação com as práticas de avaliação e com quais diretrizes devem ser tomadas nas diversas instâncias educativas tem estado na pauta de debates sobre a educação. Segundo Fernandes (2009, p. 29),

há anos que na literatura se vem reconhecendo a necessidade de mudar e de melhorar as práticas de avaliação das aprendizagens dos alunos, claramente defasadas das exigências curriculares e sociais com que os sistemas educativos são confrontados.

A avaliação é um item inerente a todo processo educacional e de muita relevância quando articulada aos objetivos propostos pelo professor, podendo demarcar as práticas pedagógicas adotadas. Segundo Garcia (2009, p. 204), uma das marcas de nossa época em termos educacionais é a importância dada à avaliação. O autor ainda questiona os modos como a avaliação vem sendo realizada e afirma que ela deveria ser exercida como produção de sentidos e não apenas restrita à utilização de medidas, mas acima de tudo estar relacionada com as finalidades sociais mais amplas da educação. Além disso, “a avaliação é procedimento fundamental, indispensável e permanente, seja no sentido do diagnóstico sempre atualizado, seja no sentido da intervenção apropriada” (DEMO, 2003, p. 29).

Refletindo sobre a importância da avaliação, os pesquisadores do Grupo de Estudos e Pesquisa sobre Linguagem, Ensino e Narrativa de Professores (Geplenp), da Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp/Assis), realizaram um levantamento bibliográfico em dez periódicos da área educacional com reconhecida relevância para conhecimento da produção referente ao tema avaliação, no período que engloba os anos de 2010 a 2014.

O período de estudo escolhido está relacionado com o projeto desenvolvido pelo Geplenp e foi financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp). Além disso:

na década de 2000, destaca-se o surgimento de estudos centrados na produção científica divulgada nas principais revistas científicas brasileiras no campo da avaliação educacional, reflexo do acentuado volume de produção científica produzida na tentativa de compreender as experiências implantadas no Brasil a partir da década de noventa. (CALDERÓN; BORGES, 2013, p. 180)

Intencionalmente, não selecionamos apenas periódicos específicos sobre avaliação, pois nosso intento era observar como tal tema tem sido discutido também em revistas que, de diversas maneiras, tratam do assunto Educação. Foram encontrados 320 artigos que apresentavam a palavra avaliação em suas palavras-chave. Esses artigos tratavam tanto da avaliação das aprendizagens como da avaliação institucional ou avaliação de sistema.

A intenção, ao realizarmos este trabalho, é produzir um material que possa mapear o conhecimento que está sendo produzido na área, buscando conhecer os aspectos que vêm sendo privilegiados nas discussões acadêmicas com vistas a melhor compreender a vida escolar. Para Soares (1991, p. 3),

essa compreensão do estado de conhecimento sobre um tema, em determinado momento, é necessária no processo de evolução da ciência, a fim de que se ordene periodicamente o conjunto de informações e resultados já obtidos.

Percebeu-se, a partir desse levantamento e das leituras de outros artigos que também apresentam estudos do estado da arte em avaliação (SOUSA, 1995, 1996; BARRETTO et al., 2001; CALDERÓN; POLTRONIERI, 2013; CALDERÓN; BORGES, 2013), que nos últimos anos a produção científica no Brasil tem se avolumado e mostra uma preocupação com o tema. Segundo Barretto et al. (2001, p. 81):

Ao longo do exame dos periódicos, verificou-se ainda que há número considerável de autores que se vêm ocupando do tema há pelo menos duas décadas, sugerindo que o campo de estudos está em processo de consolidação. Vários deles têm-se tornado referências importantes, seja pelas análises e discussões sobre modelos, pressupostos e aspectos metodológicos da avaliação.

Embora não desconsideremos a importância da avaliação institucional ou avaliação de sistema, o artigo que aqui apresentamos tem como objetivo principal analisar as produções sobre a avaliação das aprendizagens realizada no Brasil. Esse fato se dá por ser a avaliação das aprendizagens o objeto de estudo do projeto intitulado “Mapeamento das avaliações das aprendizagens no Ensino Superior”, realizado pelo Geplenp e financiado pela Fapesp. Após o levantamento inicial, encontramos 174 ocorrências de artigos que, de alguma forma, tratam da questão da avaliação das aprendizagens e serão aqui apresentadas.

As publicações analisadas foram as revistas: Avaliação (32 ocorrências), Pro-Posições (4 ocorrências), Cadernos Cedes (4 ocorrências), Educação e Pesquisa (9 ocorrências), Revista Brasileira de Estudos Pedagógicos (16 ocorrências), Estudos em Avaliação Educacional (36 ocorrências), Educação em Revista (11 ocorrências), Educação & Sociedade (12 ocorrências), Cadernos de Pesquisa (13 ocorrências), Educação & Realidade (6 ocorrências), Ensaio: Avaliação e Políticas Públicas em Educação (31 ocorrências).

Como seria de se esperar, as revistas com o maior número de artigos que tratam da avaliação das aprendizagens são Avaliação, Ensaio e Estudos em Avaliação Educacional, já que elas têm como objeto principal os estudos referentes à avaliação, porém notamos que as outras revistas escolhidas também apresentam um número de artigos sobre avaliação que não pode ser desconsiderado, o que pode demonstrar que o assunto não se esgota apenas nas revistas especializadas.

É também importante assinalar que a escolha das revistas deve-se ao fato de elas estarem inseridas em posições privilegiadas dentro do campo educacional brasileiro e, dessa forma, apresentarem-se como instâncias legítimas no campo científico. Ao recorrermos a Bourdieu (2004, p. 26), observamos que o autor postula que o campo científico apresenta, como em todo campo, uma estrutura de relações objetivas entre os diferentes agentes e que o

capital científico é uma espécie particular do capital simbólico (o qual, sabe-se, é sempre fundado em atos de conhecimento e reconhecimento) que consiste no reconhecimento atribuído pelo conjunto de pares-concorrentes no interior do campo científico.

Na luta de forças dentro do campo educacional, podemos dizer que essas publicações detêm o poder de influenciar os rumos das pesquisas desenvolvidas nas universidades e da produção de conhecimento. Os artigos presentes nessas revistas representam o que de mais novo existe na produção de conhecimento e são reconhecidos pelos pares como importantes contribuições para o campo educacional.

Para realização desta pesquisa, utilizou-se a abordagem qualitativa por meio da revisão bibliográfica dos periódicos acadêmicos. No primeiro momento de nossa investigação, conforme dito, o estudo deu-se a partir das palavras-chave apresentadas nos artigos. A escolha pelas palavras-chave dá-se por serem elas que demonstram, aos pesquisadores, num primeiro contato com os textos, as ideias e os temas de especial importância para servir de referência às pesquisas. Em seguida, após selecionarmos os textos, passamos à leitura dos resumos, para melhor compreender do que tratavam, qual a abordagem metodológica utilizada e quais os principais resultados apontados. Em uma última etapa, foi realizada a leitura integral dos textos a fim de conhecer as discussões ali apresentadas. A análise do material foi dividida segundo cinco grandes eixos distintos: Avaliação no ensino superior, Avaliação na educação básica, Avaliação externa, Avaliação e formação continuada de professores e Outras dimensões. As referências de todos os artigos estudados encontram-se no Anexo.

O QUE DIZEM OS ARTIGOS - EIXO AVALIAÇÃO NO ENSINO SUPERIOR

No eixo Avaliação no ensino superior, encontramos 37 ocorrências. Entre os artigos pesquisados, subdividimos em categorias, sendo: Avaliação em exatas e biológicas (13 ocorrências); Satisfação dos discentes com as avaliações (14 ocorrências); Avaliação nas licenciaturas (10 ocorrências).

Na categoria Avaliação em exatas e biológicas,1 percebemos uma predominância de artigos da área de Engenharia e Farmácia. Nessa categoria, as palavras-chave que mais aparecem são: Avaliação, Discentes, Ensino Superior e Estágio. Ao fazermos a leitura dos resumos, percebemos que a coleta de dados predominante é a aplicação de questionários e que a abordagem que mais aparece é a qualitativa. Ao realizar a leitura dos textos, observamos que uma das preocupações que mais instigam os autores é saber de que forma a avaliação realizada na universidade traz avanços na aprendizagem dos alunos. Nos artigos da área de Engenharia, evidenciam-se preocupações com o tipo de aluno que está sendo formado e de que forma a experiência universitária realmente contribui com o aprendizado que será posteriormente utilizado pelos alunos em suas práticas, como pode ser observado no artigo de Luiz, Costa e Costa (2010), em que os autores investigam as percepções quanto à influência do curso sobre o desempenho dos seus alunos. Os resultados obtidos indicam que houve uma avaliação positiva quanto à influência do curso. Os impactos mais positivos foram percebidos no critério empregabilidade. Nos textos que compõem essa categoria, fica clara a preocupação com o tipo de avaliação que está sendo realizada e de que forma essa avaliação preenche os requisitos que demonstram a boa formação do aluno.

Na categoria Satisfação dos discentes com as avaliações,2 encontramos 13 ocorrências. É motivo de apreensão dos autores, em geral, a forma como os alunos enxergam a avaliação e a influência que a avaliação apresenta tanto no desempenho dos alunos como em sua maneira de estudar e se preparar para as provas. É relevante notar que, embora os artigos relativos à satisfação dos alunos com as avaliações não tratassem, especificamente, de avaliações externas, o tema apareceu em alguns desses artigos. Os autores fazem uma articulação entre os resultados divulgados das avaliações externas e o valor de mercado que os cursos e os próprios universitários passam a ter e a interferência dos resultados dessas avaliações externas no desempenho dos estudantes durante a graduação. Encontramos também dois artigos que tratam das representações que os discentes têm das avaliações realizadas nas universidades (MARQUES; NUNES, 2011; MATUICHUK; SILVA, 2013).

As palavras-chave que mais apareceram nesses artigos foram: Representações, Avaliação, Desempenho Docente, Educação Superior. A maioria dos artigos pesquisados apresenta como coleta de dados a utilização de questionários e pesquisa bibliográfica sobre o tema Ensino Superior. Os artigos lidos apontam que o desempenho dos alunos no ensino superior está fortemente ligado ao tipo de avaliação realizada pelos docentes e, também, que é preciso que as instituições universitárias avancem nos debates sobre o tema, pois a avaliação tem grande influência no desenvolvimento dos estudantes.

Por fim, com relação à categoria Avaliação nas licenciaturas, 3encontramos dez artigos. As palavras-chave que mais aparecem nesses artigos são: Desempenho, Ensino, Avaliação, Avaliação da Aprendizagem e Percepção dos Estudantes. A abordagem metodológica mais utilizada foi a qualitativa; apenas um dos artigos estudados utilizou-se da abordagem quantitativa. Como instrumentos para a coleta de dados, temos a predominância da aplicação de questionários, entrevistas semiestruturadas e levantamento de opiniões do tipo survey.

Ao fazer a leitura dos artigos selecionados, percebeu-se que as discussões giram em torno de alguns temas em comum, entre eles a importância de se dar mais valor à formação na área de avaliação, já que saber avaliar corretamente é fundamental para o desenvolvimento do ensino, especial dedicação para repensar os instrumentos avaliativos e discussão sobre os fundamentos da avaliação formativa. Além desses temas discutidos, encontramos também artigos que tratam da percepção dos estudantes sobre a avaliação no ensino superior e como essa percepção influencia as práticas docentes dos recém-formados, bem como artigos que apresentam debates sobre as possibilidades e limites da avaliação das aprendizagens e até que ponto a avaliação determina a qualidade na educação.

EIXO AVALIAÇÃO NA EDUCAÇÃO BÁSICA

No eixo Avaliação na educação básica, encontramos 62 ocorrências, as quais subdividimos em categorias, sendo: Avaliação no ensino fundamental I (20 ocorrências); Avaliação no ensino fundamental II (34 ocorrências); Avaliação no ensino médio (8 ocorrências).

Na categoria Avaliação no ensino fundamental I,4 as palavras-chave mais presentes são: Avaliação, Alfabetização, Qualidade do Ensino, Políticas Públicas e Autonomia. Com relação à metodologia, observamos que as mais utilizadas são o estudo de caso, o estudo bibliográfico, a aplicação de questionários e a observação de aulas.

Um dos artigos (BERTAGNA, 2010) apresenta uma extensa pesquisa realizada em uma escola de ensino fundamental I com o objetivo de mostrar como a progressão continuada (política implementada pelo Estado de São Paulo) influencia as avaliações realizadas pela escola. Como resultado, a pesquisa mostra que, por meio da análise das práticas avaliativas e das contribuições dos diversos atores da escola, evidencia-se ainda a presença da seletividade escolar. Em alguns artigos, encontra-se uma crescente apreensão com a avaliação nos anos iniciais e a maneira como ela tem sido realizada. Pudemos perceber que os autores de monstram uma inquietação com o tipo de avaliação realizada nos anos iniciais e a forma como essas avaliações podem contribuir ou não com a aprendizagem dos alunos. Em dois dos textos pesquisados (FONTANIVE et al., 2010; ROCHA; MARTINS, 2014), apresentam-se resultados específicos de duas disciplinas escolares: português e matemática. Os textos mostram os resultados das avaliações que consideram a competência leitora e os procedimentos de resolução de problemas matemáticos. A apreciação dos resultados indica que muitos dos alunos ainda estão longe de ter as competências exigidas para sua faixa etária.

Também nessa categoria foi encontrado um artigo (ÉRNICA; BATISTA, 2012) que demonstra que as condições socioeconômicas são determinantes na continuidade dos estudos. O texto em referência indica que a escassez tanto de recursos financeiros como de recursos facilitadores de aprendizagem são fundamentais para a consecução do sucesso escolar.

Foram encontrados ainda artigos que apresentam a importância de o professor explicar aos alunos a forma como se darão as avaliações, detalhando para os discentes o que é necessário ser feito e o que se espera deles. Segundo os autores, essa postura prepara o aluno para a avaliação e permite que ele saiba como proceder, retirando dessa forma o “medo” proveniente das avaliações.

Na categoria Avaliação no ensino fundamental II,5 observamos 34 ocorrências. Percebemos que há uma preocupação com as avaliações que têm como objetivo principal os resultados mais altos dos alunos em detrimento de uma avaliação que considere as aprendizagens. As principais palavras-chave encontradas são: Avaliação, Aferição de Qualidade, Estratégias de Ensino/Aprendizagem. A maior parte dos artigos apresenta pesquisa qualitativa e privilegia como coleta de dados a aplicação de questionários e a pesquisa documental. Apenas um dos artigos apresenta como metodologia a pesquisa quantitativa, analisando dados de avaliações regulares ao longo de um ano em uma escola pública.

Alguns dos artigos estudados (MESQUITA, 2012; FONTANIVE, 2013) mostram como as reformas educacionais atuais introduziram conceitos econômicos na gestão das escolas e influenciaram as formas de avaliação dos docentes, que começam a preocupar-se mais com o “treinamento” dos alunos para obtenção de notas altas em avaliações externas do que com a aprendizagem, ou seja, a avaliação não é uma ferramenta de avaliação da aprendizagem e sim para aferição quantitativa em busca de uma boa classificação nos rankings oficiais.

Também tratando da questão das avaliações em larga escala e sua influência nas escolas, o artigo de Koetz e Werle (2012) analisa a institucionalização do Sistema de Avaliação do Estado do Rio Grande do Sul, apresentando-o como uma política de governo, associada ao partido que está no poder. Outra linha seguida pelos textos que tivemos a oportunidade de estudar é relacionar as condições do entorno da escola com o resultado das avaliações. Em três artigos (BARBOSA et al., 2012; CARDELLI; ELLIOT, 2012; BARTHOLO; COSTA, 2014), observamos que os autores apresentam as críticas condições socioeconômicas vividas pelos alunos, demonstrando como elas influenciam o aproveitamento deles. Esses artigos apresentam dados de avaliações tanto internas como externas e afirmam que, quanto mais difíceis as condições socioeconômicas, maior o número de alunos com baixo rendimento escolar.

Também é tema constante nesses artigos a vinculação das avaliações externas com as mudanças de currículo e das formas de ensinar nas escolas estudadas. Um dos artigos traz de maneira bastante clara essa relação, demonstrando que há mudança no planejamento dos professores, após a escola não obter a nota mínima indicada pelos órgãos oficiais.

Dois dos artigos que tivemos oportunidade de ler (SILVA, 2010; MARTINS; SOUSA, 2012) apresentam as relações existentes entre as práticas avaliativas e a gestão escolar.

Há também o artigo de Jacomini (2014) que, em um trabalho de revisão de produção acadêmica, analisa 22 teses e dissertações produzidas no período de 2000 a 2010 sobre avaliação escolar no regime de progressão continuada. A autora verificou que os trabalhos fizeram pouca referência às pesquisas correlatas e quase não trouxeram novas contribuições para as questões colocadas sobre a avaliação.

Já com relação à categoria Avaliação no ensino médio,6 foram encontrados oito artigos. As palavras-chave que predominam nesses artigos são: Avaliação, Currículo e Qualidade da Educação. Novamente, a metodologia predominante é a qualitativa e a coleta de dados mais constante é por meio da análise documental e entrevistas semiestruturadas.

Em artigos como os de Brandão (2011) e Melo e Duarte (2011), observamos a ênfase dada à necessidade de mudanças no currículo desse nível de ensino, com o objetivo de adequar- -se às novas exigências do chamado mundo da tecnologia. Os autores afirmam que as dificuldades enfrentadas no ensino médio passam, principalmente, pelo abandono da escola e pela falta de perspectiva dos estudantes que acabam não vendo sentido no curso que estão fazendo. Nesse contexto, as avaliações também passam a ser questionadas e percebemos que os artigos têm em comum a atenção para as avaliações que vêm sendo realizadas e como elas, muitas vezes, estão aquém do que se espera dos alunos no ensino médio.

A maioria dos artigos que separamos nesse momento de estudo apresenta uma preocupação em comum: como tornar o ensino médio mais atrativo e significativo para os alunos e de que forma a avaliação pode contribuir com a formação deles.

EIXO AVALIAÇÃO EXTERNA

No eixo Avaliação externa, encontramos 22 artigos que subdividimos em duas categorias: Avaliação externa na educação básica (16 ocorrências) e Avaliação externa no ensino superior (6 ocorrências).

Com relação aos artigos sobre a Avaliação externa na educação básica,7 o que se destaca são os textos cuja intenção principal é discutir a forma como são realizadas as avaliações externas e como os resultados dessas avaliações determinam os rumos dos sistemas de ensino. Nos artigos estudados fica demonstrado que a avaliação externa foi adotada pelos governos como instrumento de controle e, na maioria das vezes, os resultados servem para mostrar como tudo vai mal e não necessariamente incidem na qualidade da educação, que segundo os orientadores das políticas públicas seria o principal objetivo das avaliações externas.

Em um dos artigos (SOARES; XAVIER, 2013), os autores buscam explicar, por meio da descrição de algoritmos, a concepção de qualidade e equidade do Índice de Desenvolvimento da Educação Básica (Ideb). O objetivo do texto é também identificar de que forma os resultados incidem sobre as políticas públicas e as práticas das escolas. Os autores demonstram que nem sempre a avaliação das aprendizagens é privilegiada quando os resultados chegam às escolas. Também seguindo a mesma linha dos artigos citados, encontram- -se dois artigos (GONTIJO, 2012; FREITAG et al., 2013) que tratam, especificamente, da Provinha Brasil, e dois relativos ao Sistema Nacional de Avaliação da Educação Básica (Saeb) (SANTOS; RABELO, 2013; BRIDON; NEITZEL, 2014).

Há artigos cujo objetivo principal é discutir aspectos do Exame Nacional do Ensino Médio (Enem) (SANTOS; CORTELAZZO, 2013), sua influência tanto na performatividade dos estudantes (LOPES; LÓPEZ, 2010), quanto na reorientação do currículo. Um desses artigos (VIGGIANO; MATTOS, 2013) investiga e compara o desempenho dos estudantes de cada uma das regiões geográficas do Brasil, na tentativa de sinalizar de que forma a desigualdade socioeconômica das regiões afeta diretamente a aprendizagem dos alunos. As palavras-chave que predominam são: Avaliação Externa, Qualidade da Educação e Aprendizagem. Com relação à metodologia, a predominância é do estudo bibliográfico, principalmente, dos documentos que determinam as avaliações externas e dos relatórios com os resultados delas. Apenas um dos artigos estudados utiliza como abordagem metodológica a entrevista semiestruturada com gestores de escolas públicas.

Na categoria Avaliação externa no ensino superior,8 localizamos dois artigos que tratam do Exame Nacional de Desempenho dos Estudantes (Enade) e um artigo que faz um histórico da avaliação externa do ensino superior de 1995 a 2009 (DIAS SOBRINHO, 2010). Os dois artigos que tratam do Enade não apresentam características em comum, um deles apresenta um estudo sobre as diferenças de gênero e perfil socioeconômico (SILVA; VENDRAMINI; LOPES, 2010), com a finalidade de verificar em que medida o desempenho dos estudantes no referido exame variou segundo gênero e variáveis socioeconômicas; no outro artigo, o propósito foi confrontar os resultados do Enade-2009 entre as instituições de ensino superior que possuem a graduação em Estatística (LANZILOTTI; LANZILOTTI, 2014). No que se refere ao artigo que apresenta o histórico da avaliação, há o estabelecimento de um eixo entre as principais políticas de avaliação e as transformações da educação superior brasileira, concebidas e praticadas a partir de 1995, destacando alguns dos efeitos sobre o ensino de graduação.

Embora muito diferentes entre si, os três artigos privilegiam a influência das avaliações externas estudadas nas mudanças de rumo no ensino superior, apontando sua interferência no ensino e na aprendizagem praticados nas instituições. As palavras-chave mais constantes nesses artigos são: Avaliação Externa e Educação Superior.

EIXO AVALIAÇÃO E FORMAÇÃO CONTINUADA DE PROFESSORES

No eixo Avaliação e formação continuada de professores,9 encontramos dez artigos com estruturas semelhantes e, por esse motivo, resolvemos não subdividi-los em categorias como vimos fazendo até o momento. As palavras-chave mais constantes nesses artigos são: Formação de Professores e Avaliação. A abordagem metodológica utilizada em todos os artigos é qualitativa e a coleta de dados privilegia a aplicação de questionários e entrevistas semiestruturadas.

Os artigos estudados têm como propósito analisar de que forma os resultados da escola nas avaliações externas determinam as discussões propostas nos espaços destinados à formação dos professores e se tais resultados influenciam na maneira como os professores pensam as avaliações internas em suas disciplinas. Como resultado comum, tem-se que nem sempre a avaliação interna privilegia aspectos relativos à aprendizagem dos alunos. Ao que parece, os espaços de formação são utilizados para pensar como melhorar os índices e não, necessariamente, repensar a maneira como são conduzidos os processos de ensino e aprendizagem dos estudantes. Um dos artigos analisados (GUERRA; MACHADO, 2011) traz uma pesquisa realizada com professoras dos anos iniciais da rede municipal da cidade do Recife-PE, e tenta, por meio das representações sociais, entender como as entrevistadas observam e trabalham com as avaliações.

Os outros artigos presentes nesse eixo apresentam discussões que buscam mostrar a importância de se repensarem as avaliações internas e de que forma essas avaliações podem auxiliar a aprendizagem dos alunos.

EIXO OUTRAS DIMENSÕES

No eixo Outras dimensões, apesar de ser uma classificação bastante ampla, incluímos artigos que tratam de assuntos bem específicos e que não se enquadravam nos eixos acima expostos. Nesse eixo, encontramos dez artigos que tratam dos seguintes temas: um artigo sobre aprendizagem e avaliação ao longo da vida (CUNHA, 2011); cinco artigos sobre avaliação em cursos semipresenciais (BERTOLIN; MARCHI, 2010; MARQUES, 2011; NUNES, 2012; OLIVEIRA, 2010; RODRIGUES et al., 2014), dois artigos sobre avaliação na educação de jovens e adultos (EJA) (SILVA et al., 2011; ANDRIOLA, 2014), dois artigos que apresentam o estado da arte (BORGES; CALDERÓN, 2011; POLTRONIERI; CALDERÓN, 2012), e um ensaio (CARMINATTI; BORGES, 2012).

No artigo sobre avaliação ao longo da vida, a autora procura mostrar que o ritual de avaliação, na maior parte das vezes, valoriza nada mais do que a reprodução da informação e sua extensão e complexidade. Estabelece uma relação entre a aprendizagem para toda a vida e o desempenho profissional, e de que forma a avaliação permeia esses momentos e contribui ou não para a constante aprendizagem. A metodologia é qualitativa e a coleta de dados se dá por meio da pesquisa bibliográfica.

Nos artigos sobre avaliação em cursos semipresenciais, a preocupação dos autores é apresentar a complexidade que existe em cursos em que a distância entre professores e alunos é a característica principal. Os textos procuram auxiliar na elaboração de instrumentos de avaliação que privilegiam a aprendizagem dos alunos e que possam auxiliar os professores na observação do desenvolvimento dos educandos.

No que se refere à educação de jovens e adultos, destacamos o artigo de SILVA, BONAMINO e RIBEIRO (2012), que apresenta um estudo de caso que foi realizado em três escolas do município do Rio de Janeiro. A pesquisa buscou identificar características de escolas que têm a capacidade de incidir, positivamente, no processo de alfabetização e na redução dos índices de evasão dos alunos da EJA. Foram analisadas as avaliações ao longo de um ano e apresentadas possibilidades de utilização da avaliação da aprendizagem como um fator estimulante para a continuidade dos estudos.

Em um dos artigos que apresenta o estado da arte (POLTRONIERI; CALDERÓN, 2012), observamos um mapeamento da produção científica publicada pela Fundação Carlos Chagas, no período de 1990 até 2010, que traça um perfil da revista estudada. Já o ensaio traz parte de discussão realizada em nível de mestrado e reflexões acerca da avaliação das aprendizagens, apresentando as permanências de tradições escolares nas práticas pedagógicas desde quando foram instituídos os exames de avaliação.

O QUE NOS MOSTRA A PRODUÇÃO TEÓRICA

A significativa quantidade de artigos que tratam de avaliação no campo educacional brasileiro é um forte indicador da relevância e complexidade do tema para a comunidade escolar e científica. A produção mostra que o tema é importante e o debate teórico confirma essa observação, pois o que se percebe, a partir da leitura dos textos, é que é comum a preocupação com práticas avaliativas, que contribuem nos processos de aprendizagem dos alunos. Tanto nos artigos que privilegiam a educação em geral, no ensino superior como nos que privilegiam a educação, encontram- se produções que indicam que o desenvolvimento dos alunos está bastante relacionado ao tipo de avaliação proposta. É também comum às produções nos dois níveis de ensino a preocupação com as avaliações externas e a forma como elas incidem sobre os processos de ensino e aprendizagem das instituições, influenciando, inclusive, a revisão dos currículos.

Quando observamos os artigos sobre a avaliação na educação básica, notamos a preocupação com os processos avaliativos nos anos iniciais. Ao que parece, a avaliação tem se tornado tema de discussão desde muito cedo na escola.

Chama-nos a atenção o fato de termos encontrado apenas dez artigos, tanto no eixo Avaliação e formação continuada de professores como no eixo Avaliação nas licenciaturas. Esse fato pode demonstrar que a discussão ainda não se concentra no trabalho de formação dos docentes, nem durante a graduação e nem na formação continuada, e talvez mostre que aqueles que estão mais diretamente ligados aos processos educacionais ainda não recebem a atenção necessária quando o tema se refere a questões relacionadas à avaliação.

Assinalamos, ainda, que a partir da incursão realizada nos artigos percebemos a ausência de um debate, no que tange a questões referentes à organização dos pactos pedagógicos que ocorrem nas salas de aula, pois os mesmos permeiam a realização dos processos avaliativos, oscilam e são provisórios. Muitas vezes, há indisposição dos alunos para cumprir o papel esperado para a realização de um processo formativo, sendo assim, diante de tais indisposições, apontamos que podem aparecer dificuldades para estruturar os processos formativos dentro dos acordos pedagógicos, sem utilizar expedientes que, muitas vezes, são considerados inapropriados ou até vistos como inerentes às práticas essencialmente técnicas, mas, muitas vezes, necessárias para estabelecer limites e, inclusive, gerar segurança aos alunos.

Outro ponto que deve ser levado em consideração ao pensarmos a avaliação das aprendizagens é a influência das avaliações externas nos programas e currículos das instituições. Apesar de esse tipo de avaliação ser importante para o acompanhamento das políticas educacionais em larga escala e apresentar potencialidades inquestionáveis, muitas vezes tais avaliações têm, na verdade, as funções de controle e monitoramento das escolas e das instituições de ensino superior, e pouco se aproveita de seus resultados para se melhoarem as questões da aprendizagem. A avaliação ao longo do ano letivo, em muitas instituições, passa a ser treino para as avaliações externas, que, no caso de São Paulo e de alguns outros estados brasileiros, incidem sobre pagamentos de bônus aos professores ou na entrada em universidades bem conceituadas nos exames vestibulares.

É importante considerar que a maioria dos artigos utiliza em sua metodologia a abordagem qualitativa e a coleta de dados com a aplicação de questionários e entrevistas semiestruturadas. Isso aparenta um favorecimento dos agentes que constituem o campo educacional, uma vez que, ao interpretar suas respostas, os autores dos artigos as consideram relevantes para refletir como a avaliação vem sendo pensada nos espaços escolares.

As revistas consultadas nos permitiram apreender o processo de construção das teorias e das metodologias de pesquisa sobre avaliação, tendo em vista que os periódicos refletem o debate teórico e o diálogo entre os pesquisadores; portanto, as tendências observadas nos artigos analisados são sensíveis às dinâmicas sociais e culturais.

Estão presentes neste artigo trabalhos que abrangem uma discussão sobre as práticas avaliativas, nos quais o maior desafio é compreender a qualidade das avaliações que são realizadas, destacando as relações entre ensino e aprendizagem, de que forma as avaliações podem contribuir para a boa formação dos alunos, como eles as enxergam e qual o papel delas no sucesso escolar; como se dão a organização e o preparo dos instrumentos avaliativos, a importância da clareza dos critérios e, ainda, destacamos as referências à competência leitora para o êxito desses processos.

Ao buscarmos vestígios dos processos de produção de ideias sobre educação, para além dos que podem ser identificados em uma abordagem bibliográfica em geral, apresentamos como contribuição uma organização de categorias para compreender as movimentações e, consequentemente, algumas tendências do campo educacional brasileiro, no que diz respeito aos estudos da avaliação. Trata-se, nesse sentido, de deslindar as relações que os agentes do campo educacional estabelecem com a produção do conhecimento acerca da avaliação e de sugerir uma visão que não se pauta apenas nas experiências, mas está próxima da ideia de escavar, conforme as reflexões sobre memória de Walter Benjamin, quando diz:

Falo das imagens que, arrancadas a todos os seus contextos anteriores, estão agora expostas, como preciosidades, nos aposentos sóbrios da nossa visão posterior - como torsos na galeria do colecionador. E não há dúvida de que aquele que escava deve fazê-lo guiando-se por mapas do lugar. Mas igualmente imprescindível é saber enterrar a pá de forma cuidadosa e tateante no escuro reino da terra. (BENJAMIN, 1994, p. 219-220)

Enfim, além da sistematização das temáticas, da organização das dimensões e das questões explanadas, podemos afirmar que as publicações estudadas neste artigo assinalam que os sistemas escolares privilegiam em larga escala o que Fernandes (2009, p. 44) chama de avaliação como medida, isto é, a avaliação vista como uma questão essencialmente técnica, que, pautada em testes bem construídos, permitiria medir com rigor e isenção as aprendizagens escolares dos alunos. Apontam, ainda, como em outros estudos, que, na maioria das vezes, esse tipo de avaliação desconsidera fatores essenciais para entendermos essas aprendizagens, o que, certamente, influência nos resultados das práticas avaliativas, podendo proporcionar baixo desempenho.

Referências

BARBOSA, B. G. de S.; DUARTE, M. R. T.; DUARTE, A. C. Efeitos de um programa de educação infantil em famílias de catadores de papel de Belo Horizonte. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 20, n. 75, p. 283-303, abr./jun. 2012. [ Links ]

BARRETTO, E. S. de S.; PINTO, R. P.; MARTINS, A. M.; DURAN, M. C. G.Avaliação na educação básica nos anos 90 segundo os periódicos acadêmicos. Cadernos de Pesquisa, São Paulo, n. 114, p. 49-88, nov. 2001. [ Links ]

BARTHOLO, T. L.; COSTA, M. da. Evidências do impacto da composição social das escolas no desempenho dos alunos na rede pública do Rio de Janeiro. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 24, n. 92, p. 498-521, jul./set. 2014. [ Links ]

BENJAMIN, W. Magia e técnica, arte e política: ensaios sobre literatura e história da cultura. São Paulo: Brasiliense, 1994. [ Links ]

BERTAGNA, R. H. Avaliação e progressão continuada: o que a realidade desvela. Pro-Posições, Campinas, SP, v. 21, n. 3 (63), p. 193-218, set./dez. 2010. [ Links ]

BERTOLIN, J. C. G.; MARCHI, A. C. B. Instrumentos para avaliar disciplinas da modalidade semipresencial: uma proposta baseada em sistemas de indicadores. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 3, p. 131-146, nov. 2010. [ Links ]

BORGES, R. M.; CALDERÓN, A. I.. Avaliação educacional: o estado do conhecimento da Revista Ensaio: Avaliação e Políticas Públicas em Educação (1993-2008). Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 19, n. 70, p. 42-56, jan./mar. 2011. [ Links ]

BOURDIEU, P. Os usos sociais da ciência: por uma sociologia clínica do campo científico. São Paulo: Editora Unesp, 2004. [ Links ]

BRANDÃO, C. F. O ensino médio no contexto do Plano Nacional de Educação: o que ainda precisa ser feito. Cadernos Cedes, Campinas, SP, v. 31, n. 84, p. 195-208, maio/ago. 2011. [ Links ]

BRIDON, J.; NEITZEL, A. A. Competências Leitoras no Saeb: qualidade da leitura na educação básica. Educação & Realidade, Porto Alegre, v. 39, n. 2, p. 437-462, abr./jun. 2014. [ Links ]

CALDERÓN, A. I.; BORGES, R. M. Avaliação educacional: uma abordagem à luz das revistas científicas brasileiras. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 6, n. 1, p. 167-183, jan./jun. 2013. [ Links ]

CALDERÓN, A. I.; POLTRONIERI, H. Avaliação da aprendizagem na Educação Básica: as pesquisas do estado da arte em questão (1980-2007). Revista Diálogo Educacional, Curitiba, v. 13, p. 873-893, set./dez. 2013. [ Links ]

CARDELLI, D. T.; ELLIOT, L. G. Avaliação por diferentes olhares: fatores que explicam o sucesso de escola carioca em área de risco. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 20, n. 77, p. 769-798, out./dez. 2012. [ Links ]

CARMINATTI, S. S. H.; BORGES, M. K. Perspectivas da avaliação da aprendizagem na contemporaneidade. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 160-178, maio/ago. 2012. [ Links ]

CUNHA, M. I. Aprendizagem ao longo da vida e avaliação do desempenho profissional. Avaliação, Campinas; Sorocaba, SP, v. 16, n. 3, p. 559-572, nov. 2011. [ Links ]

DEMO, P. Avaliação e democracia. Abceducatio, São Paulo, v. 4, n. 22, p. 28-32, 2003. [ Links ]

DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao Sinaes. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 1, p. 195-224, mar. 2010. [ Links ]

ÉRNICA, M.; BATISTA, A. A. G. A escola, a Metrópole e a vizinhança vulnerável. Cadernos de Pesquisa, São Paulo, v. 42, n. 146, p. 640-666, maio/ago. 2012. [ Links ]

FERNANDES, D. Avaliar para aprender. São Paulo: Editora Unesp , 2009. [ Links ]

FONTANIVE, N. A divulgação dos resultados das avaliações dos sistemas escolares: limitações e perspectivas. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013. [ Links ]

FONTANIVE, N.; KLEIN, R.; MARINO, L.; ABREU, M.; BIER, S. E. A alfabetização de crianças de 1° e 2° ano do Ensino Fundamental de 9 anos: uma contribuição para a definição de uma Matriz de Competências e Habilidades de leitura, escrita e matemática. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 18, n. 68, p. 527-548, jul./set. 2010. [ Links ]

FREITAG, R. M. K. et al. Contribuições para o aprimoramento da Provinha Brasil enquanto instrumento diagnóstico do nível de alfabetização e letramento nas séries iniciais. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 94, n. 237, p. 343-363, maio/ago. 2013. [ Links ]

GARCIA, J. Avaliação e aprendizagem no ensino superior. Estudos em Avaliação Educacional, São Paulo, v. 20, n. 43, p. 55-66, maio/ago. 2009. [ Links ]

GONTIJO, C. M. M. Avaliação da alfabetização: Provinha Brasil. Educação e Pesquisa, São Paulo, v. 38, n. 3, p. 603-622, jul./set. 2012. [ Links ]

GUERRA, G. K. de S.; MACHADO, L. B. Representações sociais de avaliação processual construídas por professoras. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 19, n. 71, p. 363-380, abr./jun. 2011. [ Links ]

JACOMINI, M. A. Avaliação da aprendizagem em tempos de progressão continuada: o que mudou? Um estudo de teses e dissertações sobre o tema (2000-2010). Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 22, n. 84, p. 807-828, jul./set. 2014. [ Links ]

KOETZ, C. M.; WERLE, F. O. C. Trajetória do sistema de avaliação do rendimento escolar do Estado do Rio Grande do Sul. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 20, n. 77, p. 677-700, out./dez. 2012. [ Links ]

LANZILOTTI, R. S.; LANZILOTTI, H. S. Resultados do ENAD /2009 dos cursos de estatística em discussão Avaliação, Campinas; Sorocaba, SP, v. 19, n. 1, p. 157-177, mar. 2014. [ Links ]

LOPES, C. L.; LÓPEZ, S. B. A performatividade nas políticas de currículo: o caso do Enem. Educação em Revista, Belo Horizonte, v. 26, n. 1, p. 89-110, abr. 2010. [ Links ]

LUIZ, N. M.; COSTA, A. F.; COSTA, H. G. Influência da graduação em engenharia de produção no perfil dos seus egressos: percepções discentes. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 1, p. 101-120, abril 2010. [ Links ]

MARQUES, E. F. A utilização da avaliação tipo “teste” on-line como apoio ao ensino presencial: uma abordagem quantitativa sobre a sua contribuição no ensino de ferramentas estatística multivariadas. Avaliação, Campinas; Sorocaba, SP, v. 16, n. 2, p. 403-431, jul. 2011. [ Links ]

MARQUES, A. S.; NUNES, L. C. Possibilidades da participação na avaliação da aprendizagem online no ensino superior. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 19, n. 72, p. 599-622, jul./set. 2011. [ Links ]

MARTINS, A. M.; SOUSA, S. Z. A produção científica sobre avaliação educacional e gestão de sistemas e de escolas: o campo da questão entre 2000 e 2008. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 20, n. 74, p. 9-26, jan./mar. 2012. [ Links ]

MATUICHUK, M.; SILVA, M. C. da. Avaliação do docente pelo discente na melhoria do desempenho institucional: UTFPR/SIAVI. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 21, n. 79, p. 323-348, abr./jun. 2013. [ Links ]

MELO, S. D. G.; DUARTE, A. Políticas para o ensino médio no Brasil: perspectivas para a universalização. Cadernos Cedes, Campinas, SP, v. 31, n. 84, p. 231-251, maio/ago. 2011. [ Links ]

NUNES, R. C. A avaliação em educação a distância é inovadora? Uma reflexão. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 274-299, maio/ago. 2012. [ Links ]

OLIVEIRA, G. P. de. Estratégias multidimensionais para a avaliação da aprendizagem em cursos on-line. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 18, n. 66, p. 105-138, jan./mar. 2010. [ Links ]

POLTRONIERI, H.; CALDERÓN, A. I. Avaliação na educação básica: a revista Estudos em Avaliação Educacional. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 53, p. 82-103, set./dez. 2012. [ Links ]

ROCHA, G.; MARTINS, R. F. A apropriação de habilidades de leitura e escrita na alfabetização: estudo exploratório de dados de uma avaliação externa. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 22, n. 85, p. 977-1000, out./dez. 2014. [ Links ]

RODRIGUES, C. M. C.; RIBEIRO, J. L. D.; CORTIMIGLIA, M.; BÜNDCHEN, C. Uma proposta de instrumento para avaliação da educação a distância. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 22, n. 83, p. 321-354, abr./jun. 2014. [ Links ]

SANTOS, J. S.; CORTELAZZO, A. L. Os conteúdos de biologia celular no Exame Nacional do Ensino Médio - Enem. Avaliação, Campinas; Sorocaba, SP, v. 18, p. 591-612, 2013. [ Links ]

SANTOS, C. A. B.; RABELO, M. H. M. Procedimentos de resolução de alunos de 5º ano revelados em itens do Saeb com relação ao Sistema de Numeração Decimal. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 94, n. 236, p. 211-231, jan./abr. 2013. [ Links ]

SILVA, I. M. da. Autoavaliação e gestão democrática na instituição escolar. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 18, n. 66, p. 49-64, jan./mar. 2010. [ Links ]

SILVA, M. C. R.; VENDRAMINI, M. M.; LOPES, F. L. Diferenças entre gênero e perfil sócio-econômico no exame nacional de desempenho do estudante. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 3, p. 185-202, nov. 2010. [ Links ]

SOARES, M. Alfabetização no Brasil: o estado do conhecimento. Brasília, DF: MEC/Inep, 1991. [ Links ]

SOARES, J. F.; XAVIER, F. P. Pressupostos educacionais e estatísticos do Ideb. Educação e Sociedade, Campinas, SP, v. 34, n. 124, p. 903-923, jul./set. 2013. [ Links ]

SOUSA, S. M. Z. L. Avaliação da aprendizagem nas pesquisas no Brasil de 1930 a 1980. Cadernos de Pesquisa , São Paulo, n. 94, p. 43-49, ago. 1995. [ Links ]

SOUSA, S. M. Z. L. Avaliação da aprendizagem: análise de pesquisas produzidas no Brasil, no período 1980 a 1990. Revista da Faculdade de Educação, São Paulo, v. 22, n. 1, p. 111-144, jan./jun. 1996. [ Links ]

VIAGGIANO, E.; MATTOS, C. O desempenho de estudantes no Enem 2010 em diferentes regiões brasileiras. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 94, n. 237, p.417-438, maio/ago. 2013 [ Links ]

1Andrade (2010); Barcelos, Bara e Garcia (2013); Costa et al. (2011); Fernandes, Flores e Lima (2010); Gomes, Ortega e Oliveira (2010); Lanzillotti e Lanzillotti (2014); Manzano e Lopes (2010); Lores et al. (2010); Luiz, Costa e Costa (2010); Moreira e Velho (2012); Matovan, Viana e Gouvêa (2010); Moreno e Sanzogno (2011), Schwarz e Paixão (2013).

2Marques e Nunes (2011); Zanella, Lopes e Seidel (2014); Teixeira et al. (2014); Antunes, Polito e Resende (2010); Apio e Silvino (2013); Grohmann e Ramos (2012); Guerreiro, Almeida e Silva (2014); Matos et al. (2013); Galvão, Câmara e Jordão (2012); Matos, Brown e Cirino (2012); Pereira e Flores (2012); Marques e Nunes (2011); Matuichuk e Silva (2013).

3Cardoso, Santiago e Sarrico (2010); Bittencourt et al. (2011); Golçalves e Aranha (2011); Libâneo (2010); Escudero e Neira (2011); Ferreira (2013); Paula (2013); Alfredo e Tortella (2013); Bauer (2010, 2012).

4Bertagna (2010); Campos et al. (2011); Carvalho e Macedo (2011); Santos e Rabelo (2013); Antonioli (2011); Campos (2013); Barbosa e Duarte (2012); Fontanive et al. (2010); Guerra e Machado (2011); Chaluh (2010); Mortatti (2013); Costa-Hubes (2013); Lima e Leal (2014); Neves e Moro (2013); Varani e Silva (2010); Ortigão e Aguiar (2013); Riani, Silva e Tufi (2012); Tavares (2012); Rocha e Martins (2014); Érnica e Batista (2012); Rosemberg (2013).

5Lee (2010); Bauer (2011); Duarte (2013); Arcas (2010); Fernandes et al. (2010); Guimarães e Souza (2011); Grego (2012); Fernandes (2011); Almeida, Dalbem e Freitas (2013); Andrews e De Vries (2012); Lajonquere (2013); Cardelli e Elliot (2012); Fontanive (2013); Esteban (2014); Garcia (2011); Lacerda (2013); Souza e Boruchovitch (2010); Nuhs e Tomio (2011); Ortigão (2011); Paula e Moreira (2014); Fernandes (2010); Dantas e Maciel (2010); Érnica (2013); Marchelli (2010); Nardi, Schneider e Rios (2014); Jacomini (2014); Koetz e Werle (2012); Mesquita (2012); Sousa (2014); Suassuna e Bezerra (2010); Souza e Ditrich (2012); Paro (2012); Penteado (2014).

6Neves (2011); Neubauer et al. (2011); Moraes e Alavarse (2011); Ricardo (2010); Brandão (2011); Gramani e Scrich (2012); Melo e Duarte (2011); Lima e Gomes (2013).

7Voss e Garcia (2014); Soares e Xavier (2013); Guisbond, Neill e Schaeffer (2012); Santos e Coretelazzo (2013); Viggiano e Mattos (2013); Lopes e López (2010); Andriola (2011); Gontijo (2012); Freitag et al. (2013); Sousa (2014); Bridon e Neitzel (2014); Fernandes (2010); Afonso (2012); Ferrão (2012); Maroy e Voisin (2013); Soares e Nascimento (2012).

8Gurgel (2010); Silva, Vendramini e Lopes (2010); Pederneiras et al. (2011); Zoghbi, Oliva e Moriconi (2010); Cordeiro (2014); Dias Sobrinho (2010).

9Silva et al. (2011); Neitzel e Ferri (2011); Silva, Cymrot e D’Antino (2012); Briman (2013); Novaes (2011); Pesce (2012); Hawerroth (2011); Corrêa et al. (2011), Silva (2010); Guerra e Machado (2011).

Recebido: Outubro de 2016; Aceito: Novembro de 2016

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons