1 Introdução
O tema avaliação está intimamente ligado aos diversos setores da sociedade contemporânea. Os cidadãos se relacionam com esse tema de formas distintas. Desde a avaliação profissional a que estamos sujeitos, até a avaliação de aprendizagem em todos os níveis, estamos submetidos ao processo avaliativo ou somos expostos ao resultado das avaliações. Há momentos em que atuamos como objetos da avaliação – na fase de alfabetização (Avaliação Nacional de Alfabetização), no Ensino Fundamental (Prova Brasil ou Sistema de Avaliação da Educação Básica – Saeb), na conclusão do Ensino Médio e da Educação Superior (Exame Nacional do Ensino Médio – Enem e Exame Nacional de Desempenho de Estudantes – Enade) e, por fim, como alunos das pós-graduações (avaliações quadrienais da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Capes). Em outros, atuamos como atores sociais e observadores da avaliação como mensuração de competências gerais: o ranking do Enem, o ranking do Enade, o ranking do Programme of International Student Assessment (Pisa), o ranking da Pós-Graduação etc.
Apesar dessa exposição ampla, escrevem Bonamino, Bessa e Franco (2004, p. 7) que a
[...] avaliação dificilmente gera consensos em Educação. Quando o tema é avaliação da escola, professores e especialistas frequentemente divergem sobre prioridades, métodos, ou até mesmo quanto a objetivos. Se o tema é a política de avaliação de uma rede pública, as divergências não são menores e a repercussão é muito maior.
Por outro lado, há uma percepção da avaliação em Educação diferente dessa percepção popular que emerge dos especialistas em avaliação. Estrela e Nóvoa (1999 , p. 7) afirmam que, à época, a avaliação reassumiu seu lugar na primeira linha de pesquisa como um campo específico de ação e reflexão, principalmente, por conta de dois fatores:
[...] em primeiro lugar, a situação de crise que afeta a quase totalidade dos sistemas educativos. Tal como no princípio dos anos 70, a necessidade de gerir orçamentos cada vez mais exíguos traz de novo a ribalta as dinâmicas avaliativas, das quais se espera contributo efetivo para a maior eficácia do Ensino e para uma melhor rentabilidade dos recursos.
A segunda linha de explicação prende-se com a vaga reformadora dos anos 80 que concedeu à avaliação (dos alunos, das escolas e dos sistemas educativos) uma lugar-charneira na regulação interna e no controle externo dos processos de mudança. Percebe-se, aliás, que as reformas educativas não podem fazer-se “às cegas”, não podem fazer a economia de mecanismos que lhes permitam uma reorientação permanente.
A crise e a reforma constituem, assim, dois importantes elementos para compreender a “nova” atenção concedida à problemática da avaliação.
Por conta desse quadro, e confirmando a necessidade de estudos como o que apresentamos, Calderón e Borges (2016) identificam ainda em sua pesquisa quatro momentos distintos da avaliação educacional no Brasil os quais
na década de 2000, destaca-se o surgimento de estudos centrados na produção científica divulgada nas principais revistas científicas brasileiras no campo da avaliação educacional, reflexo do acentuado volume de produção científica produzida na tentativa de compreender as experiências implantadas no Brasil a partir da década de noventa . Nesses estudos, é possível identificar claramente a polarização existente na avaliação da Educação enquanto campo científico-acadêmico do conhecimento [grifos nossos].
Parece que as visões de Calderón e Borges (2016) , Bonamino, Bessa e Franco (2004) e de Estrela e Nóvoa (1999) dão conta da diversidade de percepções possíveis sobre o tema, não sendo o objetivo desse trabalho exemplificar e/ou discutir as possíveis diferenças conceituais de origens diversas que promovem interpretações distintas dos mesmos fenômenos observados, mas oferecer subsídios para futuras pesquisas de cunho qualitativos a partir dos dados sistematizados.
Esse quadro, como indicam Calderón e Borges (2016) , parece justificar a relevância de mapear a produção sobre avaliação educacional nos periódicos qualificados do Brasil, a fim de melhor conhecer os atores e as instituições envolvidos no processo de produção de conhecimento na área, os temas que estão em voga, as literaturas usadas como referencial teórico, entre outros aspectos notórios a partir desses dados. E essa é a proposta desse trabalho, na qual explicitamos o resultado de uma pesquisa bibliométrica, envolvendo como objeto de estudo diferentes periódicos da área de Educação, reproduzido a partir de software de análise de redes sociais para mapearmos as relações entre autores, palavras-chave, instituições e referências.
Por conta dessa metodologia, esse estudo diferencia-se de trabalhos como os: de Borges e Calderón (2011), que analisaram publicações sobre o tema apenas na Revista Ensaio: Avaliação e Políticas Públicas em Educação entre 1993 e 2008; de Calderón e Borges (2016) , que estudaram a produção em quatro periódicos da área; de Minhoto (2015) , que realizou pesquisa em Programas de Pós-Graduação em Educação brasileiros com foco na avaliação em larga escala e institucional; de Boldarine, Barbosa e Annibal (2017) que pesquisaram “a produção científica brasileira sobre avaliação das aprendizagens, no período de 2010 a 2014, em onze periódicos da área educacional” (p. 160); e de Chiapinoto, Gomez e Lunardi (2020), que buscaram publicações usando os descritores “gestão escolar” e “avaliação em larga escala”, no Scientific Electronic Library Online (SciELO) entre de 2000 e 2017.
Assim, para atingirmos os objetivos propostos, estruturamos esse trabalho da seguinte maneira: na seção 2 explicitamos, brevemente, a metodologia utilizada, destacando o escopo da pesquisa e como utilizamos a Análise de Redes Sociais (ARS); na seção 3 apresentamos os resultados obtidos com a análise bibliométrica, a ARS e também a síntese dos dados extraídos de nosso objeto de estudo; na seção 4 apresentamos uma pequena discussão acerca dos resultados, seguida das considerações finais na seção 5 e das referências utilizadas.
2 Metodologia
O propósito desse trabalho foi analisar a produção científica brasileira relacionada ao tema avaliação educacional. Para isso, foi realizada uma busca na rede de indexação SciELO utilizando as palavras-chave “avaliação educacional” ou “avaliação da Educação” para todos os índices (periódico, resumo, título, ano e autor). Não foram adotados recortes temporais, a fim de se obter um painel mais amplo e representativo da produção brasileira, sem restrições.
Os artigos selecionados foram submetidos a um estudo analítico sobre diferentes enfoques, como análise dos autores, termos-chave, referências e instituições envolvidos nas abordagens tecidas sobre o tema, assim como a evolução dessas produções ao longo dos anos. Em complemento, utilizamos a ARS para modelar interconexões existentes entre os diferentes tipos de dados extraídos desses trabalhos, a fim de visualizarmos como esses elementos se relacionam no cenário mapeado. A escolha dessa técnica é semelhante à utilizada para elaborar um retrato da Educação de surdos ( DIONYSIO; CHRISPINO, 2019 ) e o mapeamento dos artigos publicados nos 20 anos da revista “Ensaio: Avaliação e Políticas Públicas em Educação” (CHRISPINO; ALBUQUERQUE; COUTINHO, 2015), dentre outros.
Com base nos objetivos estabelecidos, a presente pesquisa pode ser classificada como de caráter exploratório, visto que, ao delinear o perfil da produção sobre avaliação educacional, nos fora possibilitada a visão da construção desse tema nas diversas áreas do conhecimento, de acordo com a amostra definida ( GIL, 2002 ).
No que tange à ARS, foi utilizado o programa NodeXL v. 1.0.1.381 ( Social Media Research Foundation ), que atua como um plug-in do programa Excel (Microsoft). Tal programa nos permite criar imagens estruturais das redes, detectar componentes conexos (conjuntos de pares de elementos em que todos estão unidos por diferentes caminhos existentes na rede) e elencar os elementos mais centrais por meio dos cálculos das medidas de centralidade. O interessante de explorarmos essas medidas é podermos, mesmo que aproximadamente, indicar o poder social de um elemento a partir do quão conectado ele está na rede ( CURRAN; CURRAN, 2014 ).
Dentre as diferentes medidas encontradas na literatura, optamos por utilizar as centralidades de grau (determina quantas ligações diretas estão associadas a um elemento, revelando, assim, seu grau de prestígio mensurado por sua frequência de acesso na rede), de proximidade (elenca como mais centrais os elementos que estão mais próximos a todos os outros da rede) e intermediação (realça os elementos que possibilitam um maior número de interconexões entre elementos que não se conectam diretamente, ou seja, que servem como pontes na rede).
3 Resultados
3.1 Análises bibliométricas
A busca por meio do filtro pelas palavras temáticas resultou na seleção de 174 artigos, envolvendo 49 revistas. Dessas, destacam-se a “Revista Brasileira de Educação Médica”, contemplando 31 artigos, seguida da “Ensaio: Avaliação e Políticas Públicas em Educação” com 15, da “Revista do Colégio Brasileiro de Cirurgiões” com 12 e dos “Cadernos de Pesquisa”, com 11. As demais apresentaram uma média de 2,3 artigos cada. Interessante observar que as três revistas realçadas pertencem a instituições do Rio de Janeiro (Associação Brasileira de Educação Médica, Fundação Cesgranrio e Colégio Brasileiro de Cirurgiões, respectivamente), sendo que somente a Ensaio: Avaliação e Políticas Públicas em Educação é genuinamente um periódico da área de Educação e avaliação, confirmando os estudos de Boldarine, Barbosa e Annibal (2017) e Calderón e Borges (2016) .
Sobre o idioma em que o texto foi produzido, verificamos que 14 artigos foram publicados em inglês (8,0%), dois em espanhol (1,2%) e o restante em português (90,8%), não havendo relação direta com periódico ou autor.
Quanto à análise temporal das publicações disponibilizadas em meio eletrônico, a primeira foi datada em 1998, com baixa produção nos anos seguintes, apresentando um aumento gradual considerável a partir de 2006, como podemos visualizar no Gráfico 1 .
Ao explorar o quesito instituições de vínculos dos autores dos artigos, verificamos que a Universidade de São Paulo (USP) tem a maioria das filiações dos autores, contemplando 31 artigos genuinamente associados a ela. Não obstante, sobressaem também a Universidade Federal do Ceará (UFC), com 11 artigos, Universidade de Brasília (UnB) e Universidade de Campinas (Unicamp), ambas com nove, Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) e Universidade Federal de São Paulo (Unifesp) com oito trabalhos. Juntas, essas somam 158 dos 174 artigos mapeados e sinalizam uma importante preocupação de pesquisadores da região Centro-oeste, Nordeste e Sudeste com relação à temática investigada nesse estudo.
Uma outra abordagem tangenciando o escopo institucional é o quantitativo de autores associados a uma determinada instituição. Sob essa perspectiva, a USP novamente lidera com 86 aparições. Notamos também que algumas instituições que publicaram um número pequeno de artigos, apresentaram-se com elevados números de autores. A exemplo, temos a Universidade Federal da Bahia (UFBA) que, num total de dois artigos, dispôs de 10 autores filiadas a ela. De modo geral, ao contrastarmos esses dois dados institucionais, percebemos que, das 112 instituições de filiação, apenas 38 concentram a maioria dos trabalhos publicados.
Com relação aos autores com maior número de publicações foram salientados: Wagner Andriola, da UFC, com oito publicações; Alicia Bonamino, da PUC-Rio, com cinco; e os demais tiveram quatro ou menos publicações. Dessa forma, ao evidenciarmos que apenas 14,5% publicaram mais de uma vez no escopo mapeado, ilustramos tamanha polaridade entre os pesquisadores que têm produzido trabalhos sobre o enfoque “avaliação educacional”.
Interessados em conhecer o campo de formação dos autores que publicaram, ao menos, dois trabalhos nesse contexto, no intuito de evidenciarmos quais são as áreas de conhecimento envolvidas nos estudos sobre a temática em questão, nos fora revelado que apenas 14,0% dos 64 autores não possuem Doutorado, 4,6% não possuem Mestrado e dois dos autores não foram encontrados na Plataforma Lattes. Nesse cenário, constatamos que a maioria dos autores possui Graduação em medicina (29,5%), enfermagem, fonoaudiologia, psicologia e pedagogia (aproximadamente 9,0% cada). Tamanho destaque da área de saúde também se sobressaiu nos títulos de doutoramento acerca desses autores, correspondendo a 31,2% doutores em medicina, em contraste a 20,3% doutores em Educação.
Por sua vez, ao analisarmos as palavras-chave e a frequência com que elas são abordadas como elementos de indexação nos trabalhos mapeados, listamos no Gráfico 2 os termos que possuem, no mínimo, cinco aparições, para podermos observar a pluralidade de temáticas envolvidas nesses estudos.
Por fim, ao elencarmos os resultados quantitativos também das referências bibliográficas citadas pelos artigos assinalados como objeto de nossa pesquisa, constatamos um total de 4.283 obras referenciadas, com uma média de 24,6 citações por artigo, apesar de haver trabalhos com mais de 70 citações e outros com apenas três.
Dessas obras, vale destacar que 6,6% foram citadas mais de uma vez no escopo de trabalhos catalogados, sendo apenas 3,5% referenciadas com uma frequência mínima igual a 4. Outra peculiaridade a observarmos é o quantitativo de obras estrangeiras (34,3% em inglês, 2,9% em espanhol e 1,1% em francês) que apareceram sendo referenciadas neste escopo, visto que 90,8% dos artigos analisados foram redigidos em português.
No Quadro 1 apresentamos as obras com número de citações expressivos em nossa análise. Destes, é interessante observar que, de um universo de 4.283 citações, os livros se destacam com relação aos artigos mais referenciados.
TÍTULO | 1º AUTOR | TIPO | Nº DE CITAÇÕES |
---|---|---|---|
Análise de conteúdo | L. Bardin | Livro | 11 |
Constituição Federal de 1988 | Brasil | Livro | 10 |
Lei de Diretrizes de Bases da Educação Nacional n. 9.394, de 20 de dezembro de 1996 | Brasil / Ministério da Educação e Cultura | Diário Oficial | 10 |
Avaliação: da excelência à regulação da aprendizagem: entre duas lógicas | Philippe Perrenoud | Livro | 9 |
Lei n° 10.861, de 14 de abril de 2004 | Brasil / Ministério da Educação e Cultura | Diário Oficial | 9 |
Resolução CNE/ CES n.º 4, de 7 de novembro de 2001 | Brasil / Ministério da Educação | Diário Oficial | 8 |
Avaliação: políticas educacionais e reforma da educação superior | José Dias Sobrinho | Livro | 6 |
O desafio do conhecimento: pesquisa qualitativa em saúde | Maria C.S. Minayo | Livro | 6 |
Pedagogia da autonomia | Paulo Freire | Livro | 6 |
A pedagogia das competências: autonomia ou adaptação? | Marise Nogueira Ramos | Livro | 5 |
Assessment of clinical competence using objective structured clinical examination | Ronald Harden | Artigo | 5 |
Avaliação da aprendizagem escolar | Cipriano Carlos Luckesi | Livro | 5 |
Clinical skills assessment: limitations to the introduction of an “OSCE” (Objective Structured Clinical Examination) in a traditional Brazilian medical school | Luiz Ernesto de Almeida Troncon | Artigo | 5 |
Defining and Assessing Professional Competence | Ronald Epstein | Artigo | 5 |
O efeito da escola no desempenho cognitivo de seus alunos. | José Francisco Soares | Artigo | 5 |
Fonte: Elaboração dos autores (2021)
Buscando aclarar não só as obras, como também os autores mais citados, demos enfoque apenas ao primeiro autor de cada referência. Documentos oficiais referenciados, associados às instituições governamentais (Capes, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, Ministérios da Saúde e da Educação, conselhos e secretarias estaduais) e organizações internacionais (Organização Pan-Americana da Saúde – Opas, Organização das Nações Unidas – ONU, Organização das Nações Unidas para a Educação, a Ciência e a Cultura – Unesco) foram agrupados em uma única categoria, totalizando 344 citações, o que representa 8,0% de todas as referências citadas. Essa categoria e os autores com ao menos 10 citações estão listados no Quadro 2 .
INSTITUIÇÕES | Nº DE CITAÇÕES |
---|---|
Brasil | 188 |
CAPES | 51 |
INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira | 19 |
MINISTÉRIO DA SAÚDE | 19 |
UNIVERSIDADES | 18 |
MINISTÉRIO DA EDUCAÇÃO | 16 |
CONSELHOS | 15 |
AUTOR | Nº DE CITAÇÕES |
Wagner Bandeira Andriola | 31 |
José Dias Sobrinho | 25 |
Philippe Perrenoud | 23 |
José Francisco Soares | 23 |
Maria Eugénia Ferrão Barbosa | 20 |
Paulo Freire | 18 |
Luiz Carlos de Freitas | 17 |
Creso Franco | 15 |
Harvey Goldstein | 15 |
Cees Petronella Van der Vleuten | 15 |
Maria Cecília de Souza Minayo | 14 |
Sandra Zákia Lian de Souza | 14 |
Pierre Bordier | 12 |
Luiz Antônio Cunha | 12 |
Luiz Ernesto de Almeida Troncon | 12 |
Laurence Bardin | 11 |
Ruben Klein | 11 |
Heraldo Marelim Vianna | 11 |
Elba Siqueira de Sá Barreto | 10 |
Fonte: Elaboração dos autores (2021)
Uma vez anunciado esse estudo bibliométrico ao analisarmos os artigos que compõem nosso objeto de pesquisa, apresentamos nas subseções abaixo algumas modelagens utilizando ARS, que nos possibilitaram melhor visualizar e discutir esses resultados.
3.2 Análise de Redes Sociais
Com o propósito de ilustrarmos o panorama evidenciado pelos atributos que nos auxiliam caracterizar os trabalhos publicados sobre a temática “Avaliação educacional”, aplicamos a Análise de Redes Sociais para modelar redes de coautoria e de palavras-chave, inspirados em pesquisas que, similarmente, se utilizam dessa metodologia, como Dionysio e Chrispino (2019) e Chrispino, Albuquerque e Coutinho (2015).
3.2.1 Redes de coautoria
Quando analisamos redes de coautoria nesse estudo, nos propomos a modelar como pesquisadores e instituições se relacionam entre si. Assim, na Figura 1 , elucidamos uma rede na qual os elementos representam os autores e a ligação entre um par de autores representa que eles publicaram conjuntamente, pelo menos, 1 artigo dos quais mapeamos.
Ao analisarmos essa rede, podemos notar que: os 23 círculos (contendo apenas um elemento) representam os autores que, no escopo mapeado, publicaram pesquisas apenas de forma independente; as linhas unindo exclusivamente dois elementos ilustram os autores que compartilham, no mínimo, um trabalho em dupla; e, assim, sucessivamente. Desse modo, ao notarmos o elevado número de subconjuntos que compõem essa rede, podemos inferir que o termo “Avaliação educacional” vem sendo discutido por uma rede diversificada de pesquisadores.
Contudo, nesse universo de autores, podemos notar alguns que foram aclarados com certa ênfase na rede, sendo esses os que sobressaíram com relação às medidas de centralidade que aplicamos. Na Tabela 1 , podemos analisar esses cálculos e os autores que mais se destacaram.
AUTOR | CENTRALIDADE DE GRAU | CENTRALIDADE DE INTERMEDIAÇÃO | CENTRALIDADE DE PROXIMIDADE |
---|---|---|---|
Joaquim Edson Vieira | 10 | 129 | 0,03 |
Alicia Maria Catalano de Bonamino | 8 | 84,2 | 0,03 |
Regina Albanese Pose | 9 | 84 | 0,02 |
Maria do Patrocínio Tenório Nunes | 6 | 68 | 0,02 |
Sandra Maria Zakia Lian Sousa | 6 | 64 | 0,03 |
Vera Lucia Mira | 13 | 40 | 0,07 |
Tufi Machado Soares | 7 | 31,8 | 0,03 |
Nilce Maria da Silva Campos Costa | 8 | 20 | 0,1 |
Neimar da Silva Fernandes | 6 | 15,8 | 0,03 |
Eliane Dias Gontijo | 7 | 12 | 0,14 |
Nigel Palhem de Leighton Brooke | 8 | 10,4 | 0,03 |
Débora Cristina Alves | 6 | 9 | 0,16 |
Edna Regina Silva Pereira | 4 | 8 | 0,07 |
Ricardo Primi | 4 | 8 | 0,12 |
Acácia Aparecida Angeli dos Santos | 4 | 8 | 0,12 |
Luiz Roberto Augusto Noro | 5 | 4 | 0,2 |
Luiz Carlos de Freitas | 4 | 4 | 0,25 |
Wagner Bandeira Andriola | 5 | 3 | 0,33 |
Nildo Alves Batista | 4 | 3 | 0,25 |
Francisco Creso Junqueira Franco Junior | 5 | 2,3 | 0,02 |
Ricardo Alessandro Teixeira Gonsaga | 5 | 2 | 0,2 |
Terezinha Soares Biscegli | 5 | 2 | 0,2 |
Jacob Arie Laros | 3 | 2 | 0,33 |
Adolfo Ignacio Calderón | 3 | 2 | 0,33 |
Marcia Hiromi Sakai | 5 | 1,5 | 0,2 |
Olavo Franco Ferreira Filho | 5 | 1,5 | 0,2 |
Fátima Cristina de Mendonça Alves | 4 | 0,5 | 0,02 |
Rosângela Curvo Leite Domingues | 3 | 0,5 | 0,33 |
Eliana Amaral | 3 | 0,5 | 0,33 |
Fonte: Elaboração dos autores (2021)
Com base nesses dados, podemos observar que, embora Wagner Andriola tenha sido o autor com maior número de publicações no tema, Andriola apenas possui maior realce com relação à centralidade de proximidade, ou seja, o mesmo está mais próximo de outros autores que, nesse caso, vista tamanha dispersão da rede, são seus coautores e também os coautores de seus coautores. Em contrapartida, a pesquisadora Alicia Bonamino, autora de cinco das publicações analisadas, apresenta-se como um elemento proeminente no subconjunto conexo do qual faz parte, tanto pela quantidade de relacionamento com outros autores (centralidade de grau) quanto por propiciar a comunicação entre pesquisadores que não possuem coautoria nessa rede (intermediação). Outro resultado interessante, adjacente a esse subconjunto ao qual Alicia Bonamino pertence, é que ele contém outros pesquisadores que se destacam por promoverem o elo entre diferentes autores conforme explicitado pelas medidas de centralidade analisadas. Ademais, vale destacarmos a relevância do pesquisador Joaquim Edson Vieira, realçado como o que mais serve de ponte para estabelecer a comunicação entre os demais autores ilustrados na rede.
Buscando analisar o impacto estabelecido por essas interconexões entre coautores sobre suas instituições de vínculo, modelamos uma outra rede de coautoria, cujos elementos dessa vez são representados pelas instituições às quais os autores estão filiados. Desse modo, o relacionamento entre um par de instituições simboliza que, pelo menos, um autor filiado à cada uma delas publicaram juntos ao menos um trabalho. Essa modelagem pode ser observada por meio da Figura 2 .
Dessa rede composta por 112 instituições distintas, apesar de também aparecerem círculos com apenas um elemento isolado, totalizando 16 instituições cuja relação de coautoria permaneceu internamente entre autores dessa mesma instituição, podemos notar em evidência uma grande componente conexa composta por um conjunto elevado de instituições. Para melhor analisarmos essa peculiaridade, também realizamos o cálculo das medidas de centralidade sobre essa rede ( Tabela 2 ).
INSTITUIÇÃO | CENTRALIDADE DE GRAU | CENTRALIDADE DE INTERMEDIAÇÃO | CENTRALIDADE DE PROXIMIDADE |
---|---|---|---|
USP (Universidade de São Paulo) | 31 | 1558,2 | 0,007 |
UNICAMP (Universidade Estadual de Campinas) | 22 | 863,4 | 0,006 |
PUC-RIO (Pontifícia Universidade Católica do Rio de Janeiro) | 11 | 432,3 | 0,004 |
UNIFESP (Universidade Federal de São Paulo) | 19 | 423,6 | 0,006 |
UFRJ (Universidade Federal do Rio de Janeiro) | 18 | 420 | 0,005 |
UP (Universidade Positivo) | 3 | 414 | 0,005 |
UNB (Universidade de Brasília) | 17 | 366,6 | 0,006 |
UFPR (Universidade Federal do Paraná) | 6 | 350 | 0,004 |
UFBA (Universidade Federal da Bahia) | 14 | 272 | 0,005 |
FCMSCSP (Faculdade de Ciências Médicas da Santa Casa de São Paulo) | 4 | 146 | 0,004 |
UNICENTRO (Universidade Estadual do Centro-Oeste) | 5 | 146 | 0,003 |
UFMG (Universidade Federal de Minas Gerais) | 9 | 129,4 | 0,005 |
EEUSP (Escola de Enfermagem da Universidade de São Paulo) | 6 | 80 | 0,005 |
FIOCRUZ (Fundação Oswaldo Cruz) | 5 | 80 | 0,004 |
UFG (Universidade Federal de Goiás) | 8 | 75,6 | 0,004 |
FCC (Fundação Carlos Chagas) | 3 | 74 | 0,004 |
UEL (Universidade Estadual de Londrina) | 11 | 55,1 | 0,005 |
UERJ (Universidade do Estado do Rio de Janeiro) | 6 | 27,1 | 0,005 |
FAMEMA (Faculdade de Medicina de Marília) | 7 | 25,1 | 0,005 |
UFJF (Universidade Federal de Juiz de Fora) | 5 | 8,1 | 0,004 |
UFC (Universidade Federal do Ceará) | 7 | 5 | 0,2 |
UNESP (Universidade Estadual Paulista) | 4 | 2 | 0,25 |
PUC-CAMPINAS (Pontifícia Universidade Católica de Campinas) | 4 | 2 | 0,25 |
UNINOVE (Universidade Nove de Julho) | 4 | 1,5 | 0,004 |
UNIFOR (Universidade de Fortaleza) | 4 | 1 | 0,16 |
Fonte: Elaboração dos autores (2021)
Agrupando esses dados, é possível observar que a USP é a instituição que mais publicou sobre a temática investigada em coautoria com membros de outras instituições, assim como a Unicamp, a UFRJ, a Unifesp, a UnB e a UFBA também se destacaram nesse quesito. Outra observação relevante é notarmos que algumas instituições, embora tenham muitas ligações com outras instituições, não constituem elos fortes ao analisarmos a centralidade de intermediação e de proximidade, como o caso da Universidade Estadual de Londrina (UEL). O contrário também é aclarado nesse estudo, como o caso das instituições UFPR e UP que propiciam o compartilhamento de pesquisas entre instituições que não possuem a relação de coautoria (alta intermediação), por meio de poucos relacionamentos diretos na rede (baixa centralidade de grau).
Por fim, ao contrastarmos essas redes de coautoria, vale dissertarmos que a maioria das colaborações entre instituições estão concentradas na rede pública e, nesse cenário, destaca-se mais uma vez a USP, visto que os 10 autores realçados pela centralidade de intermediação estão filiados a essa instituição, de acordo com os artigos analisados.
3.2.2 Redes de palavras-chave
A partir dos resumos de todos os trabalhos que compõem nosso objeto de pesquisa, foram extraídas 290 palavras-chave. Após filtrar os termos duplicados ou com similaridades conceituais, detectamos 270 focos temáticos distintos. No Quadro 3 apresentamos as correspondências semânticas que foram utilizadas.
Palavra/expressão mantida | Palavra/expressão substituída |
---|---|
Atenção básica | Atenção básica à saúde / atenção primária à saúde |
Avaliação de programas | Avaliação de programa |
Avaliação educacional | Avaliação de educação |
Avaliação de qualidade | Avaliação e qualidade |
Avaliação de desempenho | Avaliação de rendimento |
Currículo | Currículo escolar |
Desempenho escolar | Desempenho do aluno |
Educação superior | Ensino superior |
Ensino fundamental e médio | Ensino fundamental / Ensino médio |
Gestão educacional | Gestão da educação |
Internato e residência | Internato e residência médica / residência médica |
Política educacional | Políticas educativas |
Qualidade educacional | Qualidade de educação / Qualidade na educação |
Fonte: Elaboração dos autores (2021)
Feito isso, a modelagem em redes das palavras-chave apresenta-se ao relacionarmos pares de termos que são utilizados conjuntamente como descritores de, pelo menos, um dos trabalhos catalogados. Nesse contexto, a Tabela 3 dispõe dos 15 termos mais centrais com relação à centralidade de intermediação da rede composta por 270 palavras-chave.
PALAVRAS-CHAVE | CENTRALIDADE DE GRAU | CENTRALIDADE DE INTERMEDIAÇÃO | CENTRALIDADE DE PROXIMIDADE |
---|---|---|---|
Avaliação educacional | 283 | 37992,2 | 0,0035 |
Educação médica | 44 | 350,3 | 0,0019 |
Aprendizagem | 32 | 182,1 | 0,0018 |
Educação superior | 31 | 198,18 | 0,002 |
Ensino | 25 | 94,4 | 0,0018 |
Educação em enfermagem | 20 | 62,5 | 0,0018 |
Política educacional | 17 | 55,6 | 0,0018 |
Internato e residência | 22 | 51,4 | 0,0018 |
Avaliação | 19 | 50,8 | 0,0018 |
Educação | 16 | 38,9 | 0,0018 |
Estudantes de medicina | 18 | 33,7 | 0,0018 |
Competência clínica | 16 | 26,5 | 0,0018 |
Currículo | 15 | 25,6 | 0,0018 |
Enfermagem | 14 | 24,2 | 0,0018 |
Motivação | 13 | 22,4 | 0,0018 |
Leitura | 13 | 16,3 | 0,0018 |
Educação em saúde | 10 | 15 | 0,0017 |
Fonte: Elaboração dos autores (2021)
Já era de se esperar que o termo “avaliação educacional” apresentasse resultados elevados para todas as medidas de centralidade, visto que foi o filtro utilizado para nossa catalogação. Entretanto, podemos elucidar através desses dados que as temáticas “Educação médica”, “aprendizagem”, “Educação Superior” e “Ensino” são as que mais se aproximam das discussões acerca da temática principal em questão.
Apesar de não nos aprofundarmos sobre as abordagens de cada obra catalogada para as devidas caracterizações e categorizações, esses resultados nos sugerem refletirmos sobre os temas que vêm sendo abordados de forma consistente no contexto da avaliação educacional, visto que muitos termos da área de saúde são aclarados em contraste à área de Educação.
3.3 Análise dos artigos
É incontestável que apenas observações quantitativas não são capazes de responder com clareza à pergunta inicial desse trabalho. É preciso não apenas conhecer quem se dedica ao tema, mas também inteirar-se a respeito do assunto relacionado e como ele está sendo abordado. Para isso, é necessária a análise dos artigos selecionados.
Nesse viés, tratamos, na presente seção, sobre o “que” e “como” a questão avaliação educacional está sendo abordada nesses artigos. Todavia, devido ao grande número de trabalhos selecionados, optamos em criar categorias que agrupam e abrangem os principais aspectos desses estudos.
3.3.1 Nível do Ensino
É explícita, nessa amostragem, a preocupação com o nível Graduação, uma vez que 64 artigos o retratam, abordando temas que incluem: o impacto positivo da interiorização das universidades, embora a distribuição regional ainda seja desequilibrada; a utilidade do Ensino a Distância (EaD); metodologias pedagógicas; modelo de avaliação dos alunos; diferentes análises sobre o Enade.
Já os cursos de Pós-Graduação foram foco de discussão de 22 dos artigos catalogados, com interpelações aos indicadores e/ou determinações oriundas da Capes.
Por outro lado, a Educação Básica como um todo foi tema de apenas sete trabalhos (4%), enquanto o Ensino Fundamental foi tema de 21 trabalhos (12%). Nesses, foram estudadas variáveis que podem influenciar o desempenho, tais como: repetência, nivelamento por idade, trabalho de casa, contexto socioeconômico e cultural dos alunos, infraestrutura da escola, acuidade visual dos alunos, diferenças entre turmas e entre escolas, composição social da escola, aspectos religiosos e raciais.
Ainda com menos incidência, o Ensino Médio e a Educação Profissional (Ensino Técnico) foram objeto de estudo de dois trabalhos cada, com abordagens à temática desempenho e avaliação por competência como caminho para emancipação do ensinar e do aprender, respectivamente.
Com relação à Educação Pré-Escolar e à Educação de Jovens e Adultos (EJA), identificamos uma pesquisa associada a cada nível. O primeiro foi um estudo norte-americano direcionado a mensurar a qualidade da Educação e a orientar políticas públicas de Educação Infantil. Quanto ao EJA, foi dissertado sobre o perfil dos concluintes nas diferentes regiões brasileiras.
3.3.2 Temática
Com relação aos temas abordados pelos artigos, percebemos que 124 deles tratam de assuntos gerais, como impacto social, validação de testes, avaliações cognitivas. Devido a essa fragmentação, dispendemos maior atenção àqueles que versam sobre avaliação do Ensino com repercussões sobre políticas públicas, o que resultou num recorte de 50 trabalhos. Desses, 17 artigos analisam a qualidade do Ensino por meio de avaliações em larga escala, sendo oito dessas pesquisas acerca da Educação Superior e alguns de seus sistemas de avaliação, como o Sistema Nacional de Avaliação da Educação Superior (Sinaes) – dois artigos; o Exame Nacional de Cursos – três artigos; e o Enade – três artigos, sendo dois relacionados à área de saúde. No que tange ao processo de seleção para o Ensino Superior, identificamos apenas dois trabalhos tecendo ponderações acerca do Enem e o Sistema de Seleção Unificada (Sisu/MEC).
Com relação aos estudos direcionados à Educação Básica, identificamos abordagens polarizadas sobre a Avaliação Nacional de Rendimento Escolar (conhecida como Prova Brasil), o Programa de Avaliação da Rede Pública de Educação Básica (Proeb) e o Saeb. Ainda no Ensino Fundamental, trabalhos sobre perspectivas de avaliações regionais entram em cena, como a pesquisa que analisou o Sistema Mineiro de Avaliação da Educação Pública (Simave) para buscar associações entre rendimento escolar, características técnico-pedagógicas das escolas e perfil socioeconômico de alunos da 4ª série. Outro artigo relevante cita o levantamento da produção científica em torno do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) no período de 1996 a 2011. Assim como o que aborda a Prova Rio, avaliação para acompanhamento longitudinal em matemática e português dos alunos das escolas municipais da cidade do Rio de Janeiro, ao utilizá-la como fonte de dados para sugerir a aceitação da teoria do “efeito mistura” no desempenho dos alunos, confirmando a hipótese de que, pelo menos, parte do que hoje é entendido como “efeito escola” poderia ser explicado pela composição social das escolas.
Ainda sobre avaliação em larga escala, observamos quatro artigos que tratam do tema de maneira bastante ampla. Um analisa três gerações deste modelo de avaliação (Saeb, depois Prova Brasil e por fim modelos estaduais, como o Saresp e o Sistema de Avaliação Educacional de Pernambuco – Saepe). Outro trabalho questiona o uso das avaliações de larga escala na ancoragem de políticas públicas, problematizando a influência dos fatores externos na composição do desempenho, a utilização do Índice de Desenvolvimento da Educação Básica (Ideb) como sintetizador da qualidade das instituições e o conceito de eficácia escolar. O Ideb foi criticado em outro artigo, destacando que esse índice foca resultados finalísticos, sem considerar as condições que propiciam a obtenção de tais resultados. E o último se refere ao Exame Nacional de Cursos com enfoque na Educação Superior.
A categoria de trabalhos que mais teceram considerações a respeito das avaliações foram os artigos, totalizando 16 trabalhos. Desses, quatro tinha como objetivo avaliar processos de avaliação particulares. Um se propõe a analisar o processo de avaliação da aprendizagem realizado em treinamentos ministrados à equipe de enfermagem. Outros dois examinam a importância da prova prática presencial no concurso de seleção de médicos residentes. O 4º trabalho realizou um estudo de caso com um aluno com necessidades especiais. Os demais artigos versaram sobre a apreciação das avaliações como políticas públicas, discutindo os processos de avaliação seriada, questionamentos à metodologia do Sisu, processos de avaliação em Saúde Pública na Argentina e no Brasil, comparações a respeito da avaliação educacional no âmbito internacional, envolvendo países como Brasil, Itália, Irlanda, Finlândia, Portugal e Inglaterra, entre outras reflexões.
Outros artigos trabalham com as políticas educacionais que tratam do trabalho pedagógico desenvolvido nas escolas, a “gestão por resultados”, os Sistemas Municipais de Ensino (SME) e a avaliação do rendimento escolar do Ensino Fundamental e a discussão sobre avalição na/da Educação Infantil.
4 Discussão
Ao evocar a pergunta que norteou todo esse trabalho: “quem produz sobre avaliação educacional no Brasil?” e ousar respondê-la, a partir dos dados obtidos, preliminarmente, em um universo de pesquisa restrito, dificilmente manifestaremos entusiasmo. O assunto pareceu provocar pouco interesse por parte dos pesquisadores, como revela o baixo número de artigos para o período analisado, ou seja, 174 artigos publicados em 19 anos, uma média de 9 artigos por ano. Em contraste, é relevante considerarmos o fato de que tais produções são relativamente recentes, sendo o 1º artigo identificado no ano de 1998, o que eleva a média de publicações a partir de 2009 para 13 anuais. Com relação ao notório pico de publicações em 2015 ( Gráfico 1 ), ao analisarmos que 11 desses trabalhos foram publicados na “Revista do Colégio Brasileiro de Cirurgiões”, identificamos que naquele ano ocorreu o XXXI Congresso Brasileiro de Cirurgia, com o tema “Um olhar sobre a Educação”, o que possivelmente corroborou para o desenvolvimento de tais pesquisas.
Os estudos bibliométricos e a ARS demostraram que a USP foi a instituição com maior número de publicações e colaborações sobre o enfoque “avaliação educacional”, relacionando-se ainda com outras 27 instituições em coautoria.
Ao verificarmos os 440 autores por meio da ARS, foi possível observar a existência de apenas 12 subconjuntos de coautoria. Isso é justificado pela polaridade de publicações, visto que apenas 64 autores publicaram mais de uma vez, aparentando ser um assunto casual que não, necessariamente, faz parte de suas linhas de pesquisa. Além disso, notamos que o compartilhamento de pesquisas entre diferentes autores envolve poucas instituições, na sua maioria públicas. Essa constatação também foi feita por Hilu e Gisi (2011) , num contexto mais amplo, no qual observaram que a produção científica brasileira está concentrada em poucas instituições, sendo as públicas geradoras de mais de 90% das publicações indexadas.
Ainda sobre os autores, é interessante observar que a maioria deles têm formação em medicina, justificando a predominância dessa área nas publicações no SciELO. Ao que tudo indica, não existe relação entre o interesse da área médica nas avaliações e a Avaliação Nacional Seriada dos Estudantes de Medicina (Anasem), uma vez que ela só foi implementada em 2016 e muito dos trabalhos são anteriores a essa data, sugerindo que tal interesse é anterior à Anasem.
Com relação aos nomes aclarados nessas análises, destacamos Wagner Andriola, da UFC, e Alicia Bonamino, da PUC-Rio, com números elevados de publicações em nossa amostragem. Entretanto, a partir da ARS, foi possível notar que Andriola se destaca em publicações de cunho individual ou envolvendo um círculo menor de outros pesquisadores. Já Bonamino, ao dispor de valores altos nas medidas de centralidade estudadas, possibilita de modo mais fluido na rede, a troca de informações entre demais pesquisadores. O mesmo acontece com o autor Joaquim Edson Vieira, detentor da maior centralidade de intermediação na rede de coautoria. Por outro lado, ao analisarmos suas publicações, identificamos que tais relações são, essencialmente, com pesquisadores da instituição ao qual é filiado, a USP.
Quanto ao estudo das palavras-chave, o fato do termo “avaliação educacional” ter sido o mais citado, não surpreende, visto que esse foi utilizado na busca ao repositório SciELO. O que causa estranheza é que ela aparece como primeira opção em apenas 53 trabalhos do total de 174. Quando as palavras-chave são elaboradas, espera-se que sejam hierarquizadas de acordo com a relevância dentro da lógica de quem está classificando. Esse, usualmente, é um processo espontâneo em que o autor identifica objetivamente aquele como o termo que melhor traduz seu trabalho, dando visibilidade orgânica do tema nos mecanismos de busca. Sendo assim, ao que parece, a avaliação na Educação não é o principal escopo desses trabalhos. De fato, o domínio da área da saúde nesse estudo explica uma menor atenção ao campo da Educação. Por outro lado, ao analisarmos as palavras-chave por meio das redes, verificamos que a temática aprendizagem e Ensino são abordadas de forma consistente no contexto da avaliação.
Um ponto de realce em nossas análises reside na observação de que nossos pesquisadores bebem, consideravelmente, de fontes estrangeiras além das nacionais, uma vez que 38,3% das referências citadas foram escritas em outras línguas. Isto é um fator importante para uma sociedade globalizada, como afirma Vasconcelos (2008) em sua tese de Doutorado, constatando que existe uma correlação entre produtividade e proficiência na língua inglesa. Nessa investigação, apenas 33% dos pesquisadores brasileiros se declararam proficientes no inglês, o que dificulta não apenas a redação como a compreensão dos trabalhos produzidos no exterior, isolando-nos dos conhecimentos produzidos em outros países.
Ainda no quesito referências, ao desconsiderarmos os documentos oficiais, destaca-se novamente o pesquisador Wagner Andriola. Essa informação posiciona tal autor como um dos mais relevantes na área de avaliação educacional no Brasil, tanto em produtividade quanto em citação. Vale ainda destacar que autores como Wagner Andriola e Dias Sobrinho sobressaíram-se em citações, inclusive, do autor Phillipe Perrenoud ( Quadro 1 ), referência mundial para educadores devido ao pioneirismo nos estudos da avaliação por meio da Teoria das Competências.
No que tange aos tipos de obras mencionadas nos trabalhos, percebemos que, individualmente, títulos de livros foram mais citados que artigos. Isso é natural, pois conceitos clássicos e parâmetros estão contidos nessas publicações. Em nosso estudo, “Análise de Conteúdo”, de Bardin, foi o trabalho mais referenciado, seguido da Constituição Federal do Brasil. Essa observação converge para a ocorrência de que questionários e entrevistas, seguidos de análise de conteúdo, foram as metodologias mais utilizada nos artigos.
Por fim, aclaramos que a vasta maioria dos trabalhos catalogados nesse estudo tiveram como foco os níveis Graduação e Pós-Graduação. Os poucos trabalhos voltados para a Educação Básica restringiram-se a discutir o papel do Estado nas avaliações e a medir o desempenho dos alunos em avaliações. Esse resultado talvez se explique pelos recursos dirigidos a cada nível de Ensino. O relatório da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), intitulado “Um olhar sobre a Educação”, divulgado em 2017 ( OECD, 2017 ), informa que o Brasil gasta US$ 3,8 mil anual por aluno matriculado no primeiro ciclo do Ensino Fundamental. Esse valor representa menos que a metade do gasto pelos países da OCDE, que é de US$ 8,7 mil. Por outro lado, o Brasil gasta US$ 11,7 mil com estudantes da Educação Superior, se igualando a países europeus, como Portugal, Espanha e Itália. Então, ao que parece pelos nossos resultados, pode haver uma relação entre o prestígio dos níveis de Ensino por conta dos recursos financeiros que lhes são dirigidos e o interesse de pesquisas e ações sobre avaliação educacional.
5 Considerações finais
Ao realizarmos uma busca no repositório SciELO a respeito do tema “Avaliação Educacional”, é importante frisar que os resultados são um recorte da área de Educação no Brasil. Certamente, considerando os critérios de exclusão, muitos trabalhos sobre o assunto ficaram de fora porque são publicados em periódicos qualificados não hospedados no SciELO, como mídias impressas, teses, dissertações, capítulos de livros, livros completos ou trabalhos publicados em Anais de eventos científicos. Portanto, nosso trabalho decerto não esgota a questão sobre o quê e quem trabalha com avaliação educacional no Brasil. Nossa contribuição se dá pela recomendação da necessidade de mais estudos no assunto, ao oferecer um levantamento inicial da produção brasileira, utilizando uma ferramenta de análise capaz de apresentar relações entre muitos dados.
Nesse sentido, verificamos na amostra que a pesquisa sobre avaliação educacional no Brasil é focada na Educação Superior, em especial, na área de saúde. A pouca produção nos 19 anos estudados aborda uma temática geral dispersa, mais preocupada com validações de testes específicos do que com qualidade da Educação. Nossa pesquisa reafirma o lugar comum da ciência brasileira: as três instituições que mais produziram no assunto são públicas e localizadas na região sudeste do país, centradas em poucos pesquisadores.
Assim, esse trabalho corrobora a atual situação de Educação brasileira, como apresentado na introdução. Há 11 anos, Charlot (2008 p.20) já apontava que
O professor ganhou uma autonomia profissional mais ampla, mas, agora, é responsabilizado pelos resultados, em particular pelo fracasso dos alunos. Vigia-se menos a conformidade da atuação do professor com as normas oficiais, mas avaliam-se cada vez mais os alunos, sendo a avaliação o contrapeso lógico da autonomia profissional do docente. Essa mudança de política implica uma transformação identitária do professor.
No mundo globalizado, a qualidade da Educação é fator relevante para a competitividade e o melhor aproveitamento das oportunidades. Nossa posição no cenário mundial nesse quesito é, no mínimo, desproporcional à importância que o país tem ocupado em outras áreas. Se temos a intenção de aperfeiçoar o sistema educacional brasileiro, é preciso contar com a contribuição de avaliações constantes da estrutura como um todo para, produzindo evidências, corrigir rotas e redefinir metas. Parafraseando Gomes (1999 , p. 267), a qualidade da Educação certamente não se reduz ao desempenho nas avaliações, “mas incontestavelmente [a] inclui”. Porém, para que isso aconteça de maneira eficiente, pesquisas no campo da avaliação e da meta-avaliação são vitais para a oferta de evidências que favoreçam políticas públicas que diminuam as desigualdades e a maior autonomia das escolas e dos estudantes. Na amostra de pesquisa apresentada, o número e o perfil das pesquisas são restritos e isso é preocupante visto que, como escrevem Estrela e Nóvoa (1999) , a avaliação cresceu a partir de dois elementos: a crise e a reforma e, como todos sabemos, o Brasil vive hoje ondas de crises e de reformas.