SciELO - Scientific Electronic Library Online

 
 issue56INTERGENERATIONAL EDUCATION IN FACE OF THE POLICY DISCOURSE OF ACTIVE AGEINGMAKE-BELIEVE ACTIVITIES: A CREATIVE RE-ELABORATION OF THE CHILD REGARDING WORK RELATIONSHIPS author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Share


Eccos Revista Científica

Print version ISSN 1517-1949On-line version ISSN 1983-9278

Eccos Rev. Cient.  no.56 São Paulo Jan./Mar 2021  Epub Feb 05, 2024

https://doi.org/10.5585/eccos.n56.13437 

Artigo

AVALIAÇÃO DE CURSOS DO ENSINO SUPERIOR NO BRASIL: O SINAES NA SUA RELAÇÃO COM A QUALIDADE

EVALUATION OF HIGHER EDUCATION COURSES IN BRAZIL: THE SINAES IN ITS RELATIONSHIP WITH QUALITY

Lourdes Maria Rodrigues Cavalcanti, Mestre em Políticas Públicas1 
http://orcid.org/0000-0002-1659-0821

Maria Das Graças Gonçalves Vieira Guerra, Pós-Doutora2 
http://orcid.org/0000-0002-6943-0338

Claudia Suely Ferreira Gomes, Mestre em Políticas Públicas3 
http://orcid.org/0000-0003-4130-4935

1Mestre em Políticas Públicas, Gestão e Avaliação da Educação Superior - UFPB, Universidade Federal da Paraíba - UFPB, João Pessoa, PB - Brasil

2Pós-Doutora pela Universidade do Porto - Portugal, Universidade Federal da Paraíba - UFPB, João Pessoa, PB - Brasil

3Mestre em Políticas Públicas, Gestão e Avaliação da Educação Superior - UFPB, Universidade Federal da Paraíba - UFPB, João Pessoa, PB - Brasil


Resumo

O presente artigo tem como objetivo principal analisar o processo de avaliação de cursos do ensino superior no Brasil. A metodologia de pesquisa seguiu um procedimento de caráter descritivo e de abordagem qualitativa, concretizado por uma análise da avaliação de cursos, decorrente do Sistema Nacional de Avaliação da Educação Superior (SINAES), seguidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), responsável pela avaliação desses cursos. Os resultados obtidos mostram que a avaliação de cursos constitui um meio para garantir a qualidade da educação, sendo um fator decisivo nos planos de melhoria das instituições de educação superior no Brasil. O estudo realizado permitiu também constatar que a qualidade, sendo um conceito historicamente situado, em cada período é avaliado de uma maneira diferente, estando, nesta era da globalização, fortemente associada à investigação, à internacionalização e às exigências do mercado. Estes aspectos constituem fatores decisivos nas tomadas de decisão para a avaliação dos cursos de educação superior.

Palavras-chave: Avaliação da qualidade; Brasil; Cursos; Educação superior; SINAES.

Abstract

The main objective of this article is to analyze the evaluation process of higher education courses in Brazil. The research methodology followed a descriptive and qualitative approach procedure, materialized by an analysis of the evaluation of courses, resulting from the National System of Evaluation of Higher Education (SINAES), followed by the National Institute of Educational Studies and Research Anísio Teixeira (INEP), responsible for the evaluation of these courses. The results obtained show that the evaluation of courses constitutes a means to ensure the quality of education, being a decisive factor in the improvement plans of higher education institutions in Brazil. The study also showed that quality, being a historically situated concept, is evaluated in each period in a different way, being, in this era of globalization, strongly associated with research, internationalization and market demands. These aspects are decisive factors in decision making for the evaluation of higher education courses.

Keywords: Evaluation of quality; Brazil; Courses; Higher education; SINAES.

Introdução

A palavra ‘qualidade’ está presente em todas as ações e cenários da vida cotidiana das pessoas, e tem vários significados, sendo um conceito polissêmico, com significados diferentes, para distintas áreas do conhecimento. Na área de Educação, qualidade significa colocar em prática o plano estabelecido na área educacional, com maestria, visando o alcance dos resultados propostos, significando também a existência de condições para uma formação plena do cidadão, que o tornem, apto e preparado, para viver na atual sociedade do conhecimento e da tecnologia, marcada pela comunicação internacional e sem fronteiras. É neste sentido que Fernandes (2013, p.12) afirma que a avaliação “nos permite formular juízos acerca de todas as áreas de funcionamento da sociedade e tomar decisões fundamentadas, tendo em vista a sua melhoria”. Dias Sobrinho refere:

A qualidade é, então, conformidade a padrões previamente estabelecidos por especialistas e pelos membros de órgãos que definem os critérios e padrões através dos quais são controlados os setores acadêmicos e efetuadas as medidas. Como tendência geral, se observa que, quando a avaliação e o conceito de qualidade estão determinados pelos especialistas externos e as autoridades governamentais, em geral, se limitam a controlar, medir certificar e regular, em detrimento dos processos participativos e formativos de reflexão e debates da comunidade acadêmica e científica, com prejuízo, portanto, ao exercício da autonomia universitária (DIAS SOBRINHO, 2008, p. 819).

A discussão em torno da temática de avaliação da qualidade, dos cursos superiores universitários, tem marcado todo o país, por grandes debates, todos eles relacionados à busca dessa qualidade, na sua relação com os preceitos da eficiência e da eficácia. Esta orientação é devida às exigências e pressões que as Instituições de Educação Superior (IES) estão sofrendo, por causa da globalização, que exige a formação de indivíduos competitivos, preparados e aptos a trabalhar em qualquer nação, com as qualificações devidamente reconhecidas, em qualquer país onde esse profissional for exercer suas atividades profissionais. Como é salientado por Luiz Fernandes Dourado e João Ferreira de Oliveira,

Compreende-se então, a qualidade, com base em uma perspectiva polissêmica, em que a concepção de mundo, de sociedade e de educação, evidencia e define os elementos para qualificar, avaliar e precisar, a natureza, as propriedades e os atributos desejáveis de um processo educativo de qualidade social (DOURADO; OLIVEIRA, 2009, p. 202).

Entende-se, pois, que à qualidade está associado o movimento de avaliação desta qualidade, tal como é salientado por Silva e Farias (2014) quando referem que o discurso da qualidade da educação superior, está diretamente relacionado ao discurso da avaliação, ou seja, a busca pela qualidade, desse nível de ensino, pressupõe a realização de processos avaliativos que tendem a identificar, nas IES, os aspectos que devem ser melhorados. Outra ideia salientada no estudo desses autores, é que a qualidade da Educação Superior está relacionada, tanto com as questões de âmbito interno das IES - tais como currículo, infraestrutura, processo de ensino e aprendizagem - como aos contextos externos, de que são exemplos as políticas públicas e as influências do mercado. Como referem Rios, Calderón, Sousa (2012,) a avaliação deve contribuir para

definir políticas emancipatórias, posto que, enquanto prática social, tem como propósito melhorar a qualidade da educação. Pensar a avaliação, nessa perspectiva, implica considerar a diversidade local e global e superar as dicotomias, tendo em vista que a avaliação é uma construção social complexa, uma vez que envolve finalidades, práticas e políticas próprias, tanto dos sujeitos quanto da natureza do que será avaliado e, portanto, requer problematização no contexto de mudanças amplas e significativas para a educação (RIOS; CALDERON; SOUSA, 2012, p.86).

As IES têm enfrentado desafios decorrentes de um mundo em mudanças contínuas, cada vez mais rápidas, e repleto de exigências, características da sociedade do conhecimento. Dos docentes, é esperado a capacidade de agregar valor à experiência de seus discentes, que possuam um currículo que contemple a dimensão internacional, sendo capazes de um forte envolvimento na investigação - associada às necessidades do mercado - e que participem, ativamente, dos processos de avaliação voltados ao fomento da qualidade do ensino superior. É neste cenário, que os processos que promovem a qualidade do ensino superior, e dos cursos que nele são oferecidos, têm sido objetos de discursos políticos e acadêmicos, que visam alterações nos ambientes universitários e nos seus sistemas de organização. A esse respeito, Hass (2017, p. 79), compreende que a qualidade da educação é ‘um valor construído a partir das políticas e práticas que a regulamentam, tornando essas políticas um espaço de luta entre os diferentes interesses dos grupos que atuam na educação superior’.

Assim, a “garantia de qualidade” é entendida como meio de validação do cumprimento de requisitos essenciais, por parte das IES, que assegurem que tenham condições de desempenhar as suas funções acadêmicas, nos domínios da pesquisa, do ensino, da extensão e da internacionalização. Como se percebe, a garantia da qualidade no sistema educacional, implica uma ação colaborativa e permanente, entre o Estado - através do Ministério da Educação (MEC), responsável pela avaliação das IES - e os cursos do ensino superior, ressaltando-se que, ao MEC, cabe definir a legislação, as regras e os focos dos processos de avaliação, com vistas a garantir a avaliação e sua validação.

Borges e Botiglieri (2014) sustentam que, ao se falar de qualidade em educação, deve se ter em mente a forma como ela é compreendida, o modo pelo qual é estabelecida e como é avaliada. Enfatiza-se, portanto, que a temática da avaliação, com foco na qualidade, em relação à educação superior, é uma discussão recorrente na agenda das políticas públicas do sistema de educação nacional, à qual o Estado Brasileiro dispensa grande atenção.

Dito isto, constatou-se que o processo de planejamento, concepção e evolução das políticas, regulações e mecanismos de avaliação da educação superior, no Brasil, teve início no final do período da ditadura militar (1964-1985), evoluindo, desde então, em alguns momentos, observando-se um real avanço na construção dessas políticas e, em outros, percebeu-se retrocessos decorrentes de aspectos políticos, econômicos e sociais, do periodo em questão. A partir da década de 1980, o Estado brasileiro começou a elaborar instrumentos e mecanismos, com o objetivo de regular e avaliar, a educação superior do setor público, tendo como marco regulatório inicial, a criação, no ano de 1986, do Grupo Executivo para a Reformulação da Educação Superior (GERES), que deve ser considerado o primeiro ato concreto, por parte do Estado brasileiro, voltado para a regulação e o controle da educação superior, no país. Em 2004, com a Lei nº 10.861 (de 14 de abril de 2004), a Avaliação da Educação Superior foi marcada por uma efetiva reforma, com a criação do Sistema Nacional de Avaliação da Educação Superior (SINAES), sendo delegado ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) a responsabilidade pela sua realização (GRIBOSKI; FUNGHETTO, 2013).

Tendo a problemática da qualidade como referência, o objetivo deste artigo é analisar o processo de avaliação do ensino superior, no Brasil, nas razões que o justificam, e nos processos que segue. Por isso, a metodologia adotada na pesquisa, é de caráter descritivo, numa orientação qualitativa, concretizada por uma análise da legislação sobre avaliação de cursos, de acordo com os critérios seguidos pelo INEP, responsável por tais avaliações.

Processos de avaliação de cursos de educação superior no Brasil

No contexto desta investigação, a palavra Estado refere-se à entidade com poder soberano, capaz de governar um povo, dentro de uma área territorial delimitada, com a atribuição de desempenhar funções políticas, sociais e econômicas. Já o termo governo, refere-se à uma das instituições que compõem o Estado, cuja função é administrá-lo. Levando-se em consideração que os governos são transitórios e apresentam diferentes formas, enquanto que o Estado é permanente, é necessário esclarecer que política de Estado é toda política que - independente do governo e do governante - deve ser implementada pelo Estado, porque é amparada pela Constituição que o legitima.

No ano de 1988, o Brasil teve a sua primeira Constituição Cidadã, enfatizando, três aspectos: a democratização do Estado, a descentralização na gestão pública e a profissionalização da burocracia, lançando as bases da Reforma Administrativa do Estado Brasileiro, implementada através da Emenda Constitucional n° 19, de 06 de junho de 1998.

No ano de 1996, através da Lei nº 9.394/1996, de 20 de dezembro de 1996, foi instituída a Lei de Diretrizes e Bases da Educação Nacional (LDB), que promoveu algumas mudanças no ensino superior, dentre as quais Pereira e Forte (2008, p.109) destacam: autorização de cursos sequenciais; abertura a instituições não universitárias (centros universitários, faculdades integradas, faculdades, escolas superiores, institutos superiores e centros tecnológicos), para oferecerem educação superior; universidades especializadas por campo de saber; autonomia às universidades, com permissão para a criação, organização e extinção de seus cursos de graduação, criação de processo regular de avaliação do ensino pelo Ministério da Educação - MEC e do INEP. Ainda, a LDB, em seu artigo 20, criou quatro categorias de IES privadas: particulares, comunitárias, confessionais e filantrópicas.

O Plano Diretor da Reforma do Estado, identificou quatro setores como funções do setor público: a) o núcleo estratégico - que compreende na esfera federal, o Poder Executivo e os órgãos da administração direta da Presidência da República e dos Ministérios, cuja atribuição é definir e avaliar as políticas públicas; b) atividades exclusivas do Estado - que são as de regulação, fiscalização, arrecadação e de polícia; c) serviços não-exclusivos ou competitivos - são as atividades que o Estado realiza ou subsidia, consideradas de alta relevância para o bem estar social, organizadas, na administração pública, geralmente como autarquias ou fundações públicas, no âmbito da administração indireta; d) setor de produção de bens e serviços para o mercado - compreende as atividades produtivas realizadas de forma direta ou indireta pelo Estado, através de empresas públicas de economia mista, que opera em setores de serviços públicos ou em setores estratégicos.

Com base no que já foi dito, afirma-se que o SINAES é uma política pública, e conforme nos diz Verhine (2015, p.604), foi concebido com a promessa de articular avaliação educativa - de natureza formativa - com os processos de regulação (supervisão e fiscalização), exercidos pelo Estado. Partindo dessas considerações, é importante ressaltar: legalmente o SINAES altera, amplia e, efetivamente, constrói um inédito sistema de avaliação do Ensino Superior (BARCELOS; RODRIGUES, 2017, p. 10).

O SINAES é formado por três componentes: a Avaliação Institucional das IES, a Avaliação dos Cursos de Graduação e a Avaliação de Desempenho dos Estudantes, conforme dados constantes na Figura 1.

Fonte: Adaptado de BRAIL (2018).

Figura 1 Componentes dos SINAES 

A proposta do SINAES baseou-se em um conjunto de critérios e princípios, que serviram de fundamentação conceitual e política, sobre os quais faremos brevíssimas considerações, de acordo com BRASIL (2004, p.84-92):

  1. A educação é um direito social e dever do Estado - As IES, mediante o poder de regulação e de direção política do Estado, têm a responsabilidade de um mandato público, para proporcionar aos indivíduos, o exercício de um direito social. Portanto, a avaliação da educação superior, no nível geral e com indicadores comuns, deve dar respostas públicas à questão de como o sistema e cada uma das instituições, e suas partes, estão exercendo o mandato que lhes foi socialmente outorgado;

  2. Valores sociais historicamente determinados - dois dos mais importantes critérios da qualidade da educação superior consistem na relevância, da formação e da produção de conhecimentos, para o desenvolvimento do conjunto da população, e para o avanço da ciência, e, na sua eficácia, para fortalecer as preferências éticas e políticas, dominantes em um determinado momento histórico;

  3. A avaliação tem função de regulação e controle - o Estado supervisiona e regula, a educação superior, para efeitos de planejamento e garantia de qualidade do sistema. Para isso, precisa estabelecer, claramente, sua política e, para viabilizá-la, deve utilizar seus aparatos normativos de controle, fiscalização e supervisão, bem como outros meios para implementá-los. Compete, portanto, ao Estado, avaliar a educação superior, de modo a fornecer elementos para a reflexão, e propiciar melhores condições de desenvolvimento;

  4. A avaliação é uma prática social com objetivos educativos - a avaliação, de caráter educativo, é uma prática social, com objetivos essencialmente formativos, voltada, tanto para a obtenção de informações que gerem reflexões indutoras da melhoria da qualidade acadêmica, quanto para o julgamento, a respeito de como o sistema, e as instituições de educação, superior cumprem suas funções públicas. Seus processos de questionamento, conhecimento e julgamento se propõem, principalmente, a melhorar o cumprimento dos compromissos institucionais, por meio da elevação da consciência pedagógica e da capacidade profissional dos docentes, da produção de conhecimentos e da análise crítica do conjunto de práticas e dinâmicas institucionais;

  5. A avaliação se baseia no respeito à identidade e à diversidade institucionais, em um sistema diversificado - a diversificação institucional, bem como a crise de identidade da educação superior, por uma parte, explicam-se pela necessidade de criar instituições, com diferentes formas e concepções, e, por outro lado, pela dificuldade de atender, satisfatoriamente, a todas essas exigências, e aos múltiplos desafios gestados, neste período histórico;

    Cada instituição tem sua história e constrói, concretamente, suas formas e conteúdos próprios, que devem ser respeitados. A identidade institucional é uma construção relacionada com a história, as condições de produção, os valores e objetivos da comunidade, as demandas concretas, as relações interpessoais, e, neste contexto, a avaliação deve estabelecer um elo de ligação entre o específico institucional e o sistema de Educação Superior;

  6. Globalidade - o Estado deve implantar os instrumentos avaliativos que possibilitem uma visão global do sistema, tendo por objetivo tanto a regulação, quanto a implementação de medidas e ações de melhoramento. A perspectiva da globalidade traz, consigo, a ideia de integração das partes em um todo coerente, sendo essa, uma busca central para a construção de um sistema de avaliação, tanto nas dimensões internas e institucionais, quanto nas suas manifestações externas e de sistema;

  7. Legitimidade - é a concepção democrática de educação e de avaliação que confere, aos processos avaliativos, um grande sentido de legitimidade ética e política. Os processos de avaliação movem-se dentro de um marco ético, em que devem estar garantidos alguns critérios: liberdade no debate argumentativo, negociação, solidariedade (cooperação), equidade (tratamento justo e adequado), compromisso com o conhecimento, com os valores socialmente distinguidos e com a responsabilidade pública; e

  8. Continuidade - os processos de avaliação devem ser contínuos e permanentes, não episódicos, pontuais e fragmentados. Processos contínuos criam a cultura da avaliação educativa, internalizada no cotidiano, em que a comunidade educativa assume, de modo ativo, as suas responsabilidades, na construção da Educação, comprometida com os interesses e valores da sociedade.

Para Ristoff e Giolo (2006, p.198-199), a base de concepção do SINAES teve como princípio norteador, organizar e operacionalizar a avaliação, através de um processo articulado, de todas as avaliações da educação superior, integrando metodologias, espaços e instrumentos de avaliação e de informação. Desta forma, dizem, o SINAES é, de fato, um sistema, pois integra os instrumentos de avaliação entre si; os instrumentos de avaliação aos de informação; os espaços de avaliação do MEC; e a autoavaliação à avaliação externa, articulando, sem confundir, avaliação e regulação.

O Quadro 1 contém os instrumentos do SINAES por ocasião de sua criação, no ano de 2004.

Quadro 1 Instrumentos do SINAES em 2004 

Instrumentos do SINAES - 2004
Autoavaliação - conduzida pela CPA (Comissão Própria de Avaliação)
Avaliação externa
ENADE- Exame Nacional de Desempenho de Estudantes
Avaliação dos cursos de graduação - CPC - Conceito Preliminar de Curso
IGC - Índice Geral de Cursos
Instrumentos de informação (censo e cadastro)
Censo da Educação Superior
Cadastro de cursos e instituições

Fonte: Adaptado de BRASIL (2004, p.133-140).

Quadro 2 Relação entre conceito, legenda e significado - IAIE/IACG - 2017 

Conceito Legenda Significado
1 Insatisfatório Ausência crítica do objeto de avaliação ou de evidência dos atributos descritos no conceito 2
2 Parcialmente Insatisfatório Ausência de evidência dos atributos descritos no conceito 2
3 Satisfatório Evidência para os atributos apresentados nos descritores do conceito 3
4 Bom Evidências para os atributos apresentados nos critérios de análise do conceito 3 e do(s) critério(s) aditivo(s) do conceito 4
5 Muito Bom Evidências para os atributos apresentados nos critérios de análise do conceito 3 e do(s) critério(s) aditivo(s) dos conceitos 4 e 5

Fonte:INEP (2017, p.4)

  1. A Avaliação das IES - AI - utiliza-se de dois processos, a saber: a Autoavaliação, conduzida pela Comissão Própria de Avaliação (CPA) de cada instituição, e a avaliação externa, realizada pelo INEP/MEC. Em relação à Autoavaliação - conduzida pela CPA - cada instituição realiza uma autoavaliação, que será o primeiro instrumento a ser incorporado ao conjunto de mecanismos constitutivos, do processo global de regulação e avaliação. A autoavaliação articula um estudo reflexivo, segundo o roteiro geral - proposto em nível nacional - acrescido de indicadores específicos, projeto pedagógico, institucional, cadastro e censo. O relatório da autoavaliação deve conter todas as informações, e demais elementos constantes no roteiro comum, de base nacional, análises qualitativas e ações de caráter administrativo, político, pedagógico e técnico-científico. Esses aspectos devem guiar o processo de avaliação e identificação, dos meios e recursos, necessários para a melhoria da IES, bem como uma análise de acertos e equívocos, do próprio processo de avaliação. Por sua vez, a Avaliação externa é feita por membros externos, pertencentes à comunidade acadêmica e científica, designados pelo INEP/MEC. sendo a avaliação in loco, a etapa fundamental, cujo ponto alto ocorre com a elaboração de um relatório, pela comissão de avaliadores, no qual constam os indicadores medidos e as informações apresentadas pela IES, que traduzem a realidade comprovada - pela comissão de avaliação in loco - durante a visita., A partir desse diagnóstico, é gerado o Conceito Institucional (CI), com notas atribuídas de acordo com o detalhamento esquematizado no Quadro 2.

  2. A Avaliação dos Cursos de graduação utiliza diferentes variáveis, com base na avaliação de desempenho de estudantes, no valor agregado pelo processo formativo e em insumos referentes às condições de oferta - corpo docente, infraestrutura e recursos didáticos-pedagógicos - e, de acordo com orientações da Coordenação Geral de Avaliação dos Cursos de Graduação e Instituições de Ensino Superior do INEP, através da Nota Técnica nº 016/2017 - que propôs novos instrumentos de avaliação externa, para cursos de graduação - presencial e a distância, tendo como base, a análise das avaliações in loco e os instrumentos de avaliação, então em vigor, como resultado do monitoramento constante dos processos, e resultados das avaliações realizadas, utilizando-se de estudos estatísticos, descritivos e inferenciais, levando também em consideração as demandas externas recebidas pela referida Coordenação, os estudos sobre a literatura especializada e o atendimento às metas 12 e 13 do Plano Nacional de Educação (PNE). O principal objetivo dessa medida foi a necessidade de adequação às novas demandas que emergiram dessas análises, notadamente em relação ao perfil institucional e à atuação das IES, em relação às condições de ensino ofertadas, até então.

  3. A Avaliação do Desempenho dos Estudantes é feita através do ENADE, que avalia o rendimento dos concluintes dos cursos de graduação, em relação aos conteúdos programáticos, habilidades e competências adquiridas em sua formação, sendo obrigatório; a situação de regularidade deve constar no histórico escolar do aluno, tendo, entre outros objetivos, o de avaliar, comparativamente, a formação oferecida pela IES aos estudantes das respectivas áreas avaliadas. O ENADE obedece a um ciclo de avaliação, por área, tendo cada um, regulamentação específica. (GUERRA; CAVALCANTI, 2020, p.30).

É oportuno ressaltar que as duas principais funções das avaliações conduzidas pelo SINAES, são a regulação - que ocorre através das funções de supervisão, fiscalização e decisões de credenciamento - e a avaliação propriamente dita, que se orienta para a missão institucional da educação superior.

O SINAES tem por finalidades, a melhoraria da qualidade da educação superior, a orientação da expansão de sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social, e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das IES, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (BRASIL, 2004, p.133).

Análise dos critérios de avaliação de cursos de educação superior no Brasil

Conforme Brasil (2017), com o ingresso das IES no Sistema Federal de Ensino, os cursos de graduação necessitam de autorização, para serem iniciados. Além disso, se submetem a processos de reconhecimento e renovação de reconhecimento, para que possam dar continuidade às suas atividades. O INEP utiliza dois instrumentos nos processos de Avaliação dos Cursos de Graduação - presencial e a distância - que são: o Instrumento de Avaliação de Cursos de Graduação (IACG) relativo aos processos de Autorização e o IACG referente aos processos de Reconhecimento e de Renovação do Reconhecimento dos Cursos.

No mês de dezembro de 2017, o INEP instituiu novos instrumentos de avaliação de cursos de graduação, e de avaliação de Instituições de Ensino Superior, utilizando-se das prerrogativas que lhe são asseguradas por Lei, elaborando, para tal, a legislação específica e complementar, com vistas ao pleno cumprimento e execução das novas regulações, então estabelecidas. Segue, no Quadro 3, a legislação específica complementar aos novos instrumentos de avaliação do SINAES, instituídos no ano de 2017. (CAVALCANTI; GUERRA, 2020, p.29).

Quadro 3 Legislação específica complementar: Novos Instrumentos de Avaliação do SINAES - 2017 

Nota Técnica nº 016/2017/CGACGIES/DAES - propõe novos instrumentos de avaliação externa: instrumento de avaliação institucional externa - presencial e a distância; Instrumento de avaliação de cursos de graduação - presencial e a distância.
Portaria Normativa nº 19, de 13 de dezembro de 2017 - dispõe sobre os procedimentos de competência do INEP, referentes à avaliação de instituições de educação superior, de cursos de graduação e de desempenho acadêmico de estudantes.
Instrução Normativa nº 2, de 18 de dezembro de 2017 - regulamenta os artigos 5º, 6º, 8º, 11, 13, 16, 20, 22, 24, 27, 28, 32, 33 e 34 da Portaria Normativa nº 19, de 13 de dezembro de 2017 - dispõe sobre os procedimentos de competência do INEP, referentes à avaliação de educação superior, de cursos de graduação e de desempenho acadêmico de estudantes.
Decreto nº 9.235, de 15 de dezembro de 2017 - dispõe sobre o exercício das funções de regulação, supervisão e avaliação das instituições de educação superior e dos cursos superiores de graduação e de pós-graduação lato sensu, no sistema federal de ensino.
Portaria Normativa MEC nº 840, de 24 de agosto de 2018 - dispõe sobre os procedimentos de competência do INEP referentes à avaliação de Instituições de educação superior, de cursos de graduação e de desempenho acadêmico de estudantes.
Portaria MEC n° 96, de 22 de janeiro de 2020 - Recria a Comissão Técnica de Acompanhamento da Avaliação do Sistema Nacional de Avaliação da Educação Superior - Sinaes e do Sistema de Avaliação de Escolas de Governo.

Fonte:Cavalcanti e Guerra (2020, p.30).

A Nota Técnica 16/2017/CGACGIES/DAES deu nova denominação aos instrumentos de avaliação do SINAES, a saber: Instrumento de Avaliação de Cursos de Graduação (IACG) - Presencial e a Distância - Autorização, Reconhecimento e Renovação de Reconhecimento; Instrumento de Avaliação Institucional Externa(IAIE) - Presencial e à Distância - Credenciamento e Recredenciamento; separação dos instrumentos por ato autorizativo; alteração de informações da seção de análise preliminar e considerações finais dos instrumentos; inserção e modificação de indicadores; criação dos conceitos: CCfaixa, CIfaixa, CCcontínuo e Cicontínuo.

Dessa forma, esta nota técnica objetiva apresentar a lógica adotada para reelaboração dos instrumentos e descrever as principais alterações relativas à seção de contextualidade dos instrumentos, à adequação da escola e de seus mecanismos, aos critérios para a inserção e modificação de indicadores, à forma de divulgação dos conceitos resultantes dos instrumentos de avaliação e à mudança no formulário eletrônico das IES na Fase Inep de Avaliação (BRASIL, 2017, p.1).

O processo de autorização de curso abrange todas as IES que ofertam cursos, tanto na modalidade presencial, quanto na modalidade a distância, sejam elas faculdades, centros universitários ou universidades privadas. O Novo Instrumento de Avaliação de Curso de Graduação - Presencial e a Distância contempla as três dimensões previstas no SINAES, constantes do PPC: Dimensão 1 - Organização didático-pedagógica, Dimensão 2 - Corpo Docente e Tutorial e Dimensão 3 - Infraestrutura, agrupadas de acordo com a afinidade, em três dimensões, com indicadores referentes aos elementos de avaliação, com respectivos critérios para sua análise e verificação, conforme esquematizado na Figura 2.

Fonte: Adaptado de BRASIL (2017, p. 9 - 41).

Figura 2 Instrumento de avaliação de cursos de graduação - Presencial e a distância - 2017 

É a partir do ingresso das IES, no Sistema Federal de Ensino, que os cursos de graduação recebem autorização para iniciar suas atividades; o procedimento seguinte é o reconhecimento do curso, que permite à IES emitir diplomas aos seus graduados, e, por fim, ocorre o ato autorizativo de renovação do reconhecimento do curso, que se dá após a realização de processos avaliativos periódicos, que garantem a continuidade na oferta de cursos a essas IES.

A autorização de curso transcorre dentro de um fluxo processual, composto por diversas etapas, dentre as quais a avaliação in loco, que culmina em um relatório da comissão de avaliadores, em que constam aferidas as informações apresentadas pelo curso, relacionadas à realidade encontrada durante a visita. É gerado assim, o Conceito de Curso - CC, graduado em cinco níveis, cujos valores iguais ou superiores a três, indicam a qualidade satisfatória (BRASIL, 2017, p. 5).

O ato autorizativo abrange IES, de diversas naturezas jurídicas: faculdades, centros universitários e universidades privadas, que ofertem cursos de graduação, na modalidade presencial ou a distância. Os avaliadores verificam as três dimensões do SINAES, constantes no Projeto Pedagógico de Curso - PPC, que vai gerar o Conceito Institucional (CI), ressalvando-se que, os conceitos obtidos na avaliação, não são garantia do deferimento do ato de autorização.

Todos os processos de credenciamento, recredenciamento e transformação de organização acadêmica, relativos ao IAIE, bem como os processos de autorização, reconhecimento e renovação de reconhecimento relativos ao IACG, ficarão a cargo da União, que para fazer cumprir tal responsabilidade, terá acesso a todos os dados e informações necessários, de todos os estabelecimentos e órgãos educacionais, sistematizados no SINAES, sistema que consideramos indispensável para a prestação de contas à sociedade, em relação à qualidade do ensino ofertado.

Hoje, é possível afirmar que o cenário histórico, socioeconômico e político, que se instalou no país, após a Reforma Administrativa do Estado, no ano de 1998, favoreceu mudanças significativas nas funções de regulação e avaliação da educação, de forma geral, e da educação superior, de forma específica, na medida em que essas regulações progrediram e foram aperfeiçoadas culminando com a criação do SINAES, que tem se mostrado um instrumento adequado à avaliação da educação superior, mesmo convivendo com muitos desafios, seguindo como modelo de avaliação que deverá, ao longo dos anos, e na medida em que a cultura da avaliação se consolidar, sofrer ajustes, aperfeiçoar os indicadores de qualidade, e seus instrumentos, pois a avaliação da educação superior precisa, no dizer de Dias Sobrinho,

por em questão a pertinência social de cada instituição, em particular, e de todo o sistema. Isso implica avaliar como as expectativas da sociedade estão sendo cumpridas, como se realizam as relações entre educação superior e o resto dos sistemas educativo e científico-tecnológico, os setores produtivos e, de modo especial, as categorias tradicionalmente desfavorecidas (DIAS SOBRINHO, 2008, p.87).

Pelo exposto, constata-se que o processo de avaliação de cursos é complexo e minucioso, o que exige, por parte das IES, o comprometimento em relação ao cumprimento das diretrizes do MEC, notadamente, visando estabelecer mecanismos eficazes para a melhoria da avaliação dos cursos.

Concepções de avaliação na sua relação com a procura da qualidade da educação superior

As IES têm se deparado, na atual sociedade do conhecimento, com o desafio de se inserir em um mundo, cada vez mais, dinâmico e globalizado, caracterizado por inúmeras e múltiplas exigências, aos profissionais formados nessas instituições, de forma que ocorre o aumento pela busca de uma IES, que seja detentora de algumas características, das quais destacamos: que tenha boas relações com a comunidade acadêmica; que seja capaz de agregar valor à experiência de seus alunos; que tenha ambientes e climas acadêmicos apropriados; o currículo deve contemplar a dimensão internacional; as pesquisas ali realizadas devem se conectar às reais necessidades do mercado e, por fim, deve promover uma avaliação voltada para uma gestão de qualidade, do ensino superior.

A exigência de processos que garantam a qualidade do ensino superior - e dos cursos que são oferecidos - sustentam um discurso político, social e acadêmico, que está na base das mudanças nos ambientes universitários, e servem de argumento para justificar alterações dos seus sistemas de organização, chamando-se a atenção para a necessidade de regular a quantidade de IES, e o número de cursos, que cresceram fortemente nos últimos anos. Só para se ter uma ideia, conforme os dados do Censo da Educação Superir do INEP, do ano de 2018, de acordo com Brasil (2018), haviam 2.448 IES, 35.380 cursos de graduação, e 8.286.663 estudantes; atualmente, conforme dados do INEP (2020), referentes ao ano de 2019, há 2.608 IES, 40.427 cursos de graduação e 8.603.824 estudantes. Em outras palavras, os dados do Censo, relativos ao ano de 2019, mostram um aumento - em relação ao Censo de 2018 - de 6,54% das IES, 14,27% de cursos de graduação e de 3,83% de estudantes ingressantes no ensino superior.

Por isso, os compromissos assumidos pelo Estado, no passado, serviram de argumento para monitorar, com maior efetividade, três tipos de avaliação, a saber: a forma como estes cursos estão sendo oferecidos, o perfil dos estudantes que estão sendo formados e o perfil dos professores que asseguram essa formação. Reconhecendo que a educação diz respeito a todos, já que é um fator de desenvolvimento individual e social, a sua avaliação é uma prerrogativa e uma obrigação de todos aqueles que estão envolvidos e são responsáveis pela qualidade das instituições e dos sistemas (DIAS SOBRINHO, 2007).

Assim, o Estado - ao adotar a vertente de avaliador - ratifica a importância da avaliação, justamente no monitoramento desses resultados, julgando, baseado nas métricas aferidas, se os cursos avaliados estão sendo ofertados, com padrões mínimos de qualidade, determinando que ações devem ser tomados, quando identificadas falhas e fragilidades, para a melhoria do padrão de qualidade desses cursos. Para Morosini (2006), o Estado Avaliativo adquire a conotação de avaliação, em todos os aspectos da realidade educacional, e em todos os níveis do respectivo sistema, porém, o maior impacto deste aspecto, ocorre no sistema de ensino superior, devido, principalmente, ao fato de que a globalização considera o conhecimento, um valor imprescindível em sua dinâmica, ou, em outras palavras, segundo a referida autora, a globalização repercute, ainda mais, na avaliação da educação superior porque o conhecimento gerado neste nível de ensino, é um dos seus valores mais relevantes.

Diante desse cenário, Santos (2011), enfatiza a necessidade da avaliação da educação superior, como instrumento de grande força social, onde as IES estão inseridas, porque, como justifica,

As modificações radicais que se verificaram na envolvente do ensino superior no último quartel do Século XX tiveram, entre outros efeitos, o de levantar preocupações sérias em relação à garantia da qualidade, tanto no interior das instituições como por parte da sociedade, colocando a problemática da avaliação, de uma forma incontornável, na agenda do ensino superior (SANTOS, 2011, p. 2).

Sob uma análise das razões que acompanham o processo de avaliação da qualidade, merecem destaque os aspectos associados às necessidades do mercado (DALE; GANDIN, 2014). Neste sentido, a empregabilidade exige profissionais cada vez mais preparados, para enfrentar os desafios e imprevistos próprios da sociedade do conhecimento - globalizada, volátil, dinâmica e em constante mudança - em curtos intervalos de tempo. Face ao exposto, cursos que garantam - e habilitem - o domínio de competências relacionadas à criatividade, à iniciativa e à capacidade de se adaptar às mudanças, são socialmente reconhecidos. Por outro lado, nessa adaptação a um mundo de imprevisibilidades, as próprias IES precisam ser estimulados a se inserir neste processo contínuo de mudanças (MAGALHÃES;VEIGA;VIDEIRA, 2018). Espera-se, da investigação científica, que seja capaz de produzir conhecimento novo, apoiar a tomada de decisões, e contribuir para a formação de novos profissionais, munidos dos conhecimentos e competências, adequadas a este mundo contemporâneo, no qual o ritmo com que se produz conhecimento e ciência, é, por vezes, alucinante, tão grande é a velocidade com que se propaga, se difunde e se espalha mundo afora, através das mídias digitais e dos vários meios de difusão do conhecimento. É neste contexto que as IES, e os cursos por elas ofertados, são avaliados pelo INEP - através dos processos inerentes ao sistema de avaliação, atualmente em vigor - que, em contrapartida, disponibiliza o feedback relativo aos resultados alcançados, bem como as devidas recomendações, para a melhoria da organização e do funcionamento dos cursos, que se convertem em dados fundamentais que servem de subsídios aos processos indutores da qualidade pretendida, planejada e medida.

Considerações finais

Este estudo constatou que a avaliação de cursos decorre da necessidade, expressa, em múltiplos cenários, de fortalecer, primeiro, a qualidade da educação superior e, em seguida, o propósito de tornar público, o reconhecimento da obtenção de altos níveis de qualidade, relativos à formação profissional. Ela também é apresentada, em um momento crítico, como resposta aos imperativos do mundo contemporâneo, que reconhece o ensino superior, como fator de desenvolvimento social e econômico. No Brasil, o processo de avaliação de cursos, do ensino superior, foi marcado por uma regulação, até então inédita, a partir da Lei nº 10.861, de 14 de abril de 2004, que instituiu o SINAES.

Devido à expansão da Educação Superior, o número de IES cresceu fortemente nos últimos anos e, com isso, o Estado passou a fiscalizar, com maior rigor, a qualidade dos cursos ofertados e o perfil dos profissionais que estão sendo formados, dedicando especial atenção, à análise dos indicadores qualitativos, detectados nas avaliações que realiza, promovendo adequações que viabilizem correções, nas políticas educacionais, direcionadas ao ensino superior.

Hoje, se considera que o principal e mais efetivo investimento, feito no contexto da avaliação da educação superior, não é a implementação de um modelo em si, e seus processos avaliativos, mas o investimento na implementação de planos institucionais, que favoreçam a melhoria dos cursos, e dos seus agentes. É este procedimento que projeta as instituições em dinâmicas e em culturas organizacionais, capazes de favorecer a formação profissional de cidadãos, munidos de conhecimentos e competências, que os habilitem a atuar na sociedade do conhecimento, por sua vez, inserida em um ambiente globalizado, portanto, volátil, dinâmico e em constante mudança, que exige dos profissionais, cada vez mais, habilidades e competências para lidar com imprevistos, riscos e mudanças.

Por fim, constatou-se que o Estado brasileiro deseja, como princípio básico do sistema de avaliação atualmente em vigor, que as próprias IES se responsabilizem pela qualidade dos cursos que ofertam (princípio da autonomia), e que tomem para si, a responsabilidade de construir a própria cultura organizacional, que deve ser centrada no autoacompanhamento - contínuo e com qualidade - desses cursos, o que, em última análise, as tornará capazes de enfrentar os desafios da internacionalização e do mercado, bem como àqueles que se colocam às comunidades acadêmicas socialmente comprometidas com a qualidade, não só do ensino superior, mas também, com a do entorno social em que as IES se acham inseridas.

Referências

BARCELOS, Márcio; RODRIGUES, Márcio Silva. Concepções de política pública e práticas discursivas: Uma análise sobre as políticas para a Educação Superior nos Governos Lula (2003-2010). Arquivos Analíticos de Políticas Educativas, v. 25, n.123, 2017. Disponível em: https://epaa.asu.edu/ojs/article/view/2908/1988. Acesso em: 15 jan. 2021. [ Links ]

BRASIL. MEC. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma nova proposta de avaliação da educação superior. Brasília, MEC, 2004. Disponível em: http://portal.inep.gov.br/documents/186968/484109/Sistema+Nacional+de+Avalia%C3%A7%C3%A3o+da+Educa%C3%A7%C3%A3o+Superior+%28Sinaes%29+bases+para+uma+nova+proposta+de+avalia%C3%A7%C3%A3o+da+educa%C3%A7%C3%A3o+superior/04b7d252-20dc-44b3-a20c-d79b44ef54c7?version=1.0. Acesso em 14 jan. 2021. [ Links ]

BRASIL. INEP. Nota Técnica nº 16/2017/CGACGIES/DAES. Brasília: CGACGIES/DAES, 2017.Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legislacao_normas/2017/nota_tecnica_sei_inep_0126132.pdf. Acesso em: 03 jan. 2021. [ Links ]

BRASIL. MEC. Sinopse da Educação Superior 2017. Brasília, INEP, 2018. Disponível em: http://download.inep.gov.br/informacoes_estatisticas/sinopses_estatisticas/sinopses_educacao_basica/sinopse_estatistica_educacao_basica_2017.zip. Acesso em: 02 jan. 2021. [ Links ]

BORGES, Regilson Maciel; BOTIGLIERI, Pamela Cristina. Qualidade, avaliação e educação superior: um estudo da produção dos Cadernos CEDES (2004-2012). In: SEMINÁRIO NACIONAL UNIVERSITAS/BR, 22; 2014, Natal. Anais... Natal: Universidade Federal do Rio Grande do Norte, 2014.1 CD ROM. [ Links ]

CAVALCANTI, Lourdes Maria Rodrigues; GUERRA, Maria das Graças Gonçalves Vieira. Avaliação da educação superior no Brasil: das primeiras regulações até o Sistema Nacional de Avaliação da Educação Superior (SINAES). João Pessoa: Editora UFPB, 2020. Disponível em: http://www.editora.ufpb.br/sistema/press5/index.php/UFPB/catalog/book/240. Acesso em: 28 dez. 2020. [ Links ]

DALE, Roger; GANDIN, Luís Armando. Estado, globalização, justiça social e educação: Reflexões contemporâneas de Roger Dale. Currículo sem Fronteiras, v.14, n.2, p. 5-16, 2014. Disponível em: http://www.curriculosemfronteiras.org/vol14iss2articles/dale-gandin.pdf. Acesso em: 01 fev. 2021. [ Links ]

DIAS SOBRINHO, José. Evaluación de la Educación Superior en Brasil: políticas y prácticas. Revista Complutense de Educación, vol. 18, nº. 2, p. 29-44, 2007. Disponível em: https://revistas.ucm.es/index.php/RCED/article/viewFile/RCED0707220029A/15626. Acesso em: 18 mar. 2020. [ Links ]

DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação - Revista da Avaliação da Educação Superior, Campinas, SP, v. 13, n. 3, p. 817-825, 2008. Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/284/285. Acesso em: 10 mar. 2020. [ Links ]

DOURADO, Luiz Fernando; OLIVEIRA, João Ferreira de. A qualidade da educação: perspectivas e desafios. Cad. Cedes, Campinas, v. 29, n. 78, p. 201-215, maio/ago. 2009. Disponível el: http://www.scielo.br/pdf/ccedes/v29n78/v29n78a04.pdf. Acesso em 20 jan. 2020. [ Links ]

FERNANDES, Domingos. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 21, n. 78, p. 11-34, mar. 2013. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362013000100002&lng=en&nrm=iso. Acesso em: 10 jan. 2020. [ Links ]

GUERRA, Maria das Graças Gonçalves Vieira; CAVALCANTI, Lourdes Maria Rodrigues. Uso de análise SWOT e do ciclo PDCA para avaliação de cursos de graduação a partir do IACG 2017(SINAES). 1 ed. Curitiba: Appris, 2020. [ Links ]

GRIBOSKI, Claudia Maffini; FUNGHETTO, Suzana Schwerz. O Sinaes e a qualidade da educação. Revista Retratos da Escola, Brasília, v. 7, n. 12, p. 49-63, jan./jun. 2013. Disponível em: http://retratosdaescola.emnuvens.com.br/rde/article/view/259/437 . Acesso em: 10 jan. 2020. [ Links ]

HAAS, Celia Maria. O Sinaes e a concepção de qualidade: o que pensam os gestores acadêmicos das universidades da grande São Paulo. EccoS, São Paulo, n. 44, p. 67-92. set./dez. 2017. Disponível em: http://periodicos.uninove.br/index.php?journal=eccos&page=article&op=view&path%5B%5D=7930&path%5B%5D=3648. Acesso em: 14 jan. 2020. [ Links ]

INEP. Nota Técnica nº 16/2017/CGACGIES/DAES. Brasília: CGACGIES/DAES, 2017. Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legislacao_normas/2017/nota_tecnica_sei_inep_0126132.pdf. Acesso em: 19 dez. 2020. [ Links ]

INEP. Censo da Educação Superior 2019: divulgação dos resultados. Brasília: INEP, 2020. Disponível em: http://download.inep.gov.br/educacao_superior/censo_superior/documentos/2020/Apresentacao_Censo_da_Educacao_Superior_2019.pdf. Acesso em: 12 mar. 2021. [ Links ]

MAGALHÃES, António; VEIGA, Amélia; VIDEIRA, Pedro. Reconfiguring power in Portuguese higher education. Education Policy Analysis Archives, v. 26, n. 135, p. 1-20, 2018. Disponível em: http://dx.doi.org/10.14507/epaa.26.3600. Acesso em: 2 fev. 2019. [ Links ]

MOROSINI, Marília Costa. Estado do conhecimento sobre internacionalização. Curitiba: UFPR, nº 28, 2006. Disponível em: http://www.scielo.br/pdf/er/n28/a08n28.pdf. Acesso em 09 jan. 2020. [ Links ]

PEREIRA, Maise Soares; FORTE, Sergio Henrique Arruda Cavalcante. Visão Baseada em Recursos nas Instituições de Ensino Superior de Fortaleza: Uma Análise Ex-Ante e Ex-Post à LDB/96. Revista de Administração Contemporânea. Curitiba, v.12, n.1, p.107-129, jan/mar. 2008. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1415-65552008000100006. Acesso em: 10 fev. 2020. [ Links ]

RIOS, Mônica Piccione Gomes; CALDERÓN, Adolfo Ignacio; SOUSA, Klinger Luiz de Oliveira. A educação superior em pauta: desafios em tempo de Sinaes. EccoS, São Paulo, n. 29, p. 81-96. set./dez. 2012. Disponível em: http://periodicos.uninove.br/index.php?journal=eccos&page=article&op=view&path%5B%5D=3681&path%5B%5D=2387. Acesso em: 05 mar. 2020. [ Links ]

RISTOFF, Dilvo; GIOLO, Jaime. O SINAES como Sistema. RBPB. Brasília. v.3, n.6, p.193-213, dez. 2006. Disponível em: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/106. Acesso em: 04 fev. 2020. [ Links ]

SANTOS, Sérgio Machado. Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa: A3ES, 2011. Disponível em: https://www.a3es.pt/sites/default/files/ESTUDO_SIGQ_PT_0.pdf. Acesso em: 12 fev. 2020. [ Links ]

SILVA, Ana Lucia Calbaiser da; FARIAS, Jaime. O discurso da avaliação e da qualidade da educação superior na imprensa científica: um estudo da revista Educação & Sociedade (2004-2012). In: Seminário Nacional Universitas/BR, XXII. Expansão da Educação Superior e da Educação Profissional tensões e desafios. 2014, Natal. Anais. Natal: Universidade Federal do Rio Grande do Norte/Centro de Educação, p. 259-276, 2014. [ Links ]

VERHINE, Robert Evan. Avaliação e regulação da educação superior: uma análise a partir dos primeiros 10 anos do SINAES. Avaliação (Campinas). Sorocaba. v.20, n.3, p.603-619, nov. 2015. Disponível em: http://www.scielo.br/pdf/aval/v20n3/1414-4077-aval-20-03-00603.pdf. Acesso em: 11 fev. 2020. [ Links ]

Recebido: 05 de Abril de 2019; Aceito: 21 de Novembro de 2020

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons.