Apresentação

Fonte: Arquivo pessoal, 2018.

FIGURA 1 GABINETE DA PROFA. CARLINDA LEITE, NA FPCEUP. NA FOTOGRAFIA, ENTREVISTADA E ENTREVISTADORA 

Carlinda Leite é Professora Catedrática da Faculdade de Psicologia e Ciências da Educação da Universidade do Porto (FPCEUP), Portugal, e investigadora sênior do Centro de Investigação e Intervenção na Educação (CIIE). Neste centro de pesquisa, coordena a “comunidade prática de investigação” Currículo, Avaliação, Formação e Tecnologias educativas (^{CAFTe, s.d}). Na Agência de Avaliação e Acreditação do Ensino Superior (A3ES), é perita na área de Formação de Professores e de Ciências da Educação/Educação, coordenando as comissões que avaliam os cursos universitários desta última área científica. Conforme a A3ES (s.d) “[...] Perita de avaliação internacional, de cursos do Ensino Superior, Croácia (2014) e Lituânia (2015); Membro da Comissão Científica de várias Conferências internacionais (Roménia, Brasil, México, Espanha) e nacionais.”

Tendo em conta este percurso acadêmico e no quadro das atividades desenvolvidas por Maria das Graças Gonçalves Vieira Guerra no período de pós-doutoramento na FPCEUP, que teve como foco a avaliação no ensino superior, foi realizada a entrevista que a seguir se apresenta e que teve como objetivo conhecer e comparar políticas e procedimentos de avaliação neste nível de ensino. O fato da Professora Carlinda Leite integrar a A3ES como perita da avaliação de cursos da área científica atrás referida, desde que esta Agência iniciou funções avaliativas, e estar envolvida em equipes em outros países europeus, permitiu estabelecer comparações, não só com Portugal, mas também com o que se passa no Espaço Europeu do Ensino Superior (EEES) (^{LEITE; FERNANDES; SOUSA-PEREIRA, 2017}; ^{FIGUEIREDO; LEITE; FERNANDES, 2016}; ^{MARTÍNEZ BARCELLOS; LEITE; MONTEIRO, 2016}; ^{LEITE; RAMOS, 2015}). A entrevista foi realizada no dia 26 de abril de 2018, na FPCEUP, presencialmente, o que permitiu a clarificação de aspectos relacionados com o processo avaliativo.

Inv - Investigadora E1 - Carlinda Leite

Inv: Vamos dar início à entrevista com a avaliadora, Doutora Carlinda Leite, perita da agência de avaliação A3ES, responsável, em Portugal, pela avaliação e acreditação de cursos e de instituições de ensino superior. Bom dia, gostaria de pedir para explicitar a sua experiência em relação à avaliação na educação superior.

E1: A avaliação do ensino superior em Portugal é recente, tal como a amplitude dos campos de ação da avaliação. Até há uns anos atrás, quando se falava de avaliação, a ela eram apenas associados os processos de ensino-aprendizagem e os resultados alcançados. Questões relacionadas com a organização e o funcionamento dos cursos e das instituições estavam ausentes. Foi essencialmente com a criação do Espaço Europeu de Ensino Superior (EEES), decorrente da assinatura da Declaração de Bolonha (1999), e na intenção dos cursos europeus serem comparáveis e reconhecidos pelos países deste espaço de formação, que a avaliação do ensino superior ganhou projeção. Políticas europeias estabeleceram critérios de qualidade que, seguidos e devidamente avaliados, permitiriam o reconhecimento de cursos obtidos no EEES. Para a regulação do processo de avaliação, a legislação portuguesa, em 2007 (Decreto-lei nº 369/2007), criou a Agência de Avaliação e Acreditação do Ensino Superior (A3ES) que tem essa função (^{MONTEIRO; LEITE; SOUZA, 2018}). A concretização dessa avaliação teve início em 2009. Antes desta data tinham sido desenvolvidos alguns processos avaliativos, promovidos pelo próprio Ministério, mas que foram objeto de contestação por se considerar que não poderia ser a entidade empregadora a, simultaneamente, desempenhar funções independentes de avaliação e acreditação. No meu caso, fui convidada pelo Conselho de Administração da A3ES a integrar, desde o início da atividade avaliativa, a equipe de peritos responsáveis pela avaliação de cursos de Educação/Ciências das Educação e Formação de Professores. Para além desta experiência em Portugal, tenho também participado em avaliações de cursos do ensino superior de outros países europeus.

Inv: O que a levou a integrar a A3ES?

E1: Aderi à ideia da importância de ser promovida a qualidade do ensino superior. Considerei importante zelar-se pela existência de critérios de qualidade de que são exemplo “as metodologias de ensino e de aprendizagem e os processos de avaliação dos estudantes”, “a colaboração interdisciplinar, interdepartamental e interinstitucional”; “a cooperação internacional”, entre outros que a legislação define (Lei nº 38/2007) (^{A3ES, s.d}). Por outro lado, há que reconhecer, o fato de ser convidada a pertencer à A3ES, sabendo que esse convite só é feito a acadêmicos que estejam no topo da carreira e que sejam investigadores reconhecidos pela comunidade científica, foi por mim considerado prestigiante. Todos nós gostamos de ser convidados para órgãos que tenham prestígio e este convite foi. É tão prestigiante que o meu centro de investigação (CIIE), ao ter de selecionar para o processo de avaliação da FCT (Fundação para a Ciência e Tecnologia) 5 situações que constituam uma marca de prestígio, escolheu, em primeiro lugar, a minha pertença à A3ES. Para além disso, também porque a pertença à A3ES me tem permitido conhecer como é que o ensino superior universitário e os cursos nele oferecidos estão a ser desenvolvidos. A participação na avaliação de cursos de formação inicial de professores e de cursos de ciências da educação com focos diversos -administração escolar, avaliação, políticas educativas, educação especial, estudos curriculares, etc. - permite-me um conhecimento amplo da qualidade da formação nesta área científica. E também, o fato de, como coordenadora, ter a responsabilidade de constituir as comissões de avaliação dos cursos, dá-me oportunidade de convidar acadêmicos e acadêmicas a quem reconheço a competência científica exigida pela A3ES e conjuntamente a competência pedagógica.

Inv: Como você analisa a questão da avaliação da educação superior na relação com a qualidade?

E1: A A3ES foi constituída precisamente para promover a qualidade do ensino superior. Depois da fase de expansão deste nível de ensino que permitiu o acesso a grupos sociais que dele tinham estado ausentes, impunha-se zelar para que fosse assegurada a qualidade. Esta agenda de qualidade foi muito influenciada pelos compromissos europeus decorrentes da assinatura da Declaração de Bolonha (1999) e da criação do EEES a que já atrás me referi. A comparabilidade dos graus obtidos em qualquer um destes países exigiu a existência do cumprimento de critérios de qualidade. Para zelar por esse processo, em Portugal foi criada a A3ES. Numa primeira fase, a intenção foi depurar o sistema educativo português de alguns cursos que não tinham qualidade ou mesmo de cursos que funcionavam em instituições que não garantiam essa qualidade. Mas tendo a A3ES como intenção promover a qualidade, espera-se que as instituições de ensino superior criem os seus mecanismos internos de garantia da qualidade. Previa-se até que, depois desta fase de avaliação de todos os cursos, de todas as áreas, que estão em funcionamento, tanto do ensino universitário como do ensino politécnico se passasse a uma segunda fase, em que a avaliação passaria a ser por sorteio. Isto aconteceria se as instituições tivessem criado o seu sistema interno de garantia de qualidade, acreditado. Como não aconteceu, está-se a fazer uma nova avaliação que analisa, fundamentalmente, as melhorias instituídas após a avaliação anterior.

Inv: Como está funcionando o atual sistema de avaliação e acreditação do ensino superior em Portugal?

E1: O ensino superior em Portugal é avaliado por duas instituições. Os cursos e as instituições em geral são avaliados pela A3ES. Os Centros de Investigação e os projetos de investigação são avaliados pela Fundação para a Ciência e Tecnologia (FCT). No caso da A3ES, que é uma agência pública, mas de direito privado, o governo nomeia o conselho de administração mas o funcionamento é da Agência é independente do governo. Por isso, quem paga a avaliação dos cursos são as próprias instituições, embora nenhum curso possa funcionar se não estiver acreditado, isto é, sem ser avaliado e se o resultado for uma acreditação. Este conselho de administração constituiu uma bolsa de formadores, por convite, a partir dos perfis acadêmicos e dos currículos vitae. Cada área tem uma pessoa que coordena e propõe avaliadores nacionais e internacionais. Eu coordeno e exerço este papel, no ensino universitário, para os cursos de Ciências da Educação e da Educação. A pessoa que coordena tem que constituir uma Comissão de Avaliação que é constituída pela pessoa que coordena, por um especialista e um estrangeiro na área de curso. Essas comissões, para os cursos que estão em funcionamento, analisam os relatórios de autoavaliação feitos pelas instituições e preparam uma visita à instituição onde recolhem dados em entrevistas em painel. Nestes painéis participam pessoas com diferentes funções: Reitor, Diretor de Curso, Presidentes do Conselho Científico e do Conselho pedagógico, Professores do curso, Pessoal não docente, Estudantes, Ex-estudantes, Elementos da comunidade. É também feita uma visita às instalações. Refiro ainda as comissões de avaliação dos cursos em funcionamento também integram, sempre que possível, um estudante da área que permita aceder ao ponto de vista dos estudantes. Se for de um curso novo as instituições fazem uma proposta de cursos e as comissões analisam online o projeto do curso. Feita a avaliação online ou presencial, conforme os casos, as Comissões de Avaliação fazem um relatório que contém uma proposta de acreditação ou de acreditação condicional ou de não acreditação. É com esta proposta que o Conselho de Administração da A3ES toma a decisão final e a envia para a instituição. Essa decisão, assim como todo o processo de avaliação é colocado na plataforma da A3ES.

Inv: Como ocorre a concretização das competências da A3ES relacionadas com a garantia da qualidade.

E1: A A3ES tem três tipos de avaliação: a avaliação dos cursos que é aquela em que eu estou envolvida e a coordenar uma área; a avaliação dos sistemas de garantia da qualidade que serão aqueles sistemas que no futuro se deseja que as universidades ou politécnicos tenham para que sejam elas próprias a monitorizar a qualidade. Como atrás referi, a intenção é que, se chegar a essa fase, a avaliação presencial passe a ser feita apenas por sorteio. Há ainda um terceiro processo de avaliação da qualidade assegurado pela A3ES que é avaliação das instituições e que pretende garantir que as instituições estão a funcionar corretamente.

Inv: A A3ES foi criada em Portugal em 2007, que razões justificaram a sua criação?

E1: Como atrás referi, a criação do Espaço Europeu do Ensino Superior ao tornar os cursos comparáveis pretendeu garantir que esses cursos têm qualidade. Em uma reunião de Ministros da Educação realizada em 2003 para acompanhar o compromisso assumido de adequar os cursos ao Processo de Bolonha foi atribuído à ENQA (European Association for Quality Assurance in Higher Education)a definição dos critérios de qualidade que deviam todas as instituições do EEES possuir. Estes critérios foram aprovados em nova reunião de Ministros realizada em 2005. Nesse mesmo ano, o Governo português saído das eleições encomendou à ENQA uma pesquisa sobre o sistema de avaliação da qualidade em Portugal e sobre a necessidade de se constituir uma agência de avaliação da qualidade do sistema de ensino superior. Tendo esses critérios de qualidade, o Governo criou a Agência que asseguraria a existência dessa qualidade no ensino superior e, para a instituir, convidou o professor Alberto Amaral para ser presidente do conselho de administração. Entre 2007-2009, a Agência organizou-se, criou a plataforma de avaliação, convidou os primeiros avaliadores e, em 2009/2010 iniciou a atividade de avaliação de cursos.

Inv: Certo. Que orientações são seguidas na avaliação de cursos da educação superior e na constituição das equipas das comissões de avaliação?

E1: Na constituição das equipas, como já indiciei, têm de ser pessoas que tenham perfil académico reconhecido. No caso do ensino superior universitário, a maior parte são professores catedráticos; de vez em quando, quando não professores deste grau que sejam especialistas em determinada especificidade de um curso, é possível incluir um professor associado, mas com agregação, mas tenta-se sempre que seja um professor catedrático e também que seja reconhecido naquele campo e concretamente na especificidade dos cursos. Quanto ao que a comissão avalia, avalia se a instituição tem recursos humanos e recursos físicos de espaço para docentes, funcionários e estudantes, de laboratórios e de bibliotecas para o funcionamento de curso. Nos recursos humanos, avalia adequação do perfil dos professores ao curso, avalia o envolvimento desses professores em investigação e em processos de internacionalização. Claro que se for um doutoramento é exigido que o envolvimento em projetos de investigação e a publicação e a internacionalização seja mais elevado do que se tratar de um mestrado (e um mestrado exige níveis mais elevados do que uma graduação). Avalia-se também a missão da instituição e a relação do curso com a missão da instituição; avalia-se o plano de estudos, o plano curricular, as unidades curriculares, os conteúdos na sua relação com o curso, a bibliografia que é usada, os métodos de avaliação e os processos de ensino-aprendizagem. Uma leitura do relatório de autoavaliação que nós publicamos, e com o qual justificamos a proposta de acreditação, de acreditação condicional ou de não acreditação, permite conhecer ao pormenor esses critérios.

Inv: Na sua ótica a avaliação de cursos de educação superior ainda convive com fatores críticos? Se sim, quais são?

E1: Convive, claro. Nenhuma instituição gosta de não ver o seu curso acreditado ou até de ver o seu curso acreditado, mas com condições e os fatores principais têm muito a ver com as condições. Por exemplo, num curso de doutoramento muitas vezes são as condições que são dadas para que o curso tenha possibilidades de envolver aqueles doutorandos numa comunidade de investigação e, portanto, não ser apenas um trabalho que se faz, mas que não promove o desenvolvimento de competências de investigação naqueles doutorandos. Pretendendo-se que a obtenção do doutoramento legitime aquela pessoa a, depois de o concluir, pode ser investigadora e poder mesmo coordenar investigações, é importante que estas competências possam ser muito desenvolvidas. Outro aspeto crítico que às vezes também ocorre é o corpo docente daquele curso não ter o perfil adequado para o próprio curso. Por exemplo, um curso em administração escolar e o corpo docente ser especializado em ensino das línguas ou ensino da matemática. Outras vezes é a própria instituição não ter condições físicas e espaços de trabalho para os estudantes. Portanto, estes critérios é que determinam as não acreditações ou as acreditações condicionais. Por exemplo, um curso de formação de professores que não cumpra as regras que a legislação portuguesa define para a formação inicial de professores não pode ser acreditado. Um curso de formação de professores cujos professores formadores não têm uma especialização ou um trabalho na didática específica no ensino de uma determinada área, a opção seria uma acreditação que exige que ao fim de um ano esta situação esteja resolvida. Um curso que apresenta um plano de estudos com poucas opções e que, sendo de doutoramento ou de mestrado, não tem um grande suporte numa formação em investigação e na criação de condições que permitam o desenvolvimento de competências de investigação naqueles doutorandos é uma acreditação condicional; espera-se que, no prazo de três anos a situação tenha melhorado. Portanto, são precisamente estas as razões que mais justificam a proposta de não acreditação ou de acreditação condicional. Se o curso cumpre todos os requisitos do ponto de vista da instituição, do ponto de vista do plano de estudos, do ponto de vista do corpo docente, do ponto de vista da investigação e da internacionalização, o curso é acreditado e nesse caso é acreditado por seis anos. Ou seja, durante seis anos aquele curso está acreditado e, portanto, só ao fim desse tempo é que precisa de novamente ser avaliado.

Inv: A certificação tem ajudado as universidades na sua prestação de serviços aos estudantes?

E1: Eu creio que sim, porque inclusivamente o que acontece quando nós mandamos o nosso relatório de autoavaliação com condições ele fica visível na plataforma da A3ES. Por isso, normalmente as instituições optam por apresentar uma pronúncia, que é como se fosse uma reclamação justificando ou alterando aquilo que estava menos bem. E até nessas alterações, muitas vezes, a própria instituição reconhece que aquele critério, aquele parâmetro não estava muito correto e, portanto, ela própria refere a intenção de melhorar aquele aspeto. Por exemplo, tem havido situações de um programa doutoral com quinze ramos e depois o que se nota é que não existe um corpo docente específico para aqueles quinze ramos. Para além disso, a existência daquele número de ramos/especialidades, também impede a existência de uma comunidade de investigação coletiva e de um trabalho também coletivo. Tem havido instituições que, depois da avaliação, ainda na situação de pronúncia, face a este aspeto negativo que é referido e dos problemas que isso pode acarretar, se reorganizam e alteram. Eu estou em crer que sim, que a avaliação da A3ES está a criar uma cultura de qualidade na sua relação com a melhoria. Para além disso, e o professor Alberto Amaral provavelmente vai-lhe dizer isto, algumas instituições que tinham cursos que reconheciam não terem a qualidade que é esperada, elas próprias fecharam esses cursos. Portanto, algumas instituições nem sequer esperaram pela avaliação, elas próprias descontinuaram os cursos.

Inv: Em sua opinião, a avaliação feita pela A3ES tem contribuído para melhoria das instituições de ensino superior?

E1: Eu considero que sim, nomeadamente, porque algumas instituições já reconheceram que elas próprias têm de criar sistemas internos de garantia de qualidade que lhes permitam acompanhar o modo como os cursos vão sendo desenvolvidos. Apesar disso, creio que, embora a avaliação da A3ES tenha tido algum efeito positivo, a cultura de autoavaliação ainda precisa de ser muito desenvolvida.

Inv: Existe alguma relação entre o processo seguido pela A3ES na avaliação e práticas internacionais na matéria? Se sim, houve alguma adaptação à realidade nacional e às instituições de ensino superior portuguesas?

E1: Sim, o sistema de avaliação da qualidade no EEES segue critérios e procedimentos semelhantes, noimedamente porque eles resultam de compromissos coletivamente assumidos neste Espaço. A A3ES avalia seguindo os critérios de qualidade que foram definidos a nível europeu. Apesar disso, em Portugal, alguns critérios também tiveram que ser ajustados à legislação portuguesa. Por exemplo, a formação de professores em Portugal obedece a uma legislação que define regras muito claras relativamente ao plano curricular de formação e, portanto, a A3ES, no processo de avaliação seguido também se ajusta ao que é definido no nosso país. Realço que estas agências europeias, elas próprias, são objeto de avaliação europeia. Para funcionarem têm que estar acreditadas. Por isso, a A3ES, ela própria, foi avaliada e é avaliada, e também nessa avaliação são produzidas recomendações para a própria A3ES. Estou a lembrar-me, por exemplo, que nos primeiros anos quase não participavam os estudantes nos painéis de avaliação presenciais e a própria avaliação europeia deu esta recomendação, que era importante que as comissões integrassem estudantes e, portanto, a partir daí nas avaliações presenciais, isto é, nas comissões de avaliação dos cursos presencialmente, passou-se quase sempre a ter um estudante, sendo eles próprios formados para realizar esta atividade. Portanto, a A3ES abre um concurso para os estudantes de ensino superior, conforme as áreas, por exemplo, para educação, para formação de professores, para economia, para engenharia, etc. Os estudantes concorrem, são selecionados em função do seu perfil e depois têm uma formação para participarem nesta avaliação. Por exemplo, na semana passada, a A3ES esteve a fazer uma formação dos estudantes que irão no próximo ano participar nas avaliações de cursos de educação básica. Por acaso, foi no nosso espaço físico, foi aqui na faculdade.

Inv: O processo de avaliação desenvolvida pela A3ES tem convivido com alguns obstáculos? Se sim, quais?

E1: Sim, tem. Aqueles obstáculos que eu, há pouco referi. Ninguém gosta de ter um curso não acreditado. Portanto, é evidente que muitas vezes as instituições ficam pouco agradadas pelos resultados que obtêm, embora, eu, pela minha parte, penso que mesmo quando as instituições não têm ficado agradadas, penso que a decisão que tomada foi justa. Apesar disso, compreendo que a instituição não goste, até porque muitas vezes talvez pense que o curso é melhor do que na realidade é de que estava a funcionar melhor do que realmente estava.

Inv: A agência influencia a liberdade de escolha de conteúdos, metodologias de ensino e os processos de avaliação dos cursos?

E1: De certo modo, sim, embora explicitamente não. Refiro, de certo modo, sim porque quando nós avaliamos o plano curricular e avaliamos as fichas de cada unidade curricular/ de cada disciplina, nós estamos a avaliar se aqueles conteúdos estão adequados ao perfil daquele curso, estamos a avaliar se aquelas metodologias são adequadas, estamos a avaliar se aquela bibliografia é adequada. Portanto nós estamos a avaliar. E depois nas nossas recomendações, às vezes, ou aparece como um aspeto positivo que as metodologias são variadas, adequadas ao desenvolvimento de competências, uma bibliografia é pertinente, etc., etc., ou, ao contrário, estamos a dizer nas recomendações que há uma repetição de conteúdos, que aqueles conteúdos têm pouca relação com o perfil do profissional a formar, que a bibliografia precisa de ser atualizada. Portanto, de certo modo, encaminhamos uma perspetiva que nós consideramos ser uma qualidade de formação.

Inv: Durante alguma fase do processo de avaliação e acreditação da A3ES foi posta em causa a autonomia científica pedagógica das instituições ou foi considerado que tal estava acontecer?

E1: Nestas coisas há sempre aqueles que aplaudem, porque consideram que finalmente há uma depuração no sistema e, portanto, só cursos de qualidade e instituições de qualidade é que devem ser reconhecidas e há aqueles que consideram que a autonomia que a instituição tinha deixou de existir. A esse propósito até lhe vou trazer um livro que critica a A3ES ou critica o sistema por, ao avaliar todos os cursos em função de um modelo semelhante, uniformiza. De certo modo, até posso considerar que de fato a avaliação uniformiza um pouco. No entanto, na minha perspetiva e pela minha experiência de avaliação de cursos nesta área, considero que a avaliação está a promover uma melhor qualidade da formação.

Inv: Na sua opinião, que vantagens tem tido a avaliação e a acreditação de cursos realizados pela A3ES?

E1: Tem esta que já lhe disse. É “empurrar” as instituições para a organização de cursos de melhor qualidade, para a seleção de professores de melhor qualidade, mais envolvidos com a pesquisa, com a qualidade da formação dos processos de ensino, de aprendizagem e da avaliação a que recorrem.

Inv: Qual o impacto de avaliação nas funções e responsabilidades dos colaboradores?

E1: Dos colaboradores, está a falar dos que fazem parte das comissões de avaliação? A A3ES tem um secretariado, portanto, funcionários que organizam todo o processo para facilitar a análise às comissões de avaliação. Portanto, todo esse processo é muito apoiado por técnicos da A3ES, funcionários da A3ES. Aqueles que eu conheço, são eles próprios de uma qualidade enorme. Depois, os outros elementos das comissões de avaliação, no meu caso como sou eu que os escolho nos cursos de ensino universitário de educação ou ciências da educação. Como é evidente, eu escolho as pessoas a quem reconheço muita qualidade. Por outro lado, como criamos um tipo de trabalho colaborativo e muito partilhado, este procedimento também garante que cada um de nós é apoiado pelos restantes. No caso das CAE que coordeno, é assim. Não sei se isto acontece em todas as comissões de avaliação. Aliás, provavelmente não. Nas comissões em que eu coordeno, sim. Há outras em que eu não coordeno, em que eu participo e aí, apesar de tudo, de uma maneira geral, as experiências também têm sido positivas.

Inv: A nível internacional que impacto tem a acreditação de cursos?

E1: Tem a que decorre de, se os cursos estão acreditados, eles são reconhecidos neste espaço europeu do ensino superior, ou seja, são reconhecidos como cursos que têm qualidade.

Inv: A agência causou impacto na cultura de qualidade, na eficiência e organização da educação superior?

E1: Na minha ótica, sim. Provavelmente, o professor Alberto Amaral terá uma visão ainda mais ampla do que a minha. Mas, na minha ótica, sim, nomeadamente por aquilo que há pouco eu já lhe disse. Porque implicou que as instituições começassem a pensar que tinham de organizar os cursos na sua relação com o perfil dos estudantes a formar e na intenção de garantir aos estudantes as melhores condições de aprendizagem e de envolvimento em projetos que permitam ampliar o conheci mento existente. Estou a falar principalmente dos cursos de pós- graduação e do envolvimento em processos de pesquisa e de construção de novos conhecimentos.