Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
1. Introdução
O Programa Nacional do Livro e do Material Didático (PNLD) é um exemplo de política pública brasileira destinada a beneficiar alunos e professores de escolas públicas e organizações sem fins lucrativos (ZAMBON; TERRAZZAN, 2013). O PNLD, criado em 1985, compreende um conjunto de ações planejadas para distribuição de livros didáticos, pedagógicos, literários e outros materiais de apoio à prática educativa. O programa apoia o Estado brasileiro na melhoria da qualidade dos livros e outros materiais utilizados nas escolas públicas de todo o país e, consequentemente, na melhoria do processo de ensino-aprendizagem. O PNLD exige que as editoras submetam seus livros e materiais didáticos a um processo de avaliação que busca garantir o cumprimento de padrões de qualidade e necessidades pedagógicas definidas na legislação educacional nacional. Por isso, é reconhecido como uma política pública relevante para a educação brasileira.
O processo de aquisição de livros didáticos, pedagógicos, literários e de outros materiais de apoio à prática pedagógica é de responsabilidade legal do Fundo Nacional de Desenvolvimento da Educação (FNDE). O objetivo da autarquia é repassar recursos financeiros e prestar assistência técnica para garantir educação de qualidade para todos. Nesse sentido, o FNDE conta com Centros Colaboradores em Materiais Didáticos e de Apoio à Prática Educativa (Cepli) para que todas as etapas do PNLD aconteçam dentro dos padrões exigidos na legislação do programa e no prazo necessário para que os livros estejam na escola antes do início do ano letivo. Nesse processo, a primeira etapa inclui a Triagem, que envolve a validação das inscrições e a análise de atributos dos materiais a serem adquiridos pelo PNLD. Essa etapa é o foco da análise apresentada neste artigo. Entre a validação das inscrições e a análise de atributos, os livros passam pela etapa de avaliação pedagógica, realizada pelo Ministério da Educação (MEC). Concluída essa avaliação, a responsabilidade volta ao FNDE para a execução das demais etapas, quais sejam, habilitação, escolha (pelos diretores e professores das escolas públicas), processamento, negociação, aquisição, distribuição e controle de qualidade dos livros e materiais a serem entregues nas escolas de todo o país. Portanto, a avaliação pedagógica é atualmente a etapa realizada fora do âmbito do FNDE, de exclusiva responsabilidade do MEC.
O FNDE foi anteriormente apoiado pelo Instituto de Pesquisas e Tecnologias do Estado de São Paulo (IPT) na execução da etapa de Triagem do PNLD. No entanto, a partir do final do segundo semestre de 2021, o Núcleo de Excelência em Tecnologias Sociais (NEES) da Universidade Federal de Alagoas (UFAL), habilitado como Cepli, passou a ser a instituição responsável para apoiar tecnicamente o FNDE na validação e na análise de atributos do programa. Com a inserção da UFAL no universo do PNLD, todo o processo de aquisição passou a ser objeto de estudo do NEES, especialmente a etapa de Triagem. Nesse sentido, a implementação do novo modelo e o trabalho realizado no último ano motivou a realização deste estudo. Considerando a relevância da etapa de Triagem para todo o processo, o primeiro estudo buscou se debruçar sobre a existência de problemas na operacionalização da Triagem, especialmente a eficiência e eficácia da validação e da análise de atributos dos materiais didáticos. O processo de Triagem, como primeira atividade do processo, corre risco de redução da qualidade nas entregas com aumento do tempo para conclusão das tarefas diante da crescente diversificação dos materiais e do aumento da quantidade de inscritos. A importância de se analisar essa etapa torna-se ainda mais relevante quando se verifica que as demais fases do processo dependem diretamente desse trabalho inicial para se efetivarem adequadamente.
Atualmente, a etapa de Triagem é organizada com base nos setores de coordenação geral de Triagem, coordenação geral de qualidade, consultoria de Triagem, gerenciamento de Triagem, gerenciamento de qualidade, help desk e supervisão geral de Triagem. Nesses setores, são alocados profissionais qualificados, que incluem, por exemplo, coordenadores, gerentes, supervisores e validadores. Os profissionais envolvidos são responsáveis por atividades tais como a pré-avaliação (ou preparação), validação de livros por pares (validadores) e supervisão de validações realizadas. Durante o estudo apresentado neste artigo, profissionais envolvidos na etapa de Triagem foram entrevistados para possibilitar o entendimento dos reais problemas enfrentados no processo. Além disso, documentos internos gerados durante a etapa de Triagem foram analisados para possibilitar uma discussão mais abrangente sobre os problemas identificados e suas causas.
Em pesquisas anteriores, autores investigaram o PNLD, como, por exemplo, Höfling (2000), Zambon e Terrazzan (2013), Bianco (2015), Souza e Rego (2018), Manoel, Silva e Valero (2019) e Albuquerque e Ferreira (2019). Höfling (2000) critica, do ponto de vista político, o foco do PNLD em grupos editoriais particulares específicos durante o processo decisório. No entanto, atualmente, é possível observar que o atual processo de aquisição alcança uma quantidade mais ampla de editoras que submetem seus materiais didáticos para análise. Zambon e Terrazzan (2013) analisaram os critérios utilizados por escolas públicas para escolher livros didáticos. Os autores entrevistaram membros de equipes de gestão de escolas públicas e afirmam que a escolha dos livros didáticos pelas escolas públicas foi influenciada por dois fatores: (1) ações desenvolvidas por editoras e não por diretrizes do FNDE e (2) opinião dos professores, coletada durante breves encontros.
Bianco (2015) analisou livros didáticos quanto aos aspectos ligados à educação nutricional aprovados no PNLD 2014. O autor identificou falhas relacionadas ao tema no conteúdo de imagem de nove coleções aprovadas de livros didáticos de ciências. Além disso, Souza e Rego (2018) analisaram imagens de livros didáticos de ciências e física, relacionando-os com as diretrizes do PNLD 2018. Os autores afirmaram que nem todas as diretrizes do PNLD foram utilizadas adequadamente durante as análises das imagens apresentadas nos livros didáticos selecionados. Manoel, Silva e Valero (2019) analisaram os livros didáticos de matemática aprovados pelo PNLD em 2015, com foco em matemática financeira. Os autores discutiram os impactos dos livros didáticos na sociedade. Albuquerque e Ferreira (2019) analisaram as mudanças nos critérios de avaliação dos livros didáticos do PNLD. Os autores entrevistaram professores da escola e analisaram as diretrizes do PNLD de 2007, 2010 e 2013. Concluíram que o PNLD tem contribuído com a disponibilização de materiais para auxiliar os professores durante as práticas de alfabetização. Já Copatti e Andreis (2020) destacam que a importância de se compreender os desdobramentos da implementação do PNLD leva em consideração a influência do livro didático na educação pública como um dos materiais que mais alcança diretamente a população.
No entanto, até o momento, em nenhum dos estudos foi abordado o processo de Triagem do programa. Nesse contexto, este estudo é guiado pela seguinte questão de pesquisa: quais são as causas atuais dos problemas relacionados ao processo de Triagem do PNLD? Portanto, neste artigo, o atual processo de Triagem, que envolve a validação e a análise de atributos dos materiais, é examinado e discutido, com o objetivo de possibilitar propostas que contribuam para aumentar a eficiência e eficácia do processo.
2. Metodologia
Um diagrama de Ishikawa (também conhecido como diagrama de causa-efeito ou diagrama de espinha de peixe) é utilizado para descrever as causas-raízes dos problemas existentes de um processo ou produto. No contexto deste trabalho, as causas-raízes dos problemas existentes no processo de Triagem do PNLD. Essa ferramenta auxilia na identificação e categorização das causas potenciais dos problemas, fornecendo uma representação visual. A modelagem é iniciada pela definição do problema para permitir o mapeamento retroativo e o agrupamento de causas. Cada causa identificada é apoiada por evidências para aumentar a confiança nas análises realizadas. O professor Kaoru Ishikawa desenvolveu a análise de causa e efeito na década de 1960.
O diagrama de Ishikawa é considerado como uma abordagem relevante para apoiar as atividades de gestão da qualidade, devido à possibilidade de apresentar um diagnóstico preciso de problemas existentes. Essa abordagem tem sido aplicada em vários domínios, como, por exemplo, saúde (CARVALHO et al., 2021), produção (IDRIS et al., 2021) e educação (SHARMA; PRASAD; RAMBABU, 2021).
Neste trabalho, foram realizadas entrevistas com stakeholders e analisados documentos internos (incluindo relatórios) para geração de evidências. Além disso, a estatística Kappa de Cohen foi aplicada para estudar o desempenho de equipes de validação que integram o processo, apoiado atualmente pela UFAL. A estatística Kappa de Cohen é uma ferramenta relevante para medir o nível de concordância entre juízes. Kappa foi apresentada como uma nova técnica, por Jacob Cohen em 1960 (COHEN, 1960), com o objetivo de medir a confiabilidade entre avaliadores para itens qualitativos (categóricos). Portanto, para interpretação de resultados, a força de concordância baseada no Kappa de Cohen (k) pode ser classificada usando diferentes abordagens, como descrito por Richard e Koch (1977) e Mchugh (2012). Neste artigo, a seguinte classificação foi utilizada:
3. Resultados e Discussão
Essa discussão crítica abrangente está baseada em entrevistas com participantes do processo e pela apresentação/geração de evidências de problemas. Foram planejados e executados dois conjuntos de entrevistas semiestruturadas e uma oficina: (1) o primeiro conjunto refere-se à análise do processo atual, problemas e causas dos problemas (março de 2022); (2) o segundo conjunto de entrevistas diz respeito à análise do nível de concordância entre os validadores (abril de 2022); e (3) apresentação e discussão com o FNDE (maio de 2022).
O primeiro conjunto de entrevistas semiestruturadas foi realizado para analisar o processo atual de Triagem do PNLD. Na Tabela 1, são descritas as questões que nortearam as entrevistas semiestruturadas. Foram entrevistados dois coordenadores-gerais, um supervisor de Triagem e um gerente de Triagem/qualidade. Esse primeiro conjunto de entrevistas ocorreu em março de 2022 usando o Google Meets. Além do questionário, foram discutidos, livremente, problemas, causas e evidências com as partes interessadas durante as entrevistas. As entrevistas também melhoraram a compreensão do processo interno.
Tabela 1 Perguntas usadas para guiar o primeiro conjunto de entrevistas semiestruturadas.
| Número | Questão |
|---|---|
| 1 | Qual é a sua opinião sobre os problemas? Os problemas especificados estão de acordo com a realidade? |
| 2 | Quais são as causas dos problemas na Triagem? Para cada motivo especificado, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 3 | Quais são as causas dos problemas relacionados aos recursos? Para cada causa especificada, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 4 | Quais são as causas dos problemas relacionados à comunicação? Para cada causa especificada, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 5 | Quais são as causas dos problemas relacionados ao meio ambiente? Para cada causa especificada, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 6 | Quais são as causas dos problemas relacionados à diligência? Para cada causa especificada, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 7 | Quais são as causas dos problemas relacionados aos documentos? Para cada causa especificada, existe uma relação com as validações do mundo real? Em validações anteriores, esse tipo de causa foi observado? |
| 8 | Para cada causa e efeito, você identifica alguma inconsistência nas terminologias? |
| 9 | Para cada causa especificada, você identifica alguma causa ausente? |
| 10 | Para as evidências apresentadas, você recomenda a leitura de algum documento interno específico? |
Na Figura 1, é descrito o diagrama organizacional utilizado para guiar o processo de Triagem do PNLD. Existem dois coordenadores-gerais de Triagem/qualidade, dois assessores de Triagem, dois gerentes de Triagem/qualidade, um agente de help desk, um supervisor por equipe e um conjunto de validadores para cada equipe. No entanto, o número de equipes e validadores depende de cada chamada pública do PNLD, já que cada uma determina um tipo de material e um público de atendimento específicos.
Figura 1 Diagrama organizacional da validação e análise de atributos de livros didáticos, pedagógicos, literários e outros materiais no PNLD.
Na Figura 2, é ilustrado um fluxograma apresentando uma visão geral do processo interno (incluindo coordenadores e supervisores de Triagem) para a execução da etapa de Triagem. Quatro principais artefatos de processo são gerados usando planilhas e editores de texto: uma lista de materiais em validação, uma lista de materiais distribuídos para as equipes, uma lista de atributos usados durante as análises e materiais de apoio. O processo é iniciado quando o coordenador-geral recebe os materiais do PNLD. Posteriormente, o coordenador e o supervisor de Triagem definem as métricas (por exemplo, número por equipes) e distribuem os materiais para cada equipe. O supervisor de Triagem também analisa a chamada pública, elabora um checklist para validações e prepara materiais de treinamento para validadores. Além disso, ele é responsável por alocar os validadores para equipes e outros supervisores específicos, por preparar os espaços virtuais personalizados para cada supervisor e por definir o cronograma de validação.
Figura 2 Fluxograma com visão geral do processo interno, para coordenadores e supervisores de Triagem, de validação e análise de atributos de livros didáticos no PNLD.
Entretanto, essa dinâmica não permite que os dados de execução retornem indicadores de processo atualizados e relevantes, como o número de falhas ou o tempo gasto por material e por validador. Atualmente, apenas alguns indicadores de processo são monitorados, como o número de falhas de validação identificadas na etapa de avaliação pedagógica, fase que ocorre na sequência da validação. O número de falhas apresentadas nos materiais inscritos relatados pelos validadores (que se denomina “diligência”) é outro exemplo de indicador de processo já monitorado.
Quando finalizadas as etapas de planejamento e preparação, inicia-se a análise de validação. Dois validadores revisam os materiais apresentados pelas editoras e apresentam as falhas existentes como diligência, se for o caso. O supervisor de cada equipe analisa uma amostra da validação e posteriormente consolida as análises realizadas por sua equipe, descartando apontamentos incorretos (falso-positivos em diligências). Durante as entrevistas, foi identificado que é comum ocorrer divergências entre os validadores. Mesmo considerando que os gerentes de Triagem também revisam o trabalho dos supervisores da equipe, foi confirmado que os supervisores podem não identificar alguns erros nessa etapa do processo. Quando as falhas são consolidadas, os editores são solicitados a realizar as correções necessárias. Mesmo realizando as revisões, a pesquisa demonstrou que algumas falhas persistem e são identificadas nas fases subsequentes.
O primeiro conjunto de entrevistas semiestruturadas (guiadas pelas questões apresentadas na Tabela 1) foi também usado para identificar e validar problemas e suas causas. A redução da qualidade das entregas (problema relevante) pode estar relacionada a alguns erros cometidos por validadores, não identificados pelos supervisores, gerentes de Triagem e coordenadores. As entrevistas semiestruturadas guiaram a identificação, documentação e validação de todos os efeitos (problemas) e causas relacionadas.
Na Figura 3, é ilustrado o tempo reduzido normalmente necessário para concluir as tarefas (outro problema relevante). É também apresentada uma visão geral das tarefas de processo em um nível mais alto de representação: (1) preparar os recursos necessários para iniciar o processo (preparação para iniciá-lo), (2) realizar as tarefas necessárias antes de declarar a validação por pares (ponto de partida da validação), (3) realizar validações por pares, (4) inserção de dados de validação em uma plataforma de validação online utilizada por editores e validadores (inserção de dados usando a plataforma), (5) exigência e acompanhamento da diligência (diligência), (6) consolidação dos resultados da validação e (7) revisão dos resultados (revisão geral). A tarefa mais demorada é a validação por pares; no entanto, há registros de atrasos nas outras tarefas por situações inesperadas durante o processo interno.
Figura 3 Tempo geralmente necessário para concluir as tarefas no processo interno (número de dias por tarefa).
3.1. Triagem
Cinco causas estão diretamente relacionadas ao processo de Triagem: análise inconsistente dos materiais por parte dos validadores (Causa 1), entendimento incorreto quanto aos requisitos de qualidade da chamada pública (Causa 2), curto prazo para realização da Triagem para as centenas ou milhares de exemplares de cada objeto do PNLD a ser validado (Causa 3), regras de negócios imprevistas durante a validação (Causa 4) e relatórios inadequados ou com dados parciais (Causa 5).
A causa 5 pode ser considerada a que tem um impacto mais significativo durante o processo de Triagem, já que os registros da pesquisa apontam que a falta de padronização no relatório das falhas da validação resulta na falta de clareza e de embasamento para a notificação das falhas.
3.2. Recurso
A partir dos dados coletados, constatou-se que seis causas estão diretamente relacionadas aos recursos utilizados pelas partes interessadas: alto número de tarefas manuais (Causa 1), falta de consistência nos relatórios (Causa 2), dificuldades no manuseio de relatórios (Causa 3), pouca flexibilidade no uso da plataforma do PNLD (Causa 4), problemas recorrentes na plataforma devido à sua implementação recente (Causa 5) e falta de entendimento das editoras sobre o funcionamento da plataforma (Causa 6).
A causa 1 é crítica porque os efeitos da sobrecarga de questões para os respondentes (por exemplo, validadores respondendo a listas extensas de verificação) estão relacionados à idade, nível de educação, local de trabalho e tipo de pergunta (BRIZ-REDÓN, 2021). Existem evidências sobre a prevalência de sobrecarga dos respondentes como resultado do número elevado de itens em questionários. Além disso, muitas tarefas manuais podem resultar em qualidade reduzida na tomada de decisão (por exemplo, precisão), desempenho reduzido na tomada de decisão (por exemplo, tempo), maiores esforços durante as validações e processos de negócios com baixa eficiência (AIN et al., 2019). No processo interno, muitos materiais são validados em um curto prazo com tarefas totalmente manuais.
O supervisor de Triagem cria as planilhas da lista de verificação pela leitura do anexo da chamada pública, realizando uma tarefa de copiar e colar (sujeita a erros). Essa tarefa também pode ser comprometida devido à falta de clareza e ambiguidades das frases na chamada pública, que pode confundir os validadores. Atualmente, na prática, alguns itens são ajustados na planilha de verificação para aumentar a clareza de itens de exclusão. Por exemplo, no edital PNLD 2022, Objeto 2, existe um quadro com o título NÃO CONFORMIDADE. Entretanto, dentre os códigos de exclusão, existe, por exemplo, VLit9 (Não há falhas que impeçam a leitura). Informar que “NÃO” é uma conformidade e apresentar o código com a descrição iniciando com um negativa pode confundir o validador. Na planilha de verificação, o código foi definido como: VLit9 Existem falhas que impeçam a leitura. Na Figura 4, é apresentado um exemplo de quadro com critérios de exclusão do Edital PNLD 2022, Objeto 2, com destaque de inconsistência (em vermelho).
Figura 4 Exemplo de quadro com critérios de exclusão do Edital 2022, objeto 2, com destaque de inconsistência.
As causas 2 e 3 dos recursos referem-se a problemas conhecidos com o manuseio de planilhas, como quantidade (número limitado de dados), linearidade (análises aninhadas e não lineares de difícil compreensão), qualidade (erros comuns de cálculo), apresentação (imagens e gráficos são colocados dentro da planilha) e compartilhamento (após a exportação, uma planilha pode ter diferentes versões de componentes) (STERNBERG, 2022). Com base nas entrevistas, foi identificado que, em muitas situações, a coleta manual de dados e a geração de relatórios demandam muitas horas ou dias de trabalho.
Para as causas 4, 5 e 6 de recurso, ficou evidente que faltam requisitos relevantes na plataforma atual. Ela ainda demanda muito tempo para execução e apresenta travamentos que exigem ação de desenvolvedores externos. A plataforma também contém algumas funcionalidades desatualizadas e frequentemente apresenta falhas. Foi identificado também que existem comunicações recorrentes das editoras com dúvidas sobre o funcionamento da plataforma. Em alguns casos, os campos de entrada obrigatórios não estão ativados, impossibilitando a correção dos itens diligenciados pelas editoras.
3.3. Comunicação
Três causas estão diretamente relacionadas à comunicação: mudanças nas exigências da chamada pública do PNLD (Causa 1), comunicações entre FNDE, UFAL e demais interessados (Causa 2) e comunicações com editoras (Causa 3). Para todas as causas, falhas de comunicação influenciam negativamente no sucesso do projeto, resultando em falta de clareza (SAXENA; MCDONAGH, 2021). As falhas de comunicação também costumam estar relacionadas ao uso inadequado das tecnologias de comunicação. Eles podem compreender um nível de sistema macrossocial (entre várias partes interessadas no nível organizacional) e um nível de sistema organizacional (falha de entendimento compartilhado).
Para a causa 2 de comunicação, ao menos em uma situação, foi identificada a falta de um processo de comunicação claramente definido entre o FNDE e a UFAL sobre a mudança de requisitos na chamada pública (somente a publicação de uma atualização online). Para a causa 3 de comunicação, foi identificado que as comunicações entre a UFAL e as editoras são realizadas por muitos e-mails, tornando a documentação complexa. Portanto, a falta de comunicação torna-se um problema que pode impactar o processo como um todo, diminuindo a qualidade das validações. Os validadores, supervisores e coordenadores devem estar bem-informados sobre as mudanças nos requisitos durante o processo para evitar validações inconsistentes. Por exemplo, no Edital do PNLD 2022, ocorreu uma retificação que flexibilizou a caracterização de um dos volumes. Entretanto, a retificação ocorreu após o treinamento de validadores e construção do checklist (planilha utilizada por validadores). Esse tipo de situação reduz a consistência em validações e aumenta o tempo para entregas durante a execução do processo de Triagem.
3.4. Ambiente
Duas causas estão diretamente relacionadas ao ambiente: o local de trabalho com distrações (Causa 1) e home office (Causa 2). As causas 1 e 2 do ambiente podem prejudicar o desempenho dos validadores, supervisores e coordenadores. Exemplos de impactos incluem: desempenho inferior ao esperado, menos produtividade e redução de melhorias na carreira. Além disso, um estudo recente evidenciou que o Brasil é um dos países que mais enfrenta problemas relacionados ao home office, incluindo fatores como filhos em casa e acesso à internet (SOLARES; BENZELL; RAZO, 2020). No processo de Triagem dos materiais didáticos, os validadores podem trabalhar em locais remotos, o que requer uma capacitação que inclua lidar com essa nova realidade como fator de formação, contribuindo para a construção de uma nova cultura organizacional.
3.5. Diligência
Cinco causas estão diretamente relacionadas à diligência: validações conflitantes (Causa 1), falha de consolidação (Causa 2), diligência repetida não planejada (Causa 3), falta de correção adequada da diligência pela editora (Causa 4) e perda de prazo para resposta de diligência pela editora (Causa 5). A causa 1 é bastante crítica para a qualidade de todo o processo. Está evidenciado que a tomada de decisão em grupo envolve muitos aspectos intrínsecos complexos e conflitantes relacionados à individualidade e à natureza humana (RABIEE; ASLANI; REZAEI, 2021). Os conflitos geralmente são naturais quando os especialistas tomam decisões e eles devem ser mediados e resolvidos. Durante as entrevistas, identificamos que a existência de validações conflitantes é comum e é resolvida pelos supervisores quando possível, dadas as atuais restrições de tempo impostas pelo cronograma do PNLD.
Os supervisores devem identificar tais conflitos (causa 2 de diligência). No entanto, alguns conflitos ou incorreções são identificados apenas por supervisores gerais de Triagem, gerentes de Triagem/qualidade ou mesmo pelo FNDE (o pior caso). Para a causa 2 de diligência, existe uma sobrecarga de supervisores que, por esse motivo, apenas reavaliam uma amostra das validações para melhorar a qualidade, o que geralmente acontece devido ao alto número de materiais a serem tratados e ao tempo reduzido disponível para verificação. Por exemplo, no Objeto 2 (livros literários) da chamada pública do PNLD 2022, três falhas foram identificadas pelo FNDE, enquanto no Objeto 1 (livros didáticos) da chamada pública do PNLD 2023, seis falhas foram identificadas na etapa subsequente do processo. As falhas são muito preocupantes porque, caso não sejam identificadas, podem comprometer a qualidade dos materiais didáticos recebidos por professores e estudantes.
As causas 3 e 4 de diligência geralmente ocorrem quando o editor deixa de fornecer os dados solicitados, exigindo mais tempo para concluir as correções. Por exemplo, se for considerada uma estimativa, cerca de 50% dos problemas relacionados ao tempo são resultados de campos ausentes quando as editoras inserem dados na plataforma. Para a causa 5 de diligência, por exemplo, considerando o relatório de diligência referente ao Objeto 3 da chamada pública do PNLD 2023, mais de 3,37% das verificações das coleções de livros didáticos estavam atrasadas (validação realizada no primeiro semestre de 2022).
3.6. Documento
Quatro causas diretamente relacionadas aos documentos: falta de clareza da chamada pública de livros (Causa 1), falta de completude da chamada pública de livros (Causa 2), checklist inconsistente com a chamada pública de livros (Causa 3) e clareza reduzida nos itens da lista de verificação (Causa 4). Para as causas 1 e 2, por meio de entrevistas, foi identificado que, algumas vezes, requisitos de chamada pública parecem estar fora do escopo da validação e análise de atributos.
Para as causas 3 e 4 do documento, foi identificado que a inconsistência do checklist e a redução da clareza nos itens do checklist são problemas comuns durante o processo interno. Esses problemas ocorrem durante a preparação para validação (Figura 2) e podem resultar em atrasos de até 8 dias. Portanto, dado o tempo reduzido disponível para validações, tal atraso não pode ser aceitável. Como exemplo dos casos 3 e 4 de documento, na validação de obras literárias da chamada pública do PNLD 2023, não houve código de exclusão para materiais digitais na plataforma. A falta de códigos de exclusão dificulta o processo de validação e a documentação consistente dos problemas.
Para resumir as descobertas, na Figura 5 é apresentado o diagrama de Ishikawa para validação e análise de atributos dos materiais didáticos inscritos no PNLD. Esse diagrama foi desenvolvido e validado com base em entrevistas com as partes interessadas. Os efeitos da redução da qualidade nas entregas e do aumento do tempo para conclusão das tarefas são problemas críticos que influenciam negativamente os resultados da realização do processo.
3.7. Análise de Concordância Entre Validadores
Neste estudo, a estatística Kappa de Cohen foi aplicada para calcular o nível de concordância para cada diligência entre validadores durante a Triagem, PNLD 2023, Objeto 3. O objetivo foi aprofundar a discussão sobre o processo de validação. O software estatístico SPSS foi utilizado para realizar as análises estatísticas. Na Figura 6 são ilustrados os resultados do Kappa de Cohen para cada uma das nove equipes que validaram os livros da chamada pública do PNLD 2023, Objeto 3.
Dois validadores diferentes (revisão por pares) analisaram o mesmo livro para melhorar a confiança nas validações para cada equipe. Como resultados mais precisos, apenas as equipes 3, 4 e 7 alcançaram uma concordância justa entre os validadores durante a análise dos livros. Esses resultados negativos são alarmantes, mostrando falhas no processo de Triagem, o que não significa que os livros deixaram de ser devidamente corrigidos ao final do processo de validação. No entanto, tais achados sugerem que é necessário mais tempo para concluir o processo, que há incidência de retrabalho nessa etapa e que alguns livros podem não ter sido conferidos com o mesmo grau de detalhamento de verificação dos demais.
Foi realizado um segundo conjunto de entrevistas para entender o problema, considerando os resultados de concordância obtidos. Na Tabela 2, são descritas as perguntas usadas para guiar essas entrevistas semiestruturadas. No entanto, durante as análises, foi observado que, em alguns momentos, os validadores registram falhas no checklist, mas não as incluem em seu relatório final (analisado pelos supervisores). Esses dados ausentes, provavelmente causados por erros de digitação ou por falta de atenção, podem impactar negativamente a qualidade das verificações dos livros.
Tabela 2 . As perguntas que usamos para orientar o segundo conjunto de entrevistas semiestruturadas.
| Número | Questão |
|---|---|
| 1 | Os resultados do Kappa estão baixos por existir um problema de treinamento? |
| 2 | Os resultados do Kappa são baixos por existir pouco empenho dos validadores? |
| 3 | Os resultados do Kappa são baixos por existir tempo reduzido para concluir as tarefas? |
| 4 | Os resultados do Kappa são baixos por existir muitos livros para avaliação? |
| 5 | Os resultados do Kappa são baixos pela existência de inconsistência/ambiguidade na chamada pública de livros (por exemplo, critérios de exclusão)? |
Com base em entrevistas com a equipe de Triagem/gestão da qualidade, foi identificado que os principais problemas que impactam negativamente o nível de concordância são: a falta de treinamento, o comprometimento de validadores e as regras de negócio imprevistas ao longo do processo de validação. Por exemplo, o recrutamento de validadores novos (inexperientes) está relacionado à falta de treinamento. Outro problema relacionado ao treinamento é o tempo que os validadores passam sem realizar nenhuma tarefa do projeto antes de serem convocados para trabalhar como validadores em uma chamada pública específica do PNLD. Além disso, a falta de garantia de comprometimento é um problema recorrente entre os validadores.
Durante as entrevistas, o tempo para realizar as validações não foi identificado como um possível problema afetando diretamente o nível de concordância. Como parte do processo atual, é realizada uma estimativa de tempo para validações com o objetivo de definir o número de validadores necessários para cada equipe, considerando também o número de livros existentes. Portanto, se existe impacto, não é o principal motivo da baixa concordância. Com base nessas estimativas, a sobrecarga também não é considerada um problema que impacta diretamente o nível de concordância (mesmo que possa impactar indiretamente).
No entanto, a inconsistência/ambiguidade na chamada pública do PNLD (e, consequentemente, nos itens de exclusão) pode possuir um impacto relevante nos baixos níveis de concordância. A equipe entrevistada relatou que algumas discrepâncias entre as validações são identificadas devido a regras de negócios imprevistas ao longo do processo de Triagem. Portanto, as divergências também podem ser resultado de um problema de comunicação relacionado a mudanças e de requisitos mal-entendidos.
Também foram analisados resultados entre validadores após a consolidação de supervisores e gerentes de Triagem/qualidade. Nessa etapa do processo, as concordâncias permaneceram baixas para todas as equipes: equipe 1 (0,431), equipe 2 (0,0289), equipe 3 (0,264), equipe 4 (0,38), equipe 5 (0,319), equipe 6 (0,373), equipe 7 (0,496), equipe 8 (0,148) e equipe 9 (0,18). A etapa de consolidação aumentou o Kappa global de 0,113 (concordância leve) para 0,336 (concordância justa). O Kappa global é aumentado considerando o número de validações inconsistentes identificadas por supervisores e gerentes de Triagem/qualidade. Tais validações inconsistentes foram removidas (como diligência não válida) ou integradas (como a mesma diligência) durante a consolidação de supervisores e gerentes de Triagem/qualidade. Por exemplo, em alguns casos, a mesma falha foi reportada de maneira diferente por validadores, sendo posteriormente integrada por supervisores e gestores de Triagem/qualidade como uma única diligência.
Portanto, para aprofundar a discussão e entender os resultados de concordância anteriores, os resultados da validação foram analisados para cada validador. A decisão de cada um foi comparada com a consolidação final dos supervisores e gerentes de Triagem/qualidade. A estatística Kappa de Cohen foi usada para analisar o desempenho de cada validador das nove equipes que avaliaram livros com base na chamada pública do PNLD 2023, Objeto 3. Cada equipe foi composta por nove ou dez validadores em tal chamada pública. É relevante destacar que o número de validadores pode variar para o objeto validado. Apenas alguns validadores apresentaram uma concordância quase perfeita ou substancial com os resultados da consolidação. Alguns dos validadores apresentaram uma concordância ruim com os resultados da consolidação. Tais resultados evidenciam algumas das causas descritas no diagrama de Ishikawa, como a análise inconsistente dos materiais. Por exemplo, na Figura 7, são descritos os resultados do Kappa de Cohen, comparando cada validador da equipe 1 e a consolidação de supervisores e gerentes de Triagem/qualidade. Os validadores 3 e 6 foram os mais confiáveis, demonstrando uma concordância substancial com os resultados da consolidação. Em contraste, o validador 7 obteve uma concordância moderada, enquanto os validadores 5, 8 e 9 apresentaram uma concordância razoável. Os validadores 1, 2 e 4 apresentaram uma concordância leve.
Figura 7 Resultados do Kappa de Cohen comparando cada validador da equipe 1 e a consolidação de supervisores e gerentes de Triagem/qualidade. Tais resultados referem-se à chamada pública de livros do PNLD 2023, Objeto 3.
No entanto, não é possível concluir se, por exemplo, o baixo comprometimento explica tais resultados. É possível argumentar que o baixo desempenho dos validadores é resultado de um conjunto de questões como baixo comprometimento e entendimento incorreto da chamada pública. Tais achados indicam que é necessária a proposição de estratégias para reduzir os impactos negativos desse tipo de problema no trabalho de Triagem desses materiais. As estratégias propostas devem considerar a resolução de problemas relacionados à automação, processo, treinamento e recursos humanos.
No terceiro conjunto de entrevistas semiestruturadas e na oficina, foram entrevistados os coordenadores-gerais de projetos, gerentes de Triagem/qualidade e servidores do FNDE. Todas as causas e efeitos foram validados durante as entrevistas. É relevante destacar que algumas das causas dos problemas já estão sendo abordadas por meio da implementação de estratégias definidas pelo NEES. Mais especificamente, considerando automação, estão sendo abordadas as seguintes causas: falta de consistência nas planilhas e dificuldades no manuseio de planilhas (por exemplo, relatórios). Para essas causas, está ocorrendo a substituição de planilhas por software de gerenciamento de dados e relatórios. Em colaboração com o FNDE, algumas causas de problemas relacionados a treinamento e recursos humanos também estão sendo abordadas, como, por exemplo, o entendimento parcial das regras das chamadas públicas e as diligências repetidas não planejadas.
4. Conclusão
Neste estudo, foram identificadas, analisadas e discutidas causas de problemas e efeitos usando um diagrama de Ishikawa. O diagrama foi criado com base em entrevistas, documentos internos e resultados de avaliação de concordância entre validadores de livros e materiais didáticos do PNLD e foi validado com as partes envolvidas na execução da etapa de Triagem do FNDE. Neste estudo, foram evidenciados e discutidos problemas (e suas causas) no processo de validação e análise de atributos de livros inscritos no PNLD (etapa de Triagem). Tais problemas podem impactar negativamente na qualidade da entrega dos materiais didáticos, como parte da política pública educacional no Brasil (em termos de possíveis falhas de edição). O mapeamento dos problemas e suas respectivas causas delineado neste trabalho poderá contribuir para o desenvolvimento de estratégias para minimizar ou sanar os problemas relacionados à execução da etapa de Triagem do PNLD.
Aumentar a qualidade de atividades realizadas durante a etapa de Triagem é relevante porque pode impactar positivamente outras etapas do PNLD, tal como a avaliação pedagógica de livros. Portanto, alunos e professores de escolas públicas e organizações sem fins lucrativos podem ser beneficiados com livros que possuem melhor qualidade, consequentemente, impactando positivamente a melhoria do processo de ensino-aprendizagem no país.
