Reproduzimos abaixo o post “A qualidade da educação superior brasileira” publicado no blog de Simon Schwartzn no dia 22 de dezembro de 2018.
A qualidade da educação superior brasileira
A Organização Para a Cooperação Econômica e Desenvolvimento (OECD) publicou ontem um estudo sobre o sistema brasileiro de avaliação da educação superior, Rethinking Quality Assurance for Higher Education in Brazil, cujo resumo executivo em português, preparado pelo Ministério da Educação, está disponível aqui. O Jornal O Estado de São Paulo publica hoje, 22/12/2018, uma matéria sobre o documento, por Isabela Palhares, sobretudo sobre a parte referida ao Exame Nacional de Desempenho dos Estudantes (ENADE), assim como uma versão resumida deste texto meu.
Os dados da Prova Brasil elaborados pelo Ministério da Educação confirmam que a educação fundamental no país vai bastante mal, apesar do aumento de cerca de quase cinco vezes nos investimentos por estudante nas redes públicas entre 2004 e 2014 (valores nominais, dados do INEP). Na educação superior, os gastos do governo federal passaram de 32 para 75 bilhões de reais entre 2008 e 2017 (dados da Secretaria do Tesouro). E nossa educação superior como anda, está bem, está melhorando?
Não sabemos. Não existe, para a educação superior, um instrumento de medida de qualidade semelhante à Prova Brasil. Nos anos 90 o governo criou o Provão, que foi uma tentativa de medir a qualidade dos diferentes cursos de nível superior, transformado depois no ENADE, que é uma prova feita a cada três anos. Os resultados do ENADE são combinados com uma série de outras informações para chegar a um número que é o “Conceito Preliminar dos Cursos”; e os conceitos dos cursos de cada instituição, mais os dados da avaliação dos cursos de pós-graduação da CAPES, são combinados no “Índice Geral de Cursos”, todos eles variando entre 1 e 5. Para as instituições com menos de 3, o MEC envia avaliadores munidos de questionários detalhados que produzem informações sobre se as instituições e cursos podem ou não ser autorizados a funcionar. Tudo isto a um grande custo de pessoal, viagens, reuniões de especialistas, banco de dados e preparação de provas, administrados pelo INEP e pela Secretaria de Regulação e Supervisão do MEC (SERES).
O que toda esta parafernália nos diz sobre a educação superior no Brasil? Ela está melhorando? Em que áreas está mais forte, e mais fraca? Os gastos públicos com a educação superior nas universidades federais e nos subsídios e créditos às instituições privadas estão tendo bons resultados? Os currículos são atualizados, e atendem às novas demandas do mercado de trabalho? Um bom sistema de avaliação deveria ser capaz de informar aos estudantes e suas famílias sobre a qualidade dos cursos em que estão entrando, incluindo a possibilidade de conseguir um bom emprego; deveria informar aos empregadores sobre a qualidade dos profissionais que estão saindo dos cursos; deveria informar aos governos sobre a eficiência e eficácia de seus investimentos em educação superior; e deveria dar elementos para que as próprias instituições sejam estimuladas e possam melhorar seu desempenho. Será que estes procedimentos implementados pelo INEP e pela SERES, apoiados em um emaranhado de decretos, portarias e atos ministeriais, estão cumprindo estes objetivos? Esta é a melhor maneira de avaliar a educação superior? O que dizem as experiências de outros países?
Para responder a estas perguntas, o Ministério da Educação contratou em 2017 a OECD para fazer uma avaliação externa deste sistema. Em março de 2018 a OECD enviou uma missão ao Brasil que entrevistou representantes o governo e de diferentes setores das universidades públicas e privadas, e agora o trabalho foi finalmente publicado.
As conclusões sobre o ENADE e os indicadores de qualidade utilizados pelo INEP e SERES são bem críticas. As provas do ENADE não são padronizadas, não permitem comparar os resultados de um ano a outro, não permitem comparar a qualidade de diferentes carreiras. O único que fazem é comparar entre si os cursos de bacharelado, licenciatura e de tecnólogos em cerca de 80 áreas diferentes, sem ter critérios para dizer o que é bom, ruim ou excelente. Como os resultados da prova não afetam os alunos, muitos deles não se interessam em responder, ainda que sejam obrigados a participar quando lhes toca. E os índices combinando dados do ENADE com outros sobre titulação de professores, infraestrutura, notas do ENEM e avaliação dos cursos pelos alunos não têm justificação clara, misturam coisas diferentes, e tendem a desfavorecer os cursos de formação profissional, em geral privados, que têm menos professores doutores em tempo integral. Além do mais, não existem indicadores sobre taxas de abandono dos cursos, nem sobre o mercado de trabalho. A OECD recomenda que se faça uma avaliação dos custos e benefícios deste sistema, e inclusive que se considere se vale a pena continuar com o ENADE, um tipo de avaliação que não existe em nenhuma outra parte do mundo, justamente pelas dificuldades que a experiência brasileira mostra. Ela também recomenda que, ao invés de indicadores sintéticos, sejam dadas informações sobre os diferentes aspectos de cada curso e instituição, de forma simples e acessível ao grande público.
Um outro ponto importante das conclusões da OECD é que o sistema brasileiro coloca muita ênfase na avaliação dos cursos, e menos na avaliação das instituições. Com 35 mil cursos superiores no país em cerca de 2.500 instituições, isto torna todo o processo extremamente complexo e burocrático. Em 2017, mais de 10 mil cursos foram avaliados pela SERES. As recomendações da OECD vão no sentido de colocar mais foco na avaliação qualitativa das instituições, que, uma vez bem avaliadas, teriam mais liberdade e autonomia para administrar seus cursos. E todo este complicado sistema de credenciamento, recredenciamento, autorização e reconhecimento de cursos só se aplica na prática ao setor privado, porque as instituições públicas não precisam de credenciamento para funcionar, e quase sempre saem bem nas avaliações porque têm mais professores doutores em tempo integral e, geralmente, melhores instalações.
Sobre a avaliação dos cursos de pós-graduação realizada pela CAPES, o que mais chamou a atenção da OECD foi a grande ênfase posta na produtividade acadêmica de docentes dos cursos, e menos preocupação com o desempenho dos estudantes, assim como com a relevância das diferentes áreas de formação para o Brasil. Não existe preocupação com o destino profissional dos estudantes, e nem sobre a natureza específica dos programas de mestrado, que são tratados no Brasil como programas acadêmicos menores, enquanto que no resto do mundo são cursos de formação profissional.
Ao final, a OECD se pergunta se o atual arranjo institucional para a avaliação da educação superior no Brasil é o mais adequado. O que mais chama a atenção é que existe um conflito de interesse entre as responsabilidades do Ministério da Educação de, por um lado, manter e administrar a rede federal de universidades e regular o setor privado, e, por outro avaliar os dois sistemas. O órgão que deveria coordenar todo o sistema de avaliação, a Comissão Nacional de Avaliação da Educação Superior (CONAES) não tem estrutura nem condições de realizar este trabalho. A sugestão é que se crie uma agência autônoma de avaliação fora do Ministério, e que o CONAES seja reformulado para poder exercer de fato a função de supervisão normativa do sistema, como está na lei.
Já existe um projeto de lei no Congresso de criação de um Instituto Nacional de Avaliação da Educação Superior que combinaria as atuais funções de avaliação da SERES e do INEP, criando centenas de novos cargos e toda uma nova estrutura burocrática associada ao MEC. O que se precisa, claramente, não é de mais uma burocracia, mas de uma instância normativa e de regulação efetivamente autônoma, que possa transformar o atual sistema de avaliação em um processo muito mais leve, que dê mais autonomia às instituições bem avaliadas, que informe melhor aos estudantes e à sociedade sobre o que está ocorrendo com o ensino superior brasileiro em seus diversos setores, e indique os melhores caminhos.
A expectativa é que, uma vez estudado em profundidade o trabalho da OECD , que contém uma análise muito mais detalhada dos aspectos mais críticos e recomendações de reforma do sistema brasileiro de avaliação a educação superior do que este sumário, o próximo governo se proponha a rever a experiência obtida até aqui, com seus aspectos positivos e negativos, e indique novos caminhos.
