Esta é a primeira reportagem de uma série que será publicada ao longo deste ano na revista Gestão Educacional com base no livro Educação baseada em evidências: como saber o que funciona em educação, uma publicação do Instituto Alfa e Beto.

Antes de apresentar para o público um remédio que promete curar uma doença que afeta milhares de pessoas, um cientista tenta garantir que as contraindicações e os possíveis efeitos colaterais tenham sido identificados e a fórmula esteja correta. Ele não acredita apenas em seu feeling e em um único teste. Para isso, estuda, pesquisa e testa várias vezes.

Apesar de não estar relacionada ao universo educacional, essa situação lembra que grandes decisões precisam ser embasadas em critérios que vão além de automatismos, rotinas, hábitos, regras, tradições e crenças pessoais. Isso significa que estudos científicos e provas concretas do que funciona ou não funciona deveriam servir de base para a construção de um projeto educacional que pode transformar a sociedade e ajudar a definir o futuro de muitas vidas, como o lançamento de um novo remédio no mercado.

Porém, nem sempre é isso que acontece. “No Brasil, com raras exceções, a maioria dos estudos em educação é feita por educadores sem formação científica rigorosa ou por cientistas que não usam mé- todos quantitativos. Aqui, é comum chamar de ‘pesquisa qualitativa’ qualquer tipo de estudo e de ‘teoria’ qualquer ideia – mesmo que não tenha a menor comprovação. Com isso, o conhecimento não avança”, analisa João Batista Araujo e Oliveira, PhD em Educação, psicólogo, presidente do Instituto Alfa e Beto (IAB) e um dos autores do livro Educação baseada em evidências: como saber o que funciona em educa- ção (lançado pelo IAB).

Na opinião do especialista, para mudar esse panorama, é preciso usar métodos científicos adequados e critérios rigorosos para avaliar os estudos, além de publicá-los em revistas de elevado padrão acadêmico. Esta reportagem abre a série Educação Baseada em Evidências, da Gestão Educacional, que tem como ponto de partida a obra escrita por João Batista Oliveira em parceria com Micheline Christophe, Gregory Elacqua e Matias Martinez, em que os passos para que essa mudança aconteça são abordados.

BASE CIENTÍFICA

Cláudia Costin, diretora global de Educação do Banco Mundial, é autora do prefácio do livro lançado pelo Instituto Alfa e Beto e sintetiza o conceito da obra e a visão dos autores: “A ciência precisa ser nossa aliada. Pesquisadores de todo o mundo produziram, nas últimas dé- cadas, conhecimento científico consistente em torno de temas centrais da educação, que servem de subsídios para embasar decisões de nível macro – como políticas públicas que afetam um estado ou município – e decisões de nível micro – como práticas pedagógicas de sala de aula. É preciso que esse conhecimento seja incorporado por todos os atores do debate educacional brasileiro”, declara Cláudia, que é mestre em Economia. “Combinando evidências científicas e empíricas obtidas, respectivamente, por meio de estudos sólidos e instrumentos estatísticos robustos, especialmente meta-análises, hoje é possível que professores, educadores e responsáveis pelas políticas em educação tomem decisões mais bem fundamentadas e com chance muito maior de produzir impacto positivo na aprendizagem dos alunos, na escola e no bom uso de recursos para a educação”, acrescenta.

Apesar de concordar com Cláudia e defender o uso de evidências para o embasamento de políticas educacionais, Gregory Elacqua, PhD em Políticas Públicas, economista principal da divisão de Educação do Departamento do Setor Social no Banco Interamericano de Desenvolvimento (BID) e coautor do livro Educação baseada em evidências, lembra que é fundamental passar as fontes de pesquisa por uma análise criteriosa antes de utilizar suas informa- ções como ponto de partida para qualquer ação. “Nem toda pesquisa é boa, confiável ou suficientemente robusta para testar hipóteses ou tirar conclusões. Portanto, é fundamental que haja uma avaliação minuciosa antes de considerar verdade absoluta um dado apresentado como evidência”, declara. Além disso, muitas dúvidas podem aparecer no momento em que se deseja trabalhar com base em evidências. Afinal, em um universo de estudos e pesquisas, o que usar como ponto de partida para uma decisão?

ANÁLISE DE EVIDÊNCIAS

João Batista Oliveira responde a essa questão apresentando um exemplo prático. “Suponha que você queira saber se turmas menores garantem melhor desempenho dos alunos. Há milhares de pesquisas sobre o tema. Identificar a fonte em que foram publicados os estudos que mais lhe agradam é o primeiro passo para definir em qual deles apoiar suas decisões”, orienta o especialista, destacando, na sequência, que há revistas científicas de diferentes níveis, portanto cabe ao interessado determinar qual o nível de exigência que estabelecerá para seu estudo.

A segunda etapa desse processo, de acordo com o autor, consiste em estabelecer os critérios utilizados para selecionar os estudos a serem incluídos na análise – por exemplo: amostra, tamanho da amostra, tipo e duração da intervenção, instrumentos de medida etc. –, para se fazer um novo filtro. Depois disso, chega o momento de usar técnicas estatísticas (saiba mais no box acima) apropriadas para tornar comparáveis as medidas usadas nas diferentes pesquisas. “Normalmente, comparam-se os ‘desvios-padrão’ para determinar o que os estatísticos chamam de ‘tamanho do efeito’. Então, é feita uma meta-análise, que é um quadro em que esses resultados são comparados. A qualidade de uma meta-aná- lise resulta da qualidade das decisões como as citadas acima – quanto maior o rigor, a quantidade de pesquisas e o tamanho das amostras, mais robustas serão as evidências”, destaca Oliveira.

Outro ponto levantado pelo especialista diz respeito ao fato de ser comum encontrar resultados conflitantes entre pesquisas rigorosas. Assim, explica, o que a meta-análise permite verificar são a convergência e a tendência dos resultados. “No estudo sobre métodos de alfabetização realizado pelo National Literacy Panel nos Estados Unidos, foram revistas mais de 100 mil pesquisas, mas poucas dezenas restaram para fundamentar as conclusões mais robustas”, exemplifica. Para cobrir essa lacuna, Oliveira revela que nos últimos anos um novo elemento tem sido introduzido como critério: a inclusão de estudos que usam grupos de controle randomizados e permitem inferências mais robustas, não apenas de correlações, mas de causa-efeito. “Tudo isso é levado em conta quando fazemos o levantamento de evidências sobre determinado tema. Não basta dizer que ‘um estudo diz que…’, ou ‘certos autores afirmam que…’, ou usar argumentos de autoridade, como ‘Piaget afirmou que…’. É preciso mais”, sugere o presidente do Instituto Alfa e Beto.

EDUCAÇÃO, CIÊNCIA E POLÍTICAS

Isso permite pensar que, ao utilizar as evidências como base para o planejamento educacional, a educação esteja se transformando em uma ciência exata. Gregory Elacqua explica, porém, que não é bem assim. “Nem tudo é preto no branco na educação. Pelo contrário, há muitas nuances que precisam ser analisadas para se chegar a qualquer conclusão e tomar qualquer decisão. Assim, penso que, apesar de essa comparação fazer sentido, é preciso ter uma postura cautelosa em relação a ela, até para que as evidências não sejam mal utilizadas no futuro”, afirma o economista. João Batista Oliveira concorda e acrescenta que a evidência é um elemento que pode ajudar nas decisões porque nem toda decisão é científica ou racional. “E isso se aplica a nossas vidas particulares também. Não há evidência para fundamentar todas as decisões que precisamos tomar – nem para problemas pessoais que enfrentamos, nem para o que diz respeito ao sistema educacional ou à sala de aula”, declara.

Apesar disso, o que precisa ficar claro, na opinião dos especialistas, é a importância da racionalidade na tomada de decisões educacionais. Para começar, como destaca Oliveira, o uso da racionalidade pode ajudar a economizar recursos. “Antes de implementar um novo programa de incentivos para professores ou reduzir o número de alunos por classe, por exemplo, seria vantajoso saber o que dizem as evidências. Políticas públicas – especialmente se envolvem o tempo de alunos ou recursos públicos – deveriam ser baseadas em evidências robustas. Para algo se converter em política, precisa passar pelo crivo das evidências. Mas é claro que todo processo humano é necessariamente político – portanto, nem tudo que se baseia em evidências vai se converter em políticas públicas.

Mas a recíproca não deveria ocorrer – é injusto e incorreto implementar políticas sem usar as evidências disponíveis”, analisa. Além disso, na visão dos coautores do livro Educação baseada em evidências, muito poderia ser feito de maneira diferente e com melhores resultados, caso os dados coletados por estudiosos fossem mais bem aproveitados. “A primeira [coisa a ser feita] seria recrutar pessoas mais bem qualificadas para se tornarem professores – ao contrário do que fazemos hoje. A outra seria ter currículos bem elaborados, de acordo com as melhores práticas, o que estamos perdendo a oportunidade de fazer”, pontua o presidente do IAB.

A adoção de certos princípios pedagógicos bem estabelecidos – como a estrutura e a sequência correta ou o uso da reta numérica no ensino da matemática ou do método fônico para alfabetizar – é outra evolução que, na visão dos especialistas, seria possível com o melhor aproveitamento dos estudos científicos sobre educação. “Some-se a tudo isso, ainda, o uso de métodos e técnicas de ensino intencionais, explícitas ou estruturadas; o atendimento aos alunos em programas e turmas diferenciadas, de acordo com o ritmo e a capacidade do aluno; o ensino médio diferenciado ou as políticas robustas para a Primeira Infância (versus creches de má qualidade). Teríamos um sistema educacional mais eficaz, mais efidos países em que a educação dá certo”, avalia Oliveira.

PESQUISA NO BRASIL

O ditado “a grama do vizinho é sempre mais verde” é perfeitamente encaixável no que diz respeito ao uso de evidências na educação no Brasil, na visão de Gregory Elacqua. Para ele, apesar de ainda termos muito a evoluir, iniciativas como a Prova Brasil e as Devolutivas do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) mostram que o país está no caminho certo. A preocupação de João Batista Oliveira, porém, diz respeito à maneira como boa parte dos estudos é conduzida por aqui. “Nos países desenvolvidos, a pesquisa educacional é influenciada sobretudo por economistas – que se interessam mais por questões de insumos e resultados, o que está por fora da caixa preta – e por psicólogos – que se debruçam sobre os processos, o que está dentro da caixa preta.

Nas duas últimas décadas, psicolinguistas e neurocientistas também têm produzido pesquisas de grande relevância para a educação. Sociólogos e antropólogos também têm contribuições importantes – especialmente, mas não exclusivamente, por meio de estudos que usam métodos quantitativos –, capazes de validar hipóteses”, explica. Aqui, porém, o que mais se observam são iniciativas bem intencionadas, mas pouco preparadas. “Recentemente, examinei centenas de estudos brasileiros sobre ensino de matemática e ciências – química, física e biologia. A esmagadora maioria era de estudos descritivos, ‘qualitativos’, que usam o termo ‘teoria’ num sentido muito vago.

Os poucos estudos quantitativos não tinham robustez suficiente para comprovar as hipóteses formuladas de forma rigorosa. Falta formação científica, faltam critérios robustos para avaliar a qualidade da pesquisa produzida pelos pesquisadores e pelos centros de pós-graduação e faltam revistas científicas de padrão internacional na área de educação no Brasil. Mas já temos alguns poucos pesquisadores – especialmente economistas e psicólogos – que publicam em revistas internacionais ou revistas nacionais de padrão internacional. É este o caminho e o exemplo a ser seguido”, destaca.

Clique aqui para ver o arquivo em pdf com a reportagem completa.

Para ver a capa da revista Gestão Educacional e ler o editoral, clique aqui.

Acesse artigo de Ilona Becskehazy sobre Educação Baseada em Evidências.

Para saber mais sobre a publicação Gestão Educacional e sobre a série de reportagens, acesse www.gestaoeducacional.com.br.