Pesquisa da Face propõe índice multidimensional na educação para superar provas padronizadas

Arquivo pessoal
A Abordagem das Capacitações, originada no campo da economia, propõe que as avaliações sociais transcendam as visões tradicionais, como a utilitarista e a das necessidades básicas. O foco é a capacidade que as pessoas têm de fazer ou ser o que elas valorizam. Ela se presta, por exemplo, à crítica ao uso do PIB per capita como medida da qualidade de vida nos países – a unidimensionalidade desse indicador ignora a diversidade de aspectos da vida humana que vão além da riqueza monetária.

Com base na convicção de que "exames padronizados não são suficientes para captar a diversidade de motivos pelos quais a educação deve ser valorizada" e em busca de "uma visão mais abrangente do processo educacional e de como ele pode ser influenciado por fatores que atuam nas famílias, na escola e na sociedade", o economista Alysson Lorenzon Portella propõe, em trabalho de mestrado recém-concluído, um índice multidimensional, baseado na Abordagem das Capacitações, para avaliar a educação no Brasil.

Apoiado na literatura, Portella identificou nove dimensões de avaliação e as dividiu em dois grupos. O primeiro reúne capacitações referentes ao acesso à educação, condições sociais para esse acesso, segurança e respeito à diversidade e à autonomia dos alunos. O segundo contempla capacitações obtidas por meio da educação, relacionadas, por exemplo, à existência democrática, à profissionalização e ao bem-estar.

"Essas dimensões abrangem conhecimentos e habilidades que deveriam ser desenvolvidos na escola, desde aqueles necessários ao trabalho até os que contribuem para a cidadania e o pensamento crítico", explica o pesquisador, que cursa doutorado no Insper, em São Paulo.

Definidas essas dimensões, foi preciso estabelecer uma forma de medi-las. As variáveis utilizadas foram extraídas dos questionários do Sistema Nacional de Avaliação da Educação Básica (Saeb), responsável pela Prova Brasil, respondidos por alunos, professores, diretores e avaliadores das escolas.

"Em seguida, utilizei métodos de análise fatorial exploratória e confirmatória, para agrupar e dar peso a cada uma dessas variáveis. E construí um índice multidimensional, com subíndices que representariam cada uma das dimensões", explica Portella, acrescentando que, com base nos dados dos alunos, escolas e professores, foi calculado o indicador para todas as unidades da federação e dependências administrativas (federal, estadual, municipal e privada), para o período de 2003 a 2013.

Saída empírica
O dilema de escolher que dimensões e variáveis utilizar e que pesos dar a cada uma delas foi resolvido por meio de reflexão baseada na literatura e de uma "saída empírica", focada na análise fatorial.

Alysson Portella sublinha que, na medida em que a Abordagem das Capacitações valoriza aspectos normativos dessas avaliações e não foge deles, a ideia de discussão pública de valores é central. "O ideal seria conversar com os grupos interessados. Existem metodologias para isso, mas são custosas e pouco práticas, o que impossibilitou sua utilização nessa dissertação", comenta.

O resultado foi um índice com 47 variáveis, distribuídas em dez dimensões. O pesquisador concluiu que houve tímida melhora no período 2003-2013, maior no 5º ano do que no 9º ano do ensino fundamental – as séries usadas no trabalho. Há, no entanto, resultados mais claros e relevantes. Os índices não variam muito de acordo com estado e região, e é difícil definir com clareza um padrão regional na qualidade do ensino, com base no índice multidimensional. Mas a diferença entre as instâncias administrativas é clara, e as escolas federais e privadas (média de 0,8, em escala de 0 a 1) apresentam qualidade muito superior à das estaduais e municipais (0,6), o que era esperado.

O pesquisador destaca que essas diferenças não estão distribuídas igualmente dentro das dimensões. Em relação a hábitos de leitura, pedagogia e segurança (e aqui a surpresa é grande, tendo em vista a imagem de instituições violentas que as escolas públicas carregam), os resultados foram semelhantes. As maiores disparidades apareceram nas dimensões "ensino para bem-estar", "ensino profissionalizante", "exposição às artes" e "respeito à diversidade".

"Se a educação fosse unidimensional e pudesse ser avaliada com base em apenas um aspecto, seria de se esperar correlações altas entre as dimensões. Mas não foi o caso: houve muitas correlações próximas a zero e até mesmo negativas, o que reforça a ideia de multidimensionalidade", salienta o pesquisador.

Ele também comparou os resultados de seu índice com outras duas medidas, o Ideb, medida oficial do governo brasileiro, e o Ioeb, índice de oportunidades educacionais calculado pelo Centro de Liderança Pública. A correlação entre a medida desenvolvida na pesquisa e esses dois indicadores foi relativamente alta para o 5º ano (por volta de 0,75), mas muito baixa para o 9º (menos de 0,3), ao passo que a correlação entre o Ideb e o Ioeb foi em torno de 0,9 para ambos os anos.

Dissertação: Uma avaliação multidimensional da qualidade da educação no Brasil a partir da Abordagem das Capacitações
Autor: Alysson Lorenzon Portella
Orientadora: Ana Flávia Machado
Defesa: 20 de maio de 2016, no Programa de Pós-graduação em Economia

(Itamar Rigueira Jr./Boletim 1951)