Ainda a avaliação das universidades

MEC

Informações adicionais advindas da última avaliação das instituições de ensino superior mostram que o quadro geral da avaliação é mais complexo do que parecia. Reportagem do jornal “Folha de São Paulo” de ontem (02/09/2009) relata que a diferença de avaliação entre as universidades públicas e privadas diminuiu. O texto da reportagem de Fábio Takahashi é transcrito a seguir.

Diferença de nota entre universidades públicas e privadas cai

A vantagem das universidades públicas sobre as privadas no indicador de qualidade do governo federal diminuiu 19% em um ano, apontam dados do Ministério da Educação. A nota média das públicas era 27% superior que [a nota das] particulares em 2007 e [esta diferença] caiu para 22% no ano seguinte. Os dados, divulgados na segunda-feira (31), referem-se ao IGC (Índice Geral de Cursos), que considera itens como desempenho dos estudantes numa prova (Enade), qualificação dos docentes (número de doutores) e a nota da pós-graduação, entre outros. A diferença diminuiu porque as instituições privadas mantiveram suas médias (239, em escala até 500) e as públicas tiveram um recuo (de 304 para 292), apontam dados tabulados por Oscar Hipólito, ex-diretor do Instituto de Física da USP de São Carlos e pesquisador do Instituto Lobo.

Dentro das públicas, o maior recuo ocorreu nas universidades estaduais — a média caiu 9%. Os dados não consideram USP e Unicamp, que decidiram não participar da avaliação. Nas federais, a queda foi de 1%. Os novos dados mostram também que o número de universidades estaduais reprovadas subiu de um para cinco, aquelas com [notas] 1 e 2 no IGC. Estão nessa lista as universidades estaduais de Goiás, Alagoas, Roraima, Piauí e de Ciências da Saúde de Alagoas.

O presidente da Abruem (entidade que representa as universidades estaduais), João Carlos Gomes, afirma que as instituições estão preocupadas com os indicadores. “Mas há esforço para melhorar esses índices. Temos universidades novas, em processo de crescimento”, disse. “Estamos, por exemplo, melhorando a titulação dos docentes.”

O pesquisador Oscar Hipólito cita duas possibilidades para o problema nas estaduais. “Em alguns Estados, pode haver mais interferência política na gestão universitária. O que ocorre menos nas federais e nas estaduais de São Paulo.” Outra hipótese é que o controle das estaduais seja menos rigoroso, pois o processo está principalmente nas mãos dos Conselhos Estaduais de Educação, e não nas do MEC. “Uma expansão das estaduais pode explicar o desempenho, mas é preciso fazer estudos mais aprofundados”, disse o presidente do Inep (instituto do MEC responsável pela avaliação), Reynaldo Fernandes.

O presidente do Semesp (sindicato que representa as universidades privadas), Hermes Figueiredo, afirma que o setor das particulares “não gosta” da comparação com as públicas. “O que buscamos é a excelência acadêmica, independentemente do desempenho das públicas”, disse. “Além disso, o IGC é apenas um indicador. Para nós, há fatores que interessam mais, como a empregabilidade dos nossos estudantes.”

Seria muito bom que o relatório completo da avaliação fosse disponibilizado pelo MEC on-line. Fica evidente que a avaliação do ensino superior é realmente complexa, e que as informações da avaliação estão sendo divulgadas de forma pouco conexa e coerente. Ao que tudo indica, uma avaliação puramente quantitativa pode ter várias interpretações diferentes.

O modelo da atual avaliação foi elaborado pela Comissão Nacional de Avaliação da Educação Superior, do Sistema Nacional de Educação Superior (SINAES). As avaliações geraram o chamado Conceito Preliminar de Cursos de Graduação (CPC), os quais compõem o Índice Geral de Cursos (IGC) de cada Instituição de Ensino Superior (IES). O CPC é determinado por três parâmetros: INSUMOS (que corresponde a 30% da nota), o Índice de Diferença entre os Desempenhos Desejado e Esperado (IDD, que corresponde a 30% da nota) e o Exame Nacional de Desempenho de Estudantes (ENADE, que corresponde a 40% da nota).

O ítem INSUMOS se refere às características de infra-estrutura física de onde o curso é ministrado, bem como dos recursos didáticos e pedagógicos do curso. A nota ao ítem INSUMOS é atribuída em parte pelos alunos que realizam o exame, e se referem a DUAS QUESTÕES DO QUESTIONÁRIO SOCIOECONÔMICO. Em conjunto com a nota atribuída pelos alunos, considera-se também o corpo de professores do curso sob avaliação, em função do número de professores doutores que compõem este quadro docente (corresponde a 38,9% da nota INSUMOS), assim como o regime de trabalho destes professores (se integral ou parcial, correspondendo a 23,8% da nota INSUMOS). Embora o questionário SOCIOECONÔMICO respondido pelos alunos seja composto por 115 questões, somente duas são consideradas para avaliar as condições de infra-estrutura e dos recursos pedagógicos do curso.

Resta saber a real capacidade e seriedade dos alunos em avaliar estes quesitos de maneira clara, objetiva e de maneira a fornecer dados quantitativamente aceitáveis. Se por um acaso, ou qualquer problema, os alunos responderem a este questionário de maneira inadequada, a nota do CPC ficará comprometida. Não são levados em conta para esta avaliação qualquer informação fornecida pelos professores das IES ou pela realização de visitas in loco por avaliadores do MEC.

A própria avaliação do corpo de professores das IES é questionável por considerar apenas a porcentagem de professores doutores e de carga horária e não outros fatores, como a realização de atividades de orientação (de iniciação científica, mestrado e doutorado), desenvolvimento de projetos de pesquisa e/ou tecnológicos, relação professor/aluno em sala de aula, dentre outros fatores.

Já o IDD avalia o desempenho dos estudantes ingressantes e concluintes na prova do ENADE. Se esta diferença é grande, a nota do IDD aumenta. Ou seja, se o desempenho do aluno é bom tanto na prova de ingresso quanto na prova de conclusão, a nota do IDD diminui! Desta maneira, a distorção na avaliação é significativa, pois penaliza os cursos muito concorridos, nos quais os alunos ingressantes devem ser bons, e consequentemente os alunos concluintes destes cursos também devem ser (bons). O mesmo acontece com a prova do ENADE, que é avaliada da mesma maneira. Além disso, basta ao aluno registrar sua presença no dia da prova. O desempenho do aluno na prova não acarreta qualquer conseqüência ao aluno. Nenhuma. Mesmo se não responder a nenhuma questão, ou se responder de qualquer jeito, ou se apresentar um excelente desempenho. Não existe diferença. Ou seja, apesar de não causar nenhuma consequência aos alunos, a queda na nota do ENADE irá diminuir a nota do CPC do curso, que por sua vez acarretará a diminuição da nota do IGC da IES. Se a nota do ENADE é zero (0), não é considerada para a avaliação. Mas se a nota do ENADE é baixa (calculada sobre a média ponderada da nota dos alunos que realizaram a prova + os alunos que entregam a prova em branco), afeta diretamente o CPC que afeta o IGC. Se, além disso, os alunos são especificamente treinados a realizarem a prova do ENADE, a nota também ficará artificial.

Levando-se quem conta que a nota do CPC de um curso se baseia nos itens INSUMO e IDD em uma extensão de 60%, evidentemente que, da maneira como é avaliada, esta nota é bastante distorcida.

Como o CPC influencia diretamente o IGC, e o IGC determina a posição das IES no quadro geral de avaliação das IES do Brasil, a classificação fornecida pelo MEC fica bastante imprecisa pela utilização de uma metodologia de avaliação que é, no mínimo, muito questionável.

Além disso, são comparadas em uma mesma avaliação IES não comparáveis: universidades, centros universitários, faculdades, grandes instituições com instituições altamente especializadas. Todas são avaliadas de maneira conjunta, sem qualquer distinção. Se avaliados cursos isoladamente, o quadro geral de classificação das IES pode ser significativamente alterado (veja a próxima postagem deste blog).

Vale assinalar que o único quesito avaliado é o de ensino, deixando-se de se considerar os quesitos pesquisa e extensão.

vestibular-total

Uma série de questionamentos, longa e profunda, poderia ser feita a partir das considerações sobre os métodos de avaliação das IES pelo INEP/MEC. Cabe, agora, esperar que os mecanismos e metodologias desta avaliação sejam MUITO melhorados, pois da forma como foi realizada gera distorções difíceis de serem mensuradas. Os dirigentes de várias IES apresentaram suas ressalvas à avaliação realizada (veja aqui a manifestação dos dirigentes das IES particulares). Que esta seja continuamente aprimorada, com a participação dos dirigentes de IES representativos, de maneira a que se possa ter uma real perspectiva da qualidade do ensino superior no Brasil,tal como proposta na portaria 1.264 do MEC, de 17 de outubro de 2008. Não foi por acaso que a USP e a UNICAMP não quiseram participar desta avaliação, cuja metodologia foi muito questionada. Sendo instituições de ensino estaduais, não são obrigadas a participar desta avaliação.

Sendo assim, pondero mais cuidadosamente minhas observações das postagens anteriores, e prefiro deixar minha barba de molho, até que esta avaliação seja feita de maneira mais séria e criteriosa.

Atualização em 11/10/2009: duas notícias desta semana, publicadas no jornal “Folha on-line”, apresentam dados relacionados ao ensino superior no Brasil. A primeira notícia diz que o número de brasileiros com ensino médio completo vem aumentando: Em 1998, 65,3% das pessoas de 25 anos ou mais idade tinham o ensino fundamental incompleto. Em 2003, essa taxa caiu para 58,6% e, ano passado, atingiu 50,2%. A segunda notícia diz que o número de jovens matriculados em instituições de ensino superior teve um aumento de 100%: de 6,9% para 13,9%. Ainda é pouco se comparado com países europeus, onde a porcentagem de jovens estudando em universidades ultrapassa 50%. Mas, é importante ressaltar: o que importa não é dar oportunidade aos jovens para estudar em qualquer IES, e sim ter acesso ao ensino superior de muito boa qualidade.



Categorias:educação, informação

Tags:, , , , ,

Deixe um comentário