Rankings em perspectiva

Retratos inevitáveis (e imperfeitos)

Rankings universitários globais oferecem oportunidades para reflexão sobre políticas acadêmicas, mas esbarram na dificuldade de captar especificidades locais

Os rankings são uma realidade inescapável e, apesar de seus vieses conceituais e das muitas críticas, constituem-se em ferramentas que contribuem para a compreensão do estado da educação e da pesquisa ao redor do mundo. Essa visão por vezes se reflete na governança acadêmica de algumas instituições de ensino superior, que passam a considerar aspectos dessas classificações ao elaborar as próprias políticas.

Jacques Marcovitch: unidade de inteligência
Jacques Marcovitch: unidade de inteligência USP Imagens

Há quase dez anos, o matemático Philippe Vincke, da Universidade de Bruxelas, antecipava que os rankings se tornariam referência para a elaboração de políticas institucionais por parte das universidades. No cenário mundial, algumas dessas classificações se consolidaram e ocupam lugar de destaque – o Academic Ranking of World Universities (ARWU), da Universidade de Jiao Tong, de Xangai, o QS World University Ranking, da empresa Quacquarelli Symonds (QS), o britânico Times Higher Education (THE) e, no âmbito nacional, o Ranking Universitário Folha (RUF), que neste ano chegou à sétima edição.

De acordo com a pesquisadora Sabine Righetti, em artigo no livro  Repensar a universidade – desempenho acadêmico e comparações internacionais, organizado pelo professor da Universidade de São Paulo (USP) Jacques Marcovitch, a literatura científica estima a existência de cerca de dez rankings universitários globais com periodicidade definida, que avaliam as universidades de todo o mundo, e outras 60 listagens nacionais que analisam o desempenho das instituições de um país. O fenômeno dos rankings universitários também tem sido objeto crescente de produções acadêmicas.

Abordagem crítica
A reitora Sandra Regina Goulart Almeida afirma que rankings proporcionam reconhecimento e visibilidade, mas ressalva que a missão da UFMG não é balizada por eles. “É imprescindível abordar os rankings em uma perspectiva crítica, avaliando, em cada caso, as escolhas da metodologia, dos indicadores e os seus impactos no resultado obtido”, pondera a reitora. “Além disso, temos outros parâmetros, próprios de uma instituição pública e gratuita, referência para o país e relevante para a sociedade, como o impacto social da atuação universitária”, acrescenta. 

Nesse sentido, o diretor adjunto de Relações Internacionais da UFMG, professor Dawisson Lopes, defende a incorporação de ações de extensão aos critérios dos rankings como forma de compor um retrato mais nítido da missão social da universidade pública na América Latina. “São instituições que lidam com uma visão de país, enquanto em outros continentes há muitas extraordinariamente bem-sucedidas em produção científica, provendo tecnologia, mas que não têm esse compromisso com a construção de nação. Isso, os rankings não enxergam”, exemplifica.

Com variações em suas metodologias, cada ranking pretende captar a qualidade das instituições por meio de itens como pesquisa, ensino, empregabilidade, relação com o mercado, internacionalização, reputação e inovação. Para o professor Carlos Basílio Pinheiro, diretor de Produção Científica da Pró-reitoria de Pesquisa da UFMG, afirmar que uma universidade tem posição melhor ou pior que outra em um ranking “significa definir o que é bom e ruim, certo e errado, em função dos critérios escolhidos para a avaliação”.

“Os rankings universitários – com todas as suas falhas conceituais e metodológicas – acabam estabelecendo tanto o conceito de universidade de qualidade quanto o perfil esperado de um docente”, argumenta Basílio. “Gostando ou não dos rankings, será cada vez mais difícil ignorá-los, pois eles vieram para ficar”, complementa.

Diante dessa realidade, cabe às instituições de ensino adotar “um olhar desapaixonado, crítico e objetivo sobre esses indicadores, que podem se constituir em ferramenta útil para conhecer a si mesmas”, defende o professor Dawisson Lopes. “Depois de termos avaliado duas dezenas de rankings, decompondo fatores, entendendo seus vieses e imperfeições, acredito que eles podem ajudar a compreender o que é a UFMG pelo olhar do outro”, afirma o professor do Departamento de Ciência Política.

Para o professor Jacques Marcovitch, reitor da USP de 1997 a 2001, “as comparações internacionais se tornaram fatos sociais inescapáveis do século 21”. Na obra Repensar a universidade, o pesquisador delineia as atribuições de uma unidade de inteligência, que seria, nas universidades, responsável pelos indicadores, tanto para efeito de monitoramento pela própria instituição quanto para utilização nas comparações internacionais. Essa unidade, na concepção de Marcovith, diferiria de um setor de estatísticas e de informações acadêmicas: enquanto este se dedica a colher informações, calcular indicadores e publicar periodicamente dados representativos do desempenho acadêmico, a unidade de inteligência “monitora, verifica e disponibiliza em tempo real métricas de desempenho institucional”. 

Recentemente, a UFMG foi classificada entre as três melhores universidades brasileiras, em dois rankings: o internacional THE e o nacional RUF – neste, pela quinta vez consecutiva, seu ensino foi considerado o melhor do país entre as universidades públicas e privadas avaliadas. 

Mesmo sem tomar os rankings internacionais como bússola para suas ações, a UFMG reconhece a importância deles no cenário internacional. Tanto que em 2011 decidiu aderir formalmente ao QS, passando a atender de modo institucional às demandas da empresa, que na época solicitava dados como citações de trabalhos, número de publicações por professor, registro de patentes nacionais e internacionais, quantidade de computadores nos campi, incluindo os de laboratórios e os de uso do corpo discente, e investimento em bibliotecas e em projetos de extensão. Atualmente, a maioria das classificações obtém dados em fontes externas, como bancos de dados de pesquisa (Scopus, Elsevier, Web of Science, Clarivate Analytics e Lattes/CNPq) e do próprio Ministério da Educação. 

Segundo Carlos Basílio, a Diretoria de Produção Científica tem construído, desde 2017, um sistema de coleta de informações de CNPq, Capes, Fapemig e fundações de pesquisa que garante o mapeamento dos volumes de recursos investidos em pesquisa na UFMG. “Nossa equipe também monitora as bases de dados para apontar erros na associação de produção e citação dos docentes ativos permanentes na UFMG. Essas informações têm ajudado a refinar dados repassados aos rankings, influenciando positivamente o desempenho da Universidade nessas classificações”, explica.

Vieses
O que um país entende como missão de uma universidade pode ser muito diferente do que outra nação compreende como tal. “Isso depende de aspectos como a formação histórica do seu ensino superior, a maneira como ele é financiado e como se conecta à sociedade”, afirma a pesquisadora Sabine Righetti, em tese de doutorado defendida em 2016, na Universidade de Campinas (Unicamp). Sabine é pesquisadora do Laboratório de Estudos Avançados em Jornalismo (Labjor) e do Laboratório de Estudos sobre Ensino Superior (LEES), na própria Unicamp, e coordenadora acadêmica do Ranking da Folha.

“Além do viés etnocêntrico, há também nessas classificações aspectos mercadológicos e metodológicos, para os quais devemos estar atentos”, pondera Dawisson Lopes. Em artigo na obra Repensar a universidade, o professor Luiz Nunes de Oliveira, do Instituto de Física de São Carlos (USP), comenta que a diversidade metodológica em que as classificações externas se apoiam decorre “da falta de compromisso [dos rankings] com o planejamento das universidades”. Ele afirma que a avaliação é uma ferramenta inserida no processo de planejamento e, portanto, não deve ser vista como um fim, e ressalta que os rankings internacionais “produzem retratos imperfeitos das universidades neles listadas porque, inevitavelmente, desrespeitam esse princípio”.

Carlos Basílio: conceito de universidade e perfil esperado de um docente
Carlos Basílio: rankings determinam conceito de universidade e perfil esperado de um docente Foca Lisboa/UFMG

O professor Ricardo Takahashi, do Departamento de Matemática da UFMG e assessor especial da Reitora, cita algumas fragilidades metodológicas nos rankings. Uma delas é o critério de reputação, mediante consulta a empregadores e a integrantes da academia. Segundo ele, esse dado, que tem peso relevante, é suscetível a uma ação de parte das universidades e pode gerar um movimento artificial. “Há instituições que se estruturam para fazer uma espécie de marketing e subir nesse indicador”, alerta o pesquisador, que relata o recebimento de correspondência de universidades que desejam receber boas referências.

O professor Carlos Basílio Pinheiro, por sua vez, vê outro aspecto problemático do mesmo indicador: nem sempre o pesquisador indica o nome das instituições às quais estão vinculados aqueles pares que são citados em seus trabalhos. Ele lembra ainda um problema estatístico que considera relevante: o porte da instituição influencia determinados resultados. É maior a probabilidade de as grandes universidades alcançarem premiações de destaque mundiais, item importante no ranking ARWU. 

Outro fator, cujo efeito exato é também difícil de estimar, é a tentativa dos rankings de ajustar o peso dos indicadores de citações e publicações, com o intuito de capturar a diversidade da produção de áreas do conhecimento. “São várias metodologias diferentes que eles adotam, para reduzir um pouco a presença de áreas como física e biologia, que tipicamente têm uma produção mais volumosa, e dar peso maior para produções de humanidades e artes”, explica Takahashi.

Em sua opinião, essa estratégia provavelmente interfere fortemente na posição das universidades brasileiras e latino-americanas nos rankings: a produção local em humanidades é muito pouco veiculada em periódicos internacionais, seja porque é escrita em português ou espanhol, seja devido à tradição de publicação de livros.

Na hierarquização promovida pelos rankings, outro aspecto deixa de ser percebido pelo grande público: a diferença de pontuação entre as instituições é quase sempre muito pequena. Carlos Basílio exemplifica com dados do RUF 2018, em que não existem diferenças relevantes na nota final: a pontuação da USP (1ª colocada) é 97,42, e a da UFRGS (5ª) é 95,86. 

Modelo padronizado 
O modelo de universidade que os rankings delineiam tem características padronizadas, independentemente de sua localização geográfica. Assim, a universidade de qualidade do futuro deveria ter perfil multidisciplinar, missão transnacional e educação em perspectiva global, isto é, com alunos de diversos países, pesquisa complexa, tecnológica, intensa, com forte cooperação internacional e avanço em padrão mundial.

Carlos Basílio Pinheiro, que é professor do Departamento de Física, destaca que critérios como “missão transnacional” e “educação em perspectiva global” esbarram no papel institucional das universidades públicas e gratuitas brasileiras, cujo foco prioritário – diferentemente de universidades do exterior – não é atrair alunos estrangeiros, mas atender às necessidades da sociedade que as financia.

Contudo, o professor destaca que o bom posicionamento nas classificações nacionais e internacionais é desejável porque, nesse cenário de competição globalizado, “não basta que uma universidade seja boa, ela precisa ser percebida como boa”. Desse modo, explica, cria-se um fluxo natural de atração de melhores docentes e estudantes que, por sua vez, desenvolverão projetos melhores e mais desafiadores, conferindo, assim, mais visibilidade, reconhecimento e recursos à instituição.

Em sua tese de doutorado, Sabine Righetti cita o conceito de “nova universidade”, na qual a pesquisa intensiva teria um papel cada vez mais proeminente, responsável por fazer surgir uma “competição por alunos, docentes e recursos em escala global”.

Ana Rita Araújo