Aproveitando os dados disponibilizados pela Scimago Institutions Ranking, refiz a classificação das instituições listadas até chegar na Universidade de Harvard, mas utilizando o dado “número de citações por documento” (CxD) como critério de classificação. Segundo esta nova classificação, a Universidade de Harvard fica em 52º lugar, com 16,37 citações por documento. Como a Universidade de Harvard publicou 60.599 documentos no período compreendido entre 2003 e 2007, segundo este levantamento a mesma instituição deve ter recebido 992.005 citações neste mesmo período. É, no mínimo, impressionante. Veja o resultado de meu levantamento, aqui.
Porque utilizei Harvard como parâmetro? Porque na classificação realizada pelo “Ranking Web of World Universities” a Universidade de Harvard está em 1º lugar. Nesta classificação a USP se encontra em 53º lugar.
Voltando à minha análise realizada com os dados da Scimago Institutions Ranking, observa-se que 34 das 52 instituições da lista são da área de saúde. Esta área de pesquisa normalmente recebe muitas citações. Além disso, chama a atenção que as 52 instituições desta lista, todas são de “países desenvolvidos”. Também chama a atenção o fato de apenas duas universidades, a Rockefeller University e a Harvard University, estarem nesta lista. As outras 50 instituições são hospitais, centros de pesquisas, laboratórios de pesquisas, além de duas companhias farmacêuticas: a Schering-Plough e a Merck.
O que mais destoa é que as instituições da lista de 52 feita por mim apresentam um índice de citações por documento (CxD) muito alto, tendo em vista que publicaram significativamente menos do que Harvard. Nesta lista, a segunda instituição com maior número de publicações é o National Institutes of Health dos EUA (34ª posição, com 37.009 documentos publicados e CxD = 17,6). Em terceiro encontra-se o Massachusetts General Hospital (em 49ª posição, com 15875 documentos publicados e CxD =16.71).
Pelas minhas estimativas, a considerar o índice CxD como critério de classificação deve levar a Universidade de São Paulo para além da milésima posição.
Como ficam as instituições brasileiras na classificação do Ranking Web of World Universities? Desta maneira (entre parênteses, a classificação do ano passado nesta mesma avaliação) – SIR: avaliação do Scimago Institutions Ranking.
53º – Universidade de São Paulo (2009: 38º) – SIR: 19º
143º – Universidade Estadual de Campinas (2009: 115º) – SIR: 143º
222º – Universidade Federal de Santa Catarina (2009: 134º) – SIR: 640º
243º – Universidade Federal do Rio Grande do Sul (2009: 152º) – SIR: 307º
247º – Universidade Federal do Rio de Janeiro (2009: 156º) – SIR: 781º
329º – Universidade Federal de Minas Gerais (2009: 241º) – SIR: 342º
340º – Universidade Estadual Paulista (UNESP) (2009: 269º) – SIR: 210º
377º – Universidade de Brasília (2009: 204º) – SIR: 735º
456º – PUC do Rio de Janeiro (2009: 354º) – SIR: 1180º
457º – Universidade Federal do Paraná (2009: 352º) – 1852º
555º – Universidade Federal da Bahia (2009: 422º) – SIR: 1026º
570º – Universidade Federal do Rio Grande do Norte (2009: 419º) – SIR: não incluída
590º – Universidade Federal de Pernambuco (2009: 522º) – SIR: 1972º
598º – Universidade Federal Fluminense (2009: 517º) – SIR: 953º
692º – PUC do Rio Grande do Sul (2009: 566º) – SIR: não incluída
763º – Fundação Getúlio Vargas (2009: 773º) – SIR: não incluída
818º – Universidade Estadual do Rio de Janeiro (2009: 733º) – SIR: 781º
819º – Universidade Federal de Viçosa (2009: 856º) – SIR: não incluída
871º – Universidade Federal de Uberlândia (2009: 862º) – SIR: não incluída
945º – Universidade Federal do Ceará (2009: 503º) – SIR: não incluída
983º – Universidade Federal de Goiás (2009: 870º) – SIR: não incluída
984º – Universidade Estadual de Maringá (2009: 777º) – SIR: não incluida
1009º – Universidade do Vale do Rio Dos Sinos (2009: 768º) – SIR: não incluída
1020º – Universidade Federal de São Carlos (2009: 900º) – SIR: não incluída
Observa-se que todas tiveram uma piora na classificação de 2010, exceção feita à Fundação Getúlio Vargas e à Universidade Federal de Viçosa. O que explicaria tal queda na classificação? Um pior desempenho das universidades brasileiras, ou um melhor desempenho das universidades estrangeiras?
No que se refere à classificação realizada pela Scimago Institutions Ranking, somente a USP e a UNESP têm uma melhor posição nesta classificação. Excepcionalmente, a UNICAMP está na mesma posição tanto na avaliação realizada pela Scimago Institutions Ranking como na avaliação do Ranking Web of World Universities.
Números são números. O interessante é que os critérios adotados na avaliação do Ranking Web of World Universities são bastante amplos e consistentes (veja aqui), e não resulta apenas na classificação com base em um único critério (número de documentos publicados). Particularmente, acredito que a minha classificação, utilizando o critério citações por documento (CxD), com dados fornecidos pela Scimago Institutions Ranking, é melhor do que simplesmente se considerar o número de documentos publicados. Mas a classificação do Ranking Web of World Universities me parece ser bem mais consistente, e real.
Como analisar a queda na classificação das universidades brasileiras frente ao universo de 8000 universidades, avaliadas pelo Ranking Web of World Universities? Eis a questão.
Categorias:ciência, educação, informação
A Química da Vida 
Olá, Roberto!
Muito me agrada quando vejo aqui postagens com essa temática de avaliação da atividade de pesquisa. Outra que achei muito interessante foi essa: “Avaliar quem, quando e como?”, publicada em 17/05/2010.
Inclusive repito o que comentei ali, em relação à avaliação mais ampliada da ciência e da pesquisa. Tradicionalmente as avaliações da atividade científica concentraram-se no seu output – a literatura científica publicada e suas citações.
Com o surgimento de novas metodologias de métricas, baseadas na Webometria, surgem também outros indicadores de desempenho tais como esses rankings. Além do Scimago Institutions Ranking mostrado aqui e do Ranking Web of World Universities indicado, também já há outros como esses abaixo:
Todos esses instrumentos têm parâmetros variados compondo suas métricas, e há discussões conceituais sobre os problemas metodológicos no uso desses rankings, mas nenhuma avaliação, seja quantitativa ou qualitativa, é perfeita e está livre de questionamentos, e os pesquisadores da área de bibliometria, cientometria e informetria estão ativamente engajados em estudos para o avanço dessas questões. Existe mesmo um observatório internacional para tratar dessa temática: http://www.ireg-observatory.org/, o que acho muito auspicioso pois garante a transparência e a legitimidade desses novos instrumentos.
Como bem colocado, deve-se ter muita cautela ao olhar esses números, mas é inquestionável que o surgimento desses rankings e também de outras métricas [1] está permitindo uma avaliação mais ampliada da atividade acadêmica e de pesquisas, inclusive considerando aspectos de input inexistentes nas metodologias anteriores, majoritariamente fundadas na citação das publicações científicas. Outros critérios começam a ser considerados, a exemplo das redes de colaboração formadas na atividade de pesquisa. Na Plataforma Lattes já existe uma ferramenta que mapeia graficamente a rede de colaborações dos pesquisadores com currículos cadastrados ali. Sei também de um estudo que analisa os relacionamentos colaborativos de grupos de pesquisas de uma temática específica cadastrados no Diretório dos Grupos de Pesquisa do CNPq. 😉
Enfim, o que vemos é uma proliferação de instrumentos de avaliação por métricas e indicadores, e considero tudo isso muito positivo.
Sobre seu questionamento do Scimago Institutions Ranking apresentar o Centre National de la Recherche Scientifique como melhor classificado do que a Harvard, mesmo NÃO sendo uma instituição de ensino superior e sim o órgão de fomento francês – mas o SIR é mesmo de Institutions, e não somente acadêmico, certo? 😉
E sobre sua interessante releitura dos números apresentados nesse ranking, comparando-os ao Ranking Web of World Universities, lembro que seu cálculo foi baseado em artigos publicados X citações, e que as classificações finais desses rankings levam em conta outros critérios para chegar ao score final, envolvendo a triangulação de diversas variáveis. Por isso mesmo tenho que discordar de sua releitura – é muito tradicional, baseada em outputs… 🙂
Tudo de bom!
[1] Van Noorden R. Metrics: a profusion of measures. Nature 465, 864-866 (2010) |doi:10.1038/465864a
Oi Sibele,
Este é um assunto interessante justamente porque suscita boas discussões. É verdade que “tradicionalmente as avaliações da atividade científica concentraram-se no seu output – a literatura científica publicada e suas citações.” Você tem toda razão.
Além das avaliações que eu inseri nesta postagem, eu conhecia apenas a da Times Higher Education, mas não as outras. Muito bom você ter indicado estas outras também.
Eu também concordo contigo quando diz que os resultados variam de acordo com as metodologias utilizadas. O interessante, porém, das duas avaliações que eu incluí nesta postagem é que, apesar das posições relativas das universidades brasileiras variarem, a sequência em que estas universidades surgem nestas classificações concorda em boa parte. Ou seja, os resultados são consistentes, embora exista variação na classificação geral relativa das universidades.
Não conheço os estudos sendo realizados com a Plataforma Lattes do CNPq.
Quando você fala da classificação do SIR de instituições, você está certa. Porém, é muito complicado você comparar o CNRS ou a Academia Chinesa de Ciências ou a Academia Russa de Ciências com universidades ou centros de pesquisas. Isso porque as primeiras três instituições congregam uma grande comunidade dos pesquisadores destes países. Logo, acredito que a classificação do SIR está comparando instituições de maneira inadequada, pois o número de pesquisadores nestas academias e no CNRS é muito grande. Logo, é evidente que o número de publicações será grande. Seria interessante que o SIR também tivesse fornecido o número de publicações/pesquisador de cada uma destas instituições, por exemplo. Mas este também seria um indicador de output, como você diz. Apenas mudaria a posição relativa das instituições no ranking.
A classificação do SIR é fundamentalmente baseada nos outputs, pois se refere ao número de publicações. Se você analisar as sequências de todos os outros fatores analisados pelo SIR (CxD, Int. Coll., Norm. SJR, Norm. Cit.), nenhum bate com a sequência dos outputs (número de publicações). Ou seja, a classificação do SIR se baseia unicamente nesta métrica. Eu utilizei os números da segunda coluna (CxD) para mostrar que, se estes números tivessem sido utilizados (citações por documento), a classificação seria totalmente diferente. Minha intenção foi mostrar que estas classificações variam de acordo com o critério que se utiliza. Por isso é que eu gosto da análise realizada pelo Ranking Web of World Universities, pois leva em conta vários fatores diferentes. De qualquer maneira, como você disse é necessário analisar estes números com cuidado para tentar entender o que eles significam, principalmente no caso brasileiro.
Recentemente eu li um comunicado interno da editoria de uma revista conceituada, dizendo que o fator de impacto das revistas não deve ser utilizado para se avaliar a qualidade dos trabalhos de um autor, pois é um índice que reflete apenas a “popularidade” das revistas. Achei este comunicado ótimo, mas infelizmente não pode ser divulgado.
Gostaria também de ver um texto discutindo a utilização do índice h dos pesquisadores como forma de avaliação. Este também é um assunto interessante, que estimula muitas discussões no meio acadêmico.
Obrigado pelo seu longo comentário, Sibele. Muito bom.
Roberto
Oi, Roberto!
Só continuando…
Também não conheço os estudos com a Plataforma Lattes do CNPq, se é que estão sendo realizados – o que sei é que o mesmo é um banco de dados com um enorme potencial para análises e avaliações não só da produção dos pesquisadores cadastrados ali, mas também de seu entorno (da produção propriamente dita) – os relacionamentos entre pesquisadores, discipliinas e áreas, para não falar entre instituições. Uma verdadeira fonte de dados, ainda sub-utilizada.
E quando digo que considero positiva a proliferação de instrumentos de avaliação por métricas e indicadores, é porque as análises conhecidas são mesmo majoritariamente baseadas em outputs, e, além disso, extraídas de bases da Thomson Reuters e Elsevier. Então, é válido o surgimento de indicadores como o Webometrics, que além de ser mais abrangente, considera outros aspectos da produção científica, significando também um pouco mais de independência dessas empresas privadas e sua enorme influência no universo acadêmico e nas decisões a ele relacionado. Que venham outros instrumentos como esse! De repente, até mesmo os dados do Lattes se prestem a esse mister, no caso das avaliações nacionais.
Há um artigo muito interessante abordando essa questão pouco discutida da influência dessas empresas privadas aqui: “Bibliometrics, global rankings, and transparency” – http://bit.ly/ah8TfI
Tudo de bom!