1. Introdução

O grau de excelência de uma instituição de ensino superior (IES) pode ser avaliado de diferentes maneiras. Por exemplo, em função da capacidade profissional de seus alunos egressos; na formação de lideranças empresariais, políticas e acadêmicas; na sua contribuição para o debate de grandes questões regionais, nacionais e globais; no estabelecimento de propostas e iniciativas para a resolução de problemas de difícil solução; ou ainda, pela assim chamada “produção científica”. Os critérios anteriores, não exaustivos, tampouco exclusivos, mostram a complexidade em se avaliar tais instituições. Dentre estes, o critério “produção científica”, doravante sem aspas, é o mais facilmente mensurável, particularmente no que se refere às áreas de ciências exatas, biológicas e medicina, por exemplo. Isso porque existem ferramentas on–line que permitem obter dados bibliométricos¹ que auxiliam na coleta de informações quantitativas e qualitativas sobre a produção científica de pesquisadores, IES e até mesmo de países. Algumas das ferramentas on–line mais utilizadas para estas avaliações são o SCImago Journal & Country Rank, o SCOPUS e o Web of Science (a partir daqui designado WoS). Enquanto a primeira é de acesso livre, o SCOPUS e o Web of Science são de acesso pago, seja pelas próprias IES, seja pela CAPES e o CNPq. Estas bases de dados são atualmente importantes para o levantamento de informações bibliográficas e dados que são utilizados por órgãos de fomento, instituições acadêmicas e até mesmo por empresas.

Recentemente, Hermes-Lima (2010a, 2010b, 2011a) realizou uma avaliação cientométrica de comparação da produção científica entre a Universidade de São Paulo (USP), a Universidade de Brasília (UnB), a Princeton University, a Stanford University (Stanford), a Cornell University, a University of Oxford, posteriormente incluindo também a University of Tokyo (Tóquio). O autor mostrou que, dentre as quatro primeiras, a USP foi a universidade que mais teve artigos indexados no WoS em 2009 (Hermes-Lima, 2010a). Para as mesmas IES, Hermes-Lima (2010a) também comparou o número de citações totais (NCT) dos artigos indexados no ISI-WoS  em 2009 e o índice H (daqui por diante indicado como iH)², e mostrou que Stanford apresenta os melhores índices nestes dois quesitos, seguida por Princeton, depois pela USP e finalmente a UnB. Argumenta Hermes-Lima que as diferenças nos valores observados entre Stanford, Princeton e a USP poderia ser corrigido “em uma análise bem heterodoxa” (sic) dividindo-se o valor do iH pelo NCT do mesmo ano, sem explicar, todavia, qual o propósito dessa divisão. Em seguida, o autor argumenta que

talvez a melhor forma (e mais simples) de comparar estas universidade[s] seria pela quantidade de citações por paper (CPP).

Tal como no caso do NCT, Stanford ocupa o primeiro lugar nesta avaliação, seguida por Princeton, USP e UnB. Hermes-Lima compara os valores numéricos de CPP para o ano de 2009 para as quatro universidades mostrando, em seguida, o número de citações do artigo mais citado de cada uma destas IES em 2009. O fato da USP ter seu artigo mais citado com 191 citações, enquanto que Stanford teve seu artigo mais citado com 272 citações e Princeton teve seu artigo mais citado com 1445 citações levou Hermes-Lima a afirmar que

há algo de errado com a produção científica da suposta “melhor universidade do Brasil”, a USP.

e a formular as seguintes hipóteses:

Será que está produzindo muitos papers de baixa qualidade? Será o efeito da “fast-food science”, subproduto da política científica do Imperador da Capes³? (Hermes-Lima, 2010a).

Em sua postagem subsequente (Hermes-Lima, 2010b), o autor faz a comparação dos mesmos critérios de avaliação (número de artigos indexados no WoS, NCT, CPP e iH, medidos para 2009) para Stanford, Yale University, Princeton University, Cornell University e University of Oxford. O autor calculou a média ponderada das CPP das cinco IES estrangeiras (CPP_mp = 4,8) e comparou este valor com o valor das CPPs da USP (1,73) e da UnB (1,21), argumentando que

a melhor forma de comparar universidades de diferentes volumes de publicações (e obviamente de diferentes quantidades de pesquisadores e pós-graduandos) não pela quantidade anual de papers ou de citações – mas pela relação entre os dois parâmetros. É o indicador citação por paper (CPP).

Hermes-Lima assinala que a diferença das CCPs entre as universidades estrangeiras incluídas em sua análise se deve, ao menos em parte, ao

entrave burocrático, que nos dificulta importar reagentes e equipamentos em um tempo razoável (por exemplo: em menos de 1 ano!). Mas há muito mais, como as dificuldades de manutenção de equipamentos e o tempo gasto em buRRocracias (sic) dentro de nossas universidades.

Outro problema, segundo o mesmo autor, seria o despreparo dos alunos de pós-graduação que ingressam nos laboratórios de pesquisa, que necessitam publicar artigos para poderem defender suas teses, e isso causaria uma queda na qualidade dos artigos publicados. Mais uma vez o autor assinala que o “aumento exagerado no número de artigos publicados nos últimos anos”, em particular pela USP (aumento de 160% entre 2002 e 2009, segundo Hemes-Lima, 2010b) levaria a uma queda na qualidade dos artigos publicados. Desta forma, deduz-se que o autor atribui a mais este fator o baixo valores das CPPs da USP em 2009 (1,73) quando comparado com as CPPs das cinco universidades estrangeiras no mesmo ano.

Na postagem seguinte (Hermes-Lima, 2011a), o professor da UnB compara as mesmas informações (número de artigos indexados no WoS, NCT, CPP e iH) para a USP e Tóquio, ano a ano entre os anos de 2005 e 2009. O autor explica a sua mudança de amostragem:

Vocês podem ver que ambas universidade[s] têm valores de CPP decrescentes ao longo do tempo. Isso se deve ao fato que um paper de 2005 teve 6 anos para ser citado (de 2005 a 2010), enquanto que um paper de 2009 teve apenas 2 anos para ser citado (2009 e 2010).

Hermes-Lima compara os valores de CPPs ano a ano entre as duas universidades, assinalando que as diferenças de acentuam de 2005 para 2009. Paradoxalmente, segundo o autor, “A USP aumentou sua produção anual de paper[s] entre 2005 e 2009 em 87%, enquanto que a Univ. de Tokyo aumentou em apenas 17%.”, e argumenta que “com este crescimento massivo da produção da USP – por meio da política do “fast food science” da Capes – a qualidade dos mesmos deve ter caído de 2005 para cá.” Hermes-Lima assinala ainda que

Há uma capacidade limitada (ou seja, há um limite máximo) na qual um pesquisador pode publicar papers de forma academicamente honesta a cada ano. Como o número de docentes na USP aumentou muito pouco desde 2005, pode-se afirmar que a produção “per capita” de paper aumentou, e muito.

De maneira a se verificar a validade das interpretações do Professor Hermes-Lima (2010a, 2010b, 2011), o objetivo desta postagem é de realizar uma avaliação da produção científica da USP, UnB, Stanford, Tóquio e também da UNICAMP ao longo de uma década (2000-2009), levando-se em conta os seguintes critérios: número total de artigos indexados/ano no WoS⁴, “citações por paper” (CPP) e índice H. As avaliações foram separadas em duas grandes áreas: a) Ciências Sociais, Artes e Humanidades (designada CSAH), e; b) Ciências Exatas e da Terra, Biologia, Medicina e áreas biológicas afins (farmacologia, etc.), designada CETBM.

Desta maneira, as perguntas a serem respondidas são:

a) Como se dá a evolução do quadro de produção científica destas cinco IES, considerando-se os critérios adotados nesta análise?

b) Existem diferenças significativas de produção científica quando se considera a produção ao longo de uma década para as áreas de CSAH e CETBM?

c) Teria uma suposta “política de incentivo à publicação científica quantitativa” afetado a qualidade das mesmas publicações ao longo desta década (2000-2009) das IES brasileiras (USP, UnB e UNICAMP)?

2. Materiais e métodos

2.1 Base de dados. Foi utilizada a base de dados on-line Web of Science (WoS).

2.2 Coleta de dados. A WoS permite a coleta de dados com a ferramenta “Advanced Search”, na qual pode-se inserir os parâmetros a serem considerados de maneira específica, em conjunto com a seleção das áreas a serem consideradas (CSAH ou CETBM) e o ano para o qual se deseja as informações. Os parâmetros adotados foram: OG (organization) para se especificar uma determinada IES; o ano para o qual se quer obter os dados é definido pelo menu “Timespan”, escolhendo-se um mesmo ano (por exemplo “From 2000 to 2000”). As grandes áreas escolhidas podem ser selecionadas no menu “Citation Databases”: Science Citation Index Expanded (SCI-EXPANDED), Social Sciences Citation Index (SSCI) e Arts & Humanities Citation Index (A&HCI).

2.3 Nome das IES. Considerou-se diferentes grafias para a busca de dados para cada uma das três universidades brasileiras. Assim, no caso da Universidade de São Paulo foram utilizadas as grafias OG=Univ Sao Paulo e OG=USP. No caso da Universidade de Brasília foram utilizadas as grafias OG=Univ Brasilia e OG=UNB. No caso da Universidade Estadual de Campinas foram consideradas as grafias OG=Univ Estadual Campinas, OG=UNICAMP e OG=Univ Campinas.⁵ No caso das universidades estrangeiras foram utilizadas somente as grafias OG=Stanford Univ e OG=Univ Tokyo.

2.4 Metodologia de coleta. As coletas de dados foram realizadas ano a ano. Assim, por exemplo, a coleta da produção científica indexada no WoS da grande área CSAH da USP em 2001 foi realizada utilizando-se os seguintes parâmetros:

OG=Univ Sao Paulo OR OG=USP; Timespan: From 2001 to 2001; Citation Databases: Social Sciences Citation Index (SSCI) e Arts & Humanities Citation Index (A&HCI).

No caso da coleta da produção científica da grande área CETBM da UNICAMP em 2005, por exemplo, foram utilizados os seguintes parâmetros:

OG=Univ Estadual Campinas OR OG=UNICAMP OR OG=Univ Campinas; Timespan: From 2005 to 2005; Citation Databases: Science Citation Index Expanded (SCI-EXPANDED).

2.5 Análise dos dados. Os dados numéricos obtidos foram tabulados em planilhas Excel, e foram gerados gráficos a partir dos dados coletados. Como medida comparativa da produção científica entre instituições, foi introduzido o critério “porcentagem de citações por paper de uma IES com relação a outras IES” (que pode ser definido de acordo com a equação CPP IES₁ x 100/CPP IES₂). Assim, por exemplo, a comparação da produção científica da USP com a da Stanford University, em termos de citações por artigo (citações por paper, de acordo com Hermes-Lima), foi calculada ano a ano, utilizando-se a seguinte fórmula:

CPP (USP) x 100/CPP (Stanford)

3. Resultados (clique nos gráficos para ampliá-los)

Os dados de número de artigos indexados no WoS por ano foram coletados para cada uma das cinco IES (USP, UNICAMP, UnB, Stanford e Tóquio) para cada uma das grande áreas CSAH e CETBM. A partir dos dados coletados foram elaborados os gráficos 1 (CSAH) e 2 (CETBM). Observa-se que a produção científica em CSAH das cinco IES aumenta de 2000 para 2009, em particular para a USP a partir de 2007. Nota-se também que a produção científica em CSAH de Stanford indexada no Wos é particularmente significativa. No caso das CETBM, a produção científica indexada no Wos é mais significativa para Tóquio do que para Stanford ao longo de toda a década. A produção científica em CETBM da USP indexada no WoS ultrapassa a de Stanford em 2008 e se iguala à de Tóquio. No caso das CETBM, o “salto” de produção da USP se inicia em 2006, atingindo um patamar em 2008, diminuindo ligeiramente em 2009.

Em relação à grande área CSAH, no que se refere às CPPs/ano, a USP, a UNICAMP, a UnB e a Universidade de Tóquio apresentam um patamar relativamente estável entre 2000 e 2005 (mas com queda em 2004), e diminuição a partir de 2006. No caso de Stanford, a diminuição é contínua e aguda desde 2000. Esta é uma tendência considerada normal para o parâmetro CPP, uma vez que, tal como assinalado por Hermes-Lima (2011a), artigos recentes têm menos tempo para serem citados do que artigos mais antigos. Tendência muito similar é observada para as mesmas IES quando se considera a grande área CETBM. Porém, digno de nota é fato de que, em termos de números absolutos, comportamento muito similar é observado para a USP, UNICAMP e UnB em termos de CPPs para artigos indexados na área de CETBM; no caso de artigos indexados na área de CSAH, a USP apresenta índices ligeiramente superiores à UNICAMP, UnB e Universidade de Tóquio.

No que se refere à evolução índice H/ano para cada uma das IES, observa-se que, para a grande área de CSAH o fH/ano da USP é tão bom ou melhor do que o iH/ano da Universidade de Tóquio. Obviamente o de Stanford se destaca. Os da UNICAMP e da UnB seguem relativamente estáveis ao longo da década,com ligeira queda a partir de 2006, o da UNICAMP sendo superior ao da UnB. No caso das CETBM, a evolução do iH ao longo dos anos não traz novidade e segue a ordem Stanford > Tóquio > USP > UNICAMP > UnB.

Quanto ao novo critério aqui adotado, “porcentagem de citações por paper de uma IES com relação a outras IES”, realizou-se somente a análise dos dados da USP com relação à Universidade de Tóquio e Stanford, uma vez que; a) a tendência a se observar para a UNICAMP e para a UnB deve ser muito similar, como se depreende do gráfico 4, e; b) a produção científica quantitativa e qualitativa da USP, com relação a Stanford e Tóquio, é o objeto do questionamento por Hermes-Lima. De qualquer forma, os dados numéricos foram disponibilizados na íntegra para aqueles que se interessarem em calcular as porcentagens de citações por paper da UNICAMP (ou UnB) com relação a Stanford e Tóquio.⁶

Observa-se que, para a grande área CSAH, a %CPP USP/Stanford é relativamente estável ao longo da década 2000-2009, com um “pico” em 2005 e um valor médio de 47,13%. Já no que se refere à %CPP USP/Tóquio para artigos da mesma grande área, a USP permanece acima dos 100% entre 2000 e 2005 (ou seja, as CPPs/ano para a USP são maiores do que as CPPs/ano da Universidade de Tóquio neste período), e sofre uma queda a partir de 2006, com um “pico” em 2007 (Gráfico 7). Poderia-se dizer que tais indicadores mostram uma “tendência de relevância” dos trabalhos publicados pela USP na grande área CSAH, ao se levar em conta o critério CPP para tal avaliação: tão bons ou melhores do que os da Universidade de Tóquio entre 2000 e 2005. Tendência mais regular, que difere nos valores das porcentagens, é observada para a grande área CETBM. Neste caso, durante a década 2000-2009 a %CPP da USP com relação a Stanford situa-se em cerca de 34%, com ligeira tendência de crescimento. Já a relação %CPP entre a USP e a Universidade de Tóquio situa-se em cerca de 55% ao longo da década, com um pico em 2005 (Gráfico 8).

4. Discussão

A utilização de critérios bibliométricos para a análise da produção científica, tanto no que se refere a uma análise quantitativa como qualitativa, pode ser adequada desde que aplicada criteriosamente (Silva e Bianchi, 2001). Porém, há que se tomar certas precauções quando se utiliza tais critérios. No que se refere às citações por artigo, por exemplo, Lea Velho (2008) argumenta que

O impacto é medido pelo número de citações. Aí, a gente começa a entrar numa zona lodosa, porque as motivações para se citar um paper variam muito de área para área. A física, por exemplo, é muito dinâmica e internacionalizada. Tem uma comunidade que está sempre trabalhando na fronteira do conhecimento e dispõe de poucas revistas consideradas muito importantes. Se a física brasileira tem um grande impacto ou um pequeno impacto em relação à física norte-americana, a comparação é válida. Mas a produção científica brasileira ter ou não ter impacto, ela como um todo, não dá realmente para comparar. Há uma máxima repetida por todos os cienciometristas sérios: “Só se compara semelhante com semelhante”. Não somos iguais aos outros.

Desta forma, há que se parametrizar a análise realizada quando se utiliza as CPPs, uma vez que a “visibilidade” da ciência de países não-desenvolvidos é menor do que a ciência de países desenvolvidos, por vários motivos: a) publicações na língua nativa (português no caso do Brasil; japonês no caso do Japão, por exemplo); b) “preconceito” das revistas científicas estrangeiras com relação à ciência desenvolvida nos países não desenvolvidos (embora tal critério varie de área para área de pesquisa); falta de “lógica” nos critérios de citação, pois, segundo Lea Velho (2008):

As razões pelas quais a pessoa cita ou não um artigo são totalmente desconhecidas. Não existe uma teoria de citação. A gente não sabe muito bem o que leva um pesquisador a citar ou deixar de citar um artigo. Pela minha experiência, sei que o que prolifera é a citação de segunda mão.

O pesquisador cita o que já foi citado. Tem histórias e histórias de página errada que se perpetua em mais de 500 papers, porque um copia a referência do outro. E há outras variáveis. Eu tinha falado da física, em que é possível dizer que a citação internacional reflete o impacto. Mas pegue outra área, por exemplo, as ciências sociais, em que o pesquisador já não publica no exterior. E esse não é um fenômeno brasileiro. Na Alemanha, na França, na Holanda, as ciências sociais são publicadas, em boa parte, localmente e na língua local. Têm a ver com características de ciências humanas, segundo as quais os pesquisadores escrevem sobre suas sociedades para serem lidos pelas suas sociedades. Além disso, os periódicos, em muitas ciências humanas, não são a principal fonte de publicação. Os pesquisadores publicam muito mais coletâneas ou livros. Um país como o Brasil, que tem uma parcela importante da sua produção científica, da sua comunidade e dos recursos alocados em ciências sociais, não está contemplado nesses dados do Science Citation Index. Eu diria que 80% da produção em ciências sociais está fora desse número que a Capes vive divulgando, que é o crescimento da produção científica brasileira.

Assim, a utilização do indicador CPP deve ser utilizado com algumas ressalvas. Não é possível, por exemplo, saber se trabalhos brasileiros relevantes costumam ser citados, ainda que em termos proporcionais, tanto quanto trabalhos americanos relevantes. Como exemplo, artigo recente de Rogério Meneghini mostra que trabalhos científicos de pesquisadores brasileiros notórios, publicados nos Anais da Academia Brasileira de Ciências, foram significativamente menos citados do que trabalhos destes mesmos pesquisadores publicados em revistas estrangeiras no mesmo ano de publicação (Meneghini, 2010).

Mesmo assim, utilizou-se tal critério (CPPs), além do iH, de maneira a se mensurar a evolução destes critérios de avaliação cientométricos para as cinco IES avaliadas: USP, UnB, UNICAMP, Stanford e Tóquio, de acordo com os parâmetros utilizados por Hermes-Lima (2010a, 2010b, 2011). Adicionalmente, estabeleceu-se um novo critério, designado “porcentagem de citações por paper de uma IES com relação a outras IES”, que permite comparar a “relevância relativa” (em termos de CPPs) da produção científica de uma IES com relação a outra.

O número de artigos publicados e indexados no WoS/ano mostra que, tanto para a grande área CSAH como para CETBM, houve um aumento na produção científica das cinco IES ao longo da década. A tendência é menos acentuada para Stanford. Seria esta uma conseqüência da política científica do governo George W. Bush, que apresentou restrições ao financiamento da pesquisa científica nos EUA entre 2000 e 2008? Ou o crescimento da produção científica do Brasil é que teria sido favorecida como significativo aporte financeiro durante o governo Lula (2002-2010)?Estas são apenas duas hipóteses, dentre muitas, que poderiam ser consideradas para explicar os gráficos 1 e 2.

O interessante é que o aumento da produção científica nas CSAH ao longo da década é mais significativo do que o aumento da produção científica nas CETBM para todas as IES. O crescimento das CSAH se deve, talvez, ao fato que, por demandar menor volume de recursos para pesquisa, esta tem maior capacidade de crescimento mesmo com menos recursos. De qualquer maneira, a produção científica global em termos de artigos indexados no WoS apresenta clara tendência crescimento ao longo da última década, pelo menos para as universidades consideradas nesta avaliação.

No que se refere às CPPs, é bem sabido que este indicador cientométrico diminui à medida que o índice é medido mais recentemente. Apesar do critério CPP ser bastante questionável, de acordo com o exposto por Lea Velho (2008), de certa forma pode-se dizer que citações são um reflexo da relevância e visibilidade dos artigos, e, quando são citados, muitas vezes o são porque já foram citados por outros. Observa-se que para as CSAH, as CPPs da USP ao longo da década 2000-2009 indicam que os trabalhos indexados no WoS apresentam relevância, pelo menos segundo o critério de citações com relação aos trabalhos da Universidade de Tóquio. Resta saber se a escolha das IES foi a melhor neste caso, uma vez que tanto no caso da USP como no caso de Tóquio a língua pátria é um fator limitante para se angariar citações. Tal fato foi recentemente reconhecido como particularmente significativo, em publicação na revista Nature da última semana (van Raan, van Leeuwen & Visser, 2011). Deve-se também considerar que, no caso das CSAH, a língua pátria deve ter um peso significativo nas CPPs, uma vez que temas desta natureza (CSAH) são, muitas vezes, de muito mais interesse no próprio país onde os artigos foram publicados, como bem indica Lea Velho (2008). De qualquer forma, as citações coletadas pelo WoS se referem a artigos que tenham pelo menos um abstract em inglês e, sendo assim, é possível que sejam citados por revistas estrangeiras, tanto no caso do Brasil como no caso do Japão. Porém, há que se pesar que a língua portuguesa é a 7ª língua mais falada no mundo, em países dos continentes africano, europeu, asiático e americano. Logo, fica realmente difícil de se avaliar o peso da língua pátria para as CPPs do Japão e do Brasil, na área de CSAH. Mesmo assim, os gráficos 3, 5 e 7 mostram que, no caso das CSAH, a produção científica da USP merece destaque.

Já no caso das CPPs para artigos da área de CETBM, fica evidente a diferença das universidades brasileiras com relação a Stanford e Tóquio. Como dito acima, as “ciências hard” são consideradas de maior importância, e objeto de maiores investimentos, do que as CSAH. Logo, as CPPs de Stanford e Tóquio são, certamente, um reflexo da política científica local de muitos anos, que objetiva financiar e fortalecer aquelas áreas da ciência que trazem reflexos “mais diretos” para a sociedade: medicina, engenharias, química, física, etc. É notável a semelhança das CPPs entre a USP, UNICAMP e UnB para artigos da grande área CETBM. A diferença fica evidente quando se avalia o índice H adas três IES brasileiras ao longo de uma década. Tanto para as CSAH como para as CETBM, os gráficos 5 e 6 mostram relativa estabilidade dos valores deste parâmetro entre 2000 e 2009 para estas universidades.

Porém, há que se pensar: porque o iH da USP é praticamente o dobro da UNICAMP para as CSAH, e uma vez e meia maior no caso das CETBM? Ora, quando medido individualmente, o índice H tende a favorecer pesquisadores seniores (Santos, Cândido e Kuppens, 2010). Seria possível se estabelecer, assim, um paralelo, e se justificar tal diferença pelo fato da USP ter sido criada em 1934 e a UNICAMP em 1966? Neste caso, o iH da UnB, criada em 1962, deveria ser comparável ao da UNICAMP, senão ligeiramente maior. Porém, há outro fator a ser levado em conta: o quadro de docentes das universidades. A USP conta com quase 6.000 docentes (veja aqui), a UNICAMP com 1733 (veja aqui) e a UnB com 1757 (veja aqui). Em se considerando somente estes dois fatores (antiguidade e número de docentes), os iH da UnB e da UNICAMP deveriam ser comparáveis, mas o da USP maior, pelo fato desta universidade poder contar com um maior volume de produção científica de qualidade significativa. Há, ainda, um terceiro fator crucial a ser considerado: a continuidade do financiamento da pesquisa realizada nestas instituições. Por se localizarem no estado de São Paulo, tanto a USP quanto a UNICAMP podem contar com recursos da FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo) desde os anos 1960. Já a FAPDF foi criada apenas em 1992 (veja aqui) e, desta forma, a UnB teve que contar, ao longo da maior parte de sua existência, muito mais com recursos de pesquisa das agências de fomento federais, eventualmente de maneira não contínua, o que pode ter contribuído para a diferença do iH entre a UnB e a UNICAMP. Porém, levando-se em conta que este financiamento tornou-se mais significativo e regular ao longo da última década, não se estranha que o iH da UnB seja estável, ainda que cerca de 50% menor que o da UNICAMP. Possivelmente outros fatores, conjunturais, estruturais e políticos, possam também ser considerados nesta análise, mostrando que a compreensão dos indicadores de produção científica está longe de ser trivial.

No que se refere ao indicador “porcentagem de citações por paper de uma IES com relação a outras IES” aqui proposto (gráficos 7 e 8), a utilização deste se justifica para fins comparativos. Ao se utilizar este indicador é possível se comparar a relevância da produção científica de uma IES com relação a outra, em termos de CPPs. Porém, não se deve deixar de lado as ressalvas observadas pela Professora Lea Velho (2008). Mesmo assim, observa-se a regularidade da relevância da produção científica da USP com relação a Stanford e Tóquio ao longo da última década. No que se refere às CSAH, tal indicador situa-se em cerca de 47% (em média) com relação a Stanford ao longo da década. Já em comparação a Tóquio, tal indicador mostra a relevância dos artigos da USP indexados no WoS entre 2000 e 2006 (de mais de 100%, como pode-se observar no gráfico 3). Após este ano, tal indicador apresenta tendência de diminuição. No caso das CETBM, o “comportamento” da relevância das publicações da USP com relação a Stanford e Tóquio (em termos de %CPP) é muito mais regular: cerca de 34% com relação a Stanford e com tendência a um ligeiro crescimento, e de cerca de 55% com relação a Tóquio, com um “pico” de 65% em 2005 (gráfico 6). Desta forma, observa-se que a relevância relativa, que pode ser traduzida em qualidade, dos artigos publicados pela USP na área de CETBM ao longo de uma década, variou muito pouco. Como é possível de se depreender a partir da análise do gráfico 3, a mesma tendência pode ser observada, em termos gerais, para a UNICAMP e para a UnB.

De maneira geral, observa-se que, embora tenha ocorrido um aumento da produção científica da USP ao longo da década, o mesmo não ocorreu com relação à relevância da produção científica. Porém, tampouco se observa uma queda deste mesmo indicador, pelo menos no que se refere às publicações da grande área CETBM.

5. Conclusões

A presente análise apresentou uma avaliação da produção científica da USP com relação à produção científica da UNICAMP, UnB, Stanford University e University of Tokyo. Os parâmetros utilizados, a saber, número de artigos por ano, citações por paper/ano, índice H/ano e “porcentagem de citações por paper de uma IES com relação a outras IES”, permitiram avaliar, ainda que de maneira parcial, a regularidade no crescimento da produção científica da USP indexada no WoS, sem que esta tendência fosse traduzida da mesma forma no aumento da relevância da produção científica. Embora tais resultados não sejam novidade, observa-se que existe uma maior tendência à diminuição da relevância da produção científica da USP na grande área de CSAH com relação à Universidade de Tóquio, mas não com relação à Stanford. Já no caso da grande área CETBM, observa-se uma tendência de estabilidade da relevância da produção científica da USP ao longo da década com ligeiro aumento nos anos mais recentes com relação ao início da década de 2000. A mesma tendência pode ser observada, ainda que indiretamente (gráfico 4) para a UNICAMP e para a UnB, no que se refere à relevância da produção científica nas CETBM.

Adicionalmente, buscou-se trazer elementos que mostrassem se uma suposta “política de incentivo à publicação científica quantitativa” teria ou não afetado a relevância da produção científica da USP, UNICAMP e UnB. Embora seja difícil se detectar tais efeitos de maneira direta, estes são mais facilmente observáveis para as CSAH, porém muito menos para as CETBM. Porque tal diferença? Considerando-se que o volume significativo de publicações na grande área CETBM deveria, se fosse o caso, ter um reflexo mais direto de tais efeitos, estes não são evidentes. Sendo assim, não é possível se inferir sobre a pertinência ou não da suposta “política de incentivo à publicação científica quantitativa” por parte da CAPES, tal como preconiza Hermes-Lima.

Assim, quando os resultados da análise aqui realizada são considerados de forma global, as assertivas de Hermes-Lima (2010a) que

há algo de errado com a produção científica da suposta “melhor universidade do Brasil”, a USP.

e que

com este crescimento massivo da produção da USP – por meio da política do “fast food science” da Capes – a qualidade dos mesmos [papers] deve ter caido de 2005 para cá.

só devem ser consideradas com muita parcimônia.

Agradecimentos

À Sibele Fausto e ao Prof. Hamilton Varela (IQSC-USP) pelas muitas sugestões que contribuíram para a elaboração deste artigo.

Notas e Referências Bibliográficas

1. Segundo Taubes (1993), apud Silva e Bianchi (2001), “Os dados ou indicadores bibliométricos utilizados por pesquisadores que estudam a ciência da ciência incluem (mas não são limitados somente a eles): o número de pessoas que recebem titulações acadêmicas ou científicas, o número de patentes registradas por cientistas, o número de artigos científicos publicados, o número de cientistas que publicam artigos científicos, o número de referências bibliográficas citadas nos artigos científicos, o número de citações recebidas por artigo científico, o número de auxílios à pesquisa recebidos pelos cientistas e a quantidade de recursos destinados às atividades de pesquisa fomentadas pelas agências.”

2. Índice H (iH) = número de trabalhos publicados com o mesmo número de citações. Ou seja, se um pesquisador possui 10 trabalhos publicados, o 1º com 1000 citações, o segundo com 500, o terceiro com 465, o quarto com 322, o quinto com 300, o sexto com 198, o sétimo com 51, o oitavo com 31 o nono com 17 e o décimo com 10, seu iH é 10.

3. Designação dada pelo Professor Hermes-Lima para o Professor Jorge Guimarães, da Universidade Federal do Rio Grande do Sul.

4. Que é inferior ao número total de artigos publicados/ano por professores e pesquisadores destas IES, uma vez que nem todas as revistas onde são publicados artigos são indexadas nesta base de dados.

5. A razão para utilização de diferentes grafias para a coleta de dados de cada uma das três IES brasileiras consideradas neste trabalho é que realmente existem artigos científicos indexados no WoS para os quais a afiliação profissional de autores é indicada como USP, ou UNICAMP, ou Universidade de Campinas, ou UnB, inclusive para artigos publicados em revistas como Science, Nature ou Proceedings of the National Academy of Sciences of the Uniated States of America.

6. Todos os dados numéricos e gráficos utilizados neste trabalho podem ser encontrados aqui.

Hermes-Lima, M. (2010a): ” Comparando o impacto da produção científica de quatro universidades: UnB, USP, Princeton e Stanford” (link).

Hermes-Lima, M. (2010b): “Comparação acadêmica da USP e UnB com cinco universidades “top” do primeiro mundo” (link).

Hermes-Lima, M. (2011a) “Comparação da produção científica da USP e com da Universidade de Tokyo” (link).

Meneghini, R. (2010). Publication in a Brazilian journal by Brazilian scientists whose papers have international impact. Brazilian Journal of Medical and Biological Research, 43 (9) doi: 10.1590/S0100-879X2010007500073

Santos, N. C. F., Cândido, L. F. O., Kuppens, C. L. (2010) Produtividade em pesquisa do CNPq: análise do perfil dos pesquisadores da Química. Química Nova, 33, 489-495. doi: 10.1590/S0100-40422010000200044

Silva, J. A., Bianchi, M.L.P. (2001) Cientometria: a métrica da ciência. Paidéia (Ribeirão Preto) 11 (21), 5-10. doi: 10.1590/S0103-863X2001000200002

van Raan, T., van Leeuwen, T., & Visser, M. (2011). Non-English papers decrease rankings Nature, 469 (7328), 34-34 DOI: 10.1038/469034a

Velho, L. (2008) Entrevista concedida à revista Pesquisa FAPESP, “Por um olhar brasileiro na ciência” (link, página 2).

Leitor: caso queira dispor da versão integral deste artigo em pdf, baixe-o aqui.

Categorias:cientometria

Tags:índice h, bibliometria, cientometria, citações, produção científica, Universidade de São Paulo, USP