Artigo publicado na edição de hoje do jornal Folha de S. Paulo, de autoria de Jorge Guimarães (Professor Titular da Universidade Federal do Rio Grande do Sul e Presidente da CAPES) e Lívio Amaral (Professor Titular da Universidade Federal do Rio Grande do Sul e Diretor de Avaliação da CAPES), discute a atual avaliação dos programas de pós-graduação brasileiros por parte da CAPES. O artigo é transcrito na íntegra, a seguir.
Avaliação trienal da Capes – Jorge Guimarães e Lívio Amaral
Os avanços em ciência e tecnologia no Brasil, comprovados, entre outros indicadores, pela 13ª posição na produção científica mundial, têm sido destacados em editoriais e em estudos e publicados em revistas, fóruns e organismos internacionais.
Destaque-se que esses avanços são indissociavelmente ligados à pós-graduação, uma realidade das últimas décadas, legitimada internamente e reconhecida internacionalmente. E, se a pós-graduação brasileira é esse caso de sucesso, isto se deve, sobretudo, ao processo de avaliação realizado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).
Iniciamos no mês passado mais uma avaliação. Consultores estão avaliando dados de 2007-2009, informados pelos programas de pós-graduação, após auditagem prévia pelas coordenações dos cursos.
A avaliação contempla cinco eixos: proposta do programa; corpo docente; corpo discente, teses e dissertações; produção intelectual; inserção social dos cursos. Uma característica da avaliação é a universalização que se expressa nestes eixos para todas as áreas de conhecimento, sem com isso deixar de contemplar as especificidades próprias delas.
A produção intelectual da qual trata a avaliação é o que resulta em avanço do conhecimento associado à garantia de boa formação de mestres e doutores. Em algumas áreas, ela se expressa na forma de livros e, em outras, através da publicação de artigos em revistas científicas.
Para artigos em periódicos, temos o “Qualis-Periódicos”, que é atualizado periodicamente. Na trienal-2010, o Qualis servirá para avaliar 270 mil artigos publicados em mais de 17 mil diferentes periódicos. O componente qualitativo desse acervo quantitativo é o que se vai identificar e avaliar.
O eixo da produção intelectual tem sido objeto de recorrente debate, inclusive por meio da imprensa. Algumas vozes, equivocada e distorcidamente, propagam a ideia de que a avaliação da pós-graduação é exclusivamente um processo para “avaliar o quantitativo da produção intelectual”.
É puro reducionismo afirmar que avaliar é contar trabalhos e que a única questão é como classificar as revistas nas quais são publicados.
Há também condenação ao uso do fator de impacto (FI) para a classificação de revistas, insinuando ser uma prática usual inflar artificialmente o índice. Práticas indevidas acontecem, sim. Mas são prontamente descobertas e denunciadas pela própria comunidade internacional.1
Por outro lado, o FI das revistas aumenta e diminui ao longo dos anos, e a sua atualização implica na atualização do Qualis, que sinalizará sua aplicação para o período seguinte. Mas é ingenuidade admitir que as comissões de áreas não saibam valorizar o que possa ter ocorrido de positivo com um periódico com base na edição do FI mais recente, mesmo que ele ainda não esteja atualizado no Qualis.2
Portanto, não há risco de perdas e danos na avaliação e não passa de reducionismo a condenação ao Qualis. Há que se concordar, todavia, com a crítica sobre o uso inadequado do Qualis para a avaliação de situações individuais de professores e pesquisadores ou ainda para considerações sobre instituições universitárias, editoras e suas políticas editorais, o que não é o caso da avaliação feita pela Capes.
A trienal-2010 se fará avaliando os cinco eixos e considerando as peculiaridades de cada área. Em particular, na produção intelectual serão observadas as definições que constam nos documentos de área e que podem ser consultadas na página da Capes.
Notas:
1. As práticas indevidas também podem acontecer no âmbito nacional e serem denunciadas no mesmo âmbito. Veja-se adiante.
2. Não somente de positivo, mas também de negativo. Um exemplo recente de uma distorção aparentemente “positiva” foi o aumento do fator de impacto (FI) da revista Acta Crystallographica – Section A, de 2.05 para 49.9, em decorrência da publicação de um único artigo no último biênio, que teve mais de 6000 citações (leia a história completa, aqui).
Outro exemplo evidente de distorção do fator de impacto foi a divulgação do primeiro FI da Revista Brasileira de Farmacognosia, com valor de 3,462, acima do fator de impacto da revista Journal of Natural Products (3,159), de 73 anos de existência. Tal distorção foi objeto de reflexão por parte da atual editoria da Revista Brasileira de Farmacognosia, em artigo publicado no número de junho/julho deste ano (veja aqui). O assunto foi também abordado pelo editor anterior e pelo atual, no âmbito de discussão na rede de pesquisadores vinculados à Sociedade Brasileira de Farmacognosia (veja aqui).
Em recente editorial publicado na revista ACS Chemical Biology, o editor Anirban Mahapatra exprime sua preocupação no uso do fator de impacto como critério de qualidade, o que considera questionável. Além disso, julga inapropriado utilizar o fator de impacto para se avaliar outros elementos que não a própria revista que apresenta um determinado FI. Como exemplo, menciona que a qualidade de artigos publicados em um determinado periódico não corresponde ao fator de impacto daquele periódico. Além disso, deixa claro que o fator de impacto não deve ser utilizado para se julgar a qualidade de pesquisadores, instituições, currículos de candidatos a serem contratados, ou projetos de pesquisa a serem financiados.
Impact factors should not be compared across disciplines, but even within specific scientific areas, certain journal articles tend to garner more citations. For example, reviews, articles describing new tools and techniques, and research reports describing large data sets (such as the sequencing of genomes) may be cited more than other articles published within the same scientific disciplines in the same journals. By definition, highly cited articles have greater impact, but this may not always correspond to quality, which admittedly is a harder term to define.
It used to be that the impact factor of a journal was only used to assess that particular journal. Now, it is increasingly common to find the impact factor extrapolated to the assessment of individual articles in these journals. In addition, this metric is being used to assess the scientific potential of a researcher. In practice, impact factors are frequently used to decide who gets hired and who gets promoted. Funding levels at many departments are also determined from the analysis of the citations garnered by the researchers in those departments. Consequently, in many institutions around the world, administrators encourage researchers to publish their work in journals with the highest impact factors in order to be favorably evaluated.
One of the results of over-reliance on this single metric is the unintentional setting of arbitrary criteria for researcher appraisal. For example, in order for an Indian scientist to qualify for the Innovative Young Biotechnologist Award given annually by the Department of Biotechnology of the Indian Ministry of Science & Technology, he or she must have a “cumulative publication impact factor of 10” or “5 with two published Indian patents or one international patent”. While this standard may have originally been set to filter applicants and reduce bureaucratic burden, it raises the question of what exactly a “cumulative publication impact factor” sets out to measure. Should the author indicate the impact factor at the time of publication or for the current year? Does being a middle author on an article along with fifty others published in a “high” impact factor journal count more toward the cumulative than being the primary author of an article with fewer authors which had been published in a lower impact factor journal? What about situations when there are authors who contributed equally or more than one corresponding author? Surely, there must be better ways to assess scientists other than by relying on arbitrary cutoffs, complex formulas, or tables resembling those straight out of taxation guidebook!
To be fair, Thomson Reuters has never suggested that impact factors be used in this manner. Indeed, they strongly encourage the use of multiple metrics for assessment. The h-index is one such metric, which is often used to assess the research potential of an individual scientist. For example, an author with forty articles each cited at least forty times has an h-index of 40. However, there are ways that a researcher can manipulate his or her h-index too.
All metrics have limitations. The goal is not to do away with metrics such as impact factors, but to understand the limitations of each and to use multiple qualitative and quantitative measures as far as possible.
Fica evidente que o editor da ACS Chemical Biology manifesta abertamente suas reservas em se utilizar índices bibliométricos para propósitos questionáveis, especialmente porque tais índices podem ser manipulados. Sendo assim, embora seja possível a adoção de critérios bibliométricos (dentre outros) para a avaliação de programas de pós-graduação, o uso de tais critérios deve ser adotado com extrema cautela, de maneira a não superestimar sua importância. Afinal, como bem ressaltado por Guimarães e Amaral, a importância dos programas de pós-graduação para a ciência brasileira não pode ser negligenciada. Contudo, as publicações científicas são apenas um dos aspectos a serem avaliados na última etapa do processo de formação de profissionais. O aspecto formativo, dentro de um contexto institucional, deveria ser talvez o elemento-chave para a avaliação dos programas de pós-graduação. E a avaliação da qualidade do processo de formação de mestres e doutores é bem complexo, e não necessariamente reflexo da métrica científica de um determinado programa de pós-graduação.
Mahapatra, A. (2010). Deep Impact: Scientific Evaluation by the Numbers ACS Chemical Biology, 5 (8), 715-717 DOI: 10.1021/cb100233v
Categorias:educação, informação
A Química da Vida 
A adoção do FI sempre gerou discussões. Os exemplos dos dois periódicos citados provavelmente não são os únicos. Enquanto o FI da Acta Crystallographica pulou de pouco mais de 2 para quase 50, o da Revista Brasileira de Farmacognosia deverá cair para cerca de 0,3. É interessante notar, como o professor Barbosa informa, que a palavra ‘Brasileira’ torna a RBFAR uma publicação local. Entretanto, levando em conta este parâmetro, o mesmo deveria acontecer com o JACS, já que a palavra ‘American’ também o torna “local”. O fato de periódicos consolidados como o Journal of Natural Products e a Phytochemistry terem um FI entre 3 e 4, mostra que a ciência chegou a um beco sem saída. Ao pesquisador são exigidas publicações em revistas com FI elevado, ao mesmo tempo o número de periódicos indexados, cerca de 16 mil, é tão grande que torna praticamente impossível para qualquer um acompanhar aquilo que está sendo feito na sua própria área de atuação. Por sua vez, o volume de informação dificulta a citação de trabalhos em revistas menos conhecidas e, consequentemente, que o Journal of Natural Products tenha um FI de ‘apenas’ 3,159 apesar dos seus 73 anos de existência.
Carta publicada hoje, 30/08/2010, no Painel do Leitor da Folha, comentando esse artigo de Guimarães e Amaral e que merece registro (os grifos são meus):
(Nelson Hein, professor-doutor da Universidade Regional de Blumenau, SC)
“Não seria o momento atual um momento de reflexão e discussão abrangente sobre os rumos da ciência no Brasil? Afinal, publicar é bom. Mas saber o quê publicar, é melhor ainda” – essa assertiva no post Re-cherche, Re-search merece mesmo reflexão…