A avaliação por pares (peer review) é o processo em que artigos científicos, propostas de projetos e relatórios científicos são avaliados por membros da própria comunidade de cientistas. É um processo criado há cerca de 100 anos, e que tem servido para, de certa forma, guiar o desenvolvimento da ciência. Segundo artigo de Anirban Mahapatra publicado na revista ACS Chemical Biology, estima-se que 1.300.000.000 de artigos científicos são publicados todos os anos após serem avaliados por este processo. Levando-se em conta sua importância, é importante que os próprios cientistas avaliem a “avaliação por pares” de maneira a melhorá-lo, ou não.
O artigo de Mahapatra menciona um levantamento realizado pela organização “Sense about Science”, que recentemente divulgou os resultados preliminares de uma avaliação feita com 4.000 autores e revisores de trabalhos científicos, que trabalham diretamente com pesquisa científica, tecnologia ou medicina. Os resultados apontam que cientistas valorizam muito a “avaliação por pares”, com cerca de 2/3 dos avaliados mostrando satisfação com o sistema. A grande maioria dos avaliados acredita que a qualidade de suas publicações é significativamente melhorada após a “avaliação por pares”, e que este processo permite um controle efetivo da apresentação de resultados científicos.
O levantamento feito pela organização “Sense about Science” também revelou que cientistas participam neste processo por razões altruísticas. Segundo Mahapatra, cientistas manifestam que querem atuar de maneira construtiva na comunidade em que atuam, e cerca de 50% dos avaliados disseram ter gasto cerca de 6 horas na avaliação do último manuscrito científico pelo qual foram designados como revisores. Mas os mesmos cientistas são conscientes do tempo que têm que empregar nesta avaliação, e dizem que se sentiriam mais dispostos a participar se incentivados ou tendo seus esforços reconhecidos de alguma maneira. Estes poderiam ser agradecimentos na revista, créditos por parte de sociedades científicas, ou diminuição nos valores das taxas de publicação por revistas científicas.
Embora muitos cientistas valorizem a avaliação por pares, poucos consideram que a avaliação é perfeita. Cerca de 1/3 dos que participaram do levantamento disseram que a avaliação por pares não pode ser melhorada. Disseram que deveria ser possível a verificação de plágio e outras violações éticas. Todavia, disseram estar inseguros de como realizar tais tarefas segundo o modelo atual de “avaliação por pares”. Também, os pesquisadores gostariam de poder avaliar se trabalhos anteriores foram adequadamente citados nos trabalhos sob avaliação, mas se mostraram divididos quanto à possibilidade de realizar tal avaliação.
Os participantes no levantamento manifestaram a aprovação pelo anonimato durante a avaliação por pares. A grande maioria prefere que as revistas científicas mantenham o anonimato dos revisores, o que é fato para a grande maioria das revistas científicas. Mais interessante foi que 75% dos cientistas disseram também querer o anonimato dos autores. Ou seja, que o nome dos autores não seja incluído quando do envio dos manuscritos para avaliação. Segundo Mahapatra, tal procedimento não seria muito efetivo, pois é fácil se descobrir a autoria de um manuscrito lendo-se a introdução de artigos, que muitas vezes fazem alusão a trabalhos anteriormente desenvolvidos pelo mesmo grupo de pesquisadores.
Outros dados do levantamento indicaram que 75% dos avaliados eram pesquisadores do sexo masculino, e metade com menos de 45 anos. Um terço dos avaliados responderam que o processo de avaliação por pares tende a desfavorecer autores de trabalhos realizados em países em desenvolvimento. Cerca de metade dos avaliados eram da Europa e América do Norte. Cerca de 6% eram pesquisadores da área de química. Segundo o autor do artigo, Mahapatra, as seguintes questões podem ser levantadas após esta avaliação: como a avaliação por pares se distingue entre pesquisadores de diferentes áreas científicas e entre diferentes grupos demográficos? E o que acontece em casos específicos de avaliação, como no de revisões bibliográficas? Cientistas avaliam revisões bibliográficas de maneira diferente como avaliam contribuições originais?
Segundo Mahapatra, levantamentos como o realizado pela organização “Sence about Science” fornecem idéias sobre no quê cientistas acreditam que a avaliação por pares pode resultar, mas que a implementação de mudanças neste processo é muito menos trivial. Mahapatra acredita ser importante que o levantamento aborde tais questões, pois argumenta que a “avaliação por pares” pode se tornar obsoleta, ou se modificar substancialmente, ou permanecer inalterada. Mas que, de qualquer forma, saber o que autores e avaliadores desejam da “avaliação por pares” é muito positivo.
Comentários do autor deste blog: este artigo é, no mínimo, interessante para ser trazido à discussão no âmbito da comunidade científica brasileira. Seria muito importante se realizar um levantamento desta natureza no Brasil, por várias razões. Algumas são:
a) frequentemente tomamos conhecimento de colegas que se sentiram prejudicados em um processo de “avaliação por pares”, seja de artigos submetidos para publicação, ou de projetos científicos sumetidos para obtenção de recursos financeiros, ou de relatórios de projetos financiados pelos órgãos de fomento. Ora, isso não poderia acontecer. O processo de “avaliação por pares” não poderia, nunca, ser prejudicial. Somente positivo. Muitos acharão isso irônico, ou ingênuo. Mas deveria ser exatamente assim. Uma avaliação negativa de um trabalho científico deve, necessariamente, levar os autores à auto-crítica. Porém, tal avaliação deve ser estritamente profissional. E é aí que tudo se complica. Infelizmente, muitas vezes estamos sujeitos a uma “avaliação visceral” e não a uma “avaliação profissional”. Aí todo o valor da “avaliação por pares” vai por água abaixo.
b) a verificação de plágio é difícil, mas não impossível. Já existem “softwares” específicos para a verificação de plágio, e as revistas científicas deveriam adquirir tais programas e disponibilizar o uso “on-line” dos mesmos pelos avaliadores de trabalhos científicos. “Esconder” a autoria de um determinado manuscrito submetido à publicação é um procedimento adotado por algumas revistas científicas. Quanto a tentar “descobrir” a autoria de um artigo cujos autores foram “escondidos”, lendo a introdução (ou às vezes a conclusão) dos manuscritos e buscando as referências citadas, isso pode ser facilmente evitado recomendando aos autores não incluírem menções do tipo “nosso trabalho anterior …”. A “exclusão dos autores” durante o processo de avaliação seria excelente não somente para se aprimorar a avaliação do trabalho, mas também para diminuir auto-citações desnecessárias.
c) o eventual reconhecimento da realização de um bom trabalho de “avaliação por pares” não deveria ser premiado. Caso o fosse, poderia colocar abaixo todo o valor do processo. O reconhecimento pode ser verificado quando se observa que um artigo publicado, ou um projeto desenvolvido, ou um relatório, dissertação ou tese apresentados, ficou muito melhor depois de uma avaliação criteriosa. Mas, este é um assunto que merece ser mais amplamente considerado.
d) quanto ao tempo gasto na avaliação de manuscritos, projetos, relatórios, monografias, dissertações e teses: autores destes trabalhos devem ter em mente que a avaliação dos mesmos toma tempo. E, portanto, devem dimensionar adequadamente a elaboração destes documentos de acordo com sua natureza. Infelizmente, nossa herança histórica nos leva a ser prolixos e burocráticos.
e) finalmente, a discriminação de trabalhos científicos de autores de “países em desenvolvimento”: particularmente nunca senti tal discriminação. Mas sei de vários colegas que já sentiram. Tal fato é, realmente, lamentável e inaceitável. É óbvio que autores que não têm a língua inglesa como sua língua materna não apresentarão o mesmo domínio na escrita que autores de países de língua inglesa. Mas, ao mesmo tempo que se deve aprimorar a escrita em inglês, os avaliadores e editores de revistas internacionais deveriam ser tolerantes a autores de países de língua não-inglesa. Afinal, não podem imaginar o esforço que estes realizam em preparar um manuscrito bem escrito em língua inglesa.
O artigo de Anirban Mahapatra, “Peerless Evaluation”, publicado na revista ACS Chem. Biol., 2009, 4, pp 801–802, pode ser visualizado de graça, aqui.
Categorias:ciência, educação, informação, química
A Química da Vida 
Caro Roberto,
Muito pertinente o artigo e seus comentários. Eu ainda chamaria a atenção para um aspecto adicional: o que se discute aí é a “avaliação por pares” que se pratica no chamado “mundo desenvolvido”. Não é a “”avaliação por pares”” que se pratica no Brasil. Infelizmente, ainda falta começarmos a praticar a “avaliação por pares” já tão problemática (imagine, então, a nossa).
Para me explicar melhor, copio o que escrevi em meu blog (http://divagacoesobjetivas.blogspot.com/search/label/Peer%20review): que nossa peer review “tem peer, tem review, mas não tem o que no exterior é tão básico que nem acharam importante incluir no nome: feedback, retorno, resposta. Peer review sem feedback, uma invenção brasileira.”
Aos 45 anos e contando, jamais vi um parecer consubstanciado de proposta de pesquisa submetida a agência de fomento brasileira (mas não sou paulista; ouvi falar que a Fapesp faz como se faz nos EUA e Europa). Minha amostra é pequena mas sempre crescente: eu e todos os colegas a quem perguntei se já receberam feedback apropriado. Não vale “sua proposta foi/não foi aceita”. Falo de _parecer_, como os gringos fazem. Essa falta garante que nós, como comunidade científica, não aprende(re)mos com nossos erros e acertos em propostas de pesquisa.
Era isso. É bom ver que o assunto pelo menos gera discussão entre nós.
Caro Vinícius,
Em primeiro lugar, obrigado pelo comentário.
Em segundo lugar, concordo, em parte. Sou professor na USP há 16 anos e durante este período tive muitas experiências positivas de avaliação de artigos, projetos e relatórios, outras nem tanto. Uma avaliação bem feita leva sempre ao crescimento profissional. Mesmo que eu tenha um projeto denegado, um relatório criticado, ou um artigo recusado, se a avaliação tiver sido bem feita, de maneira profissional, eu só tenho a ganhar. E, sinceramente, tive várias experiências positivas neste sentido aqui no Brasil Ou seja, acredito que nossa comunidade científica está amadurecendo e entendendo melhor a importância de uma boa avaliação “por pares”. Mas nem sempre isso é verdade, infelizmente.
Agora, é verdade que a FAPESP concede este espaço para a discussão entre proponente e avaliador(es). O que não existe no CNPq, por exemplo. Isso é fato. No Brasil todo. E isso deveria existir, de maneira a que inclusive os pesquisadores de outros estados, que não têm a experiência da avaliação por pares que a FAPESP oferece, possam também se beneficiar desta experiência.
cordialmente,
Roberto