Somos avaliados todo o tempo. Pelos nossos familiares, pelos vizinhos, no trânsito, no comércio, no trabalho. Pelos nossos melhores amigos. Ilusão achar que em algum momento de nossas vidas não estamos sendo avaliados.
Mas, via de regra, não gostamos muito.
Na vida acadêmica, então, as avaliações são diárias: do aluno, do professor, do pesquisador, do administrador, o tempo inteiro. Chega a ser extremamente desgastante ter que estar sempre “pronto” para ser avaliado. Mas, infelizmente, é assim. E junto com a avaliação acadêmica nasceu a cientometria, a ciência de avaliação do desempenho científico. Avaliar o desempenho daqueles que fazem a descoberta científica e a divulgação da descoberta virou uma mania, e todos os que atuam no meio acadêmico hoje em dia sabem disso. Porém, muitos pesquisadores atuais ainda viveram uma época em que tal “métrica de avaliação” não existia (pelo menos diretamente). Até o início dos anos 90, a avaliação de um cientista era feita de maneira quase intuitiva – pela qualidade dos seus trabalhos publicados.
Por exemplo, quem trabalha com química orgânica já deve ter lido algum artigo de Bob Woodward. Ou de Koji Nakanishi. Ou de Manfred Hesse. Herbert Brown. E muitos outros grandes pesquisadores da área de química, que trabalharam, na maior parte de suas carreiras acadêmicas, sem se preocupar com número de citações, número de artigos, índice H, fator de impacto das revistas. Estavam, única e somente, preocupados em fazer boa ciência.
O fato, porém, é que a avaliação científica veio para ficar. Para bem e para mal, a cientometria (não confundir com cientologia) passou a ser incorporada não somente nas avaliações por pares, mas também por parte das agências de fomento, das Instituições de Ensino e Pesquisa Superior e até mesmo para a classificação das universidades no mundo. Mesmo sabendo que a utilização destes índices é muito questionável (mas muito mesmo), uma vez que tende a favorecer pesquisadores com carreira consolidada, e limita a visão global sobre a atuação do pesquisador.
Cientometria não leva em conta atividades didáticas, administrativas, organizacionais, de orientação, de divulgação científica, para falar apenas de “algumas” outras atividades frequentemente desenvolvidas no meio acadêmico. Levando-se em conta que as atuais “técnicas cientométricas” estão longe de serem as ideais, mas que a avaliação acadêmica se tornou uma realidade, editorial da revista Nature enfatiza a necessidade em se criar uma verdadeira ciência da cientometria. Que seja consistente, fidedigna, confiável e, sobretudo, justa e transparente.
Mesmo sabendo que a atividade “multi-tarefa” acadêmica é complexa e difícil de ser apreendida e avaliada globalmente. Mas tal dificuldade não justifica a utilização de abordagens de avaliação simplistas e reducionistas. Estas devem ser continuamente aprimoradas.
O editorial cita o sistema de Currículos Lattes brasileiro como um exemplo bem sucedido de criação de base de dados acadêmicos, considerado um dos mais “limpos” (mesmo com a ocorrência de informações incorretas, como o CV Lattes do comentarista esportivo Galvão Bueno, por exemplo – já deletado do sistema).
Outras iniciativas para se criar sistemas de cadastro de pesquisadores são o ORCID (Open Researcher and Contributor ID), iniciativa conjunta da Thompson Reuters (dona do Institute for Scientific Information) e do Nature Publishing Group, e o RPPR (Research Performance Progress Report). Esta última tem por objetivo ajudar a definir o que são reais “realizações científicas”, não somente publicações, mas também websites, eventos científicos, escolas, workshops, etc.
Para que tal avaliação seja possível, os dados a serem coletados devem necessariamente ser fidedignos e trazer uma real “tradução” do trabalho global do acadêmico, na sua integridade. Mas uma tarefa desta natureza não é simples, pois a geração do conhecimento é um sistema complexo de informações, que inclui criatividade, divulgação e disseminação de conhecimento, dentre outros fatores (ineditismo, relevância, abrangência, profundidade, questionamentos, surgimento de novas tendências). Conseguir avaliar dados científicos não é tarefa pequena. Um sistema internacional integrado e unificado poderia contribuir significativamente para a realização deste tipo de avaliação. Que certamente poderia tornar extremamente transparente qualquer tipo de avaliação acadêmica – cujo objetivo seria estimular a realização de ciência de muito boa qualidade, seja ela qual for: básica, voltada para a aplicação ou aplicada.
Lane, J. (2010). Let’s make science metrics more scientific Nature, 464 (7288), 488-489 DOI: 10.1038/464488a
Categorias:ciência, educação, informação
A Química da Vida 
Oi, Roberto!
De fato, a avaliação da Ciência está aí, quer se queira quer não. Verdade que as metodologias de avaliação são muito questionáveis, mas acredito que isso deve-se à tradição da avaliação por pares e da citação, já que os índices previstos até então pela Cientometria majoritariamente baseiam-se em publicações, o que determina, como você comentou, o favorecimento de pesquisadores com mais tempo de carreira, além de outros vieses.
Porém, esse cenário está mudando, e vejo tal movimentação como resultado de uma transformação – ainda incipiente – para uma visão mais ampliada das Ciências e sua inserção na sociedade. Assim, seu caráter multidimensional é posto em evidência, e seus resultados visíveis não apenas entre os próprios pares, através de publicações especializadas restritas a esse público, mas estendidos com mais efetividade para a sociedade – um reflexo disso é a importância que atualmente a divulgação científica vem alcançando.
A atividade acadêmica sempre foi “multi-tarefa”. O caso é que nunca se avaliou essa complexidade globalmente – por anos, apenas as publicações eram a medida da produtividade dos pesquisadores, e assim mesmo, como já dito, sujeita a questionamentos. Agora, ampliada, tal tarefa de avaliação é sim, complexa e difícil de ser apreendida, mas isso só estimula novos estudos e pesquisas para avançarmos nessa questão e sairmos do reducionismo representado pela produtividade em publicações científicas.
Enfim, vamos devagar, mas caminhando e avançando. E posts como esse deveriam ser rotina em blogs de divulgação científica, para acompanhamento das iniciativas de novas metodologias de avaliação mais abrangentes que vêm surgindo.
Parabéns pelo post!