Para que serve a ciência? Para conseguirmos explicar muito do que nos parece inexplicável? Para entender o mundo como ele é? Para conseguirmos realizar o que parece ser irrealizável (como, por exemplo, gerar, transmitir e acumular quantidades inimagináveis de informação – ver a postagem anterior)? Para melhorarmos nossa qualidade de vida (mesmo que de vez em quando isso nos pareça meio estranho, dependendo da forma como tais melhorias são realizadas e implementadas)? Mesmo em se considerando todos estes aspectos, e muitos outros mais, como podemos saber se o conhecimento científico que é gerado está atingindo seus propósitos?
Ao mesmo tempo que os avanços científicos nos parecem ser evidentes – afinal, de outra forma não poderíamos estar aqui, na www – parece ser menos fácil mensurar os resultados da pesquisa científica, e como esta efetivamente resulta em benefícios para a sociedade. Quanto da pesquisa científica é transformada em inovação, científica ou tecnológica? É possível se criar um sistema através do qual seja possível se avaliar o quanto do investimento em pesquisa científica leva a resultados realmente relevantes?
Seria possível se realizar tais estimativas simplesmente se calculando o custo de um artigo científico? Ou de uma patente? Ou ainda da formação de profissionais com títulos de mestre, doutores e pós-doutores?
Afinal, é possível se realizar tais avaliações?
Segundo Lane e Bertuzzi, tais avaliações são difíceis. Difíceis porque muitos fatores e variáveis devem ser levados em conta. Em primeiro lugar porque o sistema atual de avaliação da ciência se baseia na coleta de dados de sistemas que identificam, financiam e gerenciam a pesquisa, e não no impacto que resulta desta pesquisa. Por razões históricas, segundo os autores, os recursos para a rigorosa avaliação dos investimentos em ciência têm se mostrado limitados. Tanto é que o Conselho Nacional de Ciência e Tecnologia dos EUA verificou que “as decisões atuais de investimento em ciência e tecnologia são fundamentadas em análises que são desprovidas de bases teóricas ou empíricas”. No caso do Reino Unido, desde 1986 os Conselhos de Financiamento de Ensino Superior têm realizado avaliações da qualidade, do impacto e da vitalidade da pesquisa financiada (por órgãos públicos?). Tais avaliações ajudaram a melhorar a qualidade da pesquisa no Reino Unido, apesar de terem sido particularmente complicadas. Iniciativa similar está sendo estabelecida no Japão neste ano.
A qualidade da pesquisa realizada em um determinado país pode ser descrita em função das atividades científicas realizadas por pesquisadores e grupos de pesquisadores. Por mais que pareça óbvio que o principal produto da atividade de pesquisa é a geração de conhecimento, que inclusive resulta de eventuais “falhas” e “experimentos mal sucedidos”, é muito difícil de se medir o resultado direto da maior parte da pesquisa científica realizada. Lane e Bertuzzi ponderam que uma avaliação deste tipo necessita levar em conta os resultados mais evidentes (publicações, citações e patentes), bem como aqueles quase elusivos, como o surgimento e a emergência de novas áreas de pesquisa e do conhecimento. Evidentemente que a melhoria na saúde em geral, a utilização de formas de energia mais limpas, a minoração de problemas ambientais, a formação de recursos humanos altamente qualificados e o incremento na competitividade também devem ser considerados. Basta se verificar como estes são observados em países com diferentes níveis de financiamento científico ao longo do último século, por exemplo.
Todavia, a avaliação dos resultados do financiamento da pesquisa científica não pode se limitar aos “efeitos perceptíveis”. Muitas vezes a pesquisa de longo prazo resulta em efeitos imediatos imperceptíveis, que só se farão sentir muitas gerações depois. Um exemplo disso foi a proposição da teoria dos orbitais moleculares e a teoria dos orbitais de fronteira em meados do século passado, que atualmente estão sendo cada vez mais utilizadas para se entender o curso de reações químicas orgânicas. Estas últimas são extremamente importantes para a indústria farmacêutica, agroquímica, de materiais e para o próprio desenvolvimento científico.
Várias avaliações mostram que os reais resultados do desenvolvimento de projetos científicos só são observados mais de uma década após o início de tais projetos.
Por isso, para Lane e Bertuzzi parece ser clara a necessidade de se estabelecer sistemas de avaliação das realizações (outputs) da pesquisa científica, utilizando-se dados de agências financiadoras e das próprias instituições onde os programas e projetos de pesquisa são desenvolvidos. O problema é que muitas vezes tais informações não são compartilhadas entre estas diferentes instituições, o que torna a compilação de tais informações uma tarefa bastante complexa.
Levando-se em conta a necessidade e a dificuldade em se realizar coletas de dados e informações, para se realizar tais avaliações, o governo norte-americano estabeleceu o STAR METRICS (Science and Technology for America’s Reinvestment: Measuring the EffecTs of Research on Innovation, Competitiveness, and Science). Este programa foi estabelecido com o objetivo de se avaliar os recursos financeiros e intelectuais de tais desafios (inovação, competitividade e ciência) nos EUA, e resulta de um consórcio entre o National Institutes of Health (Instituto Nacional de Saúde) e o National Science Foundation (Fundação Nacional de Ciência), sob os auspícios da Secretaria de Ciência, Tecnologia e Diretrizes da Casa Branca (White House Office of Science, Technology and Policy). O objetivo de tal programa é construir, de maneira colaborativa com instituições de pesquisa, uma infraestrutura de dados científicos que incluiria concepções (inputs), realizações (outputs) e resultados (outcomes) a partir de uma grande variedade de fontes destes dados, da maneira mais aberta possível.
Tal sistema permitiria aos pesquisadores conhecer a maneira como o conhecimento é criado e transformado em “disciplinas” (áreas do conhecimento), bem como engajar cientistas sociais e de comportamento para conhecer o impacto destas intervenções.
O STAR METRICS foi concebido para ser realizado em duas fases. Em um primeiro momento, para avaliar o efeito imediato da atividade científica na geração de empregos, incluindo estudantes de graduação, pós-graduação e pesquisadores em geral, além da criação de empregos por empresas diretamente ligadas à atividade científica ou de processos e produtos resultantes da atividade científica. A segunda fase será verificar as realizações e os resultados da geração dos empregos coligidos na primeira fase. Tais informações farão parte de um sistema digital que apresentará resultados científicos, sociais, econômicos e de força de trabalho que resultam dos investimentos em pesquisa científica. Estima-se que a segunda fase do STAR METRICS deverá levar cinco anos para ser realizada. As informações deverão ser coligidas em sistemas similares ao sistema Lattes de currículos (textualmente citado no artigo de Lane e Bertuzzi); tais sistemas estão sendo elaborados em conjunto com a comunidade científica.
Certas características a serem levadas em conta parecem ser evidentes: a necessidade de se avaliar o trabalho em equipes de cientistas, utilizando-se de sistemas de rede e outros, para se estabelecer qual a dimensão da complexidade de tais atividades; que tipos de financiamento são mais bem sucedidos, em função de sua estrutura e envolvimento de várias instituições (ou não), de maneira multidisciplinar (ou não); como as próprias instituições estimulam a pesquisa científica; se é melhor se financiar pesquisadores mais jovens ou não; quais atividades profissionais resultam da formação de estudantes em diferentes níveis (graduação, mestrado, doutorado, pós-doutorado).
O STAR METRICS é visto por Lane e Bertuzzi como uma oportunidade ímpar para se conhecer as formas como pesquisadores atuam, e os resultados de sua atuação.
Tal iniciativa parece ser de primordial importância. Não seria interessante se pensar em um programa similar para o Brasil? Levando-se em conta o financiamento da pesquisa científica ao longo da última década, a implementação de um sistema desta natureza aqui seria muito mais interessante do que qualquer outra para se tentar adivinhar como anda a ciência brasileira e quais caminhos esta eventualmente deve percorrer.
Lane J, & Bertuzzi S (2011). Research funding. Measuring the results of science investments. Science (New York, N.Y.), 331 (6018), 678-80 PMID: 21310987
Categorias:ciência
A Química da Vida 
Oi, Roberto
O grande problema parece ser a falta de integração entre as fontes geradoras de informação especializada.
Já temos a Plataforma Lattes – para o meio acadêmico, e existe a Pesquisa de Inovação Tecnológica (Pintec), conduzida pelo IBGE periodicamente, para as empresas. Mas no Brasil, essas áreas comportam-se como água e óleo – são muito recentes os esforços de integração e cooperação entre a academia e a indústria/empresas em geral. Uma fonte integrada poderia inter-relacionar as duas áreas para indicar lacunas bem como aproximar interesses em comum, por exemplo.
Oi Sibele,
Penso que o problema talvez nem seja inter-relacionar a pesquisa que é feita na academia e nas empresas do Brasil, mas sim tentar medir os reais “outputs” e “outcomes” da pesquisa feita no país. Varia tanto de área para área de pesquisa, e até mesmo de como se faz pesquisa dentro da mesma área. Só para te dar um exemplo: em química de produtos naturais, se você busca substâncias de origem vegetal que possam eventualmente ser utilizadas como anti-oxidantes, isso é muito diferente do que estudar mecanismos moleculares de como as mesmas substâncias são formadas. Enquanto que a primeira tem um aspecto muito mais aplicado, a segunda não. Ao contrário do que se poderia pensar, atualmente se considera a pesquisa do segundo tipo muito mais “da moda” do que a primeira, que pode gerar processos e produtos patenteáveis, com retorno muito mais rápido para a sociedade.
E aí? Como seria possível se medir os “outcomes” e “outputs” de cada um destes dois tipos de pesquisa?
Como dito no artigo da Science, é muito difícil se avaliar.
Roberto
É, é mesmo muito difícil. Talvez sistemas híbridos, considerando outputs e outcomes, e suficientemente maleáveis para adaptar-se às especificidades de cada área sejam a solução. E sistemas híbridos não exclusivistas, levando em conta múltiplas fontes de dados e não só as “mais badaladas”.