21 agosto 2018

Métricas responsáveis

Empresa que calcula o fator de impacto de revistas científicas passa a divulgar dados que mostram o contexto de seus resultados


As queixas sobre o uso indiscriminado do fator de impacto (FI) como parâmetro de qualidade de publicações científicas geraram uma autocrítica do Institute for Scientific Information, responsável pela produção do indicador. No final de junho, a entidade, que é um braço da empresa Clarivate Analytics, divulgou a atualização anual da base de dados Journal Citation Reports, que apresenta o FI de 11.655 periódicos científicos do mundo. Dessa vez, no lugar de apresentar apenas o tradicional ranking com o número médio de citações recebido por cada revista em um intervalo de dois anos, a base passou a oferecer também informações que mostram o contexto em que esse índice foi produzido. Agora é possível ter acesso a dados suplementares, como uma curva de distribuição mostrando todos os artigos publicados em cada periódico e quantas vezes cada um dos papers foi citado.
Esse tipo de informação busca atenuar as críticas de que o índice, alardeado por revistas e seus autores como um parâmetro de prestígio, frequentemente mescla artigos altamente citados com outros de baixa repercussão. “A grande maioria dos periódicos científicos contém artigos que seguem um padrão harmônico. Mas aqueles que publicam textos com padrões múltiplos tornam-se de fato um problema”, diz o químico Rogério Meneghini, coordenador científico da biblioteca eletrônica Scielo Brasil. A nova abordagem também ajuda a mostrar se o desempenho de uma publicação está vinculado a um grande conjunto de artigos – como acontece com periódicos como ScienceNaturePLOS ou Scientific Reports – ou se é resultado de um número pequeno de papers selecionados de forma muito rigorosa. “Os gráficos de distribuição de citações foram desenvolvidos para mostrar o que é o fator de impacto por dentro. A ideia é ver não apenas o número, mas enxergar através dele”, explicou Marie McVeigh, diretora de produtos do Journal Citation Reports, em seu perfil no Twitter. O objetivo dessa nova orientação, segundo ela, é desestimular o uso isolado do FI e mostrar a diversidade de dados que lastreia o índice.

Uma distorção comum é tomar o fator de impacto de um periódico como representativo de artigos ou autores
Outras informações detalhadas também foram disponibilizadas. É possível ver o cálculo da mediana das citações, que, ao contrário da média, não é influenciada pelos extremos. Outra novidade é a distinção de citações feitas em artigos de pesquisa, que evidenciam a repercussão entre os pares, e em artigos de revisão, aqueles que organizam a bibliografia existente sobre um tema.  Leia mais