Más allá del factor de impacto—La creciente popularidad de las altmetrics

El factor de impacto (FI) de una revista científica es la métrica más común usada actualmente para evaluar la investigación. Es una medida del número promedio de citas que un artículo publicado en una revista dada ha recibido durante un período de dos años. El FI es calculado por Thomson Reuters, y se publica anualmente en el Journal Citation Reports.

El FI fue desarrollado en los años 1970s como una herramienta para facilitar el trabajo de los bibliotecarios al seleccionar las revistas para mantener en su colección. Sin embargo, con el tiempo su uso evolucionó más allá del propósito original. En la actualidad, muchos científicos usan esta métrica para formar juicios acerca de la calidad de una revista científica, y de los artículos en ella publicados. Las instituciones encargadas de asignar subvenciones y las universidades frecuentemente utilizan el FI para evaluar a sus investigadores, y como base para tomar decisiones relacionadas a la asignación de fondos para la investigación y ascensos.

Muchos dentro de la comunidad científica han expresado su descontento ante el abuso del FI. Entre ellos, varios ganadores del Premio Nobel han declarado abiertamente su disgusto hacia esta métrica. Martin Chalfie, galardonado con el Premio Nobel de Química en 2008, dijo en una entrevista, “Puedo decir categóricamente que odio los FIs.” Otro ganador del Premio Nobel, Peter Doherty, mencionó que la importancia que se le da a los FI está sesgando a la ciencia.

En 2012, en la reunión anual de la Sociedad Americana de Biología Celular, un grupo de investigadores, editores y directores de revistas científicas se reunió para discutir sobre el mal uso que se le da al FI al utilizarlo para emitir juicios sobre la calidad de la investigación. El documento resultante, La Declaración de San Francisco sobre la Evaluación de la Investigación (DORA), ha ganado el apoyo de un gran número de científicos e instituciones a través del mundo. Dentro de las instituciones que apoyan a la DORA están EMBO, las revistas PLOS y Hindawi.

 

Lo que es el FI

El FI de una revista científica se calcula a partir de la siguiente fórmula:

Por ejemplo, si la Revista X tiene un FI de 11 en el 2018, quiere decir que los artículos publicados en X durante el 2016 y el 2017 fueron citados en promedio 11 veces cada uno en el 2018.

El FI puede ser una medida útil de la atención que recibe una revista, pero tiene fallas importantes:

  1. La distribución de las citas es sesgada. Un buen artículo puede sesgar el puntaje de toda la revista. Por lo tanto, el que un artículo sea publicado en una revista de alto impacto no garantiza que vaya a tener cierto número de citas. Para contrarrestar esto, algunos investigadores han sugerido publicar la distribución de citas junto con el FI.
  2. Documentos citables contra documentos publicados. El denominador en la ecuación anterior incluye fuentes citables, como artículos y comunicaciones cortas. Por otra parte, el numerador incluye citas encontradas en cualquiera de los diferentes tipos de documentos publicados en la revista. Estos pueden incluir fuentes no citables, como cartas. El FI de una revista puede variar dependiendo qué tipos de documentos se consideren citables.

Además, ciertas prácticas editoriales pueden influir sobre el FI de una revista. Por ejemplo, el editor puede escoger publicar preferentemente artículos que atraen un mayor número de citas, como artículos de revisión o sobre temas que están de moda, para aumentar su puntaje.

 

Otras métricas basadas en citas

Aunque el FI de las revistas sigue siendo la métrica más popular, existen también otras métricas basadas en citas. Algunas de ellas se enfocan más en el impacto del artículo o del investigador, tal como el índice h y el EigenFactor y Article Influence.

Sin embargo, estas métricas aún se basan en el número de citas para estimar el impacto. En teoría, entre más citas tenga un artículo, mayor ha sido su contribución al trabajo de otros. El problema en la práctica es que hay factores externos que inciden sobre el número de citas, además de que este puede ser fácilmente manipulado.

Por ejemplo, el número de científicos que trabaja en cierta rama de investigación afecta el número de citas que un artículo acumula. Por lo tanto, aquellos investigadores trabajando en campos más populares, acumularán más citas que aquellos que trabajen en campos menos novedosos. Sin embargo, esto no nos dice nada acerca de la calidad de dicha investigación. El número de citas también puede ser inflado por medio de autocitas, o por citas en artículos donde se critica al artículo citado (citas negativas).

Puede ser muy engañoso evaluar la calidad de un artículo o el impacto de un investigador con base en el FI de la revista donde han sido publicados, o en el número de citas que han acumulado. En palabras de Randy Schekman, el ganador del Premio Nobel de Medicina en 2013, “Un artículo puede acumular un gran número de citas por describir buena ciencia—o por ser llamativo, provocativo, o estar equivocado.”

Las métricas basadas en citas son útiles, pero no son suficientes en sí mismas. Es como mirar a través del ojo de una cerradura. Se puede vislumbrar una pequeña parte de lo que está al otro lado de la puerta, pero no la imagen completa.

 

Métricas alternativas

Dándose cuenta de las desventajas de los FI, pero reconociendo la utilidad de medir el impacto de la investigación, muchos científicos han recurrido a métricas alternativas, o altmetrics. Altmetrics es un término muy amplio que incluye toda la información encontrada en línea sobre un trabajo científico. Puede incluir información en grupos y foros de discusión en línea, citas en documentos de política, menciones en medios de comunicación social y blogs, vistas y descargas de un artículo, citas en Wikipedia, entre otras fuentes.

Altmetric, una compañía que provee métricas alternativas, menciona tres ventajas principales de las altmetrics comparadas con métricas tradicionales:

  1. Rapidez. La velocidad con la que se comparte información en la red hace que acumular altmetrics sea un proceso mucho más rápido que el de las métricas basadas en citas en revistas y libros.
  2. Alcance. Las altmetrics no se enfocan solamente en un tipo de indicador de impacto—las citas—sino que consideran otros tipos de interacción para pintar una imagen más amplia del tipo de influencia que un artículo, o un investigador, tienen.
  3. Aplicación. Las altmetrics se pueden utilizar para evaluar el impacto no sólo de revistas, sino también de artículos, científicos individuales, departamentos, universidades enteras, y hasta países.

La información cualitativa que proporcionan las altmetrics siempre se debe de considerar junto con los puntajes cuantitativos. No es suficiente contar cuánta gente ha mencionado un artículo en línea. Para evitar llegar a conclusiones equivocadas, es importante considerar también por quién se ha mencionado el artículo y en qué contexto.

Se debe pensar en las altmetrics como un complemento a las métricas tradicionales. Pueden ser un buen suplemento para incluir en un CV o en la aplicación para una beca científica. Son buenas para medir interacción y, también en algunos casos el impacto potencial. Haz clic aquí para saber más acerca de lo que son y cómo utilizarlas.

 

Conclusión

El factor de impacto de una revista, especialmente acompañado por la distribución de citas, puede proporcionar información útil acerca de la importancia relativa de una publicación al compararla con otras. Sin embargo, nunca debe ser utilizado para evaluar la calidad de un artículo, o el impacto de un investigador.

No existe la métrica perfecta, pero considerar un conjunto de ellas puede ayudar a crear una imagen más completa. Con la rapidez con la que corre la información en línea, reunir métricas alternativas es ahora más fácil que nunca. Es útil tener indicadores para evaluar el impacto del trabajo de un investigador. Sin embargo, al final nada puede sustituir leer su trabajo.

¿Cuál es tu experiencia con las altmetrics? ¿Te parecen útiles o prefieres los indicadores tradicionales?

 

– Written by Marisa Granados, Research Medics Editorial Desk –

0 comentarios

Dejar un comentario

¿Quieres unirte a la conversación?
Siéntete libre de contribuir!

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *