domingo, 30 de octubre de 2011

Medidas de la actividad científica (cienciometría)

Antes de entrar en detalles más técnicos sobre cómo se calculan los indicadores y juicios más encendidos sobre su validez o no para medir lo que se busca, en ESTE TEXTO se puede encontrar una introducción que sirve muy bien para centrar el tema de la evaluación de la investigación y su relación con la documentación científica (objeto del tema anterior)

viernes, 28 de octubre de 2011

Citas, factor de impacto y calidad de las revistas

No todas las revistas son iguales. Ni siquiera las revistas científicas son iguales. De forma inconsciente tenemos algún tipo de "prestigiómetro" que veamos unas como mejores que otras. Esa idea de calidad de las revistas ¿se puede objetivar de alguna manera? Esto puede parecer un ejercicio académico, sin embargo es muy importante, porque como autor habrá que buscar publicar en las mejores revistas, como evaluador se considerarán con mayor valor las publicaciones en mejores revistas... vamos, que la clasificación de las revistas se convierte de un elemento clave del sistema de publicación y evaluación de la ciencia.

Ni la medida de la calidad de una revista es un asunto obvio, ni todos los artículos de la misma revista tienen la misma calidad. Sin embargo con el tiempo se han establecido unas medidas muy estandarizadas que se aceptan de forma muy general en casi todas las disciplinas (de las ciencias "duras") y en todos los lugares. La idea se basa en la siguiente hipótesis: Los artículos con contenidos más interesantes serán citados más que aquellos con menos interés. A partir de ahí, la mejor revistas es la que tiene artículos con más citas. Y para implementar estas ideas se meten en bases de datos todos los artículos (de un gran número de revistas) junto con sus citas y se calculan medias. En concreto de "Factor de Impacto", como la métrica clave, la más extendida. Sobre la definición, el uso y el abuso de este índice (y otros más con los que se representa la distribución temporal de citas) está muy bien el artículo "Impact Factor: use and abuse" (Amin & Mabe), en la red AQUÍ.

Os dejo también un PWP que da un vistazo rápido a la cuestión de la calidad de las revistas (y donde aparece el IF, claro):



Pero no todo se acaba ahí. En los últimos años se está haciendo un esfuerzo muy grande por crear una alternativa europea al Thomson-Reuters, y así ha surgido SCOPUS como base de datos de artículos y su explotación cara a la calidad de las revistas que es SCIMAGO (Echadle un vistazo, jugad un poco).

Una cuestión muy interesante sobre este asunto del índice de impacto es lo mal que representa realmente a las citas de cada artículo. Las citas que reciben los artículos no siguen una distribución "normal" gausiana, sino una ley de potencias: unos pocos artículos reciben muchísimas citas, mientras que la mayoría no recibe.. ninguna en realidad. El factor de impacto es la media de la distribución, eso es matemáticamente innegable, pero la media describe magníficamente distribuciones gausianas, pero las que siguen leyes de potencias no.

Dicho de otra manera, si consigo colar mi artículo (que no recibirá citas) en una revista mejor, me beneficio más del arrastre de sus autores más citados que si la coloco en una de peor IF en la que me beneficio de autores con menos tirón. Pero en todos los casos mi artículo no añade citas, y por tanto es beneficiario puro de la situación. 

Por cierto, la figura que ilustra este hecho la he tomado de esta presentación.

Es fácil escuchar críticas por el exceso de importancia que se le da a las citas, al factor de impacto, a la revisión por pares, etc. Sin duda que hay razones para la crítica, pero no hay que olvidar que las ventajas son muy superiores a los inconvenientes, y para comprobarlo nada mejor que echar un vistazo a disciplinas dónde estos conceptos no están implantados. Ver, por ejemplo, el programa de este congreso sobre calidad de las revistas en Ciencias Sociales. Que cada uno saque sus conclusiones.

Una cosa más, últimamente empiezan a aparecer "métricas falsas", sucedáneos del factor de impacto para revistas que no alcanzan los estándares para estar en el SCI de verdad. Un comentario sobre el tema y la lista (en oct de 2015) de este tipo de iniciativas (insisto, fraudulentas), se puede encontrar AQUI.

martes, 25 de octubre de 2011

Bibliometría

El factor de impacto del que hablábamos en la entrada anterior es un indicador "bibliométrico". Merece la pena que profundicemos en esa disciplina que es la bibliometría: la ciencia alrededor del análisis estadístico de la producción científica. Para ello nada mejor que ESTE texto (archivado en MiAulario) del libro de Álvarez -Ossorio.

Un poco más sobre indicadores bibliométricos y las limitaciones en su uso (por si no habíamos tenido bastante en la entrada anterior). AQUÍ

En un alarde por sintetizar el valor de una producción científica en un sólo indicador (sea de un científico o de una universidad), Jorge Hirsch propuso su famosísimo índice h, que a pesar de su juventud ha generado ya ríos de tinta. Veamos UN EJEMPLO.

Todos sabemos como la extensión de internet ha afectado al mercado de la música alterándolo por completo, hoy la venta de discos ya no es un negocio. Otro sector basado en la información, y por tanto muy susceptible de modificarse con internet era el de las publicaciones científicas. Este sector ha sabido hacer lo contrario que el de la mísica. VEAMOSLO.

---------------------------------------------------------
Resumen de las lecturas:
1.- Bibliometría (archivado en MiAulario) del libro de Álvarez -Ossorio
2.- Limitación en el uso de indicadores bibliométricos (archivado en MiAulario) de "Política Científica"
3.- El índice h y Jorge Hirsch en la Wikipedia
4.- Uso del índice h en España de Scientometrics (archivado en MiAulario)
5.- Digitalizar revistas científicas de Mundo científico (archivado en MiAulario)

Hojeadlas todas y leed a fondo 2 (excluyendo lo de la Wikipedia).