Sistemas de evaluación de contenidos. Capitulo 1

Uno de los principales problemas de la ciencia – y de toda transmisión de conocimiento en general – es cómo validar las afirmaciones que uno hace. Establecido el método científico, basado en la medida de evidencias observables y empíricas, la solución pasa por evaluar en qué medida se ha seguido dicho método. El problema aparece entonces en cómo garantizar que dicha evaluación es objetiva, independiente, no interesada y exenta de amiguismos.

A mediados del s.XX se establece la revisión por pares para evaluar los artículos presentados para ser publicados en una revista científica. Pasado un primer filtro por el editor, más centrado a temas formales (formato, tema, etc.), una serie de árbitros – reputados en su campo – evalúan de forma anónima los escritos, comentándolos y proponiendo, al final, la publicación o no publicación del mismo.

Aunque con muchas ventajas, el sistema goza también de algunos inconvenientes. Algunos de ellos derivan de la construcción del mismo: para garantizar el anonimato la transparencia de todo el sistema se resiente, convirtiéndose en debilidad lo que se planeó como la mayor fortaleza del mismo. Por otra parte, y por cuestiones de coste en tiempo y recursos, la evaluación no puede ser llevada a cabo más que por unos pocos árbitros. El reducido número de árbitros hace que existan riesgos de sesgo – por se una muestra poco representativa del área de conocimiento – así como de (irónicamente) poca reputación, dadas las limitaciones humanas para ser experto en un gran número de campos.

En los siguientes ejercicios se plantea una simulación muy simplificada del sistema de revisión por pares así como nuevas formas de revisión/reputación aparecidas a la luz de las Tecnologías de la Información y la Comunicación para validar los contenidos que aparecen en foros o sistemas de recomendación de noticias (p.ej. Digg) o para la producción colectiva de documentos (p.ej. Wikipedia).