BIBLIOMETRIC CHARACTERIZATION OF SCIENTIFIC PUBLICATIONS ON STUDIES OF DRUG USE

Ana Julia García Milián¹, Neylim Blanco Hernández², Liuba Alonso Carbonel^l3, Pedro López Puig⁴, Juan Antonio Furones Mourelle⁵, María Aída Cruz Barrio⁵

¹ Dra. en C. Médico. Esp II Grado en Farmacología. Máster en Economía de la Salud. Profesor e investigador titular. Escuela Nacional de Salud Pública (ENSAP). República de Cuba.

² Médico. Esp II Grado en Farmacología. Máster en Enfermedades Infecciosas. Profesor auxiliar. Facultad de Medicina “Enrique Cabrera”. República de Cuba.

³ Médico. Esp II Grado en Farmacología. Máster en Promoción de la Salud. Profesor e investigador auxiliar. Centro Nacional Coordinador de Ensayos Clínicos (CENCEC). República de Cuba.

⁴ Médico. Esp II Grado en Medicina General Integral. Máster en Atención Primaria de Salud. Profesor e investigador auxiliar. Escuela Nacional de Salud Pública (ENSAP). República de Cuba. 5 Médico. Esp II Grado en Farmacología. Máster en Farmacoepidemiología. Profesor e investigador auxiliar. Escuela Nacional de Salud Pública (ENSAP). República de Cuba.

Correspondencia: Ana Julia García Milián. Escuela Nacional de Salud Pública. Calle 100 No. 10132 entre E y Perla, Altahabana, Boyeros, La Habana, República de Cuba. C.P. 10800. Teléfono: (537) 643 1426. Correo electrónico: purmed@infomed.sld.cu

RESUMEN.

Introducción: El análisis de las publicaciones sobre Estudios de Utilización de Medicamentos (EUM) permite profundizar en la actividad investigadora en este tipo de diseño farmacoepidemiológico.

Objetivo: Caracterizar las publicaciones sobre estudios de utilización de medicamentos en revistas médicas cubanas indexadas en Scielo en el periodo de enero 2000 a diciembre del 2012. Método: Estudio bibliométrico descriptivo. Se realizó una revisión de la producción científica referente a los EUM en el periodo y base de datos mencionados. Se estudiaron las variables número de artículos por año de publicación, número de publicaciones por autor, distribución de artículos por número de autores, instituciones que realizan la investigación, productividad institucional, número de referencias por publicación y temática.

Resultados: Se identificaron 26 artículos que involucraron a 78 autores pertenecientes a 21 instituciones. El periodo 2009-2012 fue el de mayor productividad. La Revista Cubana de Farmacia y la de Medicina General Integral fueron las que más estudios publicaron. La mayoría de los autores se clasificó como transeúnte, el grupo de entre tres y seis autores por artículo y las instituciones como pequeño productores. Los diseños de prescripción indicación y la estadística descriptiva fueron los publicados con mayor frecuencia. Las historias clínicas y las encuestas fueron las fuentes de datos más utilizadas. Los psicofármacos y antimicrobianos fueron los más investigados. El número de citas por artículo fue en su mayoría entre 11 y 20, siendo la tipología más empleada las revistas y los libros.

Conclusiones: Existe un bajo número de producción científica sobre EUM en las revistas médicas cubanas, pero se puede apreciar un crecimiento de ésta en los últimos años.

Palabras clave: estudios de utilización de medicamentos, bibliométrico, farmacoepidemiología.

ABSTRACT.

Introduction: The analysis of the literature on studies of drug use (SDU) enables us to deepen the research activity in this type of design pharmacoepidemiological.

Objective: To characterize the publications on studies on the use of medicines in Cuban medical journals indexed in the Scielo Collection in the period from january 2000 to december 2012.

Method: Descriptive bibliometric study. A review of the scientific production concerning the SDU in the period and database mentioned above. We studied the variables such as the number of articles by year of publication, number of publications by author, distribution of goods by number of authors, institutions that carry out the research, institutional productivity, number of references by thematic and publication.

Results: We identified 26 articles involving 78 authors from 21 institutions. The period of 2009 to 2012 were the most productive. The Journal of Pharmacy and General Medicine were the most widely published. Most of the authors was classified as transient, the group of three to six authors per article and institutions as small producers. Indication prescription designs and descriptive statistics were released more frequently. The medical records and surveys were the sources of data used most often. Psychotropic drugs and antimicrobials were the most investigated. The number of citations per article was mostly between 11 and 20, being the most used type magazines and books

Conclusions: There is a low number of scientific production on SDU in the Cuban medical journals, but we can see a growth in recent years.

Keywords: studies of drug use , bibliometric , pharmacoepidemiology

INTRODUCCIÓN.

En el momento en que se inicia la comercialización de un nuevo medicamento, los resultados de los ensayos clínicos son la base del conocimiento que se posee sobre los efectos de éstos en la población. Sin embargo, estos no son suficientes debido a que los objetivos y condiciones en los que se desarrollan difieren de la realidad y por tanto no siempre predicen los resultados que se obtendrán en la práctica clínica.

En consecuencia, es necesario el desarrollo de investigaciones complementarias que evalúen el uso y los resultados de los medicamentos en condiciones reales, que proporcionen información relevante y que permita la toma de decisiones clínicas. Es aquí donde la farmacoepidemiología pasa a jugar un rol protagónico.

La farmacoepidemiología es una rama de la salud pública y se define como la aplicación del conocimiento, métodos y razonamientos epidemiológicos al estudio de los efectos (beneficiosos o perjudiciales) y los usos de los medicamentos en las poblaciones. (¹ )

El concepto de estudios de utilización de medicamentos (EUM) o (Drug Utilization Research [DUR]) fue definido por la OMS desde 1977 como los estudios dedicados al “Mercadeo, distribución, prescripción y uso de medicamentos en la sociedad con énfasis en las consecuencias médicas, sociales y económicas de su utilización”. (²)

Los EUM tienen como meta principal facilitar el uso racional de medicamentos. Al revisar la literatura sobre los mismos se puede identificar una gran variedad de abordajes del tema, evidenciando que las clasificaciones existentes en ocasiones son confusas y dificultan su entendimiento. Por ser un campo relativamente nuevo no existe un lenguaje común, lo que contribuye a la confusión. (³ ,⁴ ,⁵ )

La literatura científico-técnica de las disciplinas ha manifestado un crecimiento y dinámica sin precedentes. El constante crecimiento de la información y de los conocimientos ha estado marcado por la impronta de las nuevas tecnologías de la información y las comunicaciones. Elemento este que permite acceder al cuerpo de publicaciones desde cualquier lugar y en cualquier momento. La utilidad del análisis de las publicaciones para el estudio de la actividad investigadora y tecnológica ha llevado a la bibliometría a experimentar un gran desarrollo. Estos trabajos permiten estar al tanto y valorar la producción científica de un área de conocimiento. (⁶ )

El análisis bibliométrico permite determinar cuáles son los tipos de estudios sobre los que más se investiga y el estado actual de conocimiento sobre los mismos. En nuestros días constituye un elemento de apoyo estadístico que permite el mapeo y generación de diferentes indicadores para el manejo de la información y el conocimiento. (⁷ )

En la literatura revisada solo se encontró un estudio bibliométrico realizado en el 2003, donde se plantea que son insuficientes los trabajos publicados para establecer cómo se están utilizando los medicamentos en la práctica clínica habitual en el sistema sanitario de Cuba.

Lo anterior expresado justifica la necesidad de realizar una investigación que caracterice las publicaciones científicas realizadas sobre estudios de utilización de medicamentos en las revistas médicas cubanas indexadas en Scielo en el periodo de enero 2000 a diciembre del 2012.

MATERIALES Y MÉTODOS.

Tipo de estudio: Bibliométrico descriptivo, cuyo objetivo es hacer un recuento de la productividad científica referente a los estudios de utilización de medicamentos, mediante indicadores bibliométricos, durante el periodo comprendido entre enero del año 2000 y diciembre de 2012.

Unidad de análisis: El estudio se realizó con un total de 26 artículos en español, provenientes de las revistas médicas cubanas indexadas en SCIELO.

Criterios de inclusión.

(a) publicaciones periódicas como revistas científicas

(b) texto completo;

(c) escritos en español;

(d) año de publicación dentro del periodo de estudio

Criterios de exclusión.

Publicaciones no periódicas, artículos en prensa, artículos con aspectos que se salgan de los parámetros de los criterios de inclusión.

Instrumentos.

Se diseñó una ficha de registro en Microsoft Office Excel 2007, en la cual se organizó la información de los artículos según los indicadores establecidos:

• Número de artículos por año de publicación, se establecieron cuatro categorías: (a) de 2000 a 2002, (b) de 2003 a 2005, (c) de 2006 a 2008, y (d) de 2009 a agosto de 2012.
• Número de artículos por revista.
• Número de publicaciones por autor. Se determinaron las siguientes categorías: (a) transeúntes: no superior a un artículo; (b) aspirantes: de dos a cuatro artículos; (c) productores moderados: de 5 a 9 artículos; y (d) grandes productores: 10 o más artículos.
• Distribución de artículos por número de autores: se establecieron categorías para cada número, según el número de autores encontrado en los artículos revisados. Se determinaron las siguientes categorías: 1-2 autores por artículo, de 3-6 y más de 6 autores.
• Productividad institucional o Índice de Lotka (clasificación de las instituciones en tres niveles de rendimiento según número de artículos generados: pequeños productores, o índice de Transítoriedad si presentan un único trabajo; medianos productores, si presentan entre 2 y 5 trabajos y grandes productores, las instituciones con más de 5 trabajos).
• Número de referencias por publicación: se establecieron cuatro categorías: (a) 1-10, (b) 11-20, (c) 21-30, y (d) más de 30.
• Relaciones de coautoría: concurrencia en dos o más artículos con el objetivo de que quedaran definidos grupos aislados e identificables.
• Tipo de estadística empleada. Se establecieron las categorías: (a) descriptiva (b) inferencial, (c) ambas, (d) no específica, para aquellos estudios en los que no se nombra el tipo de prueba utilizada ni se puede deducir.
• Tipología de las referencias: Revista, libros, electrónico, tesis, en imprenta, monografía, informe, resolución.
• Tipo de EUM según las características de la variable principal que describen: consumo, indicación-prescripción, prescripción-indicación, intervención, esquema terapéutico, hábitos que condicionan los hábitos de prescripción, de oferta y consecuencias prácticas.
• Grupo de medicamentos estudiados: se refiere a los grupos farmacológicos.
• Fuente de datos. Se establecieron las categorías: (a) recetas médicas, (b) certificados, (c) historias clínicas, (d) bases de datos, (e) modelos de farmacia y (f) encuestas.

Procedimiento

Este estudio se desarrolló a través de cuatro fases:

• Fase de exploración: se determinaron los descriptores de búsqueda de los documentos objeto de estudio (consumo y medicamento).
Fase de elaboración de instrumento: se elaboró una ficha con los indicadores bibliométricos que se iban a utilizar en el estudio, con su respectiva definición operacional.
• Fase de recolección de las unidades de análisis: se realizó la búsqueda de documentos de texto completo en formato electrónico, en las revistas médicas indexadas a SCIELO con base en los descriptores seleccionados. Se hallaron 26 documentos que cumplían con los criterios establecidos. Se realizó una lectura crítica de estos documentos para determinar cuáles se ajustaban al objetivo de esta investigación; los datos recuperados fueron revisados manualmente eliminando aquellas referencias no relacionadas.
• Fase de descripción y análisis: Se realizó un conteo y se identificó la frecuencia de ocurrencia en cada uno de los indicadores. Se determinó la productividad anual para conocer los años de mayor productividad dentro del periodo y si el campo de investigación se encontraba activo. Las revistas fueron ordenadas en orden decreciente según la cantidad de artículos publicados. Se calculó el porcentaje con respecto al total y el porcentaje acumulativo de los mismos. A partir de este último se conformaron cuatro bloques con vistas a identificar el núcleo Bradford de las revistas más productivas.

RESULTADOS

En el estudio se identificaron un total de 26 artículos que involucraron a 78 autores pertenecientes a 21 instituciones. En la tabla 1 se puede observar la distribución de artículos por año. El período comprendido entre el año 2009 hasta 2012 fue el de mayor productividad.

La Revista Cubana de Farmacia y la de Medicina General Integral fueron en las que con mayor frecuencia se publicaron los EUM con 11 y 4 artículos respectivamente. (Tabla 2)

De los 78 autores identificados la mayoría se clasificó como transeúnte (89.7%). (Tabla 3).

En la tabla 4 se observa la distribución según cantidad de autores, siendo el grupo de entre tres y seis autores por artículo el más frecuente (84.6%).

La mayoría de las instituciones  se clasificaron como pequeños productores (85.7%). Es de destacar que solo una fue considerada como gran productora. (Tabla 5)

Solo fueron identificados 8 autores que publican en grupo (coautoría). (Tabla 6)

Los diseños de Estudios de Utilización de Medicamentos de prescripción indicación (31%) fueron los publicados con mayor frecuencia. No se encontraron diseños de hábitos que condicionan la prescripción ni de oferta. (Tabla 7)

Las historias clínicas y las encuestas fueron las fuentes de datos utilizadas con mayor frecuencia en los estudios identificados. (Tabla 8)

Como aparece en la tabla 9, fue la estadística descriptiva la más empleada para procesar los datos en las publicaciones revisadas.

Los psicofármacos, antimicrobianos y medicamentos utilizados para el tratamiento de afecciones del aparato cardiovascular fueron los más investigados según los artículos revisados en este estudio. (Tabla 10)

n = 26 *Antiparasitarios, antiulcerosos, hipoglucemiantes orales

En la tabla 11 se recogen los estudios de utilización de medicamentos según número de citas bibliográficas por artículo. La categoría entre 11 y 20 fue la más encontrada.

Las revistas y los libros fueron la tipología de las referencias más empleadas. (Tabla 12)

n = 361

DISCUSIÓN.

Con frecuencia en los libros de metodología se afirma que una investigación no concluye hasta que sus resultados se publiquen. El bajo número de estudios de utilización encontrado en este análisis bibliométrico permite a los autores suponer que existen pocos investigadores dedicados al estudio de los medicamentos. Similares resultados fueron encontrados por Furones y col (⁸) en un estudio realizado en Cuba en el año 2003.

Se considera que el aumento de la producción científica identificada a partir de 2009 está condicionado por varios factores. El primero pudiera ser la madurez científica alcanzada por los integrantes de la Red de Farmacoepidemiología. El segundo elemento está centrado en la capacitación. En este aspecto es necesario destacar el papel en la formación como investigadores que realiza el Centro para el Desarrollo de la Farmacoepidemiología (CDF) y la Escuela Nacional de Salud Pública (ENSAP) con las figuras académicas: diplomado, maestría y doctorado. Las salidas de tesis de los cursistas son, por lo general EUM y se les exige que culmine con su publicación.

Por último y no menos importante está la aceptación de estas evidencias por los gerentes para la toma de decisiones, pues a pesar de las posibles limitaciones de diseño que pudieran tener los estudios observacionales, descriptivos, dentro de la farmacoepidemiología, no cabe duda de la importancia y necesidad de desarrollar los mismos en aras de lograr un uso adecuado de los medicamentos con menor gasto de recursos para el sistema.

El hecho de que la Revista Cubana de Farmacia y la de Medicina General Integral fueran en las que con mayor frecuencia se publicaran los EUM era esperado si se tiene en cuenta el perfil de las mismas. Además, la mayoría de estos diseños se realizan en la atención primaria de salud, que constituye la fuente fundamental de las investigaciones que se publican en la revista de Medicina General Integral.

La clasificación de los productores como transeúntes resulta una consecuencia del bajo porcentaje de publicaciones sobre el tema. Este resultado coincide con Tomás Casterá en Chile donde más de la mitad de los autores solo tenían una publicación.(⁹)

La mayoría de las revistas admiten hasta seis autores por artículo. Esta pudiera ser la causa de que la mayor cantidad de trabajos revisados tuviera entre tres y seis autores. Sin embargo, en otros estudios revisados la generalidad de los trabajos solo era de un autor. Así por ejemplo, en una investigación bibliométrica realizada en Chile,(¹⁰) la coautoría no fue frecuente. Situaciones semejantes se registraron en publicaciones como Anuario de Psicología y Journal of Sex Research, con el mayor porcentaje del total de los trabajos correspondiendo a autoría única (68% y 39% respectivamente),( ¹¹,¹²) es posible pensar que el tipo de artículos de estas revistas, favorezcan una forma especial de reflexión individual. Con respecto a los estudios bibliométricos en general, los resultados de este trabajo superan, en este aspecto, a los de la Revista Española de Salud Pública con una media de 4.5 (¹³ ) y a la media global española del área biomédica que oscila entre 3 y 3.5 autores/trabajo.( ¹⁴)

Los autores consideran que la realización de los artículos entre cuatro y seis autores evidencia el trabajo en equipo multidisciplinario que demanda este tipo de investigaciones.

Resulta contradictoria la baja producción científica en grupo identificada. Si bien es conocido que el autor principal de un artículo ejerce un papel principal en lo que se está publicando, en la dirección, responsabilidad y compromiso con el contenido científico que se publica, no hay correspondencia entre el elevado número de autores por trabajo y la baja presencia de coautoría.

Era de esperar que la mayoría de las instituciones se clasificaran como pequeños productores dado el bajo número de trabajos identificados. Una mirada hacia el interior de los trabajos permitió identificar al CDF como gran productor. Este centro fue creado en el año 1996,(¹⁵) tiene la misión de propiciar un uso racional de los medicamentos a través del control de la calidad de la prescripción mediante un proceso de formación terapéutica continuada dirigida a los prescriptores y dispensadores de todo el país, el control de las reacciones adversas producidas por medicamentos, la investigación y la búsqueda constante de información actualizada sobre terapéutica. Aunque en la actualidad estas funciones son asumidas por el Departamento de Farmacoepidemiología de la Dirección de Medicamentos del MINSAP, la mayoría de sus trabajadores siguen vinculados a la investigación.

Los diseños de los EUM permiten mezclar los diferentes tipos de estos. Esta característica permite, en un mismo estudio, determinar los patrones de utilización de medicamentos; identificar y caracterizar los factores que determinan la utilización de los mismos; evaluar la calidad; los resultados y consecuencias de su utilización y las intervenciones para mejorar la utilización de medicamentos. Sin embargo los diseños de prescripción indicación fueron los publicados con mayor frecuencia. Los autores consideran preocupante la ausencia de diseños de investigaciones que identifiquen hábitos que condicionan la prescripción y de oferta. Por otra parte al ser los EUM estudios observacionales descriptivos justifican el empleo de la estadística descriptiva con mayor frecuencia en los mismos.

Dada la flexibilidad que tienen las encuestas según los intereses del investigador y el estudio en cuestión pudiera ser una de las causas de que las mismas resultaran la fuente de datos más utilizada. Este resultado coincide con lo reportado por Furones y coll.(¹²)

Los grupos farmacológicos que fueron investigados guardan relación con los medicamentos de mayor consumo en la población cubana y con el perfil de motivos de prescripción más frecuentes.

En la práctica clínica, entre los padecimientos que con más frecuencia son motivos de consulta con un profesional de la salud está la ansiedad, la depresión y los trastornos del sueño. De manera similar, la hipertensión arterial tiene una alta prevalencia en la población cubana y los fármacos más reportados dentro de este grupo (IECAs y clortalidona) son considerados de primera línea en el manejo de esta entidad. (¹⁶) Siendo los mismos los investigados con mayor frecuencia en las publicaciones analizadas.

Álvarez Hurtado y Vázquez García encontraron en su investigación que los grupos terapéuticos más habituales entre la población consumidora de fármacos son: analgésicos, psicofármacos, antihipertensivos y antinflamatorios. (¹⁷)

Las referencias bibliográficas constituyen una fuente de datos que permite conocer qué información consumen los autores y cuánto envejece esa información.(⁹) El promedio de citas por artículo de las revistas estudiada es superior a lo referenciado en la Revista Medicina y Cine,(⁹) y al resultado que presenta el mapa bibliométrico de España en el período 1994-2002, que se sitúa en 7,6 referencias por documento(¹⁸) y similar a los obtenidos en estudios sobre áreas médicas, con valores de 21,(¹⁹) 24 (²⁰) o 25.7 referencias por trabajo. (²¹)

CONCLUSIÓN.

Los autores concluyen que aunque existe un bajo número de producción científica sobre EUM en las revistas médicas cubanas, en general se puede apreciar un crecimiento de esta, en los últimos años.

REFERENCIAS

¹Laporte JR, Tognoni G. Principios de epidemiología del medicamento, 2da edición. Barcelona: Masson Salvat, 1993.

²Furones Mourelles JA. Bases científicas para el desarrollo y la utilización de los medicamentos en: Farmacología General. Francisco J Morón Rodríguez y otros. La Habana: Editorial Ciencias Medicas: 2002.15-6 p.

³Figueiras A., Caama F, Gestal O. Metodología de los estudios de medicamentos en atención primaria. Gac. Sanit. 2000; 14 (supl 3):7-19.

⁴Altamiras J, Buatista J, Puigventos F. Farmacoepidemiología y estudios de utilización de medicamentos. En: Bonal J, Domínguez A, Cinta M, Napala V, editores. Farmacia Hospitalaria. Tercera edición. Sociedad de Farmacia Hospitalaria. 2002. 556-63 p.

⁵ WHO. Introduction to drug utilization research. Norway, WHO 2008. Printed in Oslo, Norway, 2008. Citado Mayo 2009. Disponible. http://apps.who.int/medicinedocs/pdf/s4876e/s4876e.pdf

⁶ Agulló Calatayud V, González Alcaide G, Valderrama Zurián J, Aleixandre Benavent R Consumption of Anabolic Steroids in Sport, Physical Activity and as a Drug of Abuse: An Analysis of the Scientific Literature and Areas of Research. British Journal of Sports Medicine (BJSM). 2008;42(2):103-109

⁷ Ugolini, D., R. Puntoni, F. P. Perera, P. A. Schulte y S. Bonassi. A bibliometric analysis of cientific production in cancer molecular epidemiology. Carcinogenesis. 2007; 28(8): 1774-9.

⁸ Furones Mourelle JA, Mederos Gómez A, Cordero Eíriz A, Cruz Barrios MA y López Aguilera AF. Caracterización de los estudios de utilización de medicamentos publicados en revistas médicas cubanas, 1990-2003. Rev Cubana Farm. 2006; 40(1).

⁹ Tomás-Casterá V, Sanz-Valero J, Wanden-Berghe C. Bliometric study of scientific production and use of revista chilena de nutricion troughout the scielo network (2002-2007). Rev Chil Nutr. 2010 Septiembre; 37(3): 330-339.

¹⁰ Tarrés MC. Análisis bibliométrico de la Revista Medicina y Cine. Revista de Medicina y Cine. 2009 septiembre; 5(3).

¹¹ Saiz M, Saiz D. Análisis bibliométrico de la revista Anuario de Psicologia. Una aproximación a un cuarto de siglo de Psicología en la Universidad de Barcelona. Anuario de Psicología. 1994; 63: 25-46.

¹² Zubeidat I, Desvarieux AR, Salamanca Y, Sierra JC. Análisis bibliométrico de la revista Journal of Sex Research (1980-2003). Univ Psychol Bogotá (Colombia). 2004; 3(1):47-54.

¹³ Pérez Andrés C, Estrada Lorenzo JM, Villar Álvarez F, Rebollo Rodríguez MJ. Estudio bibliométrico de los artículos originales de la Revista Española de Salud Pública (1991-2000). Parte Primera: Indicadores generales. Rev Esp Salud Pública. 2002; 76(6):659-672.

¹⁴ González de Dios J, Moya M. La neuropediatría en el contexto de las subespecialidades pediátricas: análisis a través de la bibliometría. Rev Neurol. 1999; 28(5): 463-471.

¹⁵ Resolución Ministerial No 44. MINSAP; Marzo 1996.

¹⁶ National Institute of Health, national Heart, Lung and Blood Institute, National High Blood Pressure education program. The seven report of the Joint national committee on prevention, detection, evaluation and treatment of High Blood Pressure. NIH PUBLICATION 2003.

¹⁷ Álvarez Hurtado A, Vásquez García V, Carretero Ares J.L, Alonso del Teso F, González de las Heras R. Consumo habitual de fármacos en tratamientos prolongados en la provincia de Valladolid. http://www.medynet.com/elmedico/publicaciones/centrosalud6/382-386.pdf. Fecha de acceso 8 de mayo 2009.

¹⁸ Camí J, Méndez Vásquez R, Suñén Piñol E. Mapa bibliométrico de España 1994-2002: biomedicina y ciencias de la salud. Med Clin. (Barc). 2005; 124(3):93-101

¹⁹ López Piñero JM, Terrada ML. El consumo de información científica nacional y extranjera en las revistas médicas españolas: un nuevo repertorio destinado a su estudio. Med Clín (Barc). 1994; 102(3):104-112.

²⁰ Álvarez Solar M, López González ML, Cueto Espinar A. Indicadores bibliométricos, análisis temático y metodológico de la investigación publicada en España sobre epidemiología y salud pública (1988-1992). Med Clín (Barc). 1998; 111(14):529-535.

²¹ Villar Álvarez F, Estrada Lorenzo JM, Pérez Andrés C, Rebollo Rodríguez MJ. Estudio bibliométrico de los artículos originales de la Revista Española de Salud Pública (1991-2000). Parte Tercera: Análisis de las referencias bibliográficas. Rev Esp Salud Pública. 2007; 81(3):247-259.