Revisión sistemática en educación: bases hispanas y método

Puntos clave

• Las revisiones sistemáticas en educación siguen PRISMA 2020 pero requieren adaptaciones importantes: la mayor parte de la evidencia útil no son ECAs, las bases internacionales subcubren la producción iberoamericana y la literatura gris (tesis, informes técnicos) representa una fracción decisiva.
• ERIC es el estándar internacional pero ignora la mayor parte de la producción en español; Redalyc, SciELO Educación, Dialnet, Latindex e IRESIE son imprescindibles para revisiones con foco iberoamericano.
• El PICO clásico falla en preguntas cualitativas y complejas; PICo, SPIDER y PerSPEcTiF son alternativas mejor adaptadas a la naturaleza de la investigación educativa.
• La literatura gris (tesis doctorales, informes oficiales, materiales de organismos internacionales como UNESCO o BID) representa hasta el 40 % de la evidencia relevante en revisiones educativas y exige protocolos específicos de búsqueda.
• La Campbell Collaboration es la referencia metodológica para revisiones de políticas educativas; su manual complementa Cochrane y aporta estándares específicos para preguntas de eficacia educativa.

La revisión sistemática como herramienta para investigar educación

La investigación educativa produce miles de estudios al año en español, inglés y portugués, con metodologías muy variadas: ensayos en aula, estudios longitudinales, evaluaciones de programas, etnografías escolares, análisis de políticas. La revisión sistemática es la herramienta que permite separar lo que la evidencia sostiene de lo que se repite por inercia.

Una revisión sistemática rigurosa puede responder preguntas como: ¿qué efecto tiene el aprendizaje cooperativo estructurado sobre el rendimiento en matemáticas en educación primaria? ¿Qué programas de prevención del abandono escolar muestran evidencia de eficacia en contextos latinoamericanos? ¿Qué intervenciones docentes son efectivas para mejorar la comprensión lectora en estudiantes con dificultades de aprendizaje? Cada una de estas preguntas tiene respuestas dispersas en cientos de estudios primarios; ningún artículo aislado las responde con autoridad.

Las decisiones educativas, especialmente las de política pública, tienen impacto en millones de estudiantes. Basarlas en revisiones sistemáticas en lugar de en estudios sueltos o en intuición es una exigencia ética. La What Works Clearinghouse en Estados Unidos, la Education Endowment Foundation en el Reino Unido y la Campbell Collaboration son ejemplos de instituciones que producen revisiones sistemáticas para informar política educativa con rigor.

Bases de datos para revisión sistemática en educación

La elección de bases es la decisión que más determina la calidad de tu muestra de estudios. Una búsqueda solo en ERIC y Scopus produce una revisión sesgada hacia la investigación anglosajona y deja fuera buena parte de la producción iberoamericana, que en algunos temas (educación intercultural, educación rural, alfabetización en lengua materna no oficial) es la más relevante.

ERIC

ERIC (Education Resources Information Center) es la base de datos internacional de referencia en educación. Indexa más de 1,7 millones de registros y es gratuita en eric.ed.gov. Su thesaurus tiene aproximadamente 12.000 descriptores y permite búsquedas con vocabulario controlado. ERIC indexa artículos de revistas pero también informes técnicos del Departamento de Educación de Estados Unidos, lo que la hace especialmente útil para literatura gris en inglés.

La limitación de ERIC es su sesgo geográfico: aproximadamente el 85 % de sus registros son anglosajones. Para revisiones en contextos iberoamericanos, ERIC es punto de partida pero no es suficiente.

Redalyc

Redalyc (redalyc.org) indexa más de 1.700 revistas científicas iberoamericanas en acceso abierto, con una colección importante de revistas de educación. Su cobertura de México, Colombia, Argentina, Brasil y España es excelente. Es gratuita y permite descarga directa del texto completo.

Para revisiones en educación iberoamericana, Redalyc es probablemente la base con mayor retorno por hora de búsqueda. Su búsqueda permite combinar términos en título, resumen y palabras clave con operadores booleanos, aunque la sintaxis es menos refinada que la de ERIC o Scopus.

SciELO Educación

SciELO (Scientific Electronic Library Online, scielo.org) es la red iberoamericana de revistas científicas en acceso abierto. Tiene colecciones nacionales (SciELO Brasil, SciELO Chile, SciELO España, etc.) y una colección de educación específica. Indexa revistas con peer review y calidad editorial validada, lo que hace su producción más comparable con la de ERIC en términos de rigor.

Dialnet

Dialnet (dialnet.unirioja.es) es el portal bibliográfico hispano más completo. Indexa más de 9.000 revistas y cubre revistas españolas y latinoamericanas que no aparecen en ninguna otra base. Para revisiones con foco en España o con autores españoles, Dialnet es imprescindible.

Latindex

Latindex (latindex.org) es el sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal. No es una base bibliográfica al uso (no indexa artículos sino catálogos de revistas), pero permite identificar revistas relevantes que pueden buscarse después manualmente. Útil para fases de búsqueda exhaustiva.

IRESIE

IRESIE (Índice de Revistas de Educación Superior e Investigación Educativa) es la base mexicana especializada en educación. Gestionada por el IISUE de la UNAM, indexa revistas mexicanas y latinoamericanas de educación. Su cobertura es muy específica y complementaria al resto.

Tabla comparativa

OpenAlex indexa contenido de la mayoría de estas bases, incluyendo cobertura razonable de Redalyc y SciELO. Para investigadores sin acceso institucional a Scopus o Web of Science, OpenAlex es la mejor alternativa única; SynthIA lo integra de forma nativa y permite búsquedas multilingües con sintaxis avanzada equivalente a la de ERIC.

Marcos para formular la pregunta de revisión

El PICO clásico funciona razonablemente bien para preguntas de eficacia ("¿qué efecto tiene la intervención X sobre el rendimiento medido con Y?") pero falla en preguntas cualitativas, en preguntas sobre experiencias y en revisiones de políticas educativas complejas.

PICO para preguntas de eficacia educativa

Ejemplo: en estudiantes de educación secundaria (Población), ¿el aprendizaje cooperativo estructurado tipo STAD (Intervención) comparado con la enseñanza tradicional (Comparador) mejora el rendimiento en pruebas estandarizadas (Outcome)?

PICO funciona aquí porque la pregunta es de eficacia y los componentes son claramente especificables.

PICo para preguntas cualitativas

Ejemplo: ¿cómo experimentan los docentes noveles (Población) la integración de tecnologías digitales en el aula (fenómeno de Interés) en escuelas públicas de zonas rurales (Contexto)?

PICo omite el componente de comparación porque los estudios cualitativos no buscan comparar grupos. Es el marco apropiado para revisiones de meta-síntesis cualitativa.

SPIDER para revisiones de métodos mixtos

SPIDER (Sample, Phenomenon of Interest, Design, Evaluation, Research type) es un marco diseñado específicamente para búsquedas que incluyen estudios cualitativos y mixtos. Es especialmente útil cuando la pregunta involucra evaluación de programas educativos complejos.

PerSPEcTiF para revisiones complejas

PerSPEcTiF (Perspective, Setting, Phenomenon of interest, Environment, Comparison, Time, Findings) es un marco más reciente, diseñado para preguntas cualitativas complejas que involucran perspectiva del actor, entorno físico y temporal. Es útil para revisiones sobre prácticas pedagógicas, dinámicas institucionales y procesos de implementación.

Tabla de marcos

La elección del marco condiciona la estructura de la búsqueda, los criterios de inclusión y exclusión y los métodos de síntesis. Para profundizar en las particularidades de las ciencias sociales en general, revisá la guía de revisión sistemática en ciencias sociales.

Literatura gris en educación: el componente que las guías inglesas ignoran

En biomedicina, la literatura gris (informes técnicos, tesis, ensayos clínicos no publicados) es importante pero secundaria. En educación, la literatura gris puede representar el 30-40 % de la evidencia más relevante para responder una pregunta de política o de práctica.

Tesis doctorales y de maestría

Las tesis doctorales contienen estudios primarios que muchas veces no llegan a publicarse en revistas indexadas, especialmente en contextos iberoamericanos. Los repositorios institucionales universitarios son la fuente primaria. Algunas redes agregadoras útiles:

• TESEO (España, base nacional de tesis doctorales)
• TDR Tesis Doctorales en Red (Cataluña y Mediterráneo)
• DART-Europe (red europea)
• ProQuest Dissertations and Theses Global (internacional, suscripción)
• OATD (Open Access Theses and Dissertations, internacional gratuita)
• Cybertesis (Latinoamérica)

Informes técnicos y materiales de organismos internacionales

UNESCO, OCDE, BID, Banco Mundial, CEPAL y UNICEF publican informes técnicos con datos primarios sobre programas educativos. Estos informes raramente aparecen en bases bibliográficas convencionales pero contienen evaluaciones de gran calidad metodológica de programas a escala. La búsqueda manual en los sitios de estos organismos es parte estándar del protocolo de búsqueda en revisiones de política educativa.

Repositorios temáticos

ERIC indexa una proporción importante de literatura gris en inglés. Para español, la red SCEILO también incluye algunos informes pero la cobertura es desigual. La búsqueda en Google Scholar, complementada con filtros temporales y de tipo, es práctica habitual aunque su transparencia metodológica es limitada y debe documentarse.

Estrategia de búsqueda en literatura gris

La búsqueda en literatura gris debe documentarse con el mismo detalle que la búsqueda en bases convencionales: fecha, ecuación o términos usados, número de resultados, criterios de selección. Para una guía operativa sobre construcción de ecuaciones de búsqueda, ver estrategia de búsqueda para revisión sistemática.

Recomendaciones del Campbell Collaboration

La Campbell Collaboration es la red internacional que produce revisiones sistemáticas en políticas sociales, incluyendo educación. Su manual de revisores y su biblioteca de revisiones publicadas son referencia obligatoria en revisiones de política educativa.

Diferencias con Cochrane

Campbell admite diseños observacionales con mayor frecuencia que Cochrane porque las intervenciones educativas raramente se evalúan con ECAs puros a escala. Su manual recoge métodos específicos para sintetizar evidencia de calidad heterogénea, incluyendo síntesis narrativas estructuradas, modelos jerárquicos para datos anidados (estudiantes dentro de aulas dentro de escuelas) y análisis de sensibilidad por calidad del estudio.

Estándares de reporte

Campbell exige PRISMA 2020 más algunos ítems específicos: descripción de la teoría de cambio del programa, descripción de la implementación, análisis de equidad (efectos diferenciales en grupos vulnerables) y análisis de costo-efectividad cuando hay datos disponibles. Las revisiones Campbell suelen incluir secciones de implicaciones para política y para investigación con un grado de detalle mayor que las Cochrane.

Outcomes en educación

Campbell mantiene un listado de outcomes prioritarios para política educativa. Incluye rendimiento académico (con instrumentos estandarizados), abandono escolar, asistencia, comportamiento en aula, habilidades socioemocionales, transición a educación postobligatoria y empleo. Para outcomes con instrumentos heterogéneos, Campbell recomienda estandarización con tamaños del efecto y meta-análisis por subgrupos.

Evaluación de calidad de estudios educativos

La diversidad de diseños obliga a usar herramientas específicas por tipo de estudio.

ECAs y cuasi-experimentales

RoB 2 para ECAs y ROBINS-I para cuasi-experimentales son las herramientas estándar. En educación, la aleatorización por clústeres (a nivel de aula o escuela) es la norma cuando la aleatorización individual no es viable, y exige análisis estadístico que considere la dependencia de las observaciones dentro del clúster.

Estudios cualitativos

CASP Qualitative y JBI Qualitative son las herramientas más usadas. La evaluación cubre claridad del objetivo, justificación del diseño cualitativo, reflexividad del investigador, descripción del análisis y valor de los hallazgos.

Estudios de implementación

Para estudios que evalúan la implementación de programas (más que su eficacia), MMAT (Mixed Methods Appraisal Tool) y el Implementation Outcomes Framework de Proctor son útiles.

Revisiones de evaluaciones de programa

What Works Clearinghouse usa el Standards Handbook, que clasifica los estudios en tres niveles según la calidad del diseño y la implementación: cumple estándares sin reservas, cumple con reservas, no cumple. Este sistema es útil como referencia incluso cuando no se sigue exactamente.

Síntesis: cuantitativa, cualitativa y mixta

En educación, la síntesis puramente cuantitativa con meta-análisis solo es defendible cuando hay suficientes estudios con outcomes equivalentes. Más frecuentemente, la síntesis es narrativa estructurada siguiendo SWIM (Synthesis Without Meta-analysis), con tablas de resultados estratificadas por subgrupo y discusión cualitativa de la heterogeneidad.

Para revisiones cualitativas, la síntesis temática, la meta-etnografía y el framework synthesis son los métodos más usados. La síntesis temática es la más accesible y produce una organización jerárquica de los hallazgos en temas descriptivos y temas analíticos.

Para revisiones mixtas (cuantitativas más cualitativas), el método de síntesis convergente integrada permite responder preguntas que ningún tipo de estudio aislado responde: la cuantitativa dice si el programa funciona, la cualitativa dice por qué y para quién.

Reporte y publicación

El estándar es PRISMA 2020 más, según el tipo de revisión, complementos específicos:

El registro previo del protocolo es buena práctica obligatoria. PROSPERO acepta revisiones de educación con vinculación clara a salud o bienestar (educación para la salud, educación inclusiva, etc.). Para revisiones de educación general, OSF Registries es la alternativa más usada. Sin protocolo registrado, las revisiones de política educativa son sistemáticamente cuestionadas.