Psychosocial Intervention Psychosocial Intervention
Psychosocial Intervention 26 (2017) 147-54 - Vol. 26 No.3 DOI: 10.1016/j.psi.2016.12.002
Efectos de la fidelidad de la implementación sobre los resultados de una intervención preventiva en salud mental escolar: un análisis multinivel
Effects of implementation fidelity of the results of a preventive intervention in school mental health: A multilevel analysis
Rodrigo Rojas-Andradea,, , Loreto Leiva-Bahamondesb, Ana María Belén Vargasc, Ana María Squicciarini-Navarroc
a Escuela de Psicología, Universidad Academia de Humanismo Cristiano, Santiago, Chile
b Departamento de Psicología, Universidad de Chile, Santiago, Chile
c Junta Nacional de Auxilio Escolar y Becas (JUNAEB), Santiago, Chile
Received 14 November 2016, Accepted 15 December 2016
Resumen

El propósito de esta investigación fue examinar los efectos de la fidelidad de la implementación sobre los resultados de una intervención en salud mental escolar. A través de un diseño de investigación pretest/postest se evaluó la desadaptación escolar a 1,414 estudiantes chilenos de 510 escuelas participantes de un taller preventivo selectivo realizado por 94 equipos psicosociales del programa Habilidades para la Vida. Por su parte, la fidelidad (dosis recibidas por los padres, profesores y estudiantes; pertinencia de la intervención, compromiso directivo, adherencia y satisfacción laboral) fue medida a través de los productos permanentes completados por los equipos durante el período de ejecución del taller y relacionada con los resultados mediante un análisis multinivel. Se encontró una alta fidelidad en los componentes implementados, a excepción de la adherencia (29.8%) y la dosis recibida por los padres (50.1%). Se logró evidenciar que los resultados varían principalmente a nivel del estudiante y que están relacionados con la cantidad de sesiones a las que asisten y con la pertinencia de la intervención para ellos. Se discute la importancia de considerar el contexto relacional en la implementación de intervenciones en el mundo real hispanoamericano.

Keywords
  • Fidelidad de la implementación
  • Intervención psicosocial
  • Salud mental escolar
  • Ciencia de la implementación
Abstract

The purpose of this research was to examine the effects of implementation fidelity on the results of a school mental health intervention. Through a pre-test/post-test research design, school inadaptation was assessed on 1,414 Chilean students from 510 participating schools of a selective preventive workshop conducted by 94 psychosocial teams from the Skills for Life program. Fidelity (doses received by parents, teachers and students, intervention relevance, management commitment, adherence and job satisfaction) was measured through the permanent products completed by the teams during the workshop period and related to the results through multilevel regression analysis. A high fidelity was found in the implemented components, with the exception of adherence (29.8%) and the dose received by parents (50.1%). It was shown that the results vary mainly at the student level and are related to the number of sessions they attend and the relevance of the intervention for them. The importance of considering the relational context in the implementation of interventions in the Spanish-American real world is discussed.

Keywords
  • Implementation fidelity
  • Psychosocial intervention
  • School mental health
  • Implementation science

El reconocimiento internacional de las necesidades de salud mental de los estudiantes y de la capacidad de la escuela de hacerse cargo de ellas ha impulsado una agenda de investigación centrada en el desarrollo de intervenciones preventivas, que ha permitido la acumulación de conocimiento sobre qué es lo que funciona en el contexto escolar (Burns et al., 1995; Forman et al., 2013). De hecho, actualmente hay una importante disponibilidad de catálogos de programas listos para su ejecución (e.g., http://www.casel.org/) y numerosas revisiones de la efectividad de las intervenciones (e.g., Durlak, Weissberg, Dymnicki, Taylor y Schellinger, 2011; Sklad, Diekstra, Ritter, Ben y Gravesteijn, 2012; Weare y Nind, 2011; Wilson, Lipsey y Derzon, 2003).

Sin embargo, saber qué intervenciones funcionan es solo una parte de la ecuación, pues también es fundamental entender cómo implementarlas, para obtener los beneficios que prometen. Este punto es crítico en el contexto dinámico y heterogéneo de las escuelas, donde no es difícil que una intervención, que ha demostrado ser eficaz, no genere los resultados deseados debido a la falta de fidelidad de la implementación (FI) (Dupaul, 2009; Durlak y DuPre, 2008; Sarno et al., 2014).

Fidelidad de la implementación

La FI es el grado en que una intervención es ejecutada de acuerdo con su modelo de intervención (Bond, Evans, Salyers, Williams y Kim, 2000; Gresham, 2009; Perepletchikova, 2011; Schulte, Easton y Parker, 2009), lo que supone la prescripción de ciertas acciones y condiciones que deben asegurarse a través de las distintas ejecuciones (Fixsen, Blase y Naoom, 2009).

La mayoría de los investigadores están de acuerdo en que la FI se trata de un constructo multidimensional (Dane y Schneider, 1998; Dupaul, 2009; Hagermoser-Sanetti y Kratochwill, 2009; Sarno et al., 2014) y multinivel (Zvoch, 2012) que involucra aspectos tanto del contexto del implementador como del intervenido. Respecto al implementador, la FI incluye: a) la adherencia, que se refiere al grado en que el interventor cumple o se apega a los componentes prácticos especificados (Schulte et al., 2009), y b) la calidad de la intervención, que se refiere al grado en que el interventor ejecuta las acciones de manera hábil, entusiasta y comprometida (Dane y Schneider, 1998; Low, van Ryzin, Brown, Smith y Haggerty, 2014). Asimismo, respecto al intervenido, la FI considera: a) la exposición a la intervención, que son las dosis de intervención (i.e., sesiones) recibidas según lo prescrito en la planificación (Codding y Lane, 2015); b) la receptividad de la intervención, que es el grado de relevancia o compromiso necesario de los participantes con la intervención (Schulte et al., 2009), y c) la pertinencia, que es el grado en que una intervención se ajusta a las necesidades específicas del estudiante. De esta forma, la FI propone que, en la medida que se implementen los pasos establecidos de manera competente en las dosis necesarias a los participantes pertinentes y comprometidos, la intervención debería ser exitosa si el modelo teórico de base es correcto.

Se ha considerado que el estudio de la FI tiene implicancias tanto prácticas como teóricas (Barnett et al., 2014). A nivel práctico, permite estimar los esfuerzos que deben ponerse en la implementación en el mundo real (Dupaul, 2009; Schulte et al., 2009), y a nivel teórico, la FI permite comprobar la validez de los resultados (Gresham, Gansle, Noell, Cohen y Rosenblum, 1993).

La falta de operacionalización, una pobre definición o una ejecución idiosincrática de la intervención dificultan las replicaciones y las evaluaciones de su efectividad, afectando además la generalización a través de múltiples contextos, lo que repercute en la validez externa de las intervenciones (Gresham et al., 1993). Asimismo, la FI es relevante para la comprobación de la validez interna, pues sin su medición es difícil distinguir los resultados de la intervención planeada de aquellos producidos por otras variables no tomadas en cuenta (Blase, Van Dyke, Fixsen y Wallace, 2012). Así, por ejemplo, resultados exitosos con una alta FI podrían probar la validez del modelo de intervención, en cambio, los mismos resultados, pero con una baja FI, podrían sugerir que el cambio fue producido por acciones distintas a las planificadas (Perepletchikova, Hilt, Chereji y Kazdin, 2009).

La evidencia ha reforzado la importancia de analizar la FI. Por ejemplo, Tobler (1986), en un clásico trabajo de revisión, encuentra que el 29% de los resultados de los programas de prevención de drogas se deben a problemas de FI. En la misma línea, DuBois, Holloway, Valentine y Cooper (2002), así como Smith, Schneider, Smith y Ananiadou (2004), encuentran que aquellos programas que monitorizan y controlan la FI obtienen tamaños del efecto más grandes que aquellos que no lo hacen. Por su parte, Wilson et al. (2003), examinando 221 programas de prevención escolar de conductas agresivas, encuentran que la FI es uno de los elementos más importantes para explicar los resultados; misma conclusión a la que arriban Durlak y DuPre (2008) a través de una revisión que incorpora 500 estudios de efectividad de intervenciones psicosociales.

Estas revisiones se han centrado en la variación de los resultados entre investigaciones, quedando claro que aquellas con mayor FI tienen mejores resultados. No obstante, son pocos los estudios que analizan la variación intraintervención (e.g., cómo varían los resultados de una misma intervención en distintos niveles de FI entre escuelas) analizando los pesos diferenciales de los distintos componentes de la FI (Durlak y DuPre, 2008; Sarno et al., 2014).

En este contexto, si bien históricamente las investigaciones sobre FI se han centrado en la adherencia y la dosis (Durlak y DuPre, 2008), lentamente se han comenzado a analizar otros componentes, debido a la evidencia contradictoria respecto a estas variables. Mientras algunos encuentran auspiciosas relaciones entre adherencia y resultados (Domitrovich, Gest, Jones, Gill y Sanford deRousie, 2010; Flannery, Fenning, Kato y McIntosh, 2014), otros señalan que es una dimensión que no afecta la efectividad de la intervención (Berry et al., 2015; Low et al., 2014). Por su parte, si bien la dosis ha demostrado tener una relación significativa con los resultados (Leiva et al., 2015a; Leiva, George, Squicciarini, Simonsohn y Guzmán, 2015; Rosenblatt y Elias, 2008), algunos estudios muestran que puede afectarlos de manera contraria (McGinty, Breit-Smith, Fan, Justice y Kaderavek, 2011).

Uno de los componentes recientemente incorporado al análisis de la FI es el compromiso en la intervención. Los estudios han mostrado una relación consistente entre esta variable y el éxito de los objetivos de las intervenciones escolares (Fredricks, Blumenfeld y Paris, 2004; Marks, 2000), mostrando incluso mayores efectos que la adherencia y la dosis (Domitrovich et al., 2010; Low, Smolkowski y Cook, 2016; Low et al., 2014).

En este contexto, considerando que el compromiso de los participantes (i.e., estudiante e implementador) se ve afectado por el compromiso de los equipos directivos de la escuela, este ha comenzado a ser foco de investigaciones que buscan fortalecerlo (Anello et al., 2016). Al respecto, la evidencia ha revelado que el compromiso de los equipos directivos tiene una fuerte influencia sobre el resto de miembros de la escuela, en cuanto impacta la cultura, la estructura escolar y los canales de planificación que pueden facilitar u obstaculizar la implementación (Forman, Olin, Hoagwood, Crowe y Saka, 2009; Gregory et al., 2007; Langley, Nadeem, Kataoka, Stein y Jaycox, 2010; Sarno et al., 2014).

Otra variable incorporada en el estudio de la FI, dada su influencia en el compromiso y la calidad de la intervención, es la satisfacción laboral de los implementadores (Faragher, 2005; Judge, Thoresen, Bono y Patton, 2001; Klassen y Chiu, 2010). En esta línea, se ha encontrado que la satisfacción laboral está asociada a actitudes respecto al cambio (Christl et al., 2010) y a percepciones respecto a las barreras de implementación (Laker et al., 2014).

A partir de lo anterior, la presente investigación tiene como propósito desarrollar un modelo multinivel que permita dar cuenta de los efectos de los componentes de la FI sobre los resultados de una intervención preventiva realizada por el programa Habilidades para la Vida (HPV) en escuelas chilenas.

Intervención preventiva desde el modelo Habilidades para la Vida chileno

El programa HPV es un programa público multinivel, multicomponente y multietapa implementado en escuelas chilenas desde el año 1998 por la Junta Nacional de Auxilio Escolar y Becas (JUNAEB) dependiente del Ministerio de Educación. Para este estudio solo se consideró la intervención preventiva selectiva, dirigida a estudiantes con riesgo elevado de presentar problemas de salud mental. Los participantes de esta intervención son identificados a través de un proceso de cribado universal realizado durante el primer semestre del primer grado escolar, mediante el cual se determina un perfil de riesgos.

Esta intervención ha mostrado ser efectiva a través de diversas investigaciones (Guzmán et al., 2015; Leiva et al., 2015a) y es ejecutada por profesionales del área psicosocial (por lo general psicólogos y trabajadores sociales). Estos son entrenados por medio de 3 jornadas de capacitación nacional de 8h cada una y supervisados regularmente por un miembro del equipo regional de la JUNAEB. Adicionalmente, los ejecutores participan de encuentros de aprendizaje en donde comparten buenas prácticas.

La intervención preventiva se basa en un enfoque bottom-up (Humphrey, 2013) descrito por un manual que permite a los interventores elegir y ajustar las actividades a las características de las escuelas y de los participantes para, de tal modo, alcanzar los objetivos propuestos.

Los talleres preventivos se basan en un enfoque de aprendizaje socioemocional (Zins, Bloodworth, Weissberg y Walberg, 2007); se estructuran en 10 sesiones repartidas durante un semestre escolar —con una duración promedio de 120min cada una— y se dividen en 5 fases en las que se abordan el desarrollo de habilidades de cohesión grupal, la identidad, la autoestima, la autonomía, la identificación y expresión de emociones, y la resolución no violenta de conflictos. Adicionalmente, los padres y profesores asisten a 3 y 2 sesiones, respectivamente, que refuerzan los contenidos trabajados en el taller (Vargas y Peña, 2016).

Alcances de la investigación

La presente investigación se sustenta en la hipótesis de que una FI más alta está relacionada con mejores resultados, expresados en la disminución de la desadaptación escolar de los estudiantes participantes de un taller preventivo, tomando en cuenta que la FI se presenta en distintos niveles contextuales en los que ocurre. En este contexto, la importancia de este estudio radica en 2 razones. La primera es que la investigación en implementación es un área reciente en las ciencias aplicadas (Eccles y Mittman, 2006; Proctor et al., 2011), y lo es aún más en países hispanoamericanos, donde hace solo unos años comienza a cobrar relevancia. Entre los estudios recientes se pueden contar el de Mendive, Weiland, Yoshikawa y Snow (2016), quienes analizan los efectos de la FI sobre una intervención de desarrollo temprano de habilidades de lectoescritura desarrollada en Chile, encontrando que la dosis y la adherencia tienen impactos significativos sobre los resultados, y el de Rodrigo (2016), que sintetiza investigaciones de implementación de programas de habilidades parentales en el contexto de los servicios sociales españoles.

Dado lo anterior, es necesario realizar estudios que puedan aportar información a las especificidades locales de la FI que afecten los resultados, pues tal y como señalan Berry et al. (2015), las intervenciones preventivas en salud mental escolar pueden no ser útiles para todos, siendo urgente dilucidar qué es lo que funciona, para quién y en dónde, lo que apunta a abrir la caja negra de las intervenciones, enfatizando la investigación en implementación, la cual puede definirse como el estudio científico de los procesos y componentes de la puesta en práctica de un modelo de cambio en contextos cotidianos de intervención.

La segunda razón es la incorporación de los efectos de diversos componentes de la FI sobre los resultados de una intervención. Como se señaló anteriormente, existe cierto acuerdo sobre la importancia de la FI, pero aún se desconocen qué componentes son más relevantes y para qué tipo de intervención, lo que tiene serias consecuencias prácticas y financieras para la monitorización de la implementación de las intervenciones en el contexto de programas públicos (Durlak, 2013).

MétodoParticipantes

La muestra total fue de 1,414 estudiantes identificados en riesgo (42.4% mujeres) de 510 escuelas de todo el país intervenidas por 94 equipos que implementaron una intervención preventiva selectiva. El promedio de edad de los estudiantes al momento de la primera evaluación fue de 6.41 años (DE=0.56), y el promedio durante la segunda evaluación fue de 8.57 (DE=0.60).

Por su parte, el 58.8% (n=831) de los estudiantes provenían de familias vulnerables socialmente beneficiarias de programas de protección social. Respecto a las escuelas, el 80% (n=409) dependían administrativamente de municipalidades y el restante, de sostenedores privados que reciben subvención estatal. Los equipos ejecutores, en promedio, tienen 9.8 miembros (DE=5.04) y 3.7 años (DE=1.26) de experiencia en el programa.

MedidasFidelidad de la intervención y características de los participantes

Los componentes de la FI fueron medidos a través de productos permanentes del programa (Leff, Hoffman y Gullan, 2009), representados por los informes anuales de implementación completados por los coordinadores de los equipos ejecutores. Se consideró la dosis recibida por los estudiantes, la pertinencia de la intervención, el compromiso de los equipos directivos, la adherencia al modelo de intervención y la satisfacción laboral de los implementadores sobre los resultados de la intervención realizada. Las definiciones de las variables y la unidad de análisis a la que pertenecen se presentan en la tabla 1.

Tabla 1.

Definiciones de componentes de fidelidad de la implementación según el nivel contextual participante de la intervención

Nivel contextual  Componente  Fidelidad de la implementación 
EquipoAdherencia a la intervención  Grado en que las actividades y metodologías prescritas por el programa fueron realizadas tal como se planificaron. Se mide a través de una escala de 5 puntos que luego se transforma a proporción. Un mayor valor representa adherencia a la planificación, que implica no haber adecuado ni realizado cambios a las actividades propuestas por el programa 
Satisfacción laboral  Grado de bienestar y satisfacción laboral global de los miembros del equipo implementador. Se mide a través de una escala de 5 puntos que luego se transforma a proporción. El mayor valor representa una satisfacción muy alta 
Escuela  Compromiso directivo  Grado de compromiso del equipo directivo, valorado a través del cumplimiento de la planificación comprometida con el programa, la flexibilidad horaria, los cambios repentinos de agenda y la disposición a buscar soluciones ante problemas que impiden el desarrollo del cumplimiento adecuado de las acciones. Se mide a través de una escala de 5 puntos, que luego se transforma a proporción. El mayor valor representa un compromiso muy alto 
EstudianteDosis recibidas por el estudiante  Proporción de asistencia del estudiante a sesiones de talleres preventivos (10 sesiones) 
Dosis recibidas por padre  Proporción de asistencia del padre del estudiante a sesiones de taller parental (3 sesiones) 
Dosis recibidas por profesor  Proporción de asistencia del profesor del estudiante a taller docente (2 sesiones) 
  Pertinencia de la intervención  Ajuste de la intervención a las necesidades específicas del estudiante. En este caso, se consideró que la intervención fue pertinente solo para aquellos en riesgo de desarrollar problemas de salud mental, dado el nivel selectivo de la prevención, y no para aquellos estudiantes derivados a especialistas o en tratamiento, que necesitaban una intervención más focalizada y personalizada debido a la sospecha de presencia de problemas de salud mental 

Fuente: elaboración propia a partir del manual de evaluación de equipos ejecutores del programa Habilidades para la Vida (HPV).

Resultados de la intervención

Los resultados de la intervención fueron medidos a partir del reporte de profesores, a quienes se les aplicó la entrevista estructurada Teacher Observation of Classroom Adaptation-Revised, versión chilena (TOCA-R-cl; George et al., 2004), para evaluar la desadaptación escolar antes y después de la intervención preventiva a los niños participantes.

El TOCA-R-cl posee 31 ítems que evalúan 4 dimensiones de adaptación escolar: dificultades de aprendizaje (e.g., completa las tareas, trabaja bien solo), dificultades conductuales (e.g., daña a otros, inicia peleas con los demás), dificultades sociales (e.g., es sociable, es amistoso) y dificultades de autonomía (e.g., se aferra al profesor, busca demasiada atención de los compañeros). Para esta investigación solo se consideró la escala total, cuyo valor positivo mayor representó mayor magnitud en el cambio deseado. El instrumento posee robustas propiedades psicométricas, expresadas en una alta confiabilidad de las escalas y un adecuado ajuste factorial (George et al., 2004; Koth, Bradshaw y Leaf, 2009), y ha sido utilizado en numerosas investigaciones en salud mental escolar (Bradshaw, Zmuda, Kellam y Ialongo, 2009; Leiva et al., 2015a; Leiva et al., 2015b).

Diseño de investigación

Se consideró un diseño de investigación cuasi experimental pretest/postest (Ato, López y Benavente, 2013) a través del cual se realizó el seguimiento de una cohorte de estudiantes durante 3 años. Se realizaron mediciones de la variable resultado cuando los estudiantes cursaban primer y tercer grado (2012 y 2014, respectivamente) y de la FI durante el período de ejecución del taller, ejecutado cuando los estudiantes cursaban segundo grado (2013). Para analizar los datos se siguió una estrategia secuencial que implicó en primer lugar determinar si se habían generado cambios significativos en las variables resultados a través de pruebas de comparación de medias. Adicionalmente, se analizaron descriptivamente las variables asociadas a la implementación durante el período de ejecución de los talleres, evaluando su cumplimiento. Finalmente, se utilizaron análisis de regresión multinivel (Gelman y Hill, 2007; Murillo, 2008) para determinar la influencia de los distintos componentes de la FI sobre los resultados en los distintos niveles contextuales involucrados (niveles estudiante, escuela y equipo). Los análisis estadísticos fueron realizados mediante el programa STATA 12.0.

Resultados

Para analizar la disminución de la desadaptación escolar entre las mediciones pre y postintervención, se realizó una ANOVA de medidas repetidas. Se encontró que la desadaptación escolar disminuye significativamente entre la primera y segunda medición (F(1;1413)=912.951; p<0.001; η2=0.393). Estos resultados dan cuenta de la existencia de una disminución significativa de las dificultades adaptativas de los estudiantes entre la primera y la segunda medición. No obstante, dado el diseño utilizado, no es posible atribuir estos resultados a la intervención, como podría haberlo sido si se hubiese contado con un grupo control. Para esto, la investigación en implementación supone que los resultados (i.e., la disminución) de una intervención dependen de la FI, por lo que las variaciones en las mediciones pre/post podrían ser explicadas por la variación en los componentes de implementación de la intervención.

Para evaluar la variación de la FI se realizaron análisis diferenciales según el contexto participante en la intervención. Se encontró que, en promedio, la adherencia a la intervención es el componente con menor cumplimiento, seguido por las dosis recibidas por los padres de los estudiantes. Considerando que las variables de FI son variables continuas que van de 0 a 100%, se consideraron como punto de corte los estándares internacionales que fijan, como alta, una fidelidad del 80% o más a los componentes del programa (Berry et al., 2015; Gresham, 2009). A partir de esta operación, se observa que aproximadamente el 30% de los equipos psicosociales son completamente adherentes a la planificación entregada por el programa HPV y que solo el 50% de los padres reciben las 3 sesiones necesarias para cumplir con estos requerimientos. Respecto a la pertinencia de la intervención, se puede observar que el 16.5% (n=233) de los estudiantes asisten a taller preventivo, a pesar de presentar sospechas de problemas de salud mental.

Respecto a la satisfacción laboral, se observa que el 60.6% (57) tienen una satisfacción muy alta. Asimismo, el 71.56% (365) de las escuelas muestran un fuerte compromiso con el programa.

Finalmente, los componentes de FI que más apego cumplen en la planificación son la cantidad de dosis recibidas por los estudiantes y profesores. Cerca del 100% de los docentes participan de los 2 talleres programados para ellos en el contexto de la intervención preventiva selectiva, y cerca del 90% de los estudiantes identificados en riesgo por el programa asisten a 8 o más sesiones (tabla 2).

Tabla 2.

Estadísticos descriptivos de los componentes de fidelidad de la implementación

Nivel  Componente de FI  DE  IC 95%  PercentilesFI ≥80%
% (n) 
          P25  P50  P75   
Equipo (n=94)  Adherencia a la intervención  0.591  0.211  (0.548-0.635)  0.40  0.60  0.80  29.8 (28) 
  Satisfacción laboral  0.732  0.164  (0.548-0.635)  0.60  0.80  0.80  60.6 (57) 
Escuela (n=510)  Compromiso directivo con la intervención  0.788  0.182  (0.722-0.804)  0.60  0.80  71.56 (365) 
Estudiante (n=1414)  Dosis recibidas por el estudiante  0.897  0.142  (0.890-0.905)  0.80  0.90  87.90 (1,243) 
  Dosis recibidas por el padre  0.705  0.351  (0.686-0.723)  0.33  50.1 (708) 
  Dosis recibidas por el profesor  0.985  0.093  (0.980-0.990)  97.5 (1,378) 

DE: desviación estándar; FI: fidelidad de la implementación; IC: intervalo de confianza; M: media.

En negrita, los valores de FI más altos.

Para determinar el modelo de regresión multinivel que mejor se ajusta a la matriz de datos observados, se realizaron distintos análisis que incorporaron gradualmente variables independientes. Se incorporó un modelo que permitiera ajustar la variabilidad del resultado según las variables de sexo, pertenencia a protección social y tipo de establecimiento al que asisten los estudiantes. Posteriormente, se incluyeron las variables de FI (tabla 3).

Tabla 3.

Comparación de modelos de regresión multinivel

Efectos fijos  Modelo nulo  Modelo de ajuste  Modelo FI  Modelo final 
  β (EE)  β (EE)  β (EE)  β (EE) 
Constante  12.741 (1.134)**  19.048 (3.194)**  5.844 (11.715)**   
Escuelaa
Dependencia administrativa    0.275 (2.318)     
Estudiantea         
Sexo    −4.848 (1.409)**  −4.231 (1.408)**  −4.225 (1.408)** 
Protección social    1.873 (1.504)     
Equipoa
Adherencia a la intervención      −1.156 (0.995)   
Satisfacción laboral      −0.632 (1.426)   
Escuelaa
Compromiso directivo      −0.207 (0.987)   
Estudiantea
Dosis recibidas por el estudiante      1.251 (0.508)*  1.280 (0.498)* 
Dosis recibidas por el padre      0.0836 (0.740)   
Dosis recibidas por el profesor      5.161 (4.185)   
Pertinencia de la intervención      7.713 (2.011)**  7.56 (1.998)** 
Efectos aleatorios  Var (EE)  Var (EE)  Var (EE)  Var (EE) 
Equipoa  40.347 (15.557)  38.672 (15.224)  36.029 (14.776)  39.163 (15.266) 
Escuelaa  97.766 (21.581)  98.635 (21.601)  96.135 (21.091)  95.828 (21.030) 
Estudiantea  596.184 (26.172)  589.910 (25.907)  582.078 (25.549)  582.426 (25.547) 
AIC  1,3276.68  13,269.32  13,257.04  13,249.91 
BIC  13,297.7  13,306.1  13,320.09  13,286.69 
ICC Equipo  0.055  0.051  0.050  0.053 
ICC Escuela  0.188  0.186  0.185  0.187 

AIC: criterio de información de Akaike; BIC: criterio de información bayesiano; EE: error estándar; ICC: índice de correlación intraclase; Var: varianza estimada.

a

Niveles contextuales.

*

p<0.05.

**

p<0.01.

Modelo nulo

Se analizó el modelo totalmente nulo para calcular la varianza total inicial y los índices de correlación intraclase (ICC). Se encontró que la variabilidad de los puntajes de los resultados reportados por los profesores varía en un 18.8% entre las escuelas y en un 5.5% en los equipos psicosociales, siendo el resto explicada por la variabilidad entre los estudiantes.

Modelo de ajuste

Antes de introducir las variables de FI se decidió utilizar las variables sexo, pertenencia a familias beneficiarias de programas de protección social y dependencia administrativa como variables de ajuste. Esto se fundamentó en la evidencia de que el sexo y la condición socioeconómica representan factores de riesgo para el desarrollo de problemas de salud mental (Patel, Flisher, Hetrick y McGorry, 2007; Reiss, 2013). Solo se encontró que el sexo tenía un efecto significativo sobre las puntuaciones de cambio, evidenciando que las mujeres obtienen puntuaciones más bajas que los hombres (β=–4.848; p<0.01).

Modelo de fidelidad de la implementación

Se incorporaron los 7 componentes de FI al modelo ajustado según el sexo de los estudiantes. Se encontró que solo las dosis recibidas por los estudiantes y la pertinencia de la intervención recibida tuvieron un efecto sobre los resultados obtenidos. Aquellos estudiantes que asisten a más sesiones obtienen más ganancias en la disminución de desadaptación escolar (β=1.251; p<0.05), así como aquellos que reciben una intervención preventiva selectiva pertinente y ajustada a su nivel de dificultad (β=7.713; p<0.05).

La adherencia y la satisfacción laboral de los equipos psicosociales muestran un efecto negativo sobre los resultados, sin embargo, este no es significativo, lo mismo que ocurre con el compromiso directivo con la intervención y las dosis recibidas por los padres y profesores.

Modelo final

El modelo final quedó compuesto por las variables sexo, dosis recibidas por el estudiante y la pertinencia de la intervención. Esto muestra que las variables de FI más relevantes fueron las asociadas al nivel del estudiante y no a otros niveles contextuales involucrados en la intervención (tabla 3). Para evaluar el ajuste del modelo se compararon los criterios de información de Akaike (AIC) y bayesiano (BIC) entre los distintos modelos analizados. Se encontró que el modelo final presentaba los menores valores, lo que refleja un mejor ajuste.

Por su parte, se analizaron descriptivamente los residuos. Se observó que la diferencia entre los puntajes observados y los predichos mediante el modelo final se distribuyó normalmente. No se observaron patrones en la dispersión de los residuos respecto de los valores predichos por el modelo y se obtuvo una correlación entre ellos de 0.15, p<0.05, indicando un adecuado ajuste.

Discusión

El propósito de esta investigación fue analizar los efectos de la FI sobre los resultados de una intervención preventiva selectiva realizada en escuelas chilenas por el programa HPV, para lo que se dividió el análisis en 2 fases. En primer lugar, se describió la FI en los distintos niveles contextuales y, en segundo lugar, se indagaron distintos modelos de regresión multinivel que dieran cuenta de la relación entre los distintos componentes de la FI y los resultados.

Se encontró que, durante la intervención, los distintos componentes de la FI fueron desarrollados con un alto cumplimiento, a excepción de la adherencia y la dosis recibida por los padres. Respecto a la baja adherencia, es posible indicar que la intervención analizada se basa en un enfoque bottom-up que permite a los equipos psicosociales ajustar las actividades y metodologías a las características de los contextos de intervención, por lo que era esperable que las recomendaciones generales del manual fueran, en ocasiones, pasadas por alto a favor del uso de nuevas estrategias puestas a prueba durante el período de intervención; entre estas se cuentan: el desarrollo de actividades no incluidas en el manual, la modificación de los tamaños de los grupos, la utilización de nuevos recursos didácticos y la realización de actividades en espacios físicos distintos a los preestablecidos, debido a los problemas de disponibilidad de salas en las escuelas. A nivel internacional, esta es una cuestión no resuelta aún. El nivel de adaptaciones que se les permite a los equipos realizar, sin que por ello se eliminen los componentes teóricos esenciales del modelo de intervención, es un tema central en la ciencia de la implementación (Fixsen et al., 2009), por lo que es necesario seguir indagando en cuáles de las adaptaciones afectan al cumplimiento de los objetivos de los programas.

En este caso, el modelo del HPV es amplio y solo recomienda algunos componentes esenciales a través de su manual (metodologías, estrategias y actividades) sin exigir su aplicación, lo que puede ser una razón para que los equipos psicosociales se perciban poco adherentes y para que el propio modelo no se esté replicando de manera adecuada. Frente a esto, actualmente hay un importante trabajo técnico que busca especificar con mayor claridad qué es y no es el HPV, lo que no solo contribuye a la evaluación de la adherencia, sino también a la diferenciación del programa.

Con relación a la dosis recibida por los padres, solo la mitad participan de las 3 sesiones del taller destinado para ellos. Esto no es un resultado inesperado, dado que la inasistencia de los padres a las actividades escolares es un tema recurrente. Por esta razón, en algunas ocasiones los equipos psicosociales han enfrentado este obstáculo de implementación a través de la alianza con los profesores jefes, quienes permiten un espacio en las reuniones de padres y apoderados para que puedan realizar algunas actividades; si bien esto es una solución, puede ser también un problema en la medida en que ello no asegura que se interioricen los contenidos prescritos por el programa, debido a que las dosis no son aplicadas en la misma intensidad (duración) ni en las mejores condiciones de receptividad (compromiso o entusiasmo por parte de los participantes).

Otro resultado que es importante destacar es el alto compromiso de las escuelas con la intervención, lo que puede deberse al trabajo previo que realizan los profesionales en la preparación de la comunidad escolar para el cambio, pero también por la alta validez social que tiene el programa en el país, la incorporación de la escuela a la planificación y la práctica de la rendición de cuentas anuales que realizan los equipos psicosociales, a través de las cuales demuestran con datos cuantitativos el avance de las distintas intervenciones.

Asimismo, es importante destacar que a pesar de que las condiciones laborales no son las óptimas para todos los equipos psicosociales, debido a la tercerización del servicio de intervención por parte del Gobierno y a las dificultades burocráticas en el traspaso de fondos, manifiestan una alta satisfacción laboral. Sin embargo, es importante destacar que la medida utilizada es global del equipo y no representa específicamente la percepción de cada uno de los miembros, lo que puede acarrear un sesgo de deseabilidad social, en cuanto que, por lo general, los informes son completados por los coordinadores del equipo.

Respecto a la relación entre la FI y los resultados se pudo observar que los niveles de adherencia a la intervención no se relacionaron con la disminución de la desadaptación escolar. Este resultado es similar al encontrado por otros estudios (e.g., Berry et al., 2015) que advierten la necesidad de revisar con profundidad estos hallazgos, debido a que para algunos la adherencia es el corazón de la FI (Schulte et al., 2009). Sin embargo, en el desarrollo de intervenciones bottom-up, en las cuales la técnica y las metodologías varían, puede ser importante poner el acento en otros componentes como la dosis y la calidad de la intervención más que en el cumplimiento de modelos técnicos específicos. Al respecto, esta investigación mostró que la dosis recibida por los estudiantes influye en los resultados de la intervención, lo que da luces de la importancia del espacio relacional interventor-intervenido y de la necesidad de incorporar en futuros estudios los efectos de la calidad de la intervención.

En este sentido, es fundamental hacer notar que en países hispanoamericanos donde las intervenciones basadas en la evidencia no siempre son bien recibidas (debido su enfoque top-down), la búsqueda de componentes esenciales de FI, así como del modelo de intervención bottom-up, es una tarea urgente para la investigación en implementación en esta parte del mundo. Conocer estos componentes no solo permitirá comprender cómo las intervenciones generan los resultados deseados, sino que también ayudará a monitorizar y acompañar a los equipos en su implementación en el mundo real hispanoamericano.

Por otra parte, se encontró que la satisfacción laboral de los equipos psicosociales y el compromiso de las escuelas no están relacionados con los resultados. Siguiendo la discusión anterior, es posible suponer que el cambio se produce en el espacio relacional entre el interventor y los estudiantes intervenidos, por lo que los efectos de unidades de análisis más amplias, como el equipo directivo o el mismo equipo implementador en su totalidad, podrían no ser significativos, lo que sería consistente con los resultados de esta investigación. La misma hipótesis podría utilizarse para analizar la nula relación entre la dosis recibida por los profesores y los padres, aunque también podrían introducirse otras explicaciones como la falta de receptividad de los participantes, las dificultades en otras medidas de exposición (e.g., intensidad o intervalos) o la amplitud de la ruta indirecta del cambio de los conocimientos, actitudes y habilidades en los padres sobre el cambio de los estudiantes. Al respecto, cabe mencionar que el programa no evalúa si los talleres para padres y profesores tienen algún efecto sobre ellos, por lo que se desconoce si la intervención que reciben genera cambio en ellos.

La pertinencia de la intervención fue la variable de FI relacionada con mayor fuerza con los resultados. Aquellos estudiantes que tienen el nivel de dificultades para las cuales el taller fue diseñado obtienen mejores resultados que aquellos que presentan dificultades mayores. Esto es fundamental para la planificación de las intervenciones, pues se debería propiciar que los estudiantes que presentan sospechas de problemas de salud mental no asistan a estas sesiones, pues no son efectivas para ellos. En este caso, se requiere un trabajo articulado en una red de salud que sea capaz de brindar atención especializada a estos niños, quienes al presentar problemas de salud mental tempranamente tienen mayor probabilidad de presentar trayectorias de desarrollo problemáticas.

En esta misma línea, los resultados sugieren que el sexo debería considerarse como una medida de pertinencia de las intervenciones preventivas en salud mental escolar, debido a que los cambios observados en las mujeres son menores que los observados en los hombres, lo que podría deberse a la falta de un enfoque de género en el diseño de los talleres.

Finalmente, se encontró que la varianza de los puntajes asociados al cambio se explica solo en un 18.5% por las variables asociadas al nivel del equipo (la intervención misma), y que una buena parte de ella está explicada por factores del propio sujeto intervenido, por lo que es necesario indagar en cuáles son aquellos aspectos de intervención que podrían articularse a ellos, para mejorar su efectividad. En este sentido, los resultados de esta investigación se suman a la evidencia que enfatiza en la necesidad de relevar los aspectos de los sujetos intervenidos involucrados en la FI (Low et al., 2014; McGinty et al., 2011) y no solo los aspectos de los ejecutores, que se centran en la adherencia y en la calidad de la intervención (e.g., Pettigrew et al., 2015). Sin embargo, una explicación alternativa a la baja incidencia de este tipo de variables en esta investigación es que la organización y estructura de las actividades puede que no sea tan relevante como la relación lúdica que establecen los ejecutores con los estudiantes; de hecho, participar en esta actividad para los y las estudiantes representa un espacio de recreación frente a las exigencias académicas y el modelo pedagógico tradicional que restringe los espacios de juegos. Otra hipótesis puede ser que las medidas consideradas en esta investigación no capten con adecuada precisión las complejas aristas de los componentes de la FI localizadas en el ejecutor, por lo que es necesario seguir profundizando en sus definiciones operacionales y los instrumentos de medición (Schoenwald y Garland, 2013).

Las limitaciones de esta investigación están asociadas a las medidas de la FI, que parecen ser un tema urgente en la ciencia de la implementación (Proctor et al., 2011). Actualmente existe una gran diversidad de conceptualizaciones respecto a la FI y una escasez de instrumentos que den cuenta de ella, lo cual es una importante amenaza a la comparación de los resultados entre las investigaciones. En este caso, se utilizaron los productos permanentes del programa (informes de implementación), que si bien pueden presentar debilidades psicométricas, tienen una alta validez social en cuanto que se utilizan para tomar las decisiones cotidianas en la intervención; sin embargo, como se mencionó anteriormente, se hace difícil relacionar estos resultados con otros que miden la FI a través de otros instrumentos, como la observación o el autorreporte.

Asimismo, dada la naturaleza multinivel de la FI, es importante considerar con mayor cautela las unidades de análisis involucradas en el análisis de los resultados. Esta investigación sugiere que es importante considerar la relación entre interventor y grupo intervenido, más que otras unidades de análisis en un nivel mayor. Por eso otra limitación de esta investigación fue considerar el equipo implementador como un todo, más que el miembro del equipo que interviene en los estudiantes. Futuras investigaciones deberían centrarse en ellos para analizar cómo las variables de calidad de la intervención se articulan con la receptividad de los participantes y las dosis recibidas.

Otra limitación es el uso exclusivo de medidas de resultados asociadas a la presencia de dificultades de adaptación que no toman en cuenta el desarrollo de habilidades socioemocionales. En este sentido, es necesario que futuras investigaciones analicen los efectos de la FI sobre cada uno de estos resultados y su interacción, pues la disminución de uno no implica necesariamente el aumento del otro.

Finalmente, esta investigación aporta información valiosa respecto a los resultados de intervenciones preventivas en salud mental escolar demostrando que la implementación sí es importante. En este sentido, se hace necesario seguir indagando en los procesos de implementación llevados a cabo en el mundo real hispanoamericano, debido a que la mayoría de la bibliografía internacional se centra en países angloparlantes que tienen características culturales distintas, por lo que los resultados de sus investigaciones no pueden ser trasladados directamente.

En este contexto, se encontró que la dosis y la pertinencia de la intervención son las variables de la FI que más influyen sobre los resultados, cuestión que debe ser considerada cuidadosamente en los programas desarrollados en esta región que se caracterizan por un enfoque bottom-up, lo que invita a profundizar sobre los procesos relacionales involucrados en la implementación y su articulación con los modelos teóricos que fundan las intervenciones.

Financiación

Estudios de posgrado financiados por CONICYT-PCHA/Doctorado Nacional/2015-21150612.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Bibliografía
Anello et al., 2016
V. Anello,M. Weist,L. Eber,S. Barrett,J. Cashman,M. Rosser
Readiness for positive behavioral interventions and supports and school mental health interconnection: Preliminary development of a stakeholder survey
Journal of Emotional and Behavioral Disorders, (2016), http://dx.doi.org/10.1177/1063426616630536
Ato et al., 2013
M. Ato,J.J. López,A. Benavente
Un sistema de clasificación de los diseños de investigación en psicología
Anales de Psicología, 29 (2013), pp. 1038-1059
Barnett et al., 2014
D. Barnett,R. Hawkins,D. McCoy,E. Wahl,A. Shier,H. Denune
Methods used to document procedural fidelity in school-based intervention research
Journal of Behavioral Education, 23 (2014), pp. 89-107
Berry et al., 2015
V. Berry,N. Axford,S. Blower,R.S. Taylor,R.T. Edwards,K. Tobin
The effectiveness and micro-costing analysis of a universal, school-based, socia-emotional learning programme in the UK: A cluster-randomised controlled trial
School Mental Health, 8 (2015), pp. 1-19
Blase et al., 2012
K. Blase,M. Van Dyke,D. Fixsen,F. Wallace
Key concepts, themes, and evidence for practitioners in educational psychology
Handbook of Implementation Science for psychology in Education, pp. 13-34
Bond et al., 2000
G.R. Bond,L. Evans,M.P. Salyers,J. Williams,H.-W.W. Kim
Measurement of fidelity in psychiatric rehabilitation
Mental Health Services Research, 2 (2000), pp. 75-87
Bradshaw et al., 2009
C.P. Bradshaw,J.H. Zmuda,S.G. Kellam,N.S. Ialongo
Longitudinal impact of two universal preventive interventions in first grade on educational outcomes in high school
Journal of Educational Psychology, 101 (2009), pp. 926-937 http://dx.doi.org/10.1037/a0016586
Burns et al., 1995
B.J. Burns,E.J. Costello,a. Angold,D. Tweed,D. Stangl,E.M. Farmer
Children's mental health service use across service sectors
Health Affairs, 14 (1995), pp. 147-159
Christl et al., 2010
B. Christl,M.F. Harris,U.W. Jayasinghe,J. Proudfoot,J. Taggart,J. Tan
Readiness for organisational change among general practice staff
Quality & Safety in Health Care, 19 (2010), pp. e12 http://dx.doi.org/10.1111/1471-0528.15015
Codding y Lane, 2015
R.S. Codding,K.L. Lane
A spotlight on treatment intensity: An important and often overlooked component of intervention inquiry
Journal of Behavioral Education, 24 (2015), pp. 1-10
Dane y Schneider, 1998
A.V. Dane,B.H. Schneider
Program integrity in primary and early secondary prevention: Are implementation effects out of control?
Clinical Psychology Review, 18 (1998), pp. 23-45
Domitrovich et al., 2010
C.E. Domitrovich,S.D. Gest,D. Jones,S. Gill,R.M. Sanford deRousie
Implementation quality: Lessons learned in the context of the Head Start REDI trial
Early Childhood Research Quarterly, 25 (2010), pp. 284-298 http://dx.doi.org/10.1016/j.ecresq.2010.04.001
DuBois et al., 2002
D.L. DuBois,B.E. Holloway,J.C. Valentine,H. Cooper
Effectiveness of mentoring programs for youth: A meta analytic review
American Journal of Community Psychology, 30 (2002), pp. 157-198 http://dx.doi.org/10.1023/A:1014628810714
Dupaul, 2009
G.J. Dupaul
Assessing integrity of intervention implementation: Critical factors and future directions
School Mental Health, 1 (2009), pp. 154-157
Durlak, 2013
J.A. Durlak
The importance of quality implementation for research, practice, and policy
ASPE Research Brief, (2013), pp. 1-16
February
Durlak y DuPre, 2008
J.A. Durlak,E.P. DuPre
Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation
American Journal of Community Psychology, 41 (2008), pp. 327-350 http://dx.doi.org/10.1007/s10464-008-9165-0
Durlak et al., 2011
J.A. Durlak,R.P. Weissberg,A.B. Dymnicki,R.D. Taylor,K.B. Schellinger
The impact of enhancing students’ social and emotional learning: A meta-analysis of school-based universal interventions
Child Development, 82 (2011), pp. 405-432 http://dx.doi.org/10.1111/j.1467-8624.2010.01564.x
Eccles y Mittman, 2006
M.P. Eccles,B.S. Mittman
Welcome to implementation science
Implementation Science, 3 (2006), pp. 1-3 http://dx.doi.org/10.1186/1748-5908-3-1
Faragher, 2005
E.B. Faragher
The relationship between job satisfaction and health: A meta-analysis
Occupational and Environmental Medicine, 62 (2005), pp. 105-112 http://dx.doi.org/10.1136/oem.2002.006734
Fixsen et al., 2009
D.L. Fixsen,K.A. Blase,S.F. Naoom
Core implementation components
Research on Social Work Practice, 19 (2009), pp. 531-540
Flannery et al., 2014
K.B. Flannery,P. Fenning,M.M. Kato,K. McIntosh
Effects of school-wide positive behavioral interventions and supports and fidelity of implementation on problem behavior in high schools
School Psychology Quarterly, 29 (2014), pp. 111-124 http://dx.doi.org/10.1037/spq0000039
Forman et al., 2009
S.G. Forman,S.S. Olin,K.E. Hoagwood,M. Crowe,N. Saka
Evidence-based interventions in schools: Developers’ views of implementation barriers and facilitators
School Mental Health, 1 (2009), pp. 26-36
Forman et al., 2013
S.G. Forman,E.S. Shapiro,R.S. Codding,J.E. Gonzales,L.A. Reddy,S.A. Rosenfield
Implementation science and school psychology
School Psychology Quarterly, 28 (2013), pp. 77-100 http://dx.doi.org/10.1037/spq0000019
Fredricks et al., 2004
J.A. Fredricks,P.C. Blumenfeld,A.H. Paris
School engagement: Potential of the concept, state of the evidence
Review of Educational Research, 74 (2004), pp. 59-109
Gelman y Hill, 2007
A. Gelman,J. Hill
Data analysis using regression and multilevel/hierarchical models
Cambridge University Press, (2007)pp. 1-651
George et al., 2004
M. George,A.M. Squicciarini,R. Zapata,M.P. Guzmán,M. Hartley,C. Silva
Detección precoz de factores de riesgo de salud mental en escolares
Revista de Psicología, 12 (2004), pp. 9-20
Gregory et al., 2007
A. Gregory,D.B. Henry,M.E. Schoeny,L. Eron,N. Guerra,D. Henry
School climate and implementation of a preventive intervention
American Journal of Community Psychology, 40 (2007), pp. 250-260 http://dx.doi.org/10.1007/s10464-007-9142-z
Gresham, 2009
F.M. Gresham
Evolution of the treatment integrity concept: Current status and future directions
School Psychology Review, 38 (2009), pp. 533-540
Gresham et al., 1993
F.M. Gresham,K.A. Gansle,G.H. Noell,S. Cohen,S. Rosenblum
Treatment integrity of school based behavioral intervention studies
School Psychology Review, 22 (1993), pp. 254-272
Guzmán et al., 2015
J. Guzmán,R.C. Kessler,A.M. Squicciarini,M. George,L. Baer,K.M. Canenguez
Evidence for the effectiveness of a national school-based mental health program in Chile
Journal of the American Academy of Child and Adolescent Psychiatry, 54 (2015), pp. 799-807 http://dx.doi.org/10.1016/j.jaac.2015.07.005
Hagermoser-Sanetti y Kratochwill, 2009
L. Hagermoser-Sanetti,T.R. Kratochwill
Toward developing a science of treatment integrity: Introduction to the special series
School Psychology Review, 38 (2009), pp. 445-459
Humphrey, 2013
N. Humphrey
Social and emotional learning a critical appraisal
Sage Publications, (2013)
Judge et al., 2001
T.A. Judge,C.J. Thoresen,J.E. Bono,G.K. Patton
The job satisfaction-job performance relationship: A qualitative and quantitative review
Psychological Bulletin, 127 (2001), pp. 376-407
Klassen y Chiu, 2010
R.M. Klassen,M.M. Chiu
Effects on teachers’ self-efficacy and job satisfaction: Teacher gender, years of experience, and job stress
Journal of Educational Psychology, 102 (2010), pp. 741-756
Koth et al., 2009
C.W. Koth,C.P. Bradshaw,P.J. Leaf
Teacher observation of classroom adaptation-checklist: Development and factor structure
Measurement and Evaluation in Counseling and Development, 42 (2009), pp. 5-30
Laker et al., 2014
C. Laker,F. Callard,C. Flach,P. Williams,J. Sayer,T. Wykes
The challenge of change in acute mental health services: Measuring staff perceptions of barriers to change and their relationship to job status and satisfaction using a new measure (VOCALISE)
Implementation Science: IS, 9 (2014), pp. 23 http://dx.doi.org/10.1186/1748-5908-9-23
Langley et al., 2010
A.K. Langley,E. Nadeem,S.H. Kataoka,B.D. Stein,L.H. Jaycox
Evidence-based mental health programs in schools: Barriers and facilitators of successful implementation
School Mental Health, 2 (2010), pp. 105-113 http://dx.doi.org/10.1007/s12310-010-9038-1
Leff et al., 2009
S.S. Leff,J.A. Hoffman,R.L. Gullan
Intervention integrity: New paradigms and applications
School Mental Health, 1 (2009), pp. 103-106 http://dx.doi.org/10.1007/s12310-009-9013-x
Leiva et al., 2015a
L. Leiva,M. George,A. Antivilo,A. Simonsohn,A. Antivilo,A.M. Squicciarini
Salud mental escolar: logros de una intervención preventiva en salud mental en niños y niñas del primer ciclo de enseñanza básica
Psicoperspectivas, 14 (2015), pp. 31-41
Disponible en: http://www.psicoperspectivas.cl/index.php/psicoperspectivas/article/view/508/394
Leiva et al., 2015b
L. Leiva,M. George,A.M. Squicciarini,A. Simonsohn,J. Guzmán
Intervención preventiva de salud mental escolar en adolescentes: desafíos para un programa público en comunidades educativas
Universitas Psychologica, 14 (2015), pp. 1285-1298
Low et al., 2016
S. Low,K. Smolkowski,C. Cook
What constitutes high-quality implementation of SEL programs? A latent class analysis of Second Step® implementation
Prevention Science, 17 (2016), pp. 981-991 http://dx.doi.org/10.1007/s11121-016-0670-3
Low et al., 2014
S. Low,M.J. van Ryzin,E.C. Brown,B.H. Smith,K.P. Haggerty
Engagement matters: Lessons from assessing classroom implementation of steps to respect: a bullying prevention program over a one-year period
Prevention Science, 15 (2014), pp. 165-176 http://dx.doi.org/10.1007/s11121-012-0359-1
Marks, 2000
H.M. Marks
Student engagement in instructional activity: Patterns in the elementary, middle, and high school years
American Educational Research Journal, 37 (2000), pp. 153-184
McGinty et al., 2011
A.S. McGinty,A. Breit-Smith,X. Fan,L.M. Justice,J.N. Kaderavek
Does intensity matter? Preschoolers’ print knowledge development within a classroom-based intervention
Early Childhood Research Quarterly, 26 (2011), pp. 255-267
Mendive et al., 2016
S. Mendive,C. Weiland,H. Yoshikawa,C. Snow
Opening the black box: Intervention fidelity in a randomized trial of a preschool teacher professional development program
Journal of Educational Psychology, 108 (2016), pp. 130-145
Murillo, 2008
J. Murillo
Los modelos multinivel como herramienta para la investigación educativa
Magis. Revista Internacional de Investigación en Educación, 1 (2008), pp. 45-62
Patel et al., 2007
V. Patel,A.J. Flisher,S. Hetrick,P. McGorry
Mental health of young people: A global public-health challenge
Perepletchikova, 2011
F. Perepletchikova
On the topic of treatment integrity
Clinical Psychology: Science and Practice, 18 (2011), pp. 148-153
Perepletchikova et al., 2009
F. Perepletchikova,L.M. Hilt,E. Chereji,A.E. Kazdin
Barriers to implementing treatment integrity procedures: Survey of treatment outcome researchers
Journal of Consulting and Clinical Psychology, 77 (2009), pp. 212-218 http://dx.doi.org/10.1037/a0015232
Pettigrew et al., 2015
J. Pettigrew,J. Graham,M. Miller-Day,M. Hecth,J. Krieger,Y. Ju
Adherence and delivery: Implementation quality and program outcomes for the 7th grade keepin’ it REAL program
Prevention Science, 16 (2015), pp. 90-99 http://dx.doi.org/10.1007/s11121-014-0459-1
Proctor et al., 2011
E. Proctor,H. Silmere,R. Raghavan,P. Hovmand,G. Aarons,A. Bunger
Outcomes for implementation research: Conceptual distinctions, measurement challenges, and research agenda
Administration and Policy in Mental Health and Mental Health Services Research, 38 (2011), pp. 65-76 http://dx.doi.org/10.1007/s10488-010-0319-7
Reiss, 2013
F. Reiss
Socioeconomic inequalities and mental health problems in children and adolescents: A systematic review
Social Science & Medicine, 90 (2013), pp. 24-31 http://dx.doi.org/10.17226/24744
Rodrigo, 2016
M.J. Rodrigo
Quality of implementation in evidence-based positive parenting programs in Spain: Introduction to the special issue
Psychosocial Intervention, 25 (2016), pp. 63-68
Rosenblatt y Elias, 2008
J.L. Rosenblatt,M.J. Elias
Dosage effects of a preventive social-emotional learning intervention on achievement loss associated with middle school transition
Journal of Primary Prevention, 29 (2008), pp. 535-555 http://dx.doi.org/10.1007/s10935-008-0153-9
Sarno et al., 2014
J. Sarno,A.R. Lyon,N.E. Brandt,C.M. Warner,E. Nadeem,C. Spiel
Implementation science in school mental health: Key constructs in a developing research agenda
School Mental Health, 6 (2014), pp. 99-111 http://dx.doi.org/10.1007/s12310-013-9115-3
Schoenwald y Garland, 2013
S.K. Schoenwald,A.F. Garland
A review of treatment adherence measurement methods
Psychological Assessment, 25 (2013), pp. 146-156 http://dx.doi.org/10.1037/a0029715
Schulte et al., 2009
A.C. Schulte,J.E. Easton,J. Parker
Advances in treatment integrity research: Multidisciplinary perspectives on the conceptualization, measurement, and enhancement of treatment integrity
School Psychology Review, 38 (2009), pp. 541-546
Sklad et al., 2012
M. Sklad,R. Diekstra,M.De Ritter,J. Ben,C. Gravesteijn
Effectiveness of school-based universal social, emotional, and behavioral programs: Do they enhance students’ development in the area of skill, behavior, and adjustment?
Psychology in the Schools, 49 (2012), pp. 892-909
Smith et al., 2004
J.D. Smith,B.H. Schneider,P.K. Smith,K. Ananiadou
The effectiveness of whole-school antibullying programs: A synthesis of evaluation research
School Psychology Review, 33 (2004), pp. 547-560
Tobler, 1986
N.S. Tobler
Meta-analysis of 143 adolescent drug prevention programs: Quantitative outcome results of program participants compared to a control or comparison group
Journal of Drug Issues, 16 (1986), pp. 537-567
Vargas y Peña, 2016
B. Vargas,F. Peña
Manual de talleres preventivos Habilidades para la Vida I
Santiago de Chile, (2016)
Weare y Nind, 2011
K. Weare,M. Nind
Mental health promotion and problem prevention in schools: What does the evidence say?
Health Promotion International, 26 (2011), pp. i29-i69 http://dx.doi.org/10.1093/heapro/dar075
Wilson et al., 2003
S.J. Wilson,M.W. Lipsey,J.H. Derzon
The effects of school-based intervention programs on aggressive behavior: A meta-analysis
Journal of Consulting and Clinical Psychology, 71 (2003), pp. 136-149
Zins et al., 2007
J.E. Zins,M.R. Bloodworth,R.P. Weissberg,H.J. Walberg
The scientific base linking social and emotional learning to school success
Journal of Educational and Psychological Consultation, 17 (2007), pp. 191-210
Zvoch, 2012
K. Zvoch
How does fidelity of implementation matter? Using multilevel models to detect relationships between participant outcomes and the delivery and receipt of treatment
American Journal of Evaluation, 33 (2012), pp. 547-565
WARNING Invalid argument supplied for foreach() (includes_ws/librerias/html/item.php[1203])
Copyright © 2017. Colegio Oficial de Psicólogos de Madrid
Psychosocial Intervention 26 (2017) 147-54 - Vol. 26 No.3 DOI: 10.1016/j.psi.2016.12.002