Evaluación de Políticas Públicas en la Junta de Andalucía

Las políticas públicas desarrolladas por la Junta de Andalucía afectan a las vidas de las personas y agentes sociales y económicos de esta nuestra comunidad autónoma.

El gobierno de la Junta de Andalucía se encuentra comprometido con la tarea de asegurar que sus políticas públicas (planes, programas de actuación, proyectos y normas) sean adecuadas a las demandas y necesidades ciudadanas, se encuentren apoyadas en las evidencias científicas, sean realistas en sus objetivos pero retadoras,  eficaces a la hora de conseguir beneficios sociales, y eficientes en cuanto a los costes incurridos, incluidos los sociales y medioambientales. Y todo ello, desde la perspectiva de una actuación y consumo de recursos sostenibles por parte de la Administración y de la propia sociedad.

El compromiso con la Evaluación de Políticas Públicas se manifiesta formalmente en la asignación de esta competencia a la Secretaría General de Administración Pública en 2015 y el impulso de la misma a través del Instituto Andaluz de Administración Pública (decreto 206/2015).

El siguiente documento, elaborado en 2016, contiene la hoja de ruta inicial de la Junta de Andalucía para la institucionalización de la Evaluación de Políticas Públicas en nuestra comunidad autónoma:

• Evaluación de políticas públicas. 2016. (pdf)

En 2019, el decreto 99/2019 establece que el IAAP ostenta la gestión de la Evaluación de Políticas Públicas. Tal competencia se renueva en 2022 (Decreto 164/2022).

Este compromiso significa un pacto con la toma informada de decisiones, que equilibre las evidencias científicas y los imperativos de eficiencia y equidad con las necesidades detectadas en la población a la que servimos, desde antes de la implantación de las políticas (evaluación ex ante), como en el transcurso de las mismas (evaluación in itinere), y también tras su ejecución (evaluaciones ex post) para constatar sus resultados e impactos.

Ello, mediante métodos y herramientas transparentes, tanto cuantitativas como cualitativas, de investigación social y estadística, ya contrastados en esta parcela de la Gestión Pública en los países de nuestro entorno.

En este marco, el Área de Evaluación de Políticas Públicas del IAAP da a conocer a la ciudadanía qué ha hecho mediante las EVALUACIONES DE REALIZACIÓN Y RESULTADOS de sus actuaciones llevadas a cabo en 2019, 2020 y 2021, así como la correspondiente al periodo 2016-2018 inicial.

• Evaluación de realización y resultados. 2016-2018 (pdf)
• Evaluación de realización y resultados. 2019 (pdf)
• Evaluación de realización y resultados. 2020 (pdf)
• Evaluación de realización y resultados. 2021 (pdf)
• Evaluación de realización y resultados 2022 (pdf)
• Evaluación de realización y resultados 2023 (pdf)

Actividad del Área durante el año 2023

En cuanto a la valoración los trabajos realizados, se consideran bastante positiva tanto por el aumento o mantenimiento en todos los tipos de trabajos, como en la alta calidad de los mismos y satisfacción por parte de los organismos receptores de los servicios.

En concreto, destaca el aumento de planes asesorados con respecto al año pasado en 16%, aunque una parte de ellos hayan quedado paralizados o inconclusos.  Se mantiene el alto número de solicitudes de la Consejería de Inclusión Social, Juventud, Familias e Igualdad y la Consejería de Fomento, Articulación del Territorio y Vivienda y se han recibido dos solicitudes por parte de la Consejería de Salud, con la que no se tenía experiencia previa en este tipo de trabajo. Se prevé continuar en este sentido en una línea similar a la que se ha venido trabajando, intentado asesorar en aquellas Consejerías en las que hemos tenido menos presencia.

Con respecto a la evaluabilidad previa, sigue habiendo una demanda alta, y aunque es en cualquier caso condición necesaria de todos los planes que son asesorados, casi uno 50% de los análisis realizados se hacen de planes que no han sido asesorados previamente por el IAAP y que lo solicitan de manera voluntaria. De cara al próximo año se pretende consolidar al área como referente en esta materia y sería muy positivo se establece la obligatoriedad de realizar este tipo de análisis para todos los planes estratégicos aprobados en Consejo de Gobierno, tal y se propone en el Anteproyecto de la Ley andaluza de Evaluación de políticas públicas.

En el caso de las evaluaciones ex ante, a diferencia de los análisis de evaluabilidad previa, se vienen realizando solo en los planes que asesorados en su totalidad o parcialmente como es el caso de los Planes de Transporte Metropolitano. Es decir,  no es habitual que se reciba solicitud expresa de realizar la evaluación ex ante de planes no asesorados. Se observa un incremento  de realización de evaluación ex ante de más de un 40% respecto al año anterior, que se espera que se mantenga a futuro.

En cuanto las evaluaciones intermedias o finales,  si existe una cierta demanda en los últimos años, esta se ha estabilizado y es reducida. Una de las razones de ello, puede estar unido al bajo nivel de institucionalización  que se posee, por lo que se considera que se deben seguir haciéndose esfuerzos en este sentido.

Se ha modificado la oferta formativa, que ahora incluye un MOOC de evaluación avanzado, que pese a ser la primera edición ha tenido una gran demanda. Además, este año se han organizado diferentes seminarios y talleres de formación interna ofrecidos por especialistas internacionales que han permitido profundizar en la evaluación participativa, entre otros temas. En referencia a los MOOCs, los tres cuentan con alto grado de satisfacción  y de solicitudes. El particular, el de planificación, continúa aumentando en global en número de solicitudes mientras que MOOC de evaluación básico ha reducido este año en número de solicitudes, en parte debido a la nueva creación del MOOC de evaluación avanzado, por lo que el año que viene se dejará de ofertar. El resto de la formación, a excepción del curso de Evaluación Participativa ofrecido por el servicio de formación IAAP, ha sido gestionado a nivel interno por el área y en principio se considera que se pueden repetir la fórmula en otras píldoras formativas en el próximo año.

En lo que respecta al grupo de personas evaluadoras, ha sido un año de muchos cambios tanto en la forma de trabajar como en la composición. De lado de los trabajos realizados, se valora el papel que juegan en el análisis de evaluabilidad (han participado 17 personas), en la dinamización de los MOOCs (han participado 21 personas este año) y en la difusión y se refuerza el apoyo que prestan en las otras actividades del área (como son los asesoramientos, evaluaciones, o estudios e investigaciones). En cuanto a la composición, se prevé que comenzará el 2024 con una reducción con respecto al 2023, pero que espera que se vayan incorporando nuevos miembros. Las razones de estos cambios tienen componentes tanto externos como internos. A nivel interno, al ser un grupo de carácter voluntario, suele estar ligado a un competente de rotación cíclico y, a nivel externo, ha podido influir la lentitud en el proceso de institucionalización de la EPP, como el hecho de no haberse podido aún tramitar la orden de personas colaboradoras con el IAAP.

La difusión del área se ha mantenido constante en cuanto a los productos ofrecidos pero con gran impacto (2º institución de Organismos que mayor nº de noticias genera en EPP en Europa¹).

Se ha planteado un cambio de formato de la revista valor público a un formato de página web que está aun en desarrollo. Así como se prevé para el próximo año la elaboración de una estrategia de difusión más amplia de la cultura evaluadora.  De lado de las publicaciones, se destaca la aceptación que está teniendo al Guía de Seguimiento, que viene a completar los manuales ya existentes. En este sentido el Grupo de Personas Evaluadoras ha propuesto que en los próximos años se revisen algunos de los materiales ya elaborados para ir actualizándolos.

Este año, se ha llevado a cabo una alta producción tanto de estudios e investigaciones de carácter interno como externo (75% más que en el año 2022) y se han demandado nuevos tipos de asesoramiento relacionados con la validez de los instrumentos de investigaciones que otras áreas emplean para su trabajo, como es el caso del cuestionario de innovación y el sistema de seguimiento del Paramétrico PRISO. La suspensión del Estudio de la práctica de la evaluación en la Junta de Andalucía, debido al bajo índice de respuesta, podría estar asociado a la reducida cultura evaluadora existente en el organismo.

En todos los trabajos realizados, la satisfacción general por los servicios prestados es alta: 9,6, si bien tiene un cierto sesgo en el que la mayoría de las respuestas se refieren a asesoramiento, un trabajo que suele llevar un proceso de trabajo conjunto de un año.

En definitiva, se concluye que ha sido año muy fructífero, en los trabajos internos del área que han ido acompasado de los avances significativos en materia de institucionalización, que se espera que catalicen en el futuro próximo.

Así, el anteproyecto de la Ley de Evaluación de Politicas Públicas de Andalucía, se espera inicie su tramitación en 2024. Del Sistema de Evaluación y Seguimiento de Programas y Planes en Andalucía (SEPA) se espera tener un producto viable a mediados de año que, aunque sin finalizar, permita esbozar cómo se va a realizar el apoyo a la elaboración de planes y realizar el seguimiento de las políticas públicas de una manera más transparente.

Por último, se confía en que el próximo año se dote presupuestariamente al menos una parte de la RPT creada en materia de evaluación en el IAAP. Este nuevo personal podría ayudar a implementar todos los compromisos de institucionalización de la EPP que se están produciendo y la materialización del SEPA.

Competencias profesionales en evaluación de políticas públicas

La Junta de Andalucía está interesada en desarrollar en todo su personal competencias profesionales en evaluación. La propuesta que se está trabajando por el IAAP, a través del mecanismo de la formación del personal, es:

Competencia 1: Integramos la cultura evaluadora en nuestro trabajo

Competencia básica para cualquier personal técnico:

• Conoce las repercusiones en la ciudadanía de las actuaciones de su unidad administrativa.
• Reflexiona sobre la adecuación de las actuaciones de su unidad para conseguir los fines que tiene encomendados.
• Analiza la eficacia y eficiencia de las actuaciones de su unidad.
• Se hace preguntas sobre las actuaciones de su unidad y busca evidencias para responderlas.
• Se forma en las materias propias de su unidad y utiliza los resultados de las evaluaciones.
• Plantea  la alternativa más adecuada para su aplicación en el servicio o programa en el que trabaja.
• Propone medidas para la mejora de las políticas públicas que se desarrollan en su unidad.

Competencia 2: Toma decisiones sustentadas en evidencias

Competencia específica para el personal directivo:

• Comparte información relevante, procedente de la evaluación de políticas públicas, con su equipo de la unidad.
• Tienen en cuenta el resultado de las evaluaciones e investigaciones en su ámbito de actuación y su alineamiento con los diferentes niveles de gobierno.
• Identifica, analiza y verifica las evidencias para proponer el diseño de políticas que ayuden a optimizar la actuación pública en su ámbito de responsabilidad.
• Establece mecanismos de participación que visibilizan la transparencia de la intervención pública.
• Toma decisiones fundamentadas en evidencias para iniciar y mejorar las políticas públicas.

Competencia 3: Gobernanza pública, rendición de cuentas y transparencia

Competencia específica para el personal directivo:

• Facilita mecanismos de participación que potencien la corresponsabilidad entre los actores implicados en las políticas públicas.
• Promueve actuaciones que aumenten la transparencia.
• Analiza las políticas públicas a nivel estratégico para la consecución de sus objetivos.
• Analiza que efectos tiene la política pública en su ámbito de responsabilidad.
• Promueve el uso e intercambio de buenas prácticas profesionales.

Competencia 4: Evaluamos y planificamos

Competencia especializada para las personas que realicen tareas de evaluación:

• Diseña procesos de evaluación y en su caso, de planificación.
• Evalúa Intervenciones públicas aplicando diferentes tipos y modelos evaluativos en función de los medios de que dispone.
• Implementa técnicas y herramientas de recogida de información en los procesos de evaluación y en su caso, de planificación.
• Distingue la información pertinente para su objetivo de evaluación y planificación.
• Analiza e interpreta los datos necesarios para realizar sus labores de evaluación y/o planificación.
• Sintetiza, concluye y valora los resultados obtenidos.
• Formula recomendaciones y/o propuestas de mejora.
• Comunica y difunde los resultados obtenidos.