DOCUMENTO CONPES 4083 DNP DE 2022
(Bogotá, D.C., mayo 16 de 2022)
<Fuente: Archivo interno entidad emisora>
CONSEJO NACIONAL DE POLÍTICA ECONÓMICA Y SOCIAL
REPÚBLICA DE COLOMBIA
DEPARTAMENTO NACIONAL DE PLANEACIÓN
FORTALECIMIENTO DEL USO Y LA INSTITUCIONALIDAD DE LAS EVALUACIONES PARA LA TOMA DE DECISIONES EN COLOMBIA
Departamento Nacional de Planeación
Departamento Administrativo de la Función Pública
Departamento Administrativo Nacional de Estadística
Ministerio de Tecnologías de la Información y las Comunicaciones
CONSEJO NACIONAL DE POLÍTICA ECONÓMICA Y SOCIAL
CONPES
Iván Duque Márquez
Presidente de la República
Marta Lucía Ramírez Blanco
Vicepresidenta de la República
| Daniel Palacios Martínez Ministro del Interior | Marta Lucía Ramírez Blanco Ministra de Relaciones Exteriores |
| José Manuel Restrepo Abondano Ministro de Hacienda y Crédito Público | Wilson Ruíz Orejuela Ministro de Justicia y del Derecho |
| Diego Andrés Molano Aponte Ministro de Defensa Nacional | Rodolfo Enrique Zea Navarro Ministro de Agricultura y Desarrollo Rural |
| Fernando Ruíz Gómez Ministro de Salud y Protección Social | Ángel Custodio Cabrera Báez Ministro del Trabajo |
| Diego Mesa Puyo Ministro de Minas y Energía | María Ximena Lombana Villalba Ministra de Comercio, Industria y Turismo |
| María Victoria Angulo González Ministra de Educación Nacional | Carlos Eduardo Correa Escaf Ministro de Ambiente y Desarrollo Sostenible |
| Susana Correa Borrero Ministro de Vivienda, Ciudad y Territorio | Carmen Ligia Valderrama Rojas Ministra de Tecnologías de la Información y las Comunicaciones |
| Ángela María Orozco Gómez Ministra de Transporte | Angélica María Mayolo Obregón Ministra de Cultura |
| Guillermo Antonio Herrera Castaño Ministro del Deporte | Tito José Crissien Borrero Ministro de Ciencia, Tecnología e Innovación |
Alejandra Carolina Botero Barco
Directora General del Departamento Nacional de Planeación
| Laura Milena Pabón Alvarado Subdirectora General de Prospectiva y Desarrollo Nacional (E) | Amparo García Montaña Subdirectora General del Sistema General de Regalías |
| Yesid Parra Vera Subdirector General de Inversiones, Seguimiento y Evaluación (E) | Lorena Garnica De La Espriella Subdirectora General de Descentralización y Desarrollo Regional |
Resumen ejecutivo
La evaluación de políticas contribuye a una buena administración pública. El Sistema Nacional de Evaluación de Gestión y Resultados, o Sinergia, hace seguimiento y evalúa las políticas públicas estratégicas del país. Si bien, este sistema se ha consolidado en Colombia desde su creación en 1994, en la actualidad existen retos en el uso de la información derivada de los resultados de las evaluaciones realizadas, para la toma decisiones.
De acuerdo con el informe de 2020 sobre institucionalización de la evaluación de la Organización para la Cooperación y el Desarrollo Económicos (2020), la mayoría de los 42 países estudiados presentan retos significativos en promover la evaluación de políticas públicas. Estos retos están principalmente relacionados con el limitado uso de los resultados en la formulación de políticas. Colombia no es ajena a este reto, dado que hay un limitado uso de la información de las evaluaciones para la toma decisiones. A pesar de los procesos de socialización que se realizan de los resultados y las recomendaciones de las evaluaciones, no es del todo claro como estas se integran a la ejecución de la intervención evaluada, ni al ciclo de la política pública y las decisiones presupuestales.
Este documento CONPES tiene como objetivo principal fortalecer la institucionalidad de la evaluación de políticas públicas e impulsar el uso de los resultados y las recomendaciones de las evaluaciones para la toma de decisiones en el país. Para esto propone consolidar la oferta de las evaluaciones para generar mayor evidencia sobre el funcionamiento y resultados de las intervenciones públicas. También se busca fortalecer la demanda de las evaluaciones que permita su efectivo uso en la toma de decisiones. Finalmente se propone promover la cultura y la capacidad para realizar y usar evaluaciones, para fortalecer su institucionalidad, mediante la articulación entre la oferta y la demanda.
La política se implementará en un horizonte de tiempo de 4 años (2022-2026) bajo el liderazgo del Departamento Nacional de Planeación, del Departamento Administrativo Nacional de Estadística, de las Oficinas Asesoras de Planeación cabezas de cada sector, el Ministerio de Tecnologías de la Información y las Comunicaciones, y del Departamento Administrativo de la Función Pública. Su costo estimado asciende a 13.557 millones de pesos.
Clasificación: C8, C9, H11, H43
Palabras clave: Evaluación, uso de evidencia.
Tabla de contenido
| 1. | INTRODUCCIÓN .............................................................................................. | 8 |
| 2. | ANTECEDENTES Y JUSTIFICACIÓN ......................................................... | 9 |
| 2.1. | Antecedentes de la evaluación de políticas públicas en Colombia ........... | 9 |
| 2.1.1. | Años anteriores a 1994 ....................................................................................... | 9 |
| 2.1.2. | Primera Etapa (1994 a 2002)............................................................................. | 10 |
| 2.1.3. | Segunda Etapa (2002 hasta 2009).................................................................... | 12 |
| 2.1.4. | Tercera Etapa (2010 hasta 2017)...................................................................... | 14 |
| 2.1.5. | Situación actual ................................................................................................... | 15 |
| 2.1.6. | Resumen ............................................................................................................... | 18 |
| 2.2. | Experiencias internacionales ............................................................................ | 20 |
| 2.3. | Justificación ......................................................................................................... | 27 |
| 3. | MARCO CONCEPTUAL ................................................................................... | 27 |
| 4. | DIAGNÓSTICO..................................................................................................... | 31 |
| 4.1. | Limitado diseño y ejecución de las evaluaciones ......................................... | 31 |
| 4.1.1. | Limitada asignación de recursos públicos para la generación de evaluaciones......................................................................................................... | 31 |
| 4.1.2. | Pocas evaluaciones realizadas ........................................................................ | 32 |
| 4.1.3. | Las evaluaciones se concentran en pocos sectores y tipologías................. | 35 |
| 4.1.4. | Limitado acceso a bases de datos e información .......................................... | 37 |
| 4.2. | Limitado uso de la información y las evaluaciones existentes..................... | 39 |
| 4.2.1 | Bajo uso de las evaluaciones existentes ......................................................... | 40 |
| 4.2.2. | Los resultados de las evaluaciones no tienen repercusiones....................... | 44 |
| 4.2.3. | La evaluación no es tenida en cuenta adecuadamente desde el diseño de intervención .................................................................................................... | 46 |
| 4.3. | Fallas en la institucionalización y formalización de las evaluaciones........ | 47 |
| 4.3.1. | Baja capacidad institucional para generar evaluaciones ............................. | 47 |
| 4.3.2. | Limitada cultura de la evaluación en diseño y uso de resultados ............... | 49 |
| 5. | DEFINICIÓN DE LA POLÍTICA ........................................................................ | 52 |
| 5.1. | Objetivo general ................................................................................................. | 52 |
| 5.2. | Objetivos específicos ......................................................................................... | 52 |
| 5.3. | Plan de acción .................................................................................................... | 52 |
| 5.3.1. | Consolidar la oferta de las evaluaciones para generar mayor evidencia sobre el funcionamiento y resultados de las intervenciones públicas ........ | 52 |
| 5.3.2. | Fortalecer la demanda de las evaluaciones que permita su efectivo uso en la toma de decisiones.................................................................................... | 55 |
| 5.3.3. | Promover la cultura y la capacidad para realizar y usar evaluaciones, que permita fortalecer la institucionalidad, mediante la articulación entre la oferta y la demanda......................................................................................... | 57 |
| 5.4. | Seguimiento.......................................................................................................... | 59 |
| 5.5. | Financiamiento .................................................................................................... | 60 |
| 6. | RECOMENDACIONES....................................................................................... | 60 |
| GLOSARIO....................................................................................................................... | 64 | |
| ANEXOS ......................................................................................................................... | 67 | |
| Anexo A. Plan de Acción y Seguimiento (PAS) ........................................................ | 67 | |
| BIBLIOGRAFÍA .............................................................................................................. | 68 | |
ÍNDICE DE TABLAS
| Tabla 1. | Resumen Experiencias Internacionales en evaluaciones........................ | 23 |
| Tabla 2. | Cronograma de seguimiento.......................................................................... | 59 |
| Tabla 3. | Financiamiento................................................................................................. | 60 |
FIGURAS
| Figura 1. | Proceso de las evaluaciones externas........................................................ | 18 |
| Figura 2. | Ciclo de las Políticas Públicas..................................................................... | 28 |
| Figura 3. | Ciclo de evaluación versus ciclo de discusión presupuestal.................. | 45 |
GRÁFICOS
| Gráfico 1. | Valor de procesos adjudicados en Secop II al desarrollo de las evaluaciones (Millones de pesos)........................................................... | 32 |
| Gráfico 2. | Número de evaluaciones solicitadas a la DSEPP versus número de evaluaciones priorizadas 2019-2022................................................. | 33 |
| Gráfico 3. | Número de evaluaciones realizadas por la DSEPP 2002-2022 ....... | 34 |
| Gráfico 4. | Total de artículos académicos que incluyen una evaluación de impacto para el período 1986-2016 y comparación entre países....... | 35 |
| Gráfico 5. | Evaluaciones por sector 2001-2021...................................................... | 36 |
| Gráfico 6. | Evaluaciones por tipo 2001-2021........................................................... | 37 |
| Gráfico 7. | Correlación entre los mecanismos para promover el uso de los resultados y la formalización de la institucionalización de las evaluaciones en países OCDE................................................................ | 41 |
| Gráfico 8. | Número de visitas al contenido de evaluaciones en Sinergi............... | 42 |
| Gráfico 9. | Número de visitas al módulo de evaluación........................................... | 43 |
| Gráfico 10. | Consultas y descargas al catálogo de bases de datos de evaluaciones ANDA................................................................................... | 44 |
| Gráfico 11. | Existe por lo menos una persona que se dedique a realizar analítica de datos ....................................................................................... | 48 |
| Gráfico 12. | Personas dedicadas a la analítica de datos por entidad nacional..... | 49 |
| Gráfico 13. | Reutilización de datos propios para el desarrollo de políticas públicas basadas en evidencia................................................................ | 50 |
| Gráfico 14. | Reutilización de datos compartidos para el desarrollo de políticas públicas basadas en evidencia................................................................ | 50 |
| Gráfico 15. | Tipo de aprovechamiento de datos.......................................................... | 51 |
SIGLAS Y ABREVIACIONES
| 3ie | International Initiative for Impact Evaluation |
| ANDA | Archivo Nacional de Datos |
| BID | Banco Interamericano de Desarrollo |
| CAD | Comité de Administración de Datos |
| Coneval | Consejo Nacional de Evaluación de la Política de Desarrollo Social |
| CONPES | Consejo Nacional de Política Económica y Social |
| DAFP | Departamento Administrativo de la Función Pública |
| DANE | Departamento Administrativo Nacional de Estadística |
| DER | Dirección de Estrategia Regional |
| DEval | German Institute for Development Evaluation |
| DNP | Departamento Nacional de Planeación |
| DPIP | Dirección de Programación de Inversiones Públicas |
| DSEPP | Dirección de Seguimiento y Evaluación de Políticas Públicas |
| EOP | Estatuto Orgánico del Presupuesto |
| GME | Grupo de Modernización del Estado |
| GPOR | Gestión Pública Orientada a Resultados |
| ICBF | Instituto Colombiano de Bienestar Familiar |
| ISO | Organismo Internacional de Estandarización |
| J-PAL | Abdul Latif Jameel Poverty Action Lab |
| M&E | Monitoreo y Evaluación |
| NTCGP | Norma Técnica de Calidad de la Gestión Pública |
| OAP | Oficina Asesora de Planeación |
| OCDE | Organización para la Cooperación y el Desarrollo Económicos |
| ODB | Open Data Barometer |
| ONGs | Organizaciones No Gubernamentales |
| PND | Plan Nacional de Desarrollo |
| PoR | Presupuesto por Resultados |
| Secop | Sistema Electrónico de Contratación Pública |
| SEN | Sistema Nacional Estadístico |
| SGISE | Subdirección General de Inversión, Seguimiento y Evaluación |
| Sinergia | Sistema Nacional de Evaluación de Gestión y Resultados |
1. INTRODUCCIÓN
A pesar de que el Sistema Nacional de Evaluación de Gestión y Resultados (Sinergia), se ha consolidado en Colombia como una de las fuentes de información más relevantes en materia de seguimiento y evaluación de políticas públicas, aún existen retos en el uso de la información derivada de las evaluaciones(1) para la toma decisiones. Actualmente la poca capacidad y cultura de evaluación en las entidades públicas, lleva a un limitado desarrollo de evaluaciones y baja retroalimentación de estas al ciclo de la política pública. Fortalecer la institucionalidad de la evaluación e impulsar el uso de los resultados de las evaluaciones para la toma de decisiones basadas en evidencia en el país, es fundamental para tener una mejor administración pública.
Como lo menciona la Organización para la Cooperación y el Desarrollo Económicos (OCDE) "a pesar del creciente interés por la evaluación y el reconocimiento de su contribución para mejorar el diseño y la implementación de políticas públicas, la evaluación de políticas constituye la relación más débil en el ciclo de política" (OCDE, 2020, p.27)(2). En el ciclo de la política pública es necesario realizar evaluaciones estratégicas, que a través de los resultados y recomendaciones producto de estos procesos, permitan establecer acciones orientadas a mejorar, realizar ajustes o finalizar las intervenciones públicas evaluadas. Asimismo, los resultados y las recomendaciones de las evaluaciones deben ser incluidos en las discusiones presupuestales de tal forma que soporten con evidencia las decisiones en cuanto a la designación de los recursos para la ejecución de las intervenciones públicas futuras.
Desde su creación en 1994, Sinergia hace seguimiento y evaluación de las políticas públicas estratégicas del país, especialmente aquellas contempladas en el Plan Nacional de Desarrollo (PND). En cada una de las etapas de Sinergia(3), se han venido incorporando una serie de medidas que han permitido consolidar la cultura de la evaluación en las entidades del Gobierno nacional y mejorar la calidad de las evaluaciones realizadas. Actualmente el proceso de evaluaciones de políticas públicas se rige por el Decreto 1082 de 2015(4). No obstante, siguen existiendo retos en referencia al uso de los resultados y las recomendaciones de las evaluaciones.
Por lo anterior, el objetivo de esta política es fortalecer la institucionalización de la evaluación en Colombia e impulsar el uso de la información y la evidencia de las evaluaciones para la toma de decisiones. Para esto se establecen tres objetivos de política: (i) consolidar la oferta de las evaluaciones para generar mayor evidencia sobre el funcionamiento y resultados de las intervenciones públicas; (ii) fortalecer la demanda de las evaluaciones que permita su efectivo uso en la toma de decisiones; y (iii) promover la cultura y la capacidad para realizar y usar evaluaciones, que permita fortalecer la institucionalidad mediante la articulación entre la oferta y la demanda.
Este documento consta de seis secciones, incluyendo esta introducción. La siguiente sección contiene los antecedentes y justificación de la política, así como una recopilación de experiencias internacionales. La tercera sección expone el marco conceptual en las que se basan las acciones para promover el uso de la evaluación en el país. La cuarta sección hace un diagnóstico del estado actual de la oferta y la demanda de evaluaciones en el país. La quinta sección presenta los objetivos de la política formulada con este documento, así como su plan de acción, las estrategias de seguimiento y los recursos para su financiación. El documento cierra con el establecimiento de recomendaciones generales al Consejo Nacional de Política Económica y Social (CONPES).
2. ANTECEDENTES Y JUSTIFICACIÓN
2.1. Antecedentes de la evaluación de políticas públicas en Colombia
Este apartado presenta la evolución de las iniciativas de política pública que han contribuido a crear la institucionalidad de la evaluación y promover el uso de sus resultados en Colombia. Desde la creación de Sinergia hasta hoy, se han implementado una serie de acciones que han fortalecido el proceso y garantizan la calidad de las evaluaciones que se realizan año tras año. Las principales acciones se resumen a través de diferentes etapas en las siguientes secciones. Al finalizar la sección se presentan las razones que justifican la necesidad de la política pública propuesta en este documento CONPES.
2.1.1. Años anteriores a 1994
La Constitución Política de 1991 estableció en su artículo 343 la obligación del Estado de diseñar y organizar "...los sistemas de evaluación de gestión y resultados de la administración pública, tanto en lo relacionado con políticas como con proyectos de inversión..." con encargo al organismo de planeación que el Gobierno nacional determine más idóneo. A partir de este momento una serie de documentos normativos se han expedido para reglamentar los procesos de seguimiento y evaluación de políticas públicas que han promovido su consolidación hasta el día de hoy.
El Decreto 2167 de 1992(5), dispuso al Departamento Nacional de Planeación (DNP) como la entidad técnica del Gobierno nacional responsable de definir y ejecutar el marco conceptual y los procesos para la evaluación de los programas incluidos en el PND. Para tal fin, debía crearse un sistema como marco de referencia para la evaluación de intervenciones del Gobierno nacional y de los gobiernos locales, independiente de otros órganos de la estructura de Gobierno. A continuación, se presenta un resumen de las tres etapas de desarrollo que ha tenido el sistema, para concluir con la situación actual.
2.1.2. Primera Etapa (1994 a 2002)
La Ley 152 de 1994(6), en el artículo 29 establece que corresponde al DNP, diseñar y organizar los sistemas de evaluación de gestión y de resultados de la administración, tanto de políticas públicas como de proyectos de inversión, y además señalar los responsables, términos y condiciones para realizar la evaluación. Estos sistemas tendrán en cuenta el cumplimiento de las metas, la cobertura y calidad de los servicios, y los costos unitarios y establecerán los procedimientos y obligaciones para el suministro de la información por parte de las entidades. En el mismo artículo se establece que el DNP entregará en abril de cada año al CONPES un resultado de las evaluaciones que informe la toma de decisiones sobre el plan de inversiones.
El Documento CONPES 2688 de 1994 Evaluación de resultados en el sector público a nivel nacional(7) propuso un esquema para el desarrollo del Sistema Nacional de Evaluación de Gestión de Resultados. Lo anterior se materializó en la Resolución 63 de 1994(8), que crea Sinergia, con el propósito de "introducir una cultura de evaluación al interior de las entidades y con el ob'eto de fortalecer la capacidad gerencial del manejo de la inversión pública". Para desarrollar esta labor se diseñaron dos módulos, el primero, dedicado a la autoevaluación de las entidades en temas de gestión y resultados de la ejecución de las intervenciones públicas, y el segundo, a la evaluación de estas por parte de los ministerios correspondientes junto con el DNP. Durante 1994 se hizo un piloto de autoevaluación y en 1995 se puso en funcionamiento el sistema.
En ese mismo año, la Consejería para la Modernización del Estado y la División Especial de Evaluación del DNP, actual Dirección de Seguimiento y Evaluación de Políticas Públicas (DSEPP), lideraron la elaboración del Documento CONPES 2790 de 1995 Gestión pública orientada a resultados(9) (GPOR). El documento reafirma la necesidad de: (i) mejorar la capacidad institucional a través de herramientas como la planeación estratégica, el desarrollo de un marco multianual para que las decisiones se tomen a la luz de objetivos de mediano plazo, la asignación de recursos de manera consciente con dicho marco, la especificación de resultados de gestión esperados en términos de metas, y la evaluación de la efectividad de los programas; (ii) fortalecer el manejo presupuestal, dar más importancia a la composición y eficiencia del gasto; y (iii) exigir resultados, la autonomía administrativa y presupuestal requiere mayor exigencia en el logro y reporte de resultados en áreas estratégicas (DNP, 1995). Este documento además estableció diferentes instrumentos para la medición de resultados de las estrategias y programas delineados en los PND. También, profundizó en la nueva relación Estado-ciudadanía, a partir del fortalecimiento de dos aspectos de la administración estatal: capacidad institucional de los organismos y entidades gubernamentales y, la gestión integral con participación ciudadana.
Como resultado del Documento CONPES 2790, se crean los planes indicativos cuatrienales con planes de acción anuales, como herramientas estratégicas que inician la tarea de seguimiento y evaluación a los compromisos plasmados en el PND 19941998 y fueron aplicados en 12 entidades a nivel nacional. Estos planes indicativos se desarrollaron planteando áreas estratégicas, resultados y responsables. Además, se conformaron también Unidades de Gestión, que debían concertar los objetivos y los programas del PND, garantizar una adecuada articulación entre diferentes organismos del Estado y monitorear compromisos a través de los acuerdos de eficiencia.
El Documento CONPES 3002 de 1997 El Salto Social: informe de avance del Plan Nacional de Desarrollo 1997(10) refinó estas herramientas de gestión a través de los Acuerdos de Eficiencia, que buscaban tener mayor claridad sobre los recursos presupuestales, fijar prioridades de gasto y cumplir con los compromisos previstos. Las entidades públicas con compromisos asociados al PND llevaron a cabo ejercicios de planeación, seguimiento y evaluación en el marco de Sinergia, que promovió la formulación de objetivos, indicadores y metas mucho más rigurosas (DNP, 1997).
La falta de claridad en las competencias y responsabilidades que debían asumir las entidades y la crisis fiscal con la que terminó el siglo XX afectó las iniciativas de seguimiento y evaluación de políticas públicas en el país. Aunque en la década de los 90's se desarrollaron acciones como la elaboración de planes indicativos cuatrienales, la creación de Unidades de Gestión para concertar y alinear objetivos con PND y los Acuerdos de Eficiencia, relacionadas con resultados, responsabilidades y asignación de recursos, estas no fueron suficientes.
A comienzos de la década del 2000, los procesos de seguimiento y evaluación toman más fuerza e importancia para la toma de decisiones de política pública. En el año 2002, con el Documento CONPES 3188 de 2002 Evaluación de impacto de programas sociales(11), se institucionaliza la evaluación de impacto como instrumento de apoyo en la toma de decisiones de programación y asignación del gasto social, así como en el diseño y formulación de políticas y programas (DNP, 2002). La institucionalización implicó la definición de un esquema operativo básico, donde el DNP identificaría de manera concertada con las instituciones del sector, los programas objeto de evaluación y sometería a consideración del CONPES aquellos priorizados. También se identificaron programas estratégicos a ser evaluados durante una primera fase (del Instituto Colombiano de Bienestar Familiar (ICBF) y el Servicio Nacional de Aprendizaje). Si bien el documento menciona que el DNP sería el responsable de difundir y generar espacios de discusión con las diferentes instituciones públicas y privadas, la población beneficiaria de los programas evaluados, y la ciudadanía en general, no profundiza en el uso de los resultados de las evaluaciones.
La Directiva Presidencial 10 de 2002 y el PND 2002-2006 Hacía un Estado Comunitario para todos propusieron llevar a cabo una reforma para orientar la gestión pública hacía el logro de resultados, a través del fortalecimiento e institucionalización del seguimiento, la evaluación y la rendición de cuentas de las políticas y programas del Gobierno nacional. Lo anterior como una práctica permanente del Estado para contribuir a mejorar la eficacia y el impacto de las políticas, programas e instituciones públicas, la eficiencia y transparencia en la programación y asignación de los recursos, y estimular la transparencia en la gestión pública, teniendo en cuenta a la ciudadanía.
Esta etapa contó con la descentralización de poderes del Estado, la transición hacía una Nueva Gestión Pública y posteriormente a la GPOR. También, se dieron las primeras experiencias en la construcción de planes indicativos cuatrienales y en materia de evaluación, que incluyeron evaluaciones de resultados y procesos relacionados con políticas y programas incluidos en los planes de desarrollo, enfocados en la eficiencia y eficacia de la administración pública, y los procesos de formulación y ejecución.
2.1.3. Segunda Etapa (2002 hasta 2009)
El Documento CONPES 3294 de 2004 Renovación de la Administración Pública: Gestión por Resultados y Reforma del Sistema Nacional de Evaluación(12), identifica una serie de problemas asociados a Sinergia, debido a la falta de: claridad entre seguimiento y evaluación, incentivos para la demanda de evaluaciones, recursos, mecanismos de difusión y capacidad para hacer evaluaciones. Se establece la carencia de un único marco conceptual y su alcance, la ausencia de instancias, vínculos y competencias de las entidades que lo conforman, las fallas en la articulación entre los procesos de planeación, presupuestación y evaluación, y la falta de calidad y oportunidad en la información (DNP, 2004). En ese sentido, este documento propone una reforma a Sinergia. Para el caso de seguimiento a resultados, los PND debían establecer metas e indicadores de resultado, consistentes con las asignaciones presupuestales, definidos con cada ministerio y sometidos a aprobación del CONPES. Dichos indicadores se debían incluir en el sistema, y a través de estos se realizaba seguimiento a la evolución de los sectores en el mediano y largo plazo. En cuanto a las evaluaciones, se puso en marcha el componente evaluaciones focalizadas para realizar valoraciones exhaustivas y sistemáticas de las principales intervenciones del Estado para determinar sus efectos, así como para establecer su relevancia, eficiencia, eficacia, impacto y sostenibilidad. Con este componente se buscaba obtener evidencia que permitiera mejorar las decisiones de política dirigidas a modificar un programa, una institución existente o diseñar una nueva política pública.
El PND 2006-2010 Estado Comunitario: Desarrollo para todos incluyó un anexo de metas que le dio fortaleza política a Sinergia. Además, con la Ley 1151 de 2007(13), se oficializa la creación del Comité Intersectorial de Evaluación de Gestión y Resultados (art. 132), como una instancia para establecer las prioridades de evaluación de programas (definir una agenda de evaluaciones para el cuatrienio la cual era sometida a aprobación del CONPES), aprobar metodologías y su alcance, y considerar los resultados para contribuir a mejorar los procesos de formulación de políticas. Para garantizar que las evaluaciones correspondieran a las necesidades de información para la toma de decisiones de política y presupuestal, formaban parte de este Comité el Ministerio de Hacienda y Crédito Público, el DNP, la Presidencia de la República y las cabezas sectoriales de los programas a evaluar. Para obtener los recursos de las evaluaciones se incluía una normativa en el Estatuto Orgánico del Presupuesto (EOP) que garantizaba dicho financiamiento, provenientes de los recursos asociados para cada programa. Sin embargo, y a pesar de los resultados alcanzados en referencia a diferentes temas sectoriales de evaluaciones y la participación de ministerios y entidades en el proceso de discusión y definición de temas y metodologías, el artículo fue derogado lo que eliminó este Comité.
El Documento CONPES 3515 de 2008(14) emite concepto favorable para contratar un empréstito externo con la Banca Multilateral para fortalecer la información pública, el seguimiento y la evaluación, para la gestión por resultados en el país. Estaba destinado a mejorar la eficiencia y la eficacia en el uso de los recursos públicos, y garantizar la vinculación de las etapas que conforman el ciclo de la política pública: planeación, presupuestación, ejecución, seguimiento y evaluación (DNP, 2008). Como resultado se rediseñaron los componentes de seguimiento y evaluación en Sinergia, se incorporó el concepto de presupuesto de inversión por resultados, la agenda anual y cuatrienal de evaluaciones, los informes al Congreso, nuevos métodos de rendición de cuentas, y la redefinición de arreglos institucionales para el funcionamiento del sistema. Este proceso, promovió el posicionamiento del sistema a través de una visión integral de la manera como las entidades y los diferentes actores contribuyen a la consecución de los compromisos sectoriales adquiridos por el Gobierno nacional y a las políticas transversales del PND.
Durante esta etapa se consolidó institucionalmente Sinergia y se lograron avances significativos en la diferenciación entre los componentes de seguimiento y evaluación de las políticas públicas. También se fortalece la capacidad técnica, gracias a asesorías y cursos de capacitación, además de la participación de Sinergia en la Red de Monitoreo, Seguimiento y Evaluación, liderada por el Banco Interamericano de Desarrollo y el Banco Mundial. Se crea la agenda anual de evaluaciones y se inician los concursos de méritos para la contratación de entidades ejecutoras de las evaluaciones y la estandarización de las metodologías y tipos de evaluación (institucionales, procesos, resultados e impacto).
2.1.4. Tercera Etapa (2010 hasta 2017)
La Ley 1450 de 2011, mediante la cual se expidió el PND 2010-2014 Prosperidad para todos, le dio a Sinergia un papel protagónico para la toma de decisiones basadas en evidencia. El artículo 228 estableció que el seguimiento del PND y la evaluación de las políticas públicas se realizaría a través del Sinergia, en aras de alcanzar los objetivos del PND y valorar las intervenciones del Estado "...para los procesos de diseño y ajuste de las políticas y de la asignación de recursos públicos".
Adicionalmente, el Decreto 1082 de 2015(15) del Sector Administrativo de Planeación Nacional compila el Decreto 1290 de 2014(16), presenta a Sinergia como un sistema de información de calidad para la toma de decisiones. Con esto se establece que Sinergia permite mejorar la efectividad de la formulación y ejecución de las políticas del PND, a través de los procesos de seguimiento a sus avances y los principales programas de gobierno, como la evaluación de las políticas e intervenciones estratégicas.
Frente a las decisiones de presupuesto, el Decreto 1068 de 2015(17), en su artículo 2.8.1.3.3., establece que, en los Comités Sectoriales de Presupuesto, se consultará las evaluaciones realizadas por el Ministerio de Hacienda y Crédito Público y el DNP. Se buscaba con esto que los resultados y las recomendaciones de las evaluaciones contribuyeran a los procesos de discusión y decisión de los recursos a priorizar en cada presupuesto a programas y políticas públicas. Sin embargo, esto no se ha hecho en la práctica.
El Decreto 2189 de 2017(18) estableció las funciones de la DSEPP. En cuanto a evaluaciones, se enfatizó en tres responsabilidades fundamentales que, entre otras son:
(i) establecer el tipo de evaluación, los cronogramas de ejecución y de resultados de las evaluaciones focalizadas, las fuentes de financiamiento y el marco institucional en el que se desarrollarán, las políticas, programas y proyectos definidos como prioritarios; (ii) brindar apoyo técnico en materia de seguimiento a resultados, vinculación de los procesos de planeación, presupuestación, evaluación y mejoramiento de las prácticas gerenciales en las entidades y organismos de la Administración Pública; y (iii) desarrollar, desde el punto de vista conceptual, las herramientas, instrumentos y metodologías de seguimiento y evaluación que permitan orientar la gestión pública al logro de resultados
En este periodo se destacan avances en cuanto a la especialización del grupo de evaluaciones (inclusión de un estadístico y líderes temáticos para el diseño y supervisión de las evaluaciones), y la estandarización de los procesos de diseño, desarrollo y socialización de las evaluaciones de Sinergia, en el marco del Sistema de Gestión de Calidad bajo las normas ISO(19) 9001: 2008 y NTCGP(20) 1000: 2009. Lo anterior define las etapas y criterios técnicos mínimos requeridos para la ejecución de las evaluaciones. También se crea un Plan de Transferencia e Implementación de Recomendaciones, para el uso de las recomendaciones que resultan de las evaluaciones por parte de las entidades ejecutoras de los programas e intervenciones, el cual se revisa y valida con las Direcciones Técnicas (DT) del DNP para su implementación.
2.1.5. Situación actual
Dado lo anterior, se evidencia que desde 2017 hasta la actualidad el proceso de evaluaciones de políticas públicas se ha caracterizado por el aumento de la capacidad técnica y la apropiación de metodologías de evaluación, que ha estado acompañado por alianzas con entidades como el International Initiative for Impact Evaluation (3ie), la Fundación Internacional y para Iberoamérica de Administración y Políticas Públicas (FIAPP), el German Institute for Development Evaluation (DEval) y ONU Mujeres(21), entre otros. Se ha integrado una perspectiva metodológica de métodos mixtos, usando enfoques cuantitativo y cualitativo y que propende por la triangulación de información proveniente de ambos enfoques. En este sentido, que se ha fortalecido el enfoque cualitativo integrando metodologías e instrumentos para la recolección de información cualitativa como cartografía social, estudios de caso y observaciones etnográficas, bajo la orientación y la experiencia de asesores cualitativos, para fortalecer y complementar los análisis y resultados de la evaluación. Con el apoyo de ONU Mujeres, se capacitó a los líderes de evaluaciones y se elaboró una guía con lineamientos para la inclusión del enfoque de género en las evaluaciones. Asimismo, se ha fortalecido el uso de información secundaria y la capacidad interna del equipo para realizar evaluaciones con el acompañamiento de aliados como el 3ie(22), lo que ha contribuido a ser más eficientes en el uso de los recursos y a mejorar las evaluaciones en Colombia.
El desarrollo de una evaluación, desde la selección de la intervención a ser evaluada, hasta que se finaliza, toma alrededor de un año y medio. El proceso de la agenda anual de evaluaciones comienza con la solicitud de requerimientos de evaluación a las cabezas de sector a través de las Oficinas Asesoras de Planeación (OAP) y a las DT del DNP en noviembre de la vigencia anterior. Una vez se han recibido las solicitudes, comienza un proceso de depuración de las intervenciones que serán objeto de evaluación. La selección de las evaluaciones se realiza teniendo en cuenta los siguientes criterios: intervenciones estratégicas, oportunidad y factibilidad de la evaluación. La agenda también puede incluir evaluaciones que hayan sido establecidas en leyes, en documentos CONPES y en el PND.
Una vez aprobada la agenda por la dirección del DNP, se conforma el comité de diseño para delinear cómo se llevará a cabo la evaluación y definir el alcance de esta. En el segundo semestre comienza el proceso de contratación, para aquellas evaluaciones en donde se definió que se contrataría a un equipo consultor, e inicia la ejecución de las evaluaciones. Una vez finaliza la evaluación, a mediados de la siguiente vigencia, se comienza el proceso de socialización de los resultados y recomendaciones de las evaluaciones, presentándolos a los actores relevantes, enviando los informes de resultado a las DT del DNP y publicándolos en la página de Sinergia. Es importante mencionar, que para las evaluaciones externas se cuenta con herramientas de difusión, como son los vídeos, las infografías, resúmenes ejecutivos y presentaciones, que buscan facilitar el proceso de socialización.
Actualmente, el ecosistema de evaluación en el país se compone de diferentes actores y relaciones (ver Figura 1) como se presenta a continuación. La DSEPP tiene el mandato legal(23) de realizar las evaluaciones de políticas públicas a nivel nacional. Para llevar a cabo este proceso, se relaciona con las diferentes DT del DNP y con las entidades cabezas de sector del orden nacional. Se espera que el resultado de las evaluaciones sea usado por estos actores y también por la ciudadanía en general.
De manera complementaria, en el desarrollo de sus funciones, algunas entidades públicas del orden nacional realizan evaluaciones de sus intervenciones, en algunas ocasiones solicitando acompañamiento técnico a la DSEPP del DNP, que posteriormente harán parte del repositorio de evaluaciones de la entidad y que permiten hacer más eficientes los recursos asignados a las evaluaciones. Este ecosistema incluye también a la Banca Multilateral, que realiza evaluaciones sobre sus operaciones de crédito en el país y apoya, a través de recursos técnicos y financieros, la realización de evaluaciones en Colombia, acción similar a las que adelantan los organismos de cooperación internacional en el país.
La academia y los centros de pensamiento son también un aliado clave para realizar evaluaciones de las intervenciones públicas por iniciativa propia o en equipo con alguna firma consultora. En el ecosistema también se encuentran las Organizaciones No Gubernamentales (ONG) que desarrollan evaluaciones de diferente índole. Las firmas de consultoría o consultores independientes son actores importantes, quienes llevan a cabo varios de los procesos de evaluaciones que se quieren realizar desde el sector público y privado.
En este ecosistema también participan los entes de control quienes solicitan evaluaciones y resultados de estas para sus propios procesos, así como el Congreso de la República, que viene incluyendo en sus proyectos de ley el requerimiento para realizar evaluaciones para determinadas políticas y, por último, la ciudadanía que a través de las evaluaciones conoce los resultados de las intervenciones del Gobierno nacional. También sociedad civil organizada puede promover la implementación y usos de evaluaciones(24).
Figura 1. Proceso de las evaluaciones externas
Nota: las evaluaciones internas presentan las mismas etapas del proceso que las evaluaciones externas con excepción de la etapa de contratación.
Fuente: DSEPP (2021).
Finalmente, el Decreto 1893 de 2021(25) creó la Subdirección General de Inversiones, Seguimiento y Evaluación (SGISE) del DNP, con el fin de generar la articulación entre la inversión, el seguimiento y la evaluación. En el numeral 5 del artículo 63 del referido decreto, se establece como función de la DSEPP "Apoyar los procesos de elaboración del presupuesto, mediante los informes de seguimiento y evaluación que permitan priorizar las políticas públicas, planes, programas y proyectos a ser financiados".
2,1.6. Resumen
Las capacidades institucionales de las entidades públicas inciden favorablemente en la calidad de las políticas públicas. Estas capacidades contribuyen a hacer políticas más estables, con mejor implementación y reduciendo riesgos de captura de rentas en la ejecución de recursos públicos (Santiso & Dayton-Johnson, 2012;
Punton, 2016). En ese mismo sentido, fortalecer la institucionalidad de la evaluación promueve su implementación y su uso (OCDE, 2020). Colombia, a través de la DSEPP del DNP ha construido una institucionalidad para la evaluación a través de normas, políticas y un proceso para realizar evaluaciones que le han permitido posicionarse como un referente en el tema.
Las evaluaciones han alcanzado niveles de especialización y tecnicismo con el paso del tiempo. En el país se han realizado evaluaciones para programas y políticas de diferentes sectores del Gobierno nacional, que incluyen recolección de información cuantitativa y cualitativa, nuevas metodologías de análisis y diferentes mecanismos de financiación y apoyo técnico, lo cual le ha permitido al DNP responder a la demanda por más evaluaciones, resultados y recomendaciones para la toma de decisiones. A partir de esta experiencia, entidades como el ICBF y Prosperidad Social realizan evaluaciones externas, y el Ministerio de Salud y Protección Social desarrollan evaluaciones internas, fortaleciendo la cultura de la evaluación en Colombia.
Además de garantizar el rigor técnico y la calidad de la evaluación, el proceso también se ha enfocado en la socialización y uso de resultados, incluyendo herramientas como ficha técnica, resumen ejecutivo, video e infografías que faciliten el proceso de difusión de los resultados para los tomadores de decisiones. De manera complementaria, algunas de las evaluaciones se han presentado en espacios técnicos con entidades del Gobierno nacional, universidades, centros de pensamiento y organismos multilaterales para dar a conocer los principales resultados y recomendaciones, promoviendo su uso y apropiación.
Las evaluaciones son cada vez más frecuentes. Anualmente se reciben cerca de 100 solicitudes de evaluación, además de aquellas que son requeridas en los Planes de Desarrollo y en los documentos CONPES, de las cuales se ejecutan en promedio 13 evaluaciones por año.
A pesar de la respuesta dada por el DNP, siguen siendo necesarias más evaluaciones, en un periodo de tiempo más corto, bajo diferentes esquemas de ejecución (a través de terceros por concurso de méritos, con el equipo interno, en alianza con universidades, ONG's o investigadores o con organismos multilaterales), que promuevan el uso y fortalecimiento de la información de carácter administrativo de la intervención.
Asimismo, es necesario promover el uso de las evaluaciones realizadas, garantizar la implementación de las recomendaciones de las evaluaciones, acompañado de un proceso de seguimiento de tal forma que se realicen los ajustes necesarios en el diseño y ejecución del programa o política pública evaluada.
Llevar a cabo estas acciones contribuirá a fortalecer la institucionalidad de la evaluación en Colombia, a que en cada vigencia se realicen más y mejores evaluaciones, por diferentes entidades del Gobierno bajo los lineamientos del DNP, garantizando el componente técnico y la calidad en cada proceso, de tal forma que los resultados y las recomendaciones retroalimenten el ciclo de la política pública y sean efectivas en el logro de los objetivos planteados y el propósito por el cual fueron diseñadas y ejecutadas. Llevará a que los procesos de evaluación no se conciban como auditorías, si no como procesos técnicos para ser un Estado más eficiente y eficaz en el uso de recursos.
2.2. Experiencias internacionales
Diferentes países han adoptado diversas estrategias para crear la institucionalidad de la evaluación y promover su uso para tomar decisiones basadas en evidencia que permitan diseñar, ajustar e implementar políticas, mejorar la asignación de los recursos y fortalecer el proceso de rendición de cuentas. De forma general, de acuerdo con la OCDE (2020), los países muestran un compromiso fuerte con la evaluación de políticas, sin embargo, implementarla todavía es un reto para muchos. En la Tabla 1 se presenta un resumen sobre las experiencias internacionales en la institucionalización de la evaluación y el uso de sus resultados para la toma de decisiones.
En el Reino Unido, Canadá y Estados Unidos son las oficinas del tesoro y de presupuesto quienes dan los lineamientos para realizar las evaluaciones que son desarrolladas por cada una de las entidades responsables de las políticas y programas. Estas evaluaciones buscan que los gobiernos cuenten con evidencia para la toma de decisiones, además de tener políticas y programas públicos efectivos con base en los resultados de estos procesos. Complementario al uso de las evaluaciones, el Reino Unido cuenta también con una red de centros independientes que apuestan por la necesidad de producir, compartir y usar evidencia de alta calidad para la toma de decisiones por parte del gobierno y las entidades públicas.
En México a través de Ley de Presupuesto Federal de 2001, se determinó que todos los programas federales sociales debían contar con evaluaciones externas anuales, lo que tuvo varios efectos. En primer lugar, lo dispuesto en esta ley llevó a la obligación de realizar evaluaciones para generar evidencia sobre los programas sociales, proporcionando información para mejorar el diseño o implementación de los programas evaluados, mejorar el proceso de toma de decisiones y fortalecer el proceso de rendición de cuentas. En segundo lugar, con el propósito de cumplir con lo contemplado en esta ley, se propició la creación de unidades de evaluación al interior de los ministerios, lo que con el tiempo fue generando un cambio de cultura en materia de evaluación y un fortalecimiento de las capacidades técnicas de estos equipos.
Adicionalmente, en 2005, con la Ley General de Desarrollo Social, se dio continuidad a la obligación de que se evaluaran externa y anualmente los programas sociales y se creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), que tiene dentro de sus funciones principales normar y coordinar la evaluación de la Política Nacional de Desarrollo Social y las políticas, programas y acciones que ejecuten las dependencias públicas. Con la creación de Coneval, México logró construir un marco institucional sólido capaz de impulsar la realización de las evaluaciones bajo criterios de calidad y favoreciendo el uso de estas.
Para el caso de Chile, Costa Rica y Brasil, quienes están encargados de las evaluaciones están dentro de las entidades responsables de planeación o presupuesto con el objeto de contar con evidencia para la toma de decisiones, hacer más eficiente el uso de los recursos y mejorar la gestión pública. En Chile, es la Dirección de Presupuestos del Ministerio de Hacienda, la encargada de realizar las evaluaciones y en esas evaluaciones emite una calificación de desempeño para la intervención evaluada. En Costa Rica, el Ministerio de Planificación Nacional y Política Económica, cuenta con el Sistema Nacional de Evaluación y, en Brasil, es el Ministerio de Planeación, Presupuesto y Gestión y su Secretaría de Planeación e Inversiones Estratégicas, la responsable del Sistema de Monitoreo y Evaluación. En Suráfrica quien prioriza y lleva a cabo las evaluaciones es el Departamento de Planeación, Monitoreo y Evaluación, para que las decisiones importantes se tomen a partir de evidencia actual, relevante, correcta y completa.
En cuanto al uso de la evidencia resultante de las evaluaciones, los países han adoptado diferentes medidas orientadas a promover el uso de las evaluaciones. México y Canadá que han incorporado la evaluación desde el diseño de las intervenciones. México, además de realizar evaluaciones ex post de los programas sociales implementados para proveer evidencia en diferentes momentos de la implementación, también ha dispuesto hacer evaluaciones de diseño a todos los programas nuevos, con el propósito de identificar si estos han sido bien diseñados y cumplirán con los objetivos propuestos. En Canadá, por ejemplo, todos los programas financiados con recursos públicos deben ser evaluados cada cinco años.
Otras de las medidas adoptadas para fomentar el uso de las evaluaciones consisten en entregar los resultados y recomendaciones a las entidades responsables de los programas y políticas para que estas elijan cuales serán implementadas. En el caso de Costa Rica la institución encargada de la intervención formula un Plan de Acción, que define pasos, actividades y recursos necesarios para adoptar las recomendaciones de las evaluaciones, además hace seguimiento a su cumplimiento.
En México los evaluadores presentan a los responsables de ejecutar el programa las recomendaciones y estos deciden cuales acogen. Posteriormente, se construye el Mecanismo de Seguimiento de Aspectos Susceptibles de Mejora, que posibilita el seguimiento de las recomendaciones de las evaluaciones. Este Plan se hace público y el seguimiento a su cumplimiento lo realiza Coneval. México cuenta también con un indicador que mide el uso de las evaluaciones, para monitorear periódicamente si la evidencia generada se está utilizando; la fuente de información más importante de este indicador es el Mecanismo de Seguimiento de Aspectos Susceptibles de Mejora.
Además, México incorporó un esquema de reconocimientos públicos que se entrega a las instituciones que han producido y usado la evidencia de las evaluaciones para mejorar las políticas públicas. Con esto se logra no solo impulsar el desarrollo de evaluaciones bajo criterios de calidad, sino también promover el uso de la evidencia generada.
La evidencia generada por las evaluaciones se vincula al ciclo presupuestal para optimizar la asignación de los recursos públicos. En Estados Unidos, las agencias son responsables de generar evidencia interna y cada año deben entregar un informe de evaluaciones a la Office of Management and Budget con el propósito de incluir evidencia al momento de solicitar presupuesto. En el caso de Canadá, los recursos se asignan en función de los resultados de las evaluaciones y se presentan al Ministerio de Hacienda, al Parlamento y a la ciudadanía. En ese sentido, cada cinco años se evalúan todos los programas que son financiados y no se renueva la financiación para aquellos programas que no dan los resultados esperados o son ineficientes. En Chile, los resultados de estas evaluaciones son enviados a la Comisión Especial Mixta de Presupuestos para ser considerados dentro del proceso de discusión presupuestaria. En Brasil, las evaluaciones alimentan la discusión del Plan Plurianual de Inversiones del país.
A través de esta revisión se identificaron diferentes instrumentos e instancias que han contribuido a institucionalizar la evaluación. Además, los países han puesto en marcha una serie de herramientas que incentivan el uso de los resultados para la toma de decisiones basadas en evidencia y la apropiación de las recomendaciones en los programas, políticas e intervenciones públicas para mejorar su ejecución y lograr mejores resultados. Lo anterior, son insumos claves para fortalecer la institucionalidad y promover el uso de la evaluación en Colombia.
Tabla 1. Resumen Experiencias Internacionales en evaluaciones
Fuente: Elaboración propia basado en Pérez & Maldonado (2015), HM Treasury (2020), What Works Network (2018), Congress USA (2020), Prime Minister's Office (2020), Ministry for Foreign Affairs of Finland (2018), (Pérez et al., 2015), Dirección de Presupuestos del Ministerio de Hacienda de Chile (2019), Darville et al. (2019), Stewart et al. (2019), Department of Planning, Monitoring & Evaluation, Republic of South Africa (2019), Ministério do Planejamento, Desenvolvimiento e Gestáo; Ministério da Fazenda; Ministério da Transparencia e Controladoria-Geral da Uniáo (2018) y Ministerio de Planificación Nacional y Política Económica (2017).
2.3. Justificación
Colombia cuenta con una institucionalidad (normativa y política) que ha facilitado la realización de evaluaciones, sin embargo, su uso para la toma decisiones sigue siendo limitado y hace débil este eslabón del ciclo de la política pública (Manning et al., 2020; OCDE, 2020). En cada una de las etapas de Sinergia, se han venido incorporando una serie de medidas que han permitido consolidar la cultura de la evaluación en las entidades del Gobierno nacional y mejorar la calidad de las evaluaciones realizadas, incorporando nuevas metodologías de análisis de la información. No obstante, siguen existiendo retos en referencia al desarrollo de evaluaciones, al uso de los resultados y las recomendaciones para retroalimentar el ciclo de la política pública, y a la baja capacidad y cultura de evaluación en las entidades públicas.
Con el fin de hacer frente a esta problemática, a través del presente documento CONPES se propone fortalecer la institucionalidad de la evaluación en Colombia e impulsar el uso de las evaluaciones para tomar decisiones.
3. MARCO CONCEPTUAL
Para poder entender la importancia de la evaluación de política pública, es fundamental tener claro qué se entiende por ella. De acuerdo con la OCDE (2002), la evaluación es una
(...) apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, puesta en práctica y sus resultados; para determinar la pertinencia, el logro de objetivos, eficiencia, eficacia, impacto y sostenibilidad. Las evaluaciones proporcionan información creíble y útil, para incorporar las lecciones en el proceso de toma de decisiones.
El ciclo de la política pública establece que en un primer momento se planea y diseña, después se presupuesta y realiza la asignación de recursos de inversión pública, que dan paso a la implementación de los planes, programas y proyectos, acompañado de procesos de seguimiento, para finalizar con evaluaciones estratégicas que permitan cerrar el ciclo, retroalimentarlo y comenzar de nuevo. Sin embargo, en este ciclo hay pasos intermedios en los cuales las evaluaciones y la evidencia son claves. Primero cuando se está diseñando la política pública, donde es relevante acudir a evaluaciones previas de intervenciones similares o evidencia concreta de qué políticas públicas han o no servido para resolver un problema similar. Segundo con evaluaciones de las intervenciones, que permiten retroalimentar el desempeño de la intervención. De esta forma, las evaluaciones alimentan el análisis de política pública.
Figura 2. Ciclo de las Políticas Públicas
Fuente: DSEPP (2010)
Las definiciones de evaluación cuentan con tres características comunes: atributos de calidad, momento en el que se realizan y quién las realiza (OCDE, 2020). La calidad de las evaluaciones depende tanto de su rigor metodológico, como de su independencia; para esto las evaluaciones deben ser sistemáticas, rigurosas y objetivas. El momento en el que se realizan las evaluaciones es importante; las evaluaciones ex post se refieren a evaluaciones retrospectivas que pueden ser en un punto intermedio de la intervención, al final o mucho tiempo después de finalizada la ejecución, por su parte, las evaluaciones ex ante se realizan antes de comenzar la ejecución de la intervención y muestran si la estrategia y los objetivos propuesto son relevantes y coherentes con la necesidad identificada o con el diagnóstico. Por último, está quien realiza la evaluación, las evaluaciones externas se refieren aquellas realizadas por agentes externos al gobierno y las evaluaciones internas son aquellas realizadas por los equipos técnicos de las diferentes oficinas del gobierno.
Las evaluaciones de políticas públicas tienen entonces como fin último una mayor y mejor compresión de las intervenciones, obteniendo evidencia para su mejoramiento e información veraz sobre el curso de la política pública para la ciudadanía. Para alcanzar este objetivo, las evaluaciones deben contar con sólidas herramientas metodológicas y técnicas, tomando en cuenta múltiples enfoques disciplinarios, que permitan producir recomendaciones basadas en los resultados y conclusiones. Por lo tanto, las evaluaciones ayudan a responder preguntas esenciales sobre pertinencia, coherencia, sostenibilidad efectividad y eficiencia del programa, preguntas que complementan la medición y el monitoreo del desempeño, las estadísticas descriptivas y el análisis simple de los datos del programa. De esta manera, las evaluaciones permiten responder a las preguntas de si ¿funcionó el programa?, ¿a través de cuáles mecanismos?, ¿en qué condiciones? y si estos resultados hubiesen ocurrido independientemente del programa o si la intervención del programa realmente hizo la diferencia (OCDE, 2020).
De acuerdo con Chelimsky (2006), la información de las evaluaciones tiene como propósito: mejorar las intervenciones, rendir cuentas a los ciudadanos, generar conocimiento y mejorar la capacidad de los ejecutores. En ese sentido, Cousins & Leithwood (1986) observan que el uso de las evaluaciones esta correlacionado con un mejor enfoque metodológico, cuando los hallazgos de las evaluaciones son consistentes con las creencias y expectativas de los usuarios, cuando los usuarios están involucrados en el proceso de la evaluación y hay un entendimiento sobre los aportes de la evaluación, y cuando los usuarios consideran que la información de la evaluación es relevante para resolver los problemas. Los tipos de uso de las evaluaciones en la literatura se dividen en (Ledermann, 2012):
1. Conceptual: influye en el pensamiento o actitud de un diseñador de políticas sobre un tema, poniendo a su disposición información para su posible uso.
2. Instrumental: hay un cambio específico del programa como resultado del uso de la evaluación y sus resultados.
3. Persuasivo: consiste en el uso para aumentar la contundencia de un argumento con la intención de convencer a otros. Rendición de cuentas.
Para el tratamiento de la institucionalización y uso de la evaluación es útil contar con un marco conceptual basado en la demanda y oferta. Por un lado, la demanda latente (implícita), potencial (explícita, pero sin fondos) y efectiva (explícita y con fondos) y, por otro lado, la oferta potencial (recursos humanos o financieros disponibles para realizar evaluaciones pero que no son utilizados con ese fin) y oferta efectiva (las evaluaciones realizadas).
Para el caso de Colombia, tanto la demanda como la oferta de evaluaciones ha venido en aumento durante los últimos 10 años lo que ha fortalecido la institucionalidad. Del lado de la oferta esta es efectiva gracias a la definición y ejecución de la agenda anual de evaluaciones bajo la responsabilidad del DNP. Del lado de la demanda, puede considerarse latente, toda vez que existe una solicitud para realizar evaluaciones por parte de las entidades del Gobierno nacional. En ocasiones, es posible que se presente una demanda potencial (explicita, pero sin recursos), donde algunas entidades del Gobierno nacional han encontrado mecanismos para el financiamiento y la realización de las evaluaciones que son solicitadas, haciéndola efectiva.
La institucionalización se entiende como un proceso para incorporar las prácticas de evaluación en aproximaciones más sistemáticas y formales (Gaarder & Briceño, 2010; Lázaro, 2015), que promoverá la implementación y el uso efectivo de la evaluación. Además, proporciona incentivos para asegurar que las evaluaciones se lleven a cabo de manera eficaz. Por ejemplo, Mackay (2007) describe incentivos para quienes realizan evaluaciones y utilizan los resultados, sanciones para entidades que no tomen en serio la evaluación, y promoción y respaldo a la importancia de las evaluaciones. Contar con una institucionalidad contribuye a mejorar la comparabilidad y coherencia de los resultados, las instituciones y las disciplinas a lo largo del tiempo.
Colombia cuenta con un marco legal y una entidad responsable de orientar el proceso de evaluaciones en el país que, a pesar del posicionamiento y resultados alcanzados, debe continuar fortaleciéndose. Otros elementos que son tenidos en cuenta para la institucionalización de la evaluación son una mayor demanda de los ciudadanos por un mejor desempeño del sector público, transparencia y mejores servicios. La institucionalidad puede adoptar diferentes formas y niveles de solidez.
El uso de los resultados de las evaluaciones promueve los principios de transparencia y rendición de cuentas, además puede proteger las intervenciones en el tiempo, de las decisiones sujetas a los ciclos de política. También permite determinar y aumentar la relevancia, eficacia, eficiencia y coherencia de las políticas públicas, y la sostenibilidad de sus resultados. Finalmente, puede contribuir a la comparabilidad y consistencia de los resultados a través del tiempo, instituciones y disciplinas.
A pesar de los avances en materia de institucionalidad de la evaluación en Colombia, el uso de los resultados y las recomendaciones sigue sin alcanzar el nivel deseado, que permita fortalecer este eslabón en el ciclo de la política pública y tomar decisiones basadas en evidencia. Por ejemplo, a nivel de resultados de las evaluaciones se surte un proceso de socialización de estos con los responsables de los programas y las políticas evaluadas, pero más allá de esa socialización, se desconoce qué decisiones se toman con base en esta información. Asimismo, no es claro cómo se incorporan las recomendaciones de las evaluaciones en los programas ni las políticas evaluadas de tal forma que su alcance y resultados mejoren durante su ejecución.
La evaluación de políticas, programas y estrategias es un elemento fundamental del buen gobierno público, puesto que puede asegurar la efectividad del sector y mejorar la calidad, la respuesta y la eficiencia de los servicios públicos. Mejorar el diseño e implementación de políticas públicas, puede en consecuencia llevar a mejorar el bienestar de los ciudadanos y la prosperidad de un país. La evaluación conecta a los hacedores de las políticas públicas con los ciudadanos para que estos puedan realizar control social y asegurar que las decisiones están basadas en evidencia y llevan a los resultados esperados, contribuyendo a la rendición de cuentas.
Las capacidades institucionales de las entidades públicas inciden favorablemente en la calidad de las políticas públicas. Estas capacidades contribuyen a hacer políticas más estables, con mejor implementación y reduciendo riesgos de captura de rentas en la ejecución de recursos públicos (Santiso & Dayton-Johnson, 2012; Punton, 2016).
4. DIAGNÓSTICO
De acuerdo con el informe de 2020 sobre institucionalización de la evaluación de la OCDE (2020), la mayoría de los países presentan retos significativos en promocionar la evaluación de políticas públicas. A pesar del esfuerzo que muchos gobiernos han puesto en la implementación y uso de sistemas de evaluación en las últimas dos décadas (Cunill & Ospina, 2003), gran cantidad de evidencia indica que la información proveniente de dichos sistemas no ha permeado la toma de decisiones como se había planeado (Moynihan, 2006; Johansson & Siverbo, 2009; Askim, 2007; Francis & Ally, 2014). Es decir, aunque se evidencia un uso instrumental limitado de los resultados de las evaluaciones, los usos conceptual y persuasivo parecen ser más generalizados (Weiss, 1982).
Estos retos están principalmente relacionados con el limitado uso de los resultados en la formulación de políticas, la ausencia de una estrategia de evaluación coherente y comprehensiva en todo el gobierno, y la falta de recursos humanos. Además de estos retos, otro componente clave es la oportunidad de los resultados de la evaluación, de forma que permitan tomar decisiones basadas en evidencia en cuanto a la operación y/o resultados de las intervenciones evaluadas. A continuación, se presenta el diagnóstico detallado de los retos para Colombia.
4.1. Limitado diseño y ejecución de las evaluaciones
Aunque el número de las evaluaciones ha venido en aumento, sigue siendo insuficiente para incentivar su uso en todas las entidades que diseñan y ejecutan programas y políticas. Adicionalmente, su uso se ve restringido porque los funcionarios no tienen evidencia suficiente para cada una de las intervenciones. En los casos en que exista información, no está bien organizada y su calidad no ha sido evaluada.
4.1.1. Limitada asignación de recursos públicos para la generación de evaluaciones Entre el 2016 y 2019 se destinaron 20.500 millones de pesos en las entidades públicas a procesos para la generación de evaluaciones, lo que corresponde al 0,013 % del presupuesto de inversión entre 2016 y 2019(27). A través de los procesos de contratación que se encuentran publicados en el Sistema Electrónico de Contratación Pública (Secop II), se identificaron aquellos asociados a la contratación de evaluaciones de intervenciones desde el 2016(28). De acuerdo con Gertler et al. (2017), el porcentaje promedio del costo de una evaluación con respecto al costo de la intervención, revisando varios países, es del 4,5%.
Gráfico 1. Valor de procesos adjudicados en Secop II al desarrollo de las evaluaciones
(Millones de pesos)
Fuente: Grupo de Modernización del Estado - Secop II (2020)
Las entidades públicas asignan pocos recursos para evaluar sus iniciativas. En relación con la cantidad de contratos adjudicados, en Secop II se evidencia que uno de cada cinco contratos asociados a la evaluación se adjudica y que en promedio se adjudican catorce procesos por año a estos propósitos, incluyendo los de la DSEPP.
4.1.2. Pocas evaluaciones realizadas
La demanda de evaluaciones a la DSEPP supera la oferta (Gráfico 2). En los últimos 4 años, alrededor del 16% de las solicitudes se han priorizado en la agenda anual de evaluaciones, de acuerdo con la disponibilidad de recursos humanos y financieros. También se advierte que la demanda de evaluaciones solicitadas por las entidades públicas del nivel nacional y las DTs del DNP ha venido incrementando, no así la oferta de la DSEPP. Para el 2019, la DSEPP recibió 122 solicitudes de evaluación y se priorizaron 24. Para el 2020, se recibieron 123 solicitudes de evaluación y se priorizaron 20. En el 2021 se recibieron 132 solicitudes de las cuales fueron priorizadas 18. Para el 2022 se recibieron 137 solicitudes y se priorizaron 20.
Gráfico 2. Número de evaluaciones solicitadas a la DSEPP versus número de evaluaciones priorizadas 2019-2022
Fuente: Elaboración propia, DSEPP (2022).
Entre 2002 y 2021, la DSEPP ha realizado 238 evaluaciones(29). En promedio, 13 evaluaciones al año. La mayoría de las evaluaciones realizadas, han sido de resultados e impacto. Le siguen las evaluaciones de operaciones e institucionales. Si bien en la actualidad no se realizan evaluaciones ejecutivas, en algún momento se desarrollaron varias de estas evaluaciones. Por su parte, Prosperidad Social, entre el año 2004 y 2021, ha realizado 60 evaluaciones, la mayoría al Programa de Familias en Acción (14) (Prosperidad Social, 2022).
Gráfico 3. Número de evaluaciones realizadas por la DSEPP 2002-2022
Nota: *Se realizaron varias evaluaciones con diferentes figuras de financiación y apoyo; **están en proceso de ejecución.
Fuente: Sinergia (2022).
Desde el 2000 el número de evaluaciones en el mundo se ha incrementado, sin embargo, Colombia frente a otros países tiene un número bajo de evaluaciones. Utilizando el número de artículos académicos que incluyen una evaluación de impacto como proxy(30) a la cantidad de evaluaciones realizadas, según datos de (Aussilloux & Baiz, 2020), entre 2000 y 2016 se incrementó el número de evaluaciones de alrededor de 50 a más de 1.000. Para el caso de Colombia, en una comparación por países, se evidencia que se tienen alrededor de 80 artículos académicos que incluyen una evaluación de impacto. Esto no necesariamente responde a necesidades puntuales de evaluación de políticas o programas gubernamentales para la toma de decisiones, pero son una buena herramienta para impulsar la realización y uso de evaluaciones en el país, así como atender la demanda de evaluaciones y fortalecer el vínculo entre quienes hacen la política y los posibles evaluadores.
Gráfico 4. Total de artículos académicos que incluyen una evaluación de impacto para el período 1986-2016 y comparación entre países
Fuente: Aussilloux & Baiz (2020).
La falta de evaluaciones repercute en la toma de decisiones sin evidencia. A pesar de contar con fuentes alternativas de información como el sistema de seguimiento a metas de los PND, la información de programas y políticas y los resultados de las encuestas realizadas por entidades como DNP y el Departamento Nacional de Estadística (DANE), la información que resulta de las evaluaciones está directamente relacionada con la posibilidad de mejora de un programa o una política. Además, da respuesta a una serie de cuellos de botella identificados durante el proceso de diseño de la evaluación, lo que hace útil los resultados. Contar con más y mejores evaluaciones, no solo de impacto, repercute en la toma de decisiones basadas en evidencia.
4.1.3. Las evaluaciones se concentran en pocos sectores y tipologías
Hay una concentración sectorial de las intervenciones evaluadas. Luego de revisar el repositorio de evaluaciones de Sinergia (303), del total de evaluaciones realizadas entre 2001 y 2021, el 19 % se han realizado para el sector de inclusión social y reconciliación. Dentro de las temáticas más evaluadas en este sector están: transferencias monetarias condicionadas, atención y reparación integral a víctimas y primera infancia. El sector que le sigue es Salud y Protección Social (14 %). El siguiente sector con más evaluaciones es el de Ciencia, Tecnología e Innovación (9 %). Por el contrario, sectores como Deporte(31), Hacienda y Crédito Público, Inteligencia y Relaciones Exteriores no cuentan con evaluaciones sobre los programas y las políticas que ejecutan, ni con información de resultados y alcance. A pesar del número limitado de evaluaciones que incluye la agenda anual de evaluaciones, es necesario que los programas y las políticas sectoriales al menos sean evaluados en alguna oportunidad con el fin de conocer si los objetivos planteados se lograron, así como si es necesario realizar algún ajuste de acuerdo con los resultados.
Gráfico 5. Evaluaciones por sector 2001-2021
Fuente: Sinergia - DNP (2021).
Las evaluaciones más solicitadas por las instituciones al DNP se concentran en su gran mayoría en resultados (144) e impacto (98). Las evaluaciones de tipo institucional y de operaciones han crecido en demanda, 63 y 69 respectivamente entre 2002 y 2021, lo que indica que los sectores tienen interés en evaluar las capacidades de las entidades públicas y los procesos implementados para la ejecución de los programas y las políticas.
Gráfico 6. Evaluaciones por tipo 2001-2021
Fuente: Sinergia - DNP (2021).
A pesar de la demanda por diferentes tipos de evaluaciones, estas se concentran especialmente en resultados, impactos, operaciones e institucional. No obstante, las agendas anuales de evaluaciones no solo deberían incluir evaluaciones para todos los sectores sino también incluir diferentes tipologías con el objeto de hacer más completos los procesos de evaluación de los programas y políticas públicas.
4.1.4. Limitado acceso a bases de datos e información
Los datos son un elemento central para desarrollar evaluaciones, sin embargo, la calidad de los datos aún presenta problemas que repercuten en la posibilidad de usarlos para las evaluaciones. De acuerdo con la encuesta realizada por el DNP a los jefes de las OAP de las entidades del Gobierno nacional (DNP, 2021), el 55 % de los encuestados considera que su entidad cuenta con buenas bases de datos para hacer seguimiento y evaluación a las intervenciones.
La limitación en datos abiertos y mecanismos de interoperabilidad dificulta la
generación de evidencia al restringir el acceso y usabilidad de los datos. A pesar de los avances que ha tenido el acceso a datos abiertos, específicamente a través del Documento CONPES 3920 de abril de 2018 Política Nacional de Explotación de Datos (Big Data)(32), para las evaluaciones todavía es limitado su acceso. Con el fin de conocer la disponibilidad y el impacto de los datos que se encuentran abiertos, se utiliza el Índice Internacional Barómetro de Datos Abiertos (ODB por sus siglas en inglés). La construcción del ODB pondera diferentes fuentes de información: autoevaluaciones, encuestas a expertos e informes de organizaciones como el Banco Mundial y las Naciones Unidas. En función de su desempeño Colombia tiene un puntaje total de 52 (de un máximo de 100) y durante los últimos cinco años ha visto aumentar sus puntuaciones en más de 20 puntos. La edición de 2018 analizó un total de 30 gobiernos y los puntuó con base a: (i) Preparación de las iniciativas de datos abiertos; (ii) implementación de los programas de datos abiertos; y (iii) impacto que los datos abiertos tienen en los negocios, la política y sociedad civil. Colombia es considerado un país aspirante(33) de acuerdo con los resultados obtenidos en esta medición (World Wide Web Foundation, 2018), que se destaca en: preparación de las iniciativas de datos abiertos (69 puntos) e implementación de los programas de datos abiertos (60 puntos). Sin embargo, para el criterio de impacto el puntaje fue de 28, debido a que Colombia carece de pruebas sólidas del efecto de contar con datos abiertos.
Colombia obtuvo un puntaje de 0,88, en el índice de datos abiertos, útiles y reutilizables (OURdata) 2019 (OCDE, 2019), resultado superior al promedio de países de la OCDE (0,60). Esta encuesta mide tres indicadores: (i) disponibilidad de datos, que hace referencia a los marcos de políticas que regulan la publicación de datos gubernamentales; (ii) la accesibilidad de datos, que mide cómo se publican los datos de acuerdo con los datos abiertos gubernamentales; y (iii) el apoyo del gobierno a la reutilización de datos, que mide los esfuerzos para alentar a las partes interesadas del gobierno y la sociedad civil a usar los datos abiertos gubernamentales. Los resultados para Colombia para estos tres indicadores son 0,26, 0,32 y 0,30 respectivamente, aunque el país ya está implementando la agenda de datos abiertos, se puede mejorar en los procesos de participación de ciudadanos y la disponibilidad de datos abiertos en formatos que faciliten su uso (Interamerican Development Bank, 2020).
En Colombia es frecuente que los programas y políticas no cuenten con bases de datos e información que faciliten los procesos de análisis y toma de decisiones, y los que cuentan con información en muchas ocasiones es de baja calidad, además acceder a esa información es dispendioso en términos de los trámites, tiempo y restricciones (OCDE, 2018). Durante la etapa de ejecución de las evaluaciones se ha identificado fallas en la información y bases de datos, así como falta de información del programa o política a evaluar, que afectan la metodología, el cronograma diseñado y los resultados esperados. Además, el no contar con información incrementa los costos de realizar la evaluación, ya que requiere llevar a cabo procesos de recolección de información.
Teniendo en cuenta que se requieren grandes volúmenes de información para llevar a cabo los análisis correspondientes a las evaluaciones, a la fecha se han generado esquemas de intercambio (ej. Convenios o acuerdos de confidencialidad) y transferencia de información entre entidades como Prosperidad Social, Ministerio de Educación Nacional, Ministerio de Salud y Protección Social, entre otros. Sin embargo, estos requieren ser más eficientes en los requisitos y los tiempos de respuesta y que, además, promuevan el uso y re-uso de los datos que se producen en el país.
En términos de política, los datos abiertos son útiles para la toma de decisiones, asimismo son un insumo clave para realizar evaluaciones, la disponibilidad de información de un programa o política lo hace factible para ser evaluado. Adicionalmente, contar con buenas bases de datos y disponibles para ser utilizadas reduce los costos asociados a los procesos de recolección de información, haciendo las evaluaciones más económicas.
Con el fin de facilitar la generación de evaluaciones se hace necesaria una estrategia para asegurar que se produzcan datos de alta calidad y que los datos se utilicen para la toma de decisiones. Sin embargo, los datos a menudo se subutilizan y no son aprovechados al máximo.
4.2. Limitado uso de la información y las evaluaciones existentes
Este apartado está relacionado con la capacidad de los funcionarios para entender la información, los resultados y, en general, la evidencia que resulta de las evaluaciones y su potencial uso para nuevas evaluaciones. Además, es clave para el uso de esta información que las evaluaciones se sincronicen con la definición del ciclo presupuestal para que tengan repercusiones y permitan la toma de decisiones basadas en evidencia. El ciclo presupuestal está establecido en el EOP(34) y en el Artículo 2.8.1.2.1. del Decreto 1068 de 2015(35), tiene varias fases entre las que se encuentran programación, discusión, presentación, aprobación y asignación. En tal sentido las evaluaciones se deberían sincronizar con los procesos previos a la priorización, es decir las evaluaciones deben incorporar los resultados y recomendaciones en el proceso de planeación de todas las entidades, sin embargo, esto no sucede en la práctica. Un momento fundamental para la incorporación intrínseca de los resultados y recomendaciones de las evaluaciones en el ciclo presupuestal debería ser la elaboración del PND, dado que desde allí se empieza a articular toda la planeación, teniendo en cuenta que los planes sectoriales y planes institucionales tienen que guardar una coherencia, y eso va a repercutir posteriormente en los proyectos y por ende en el ciclo presupuestal, no obstante muchas veces las recomendaciones de las evaluaciones no son incluidas sistemáticamente en la construcción de los PNDs.
4.2.1. Bajo uso de las evaluaciones existentes
Medir el uso de las evaluaciones y de sus resultados no es tarea fácil. No existe un indicador que permita medir con certeza el uso de la información que se genera desde la DSEPP y otras entidades del gobierno a partir de las evaluaciones que se realizan.
De acuerdo con la OCDE (2020), el país tiene tanto un potencial para mejorar su institucionalización, como para promover el uso de los resultados, en comparación con países de la región, como México y Costa Rica, ver Gráfico 7, que se ubican en la parte superior derecha del cuadrante. La OCDE (2020) evidencia que la institucionalización de la evaluación es importante para la implementación y el uso efectivo de la evaluación(36). Para el caso de Colombia, la institucionalidad de la evaluación ha proporcionado herramientas útiles para realizar evaluaciones como lo son: la agenda anual de evaluaciones, presupuesto anual para esta destinación, comités de diseño, evaluación y seguimiento integrados por personal técnico de las entidades del Gobierno nacional que garantizan el cumplimiento de los objetivos y la calidad de las evaluaciones, así como la credibilidad de los resultados y las recomendaciones. Sin embargo, los resultados de la encuesta DNP, 2021, muestran que solo el 36 % de los encuestados considera la evaluación desde el diseño de las intervenciones en su entidad. El 45 % reconoce que se han utilizado los resultados y las recomendaciones de las evaluaciones para mejorar las intervenciones y un 36 % manifiesta que se han incluido en la discusión presupuestal.
Gráfico 7. Correlación entre los mecanismos para promover el uso de los resultados y la formalización de la institucionalización de las evaluaciones en países OCDE
Fuente: OCDE (2020).
La evaluación contribuye a la rendición de cuentas, por lo que uno de los usuarios más relevantes es la ciudadanía, sin embargo, solo el 11,6 % de las visitas a la página de Sinergia consulta la información relacionada con evaluaciones, para el periodo comprendido entre abril 2016 diciembre 2021. La página de Sinergia tuvo alrededor de 742.000 visitas en el periodo estudiado. En promedio, 1.250 visitas al mes al contenido de evaluaciones y cerca de 86.000 para todo el periodo. Si bien parece presentarse una tendencia positiva y que sigue en aumento, sigue siendo bajo el uso de la información que se produce de las evaluaciones en Sinergia.
Gráfico 8. Número de visitas al contenido de evaluaciones en Sinergia
Fuente: Google Analytics (2022).
De la información de evaluaciones, la mayoría de las visitas se dieron a metodologías y a la agenda de evaluaciones, no al repositorio de las evaluaciones y sus resultados. El repositorio, donde se encuentran agrupadas 303 evaluaciones realizadas por la DSEPP y otras entidades, registró un total de 1.674 visitas entre abril de 2016 y diciembre de 2021. Las evaluaciones con mayor número de visitas fueron la evaluación de impacto de Colombia Mayor y la evaluación de operaciones y de resultados del programa Jornada Única.
Gráfico 9. Número de visitas al módulo de evaluación
Fuente: Google Analytics (2022).
En los dos últimos años, se evidencia que aun cuando el número de visitas y descargas de información del catálogo del Archivo Nacional de Datos (ANDA)(37) ha venido en aumento, hay una diferencia importante entre el número de visitas realizadas y la información descargada, solo el 2 % descarga la información, lo que evidencia un reaprovechamiento escaso de estas fuentes de información. Con el propósito de incrementar la calidad de la oferta de información, a través de la documentación y preservación de los microdatos, así como aumentar la demanda a través de herramientas de diseminación para usuarios, el DNP incluye dentro del ANDA los metadatos y microdatos de la información cuantitativa que se recoge en el marco de las evaluaciones adelantadas. Es importante mencionar, que las evaluaciones también recolectan información cualitativa.
Gráfico 10. Consultas y descargas al catálogo de bases de datos de evaluaciones ANDA
Fuente: Google Analytics (2022).
El bajo uso de los resultados y las recomendaciones de las evaluaciones puede deslegitimizar el ejercicio de la evaluación (OCDE, 2020). El fin de las evaluaciones es dar información a los responsables de los programas y políticas para tomar decisiones en cuanto a su diseño, ejecución y resultados deseados. Anualmente se ejecutan un promedio de 13 evaluaciones, que además de los resultados, sobre la intervención incluyen una serie de recomendaciones frente a las cuales se desconoce el proceso de apropiación realizado por las entidades responsables de los programas.
Las evaluaciones se realizan debido al interés de los hacedores de política en alcanzar los objetivos planteados mediante el uso de los resultados y la apropiación de las recomendaciones que resultan de este ejercicio. En la medida que sean útiles para mejorar la ejecución de programas y políticas, así como para el logro de resultados, la demanda por las evaluaciones será cada vez más relevante. Los resultados y las recomendaciones que no son tenidos en cuenta reducen el interés, los recursos y el esfuerzo de realizar evaluaciones (OCDE, 2020).
4.2.2. Los resultados de las evaluaciones no tienen repercusiones
No se hace seguimiento a la implementación de las recomendaciones de las evaluaciones realizadas desde la DSEPP, por lo que no se conoce el nivel de uso de cada una de estas. Es importante señalar que antes de finalizar las evaluaciones el equipo evaluador remite una matriz de recomendaciones la cual es revisada por la entidad ejecutora y las DT del DNP, en estas se revisa las recomendaciones que se podrían implementar. Sin embargo, no se le hace seguimiento a lo que queda consignado en esas matrices. Aun así, desde 2017, Prosperidad Social implementa una fase de seguimiento a recomendaciones por un año, a través de la valoración de estas y la definición de un plan de implementación con el área misional responsable del programa. Esta iniciativa es importante que pueda trasladarse a la DSEPP y otras entidades que realizan evaluaciones.
Por otra parte, las evaluaciones no suelen llevarse a discusión en los comités sectoriales de presupuesto, además de que finalizan una vez ya se ha dado la discusión presupuestal. De acuerdo con el Decreto 1068 de 2015, en su artículo 2.8.1.3.3., se establece que en los Comités Sectoriales de Presupuesto se consultará las evaluaciones realizadas por el Ministerio de Hacienda y Crédito Público y el DNP. Sin embargo, las evaluaciones que se realizan desde la DSEPP suelen finalizar durante el segundo semestre del año, una vez se han surtido las discusiones del presupuesto y se ha aprobado (ver Figura 3). El ciclo de discusión del presupuesto no coincide con el ciclo de ejecución de las evaluaciones. De otra parte, si bien la DSEPP ha sido invitada a los Comités Sectoriales de Presupuesto, lo ha hecho principalmente en calidad de veedor de las metas del PND y no para presentar resultados de las evaluaciones realizadas. Solo hasta el año pasado y con la creación de la Subdirección General de Inversión, Seguimiento y Evaluación, se empieza a dar de forma más sistemática la participación de la DSEPP en los comités sectoriales de presupuesto con la presentación de los resultados de las evaluaciones.
Figura 3. Ciclo de evaluación versus ciclo de discusión presupuestal
Fuente: DSEPP (2020)
Adicionalmente, el tiempo de ejecución de las evaluaciones puede llevar a que se pierda la oportunidad del uso de los resultados para algunas de estas, en las que se requiera tomar decisiones en el corto plazo en cuanto al diseño y ejecución de un programa o política. El ciclo de ejecución de las evaluaciones que son contratadas para ser realizadas por un actor externo es de alrededor de un año y medio, desde que son priorizadas hasta tener resultados. De acuerdo con el proceso de evaluaciones (descrito el apartado de antecedentes), en promedio el tiempo de ejecución es de 9 meses y los resultados estarían disponibles hacia mediados del siguiente año.
También es importante mencionar que las recomendaciones derivadas de las evaluaciones no son vinculantes. De acuerdo con el artículo 2.2.7.3.2.11 del Decreto 1082 de 2015, el DNP enviará los resultados y recomendaciones de la evaluación a las autoridades competentes, a efectos de que sirvan como insumo en los procesos de toma de decisiones. Asimismo, son las DT del DNP quienes deberán realizar las gestiones necesarias para que las entidades ejecutoras de las intervenciones que fueron evaluadas utilicen los resultados e incorporen las recomendaciones en sus procesos de toma de decisiones(38), sin embargo, no es claro cómo ni cuándo las entidades incorporan esas recomendaciones en los programas y políticas. De acuerdo con su misionalidad las DT validan las recomendaciones y las incluyen en sus procesos propios de toma de decisiones (formulación de planes de desarrollo, asignación de recursos, entre otros). Sin embargo, no existe un mecanismo que vincule a las entidades a implementar estas recomendaciones, así como tampoco un seguimiento a las recomendaciones que se implementan.
Por su parte, con el inciso 3° del artículo 29 de la Ley 152 de 1994, establece que
El Departamento Nacional de Planeación presentará al CONPES, en el mes de abril de cada año, un informe sobre el resultado del total de las evaluaciones con un documento que se constituirá en la base para el diseño del plan de inversiones del próximo año.
Si bien, dicho documento se elabora y encuentra dentro de los procesos de la DSEPP, no hay evidencia de que sea utilizado para el diseño del plan de inversiones.
El ciclo actual de la evaluación, los tiempos de ejecución y la no vinculación de las recomendaciones en la toma de decisiones, llevan a que los resultados de las evaluaciones no tengan repercusiones.
4.2.3. La evaluación no es tenida en cuenta adecuadamente desde el diseño de la intervención
La evaluación no es tenida en cuenta desde el diseño de la intervención, lo que repercute en que en ocasiones no se realicen las evaluaciones de las intervenciones o con la rigurosidad y articulación deseada, y por tanto no se utilicen sus resultados. En cada periodo de gobierno, a través del PND y los documentos CONPES, se diseñan y ejecutan programas y políticas públicas que responden a ejercicios rigurosos de diagnóstico, pero pocas incluyen procesos de evaluación en el corto plazo que permitan evaluar el cumplimiento de los objetivos establecidos y realizar los ajustes necesarios previo a su escalamiento. La evaluación es un proceso técnico, útil para la toma de decisiones de ajuste y rediseño de programas y políticas. Por lo tanto, incluir la evaluación desde el diseño de la intervención garantiza la calidad y el logro de los objetivos.
Con el propósito de evidenciar la necesidad de fortalecer la evaluación desde el diseño de las políticas públicas se revisaron las acciones incluidas en los documentos CONPES(39). Desde 2006 hasta marzo de 2021, se identificaron 4.449 acciones incluidas en documentos CONPES de las cuales 86 se relacionan con evaluaciones. Las evaluaciones incluidas en estas acciones tienen previsto realizarse durante la ejecución de programa o política, después de su primer año de ejecución.
Lo anterior evidencia que es necesario articular el trabajo de la DSEPP y las entidades responsables de la intervención de tal forma que el diseño y la implementación posibilite el desarrollo de una evaluación(40). Esto permitirá establecer mejores estrategias de recolección de información administrativa y contar con la información y los datos necesarios para realizar las evaluaciones.
4.3. Fallas en la institucionalización y formalización de las evaluaciones
Esta sección presenta los problemas de baja capacidad institucional y baja cultura de la evaluación, como el bajo conocimiento de metodologías de las evaluaciones por parte de los equipos de trabajo de las entidades públicas, que afecta la consolidación de la institucionalidad de la evaluación en el país. Lo anterior puede llevar a que no se estén realizando las evaluaciones necesarias para la toma de decisiones.
4.3.1. Baja capacidad institucional para generar evaluaciones
La baja capacidad institucional afecta el uso y la generación de evaluaciones en el país. El informe de la OCDE (2020) plantea la necesidad de aumentar las capacidades de los gerentes públicos, para comprender la importancia de formular políticas públicas basadas en evidencia. Las evaluaciones requieren de unas condiciones habilitantes, procedimientos, incentivos y cultura que propicien de forma sistemática las políticas públicas basadas en evidencia. Existen capacidades para generar evaluaciones (oferta) y capacidades para utilizar las evaluaciones (demanda). Es necesario realizar esta distinción por qué son capacidades diferentes y de agentes diferentes.
De acuerdo con una encuesta realizada en marzo de 2021 por el DNP a las OAP de los sectores del Gobierno nacional, se encontró que solo el 27 % cuentan con el equipo suficiente y capacitado para llevar a cabo evaluaciones en su entidad (DNP, 2021). De forma complementaria, para tener una estimación sobre las capacidades que tienen las entidades públicas nacionales para generar evaluaciones, se puede utilizar como proxy cuántas personas se dedican a la analítica de datos y sus perfiles en cada una de las entidades nacionales. La encuesta de explotación de datos DNP (2017) preguntó a 163 entidades nacionales información sobre las personas que hacen analítica de datos. El 37 % de las entidades no cuenta con una persona encargada de realizar analítica de datos y si se cuentan con esas personas pueden no estar ubicadas en las dependencias encargadas de desarrollar evaluaciones (Gráfico 11). El 31% de las entidades cuentan con entre 1 y 5 personas dedicadas a la analítica de datos, el 17 % tiene entre 6 y 10 personas dedicadas a la analítica de datos. El 15% tiene 11 o más personas responsables de adelantar estas acciones en las entidades (DNP, 2017). A pesar del interés y el avance de las entidades por aprovechar los datos que producen y contar con mejor información para tomar decisiones en relación con sus programas y políticas, el resultado es bastante disparejo entre entidades. No todas cuentan con el personal para analizar la información y la capacidad para realizar evaluaciones.
Gráfico 11. Existe por lo menos una persona que se dedique a realizar analítica de datos
Gráfico 12. Personas dedicadas a la analítica de datos por entidad nacional
Fuente: DNP (2017).
Otra fuente de información estadística a nivel institucional que aporta a este análisis es la Encuesta de Ambiente y Desempeño Institucional del DANE. En esta se evidencia que cerca de la mitad de los funcionarios públicos del orden nacional encuestados están interesados en mejorar el conocimiento alrededor de la ciencia de datos; 40,6 % señalan la importancia de que se mejoren las capacidades de las entidades en torno a distintas áreas de conocimiento de la ciencia de datos y un 7,9 % en reclutar talento con experiencia en ciencia de datos, estadística o ingeniería de datos (DANE, 2019). Estas estadísticas reflejan, aunque orientadas a la ciencia de datos, la necesidad percibida por los funcionarios públicos de cara a la capacidad de las instituciones para hacer un mejor uso de la información disponible(41).
4.3.2. Limitada cultura de la evaluación en diseño y uso de resultados
Únicamente el 45 % de las instituciones a nivel nacional, el 28 % de las gobernaciones y el 23 % de los municipios utilizan sus propios datos para desarrollar políticas basadas en evidencia y para mejorar los procesos y servicios para los ciudadanos. Cuando las entidades públicas reconocen el aporte de la evaluación para la toma de decisiones e identifican el valor público que de esta se deriva, maximizan el aprovechamiento de sus recursos disponibles para generar y usar evidencia (OCDE, 2018). En ese sentido, además de utilizar los resultados y recomendaciones de las evaluaciones, las entidades pueden usar la información recolectada para ahondar en análisis de temas relacionados con la intervención. Además, los datos recolectados pueden servir de insumo para realizar nuevos análisis y evaluaciones para contar con evidencia rigurosa.
Gráfico 13. Reutilización de datos propios para el desarrollo de políticas públicas basadas en evidencia
Fuente: OCDE (2018)
Adicionalmente, pocas entidades muestran interés en utilizar los datos compartidos por otras entidades para desarrollar políticas basadas en evidencia. El 30 % de las entidades a nivel nacional, el 19 % de las gobernaciones y el 18 % de los municipios desarrollan políticas basadas en la evidencia extraída del análisis de datos compartidos por otras instituciones, junto con información propia.
Gráfico 14. Reutilización de datos compartidos para el desarrollo de políticas públicas basadas en evidencia
Fuente: OCDE (2018)
Por otra parte, el tipo de aprovechamiento de los datos que las entidades recolectan y generan sirve como aproximación para analizar qué tanta comprensión tiene la entidad sobre la importancia de realizar evaluaciones en el ciclo de la política pública. Las entidades asocian el uso de los datos a la gestión de información, principalmente para el cumplimiento de funciones misionales, funcionamiento interno y con el fin de llevar un registro histórico de las actuaciones administrativas. El 46 % de las entidades utilizan los datos que generan y recolectan para realizar análisis diagnóstico(42), el 37,5 % realiza análisis predictivo(43) y el 33 % análisis prescriptivo(44).
Gráfico 15. Tipo de aprovechamiento de datos
Fuente: DNP (2017).
Aunque existe un aprovechamiento por parte de las entidades de los datos producidos, no alcanza niveles por encima del 50 %. Llama la atención el caso de los datos utilizados para análisis diagnóstico toda vez que esta información es necesaria para la formulación de un programa o política que dé respuesta a una situación problemática. Lo que sugiere una posible subutilización de los datos para realizar evaluaciones.
5. DEFINICIÓN DE LA POLÍTICA
5.1. Objetivo general
Este documento CONPES tiene como objetivo fortalecer la institucionalidad de la evaluación e impulsar el uso de los resultados y las recomendaciones de las evaluaciones para la toma de decisiones en Colombia. Se propone un periodo de ejecución de 4 años de las líneas de acción de este CONPES, que permitirá dejar sentadas las bases para fortalecer el uso y la institucionalidad de las evaluaciones para la toma de decisiones en Colombia
5.2. Objetivos específicos
Los objetivos específicos son:
OE1. Consolidar la oferta de las evaluaciones para generar mayor evidencia sobre el funcionamiento y resultados de las intervenciones públicas.
OE2. Fortalecer la demanda de las evaluaciones que permita su efectivo uso en la toma de decisiones.
OE3. Promover la cultura y la capacidad para realizar y usar evaluaciones, que permita fortalecer la institucionalidad mediante la articulación entre la oferta y la demanda.
5.3. Plan de acción
Para el cumplimiento del objetivo general de la presente política, se establecen tres objetivos específicos desarrollados a través de siete líneas de acción que requieren del trabajo de diferentes entidades involucradas en el presente documento. El detalle de las acciones propuestas se describe en el Plan de Acción y Seguimiento (PAS) (Anexo A), el cual señala las entidades responsables, los períodos de ejecución, las metas, así como los recursos necesarios y disponibles para su implementación.
5.3.1. Consolidar la oferta de las evaluaciones para generar mayor evidencia sobre el funcionamiento y resultados de las intervenciones públicas.
Línea de acción 1. Ampliar la oferta de evaluaciones
Entre 2022 y 2023, el DNP, en cabeza de la Subdirección de Contratación elaborará un documento que contenga el análisis de mecanismos para la contratación de evaluación de las políticas públicas como elemento fundamental para la transparencia y gestión de recursos públicos, para incrementar la oferta de estas(45). Para esto se dejarán documentadas las diferentes posibilidades para llevar a cabo evaluaciones acatando loprevisto en el Estatuto de Contratación. La mayoría de las evaluaciones que se realizan en la DSEPP se realizan a través de concurso de méritos bajo los lineamientos de la Ley 80 de 1993, Ley 1150 de 2007 y el Decreto Reglamentario 1082 de 2015 y de acuerdo con los recursos del proyecto de inversión de la DSEPP. Al tener recursos limitados, no se pueden llevar a cabo todas las evaluaciones que son demandadas. Además, el proceso que ahí se establece requiere de unos tiempos mínimos y acciones para su adjudicación. Esto funciona para algunas de las evaluaciones, pero es posible que para otras el proceso no genere resultados de forma oportuna y se requiera de otros mecanismos diferentes para la ejecución de las evaluaciones, por ejemplo, convenios con la academia y organismos de cooperación. De esta forma, ampliar las posibilidades de ejecución podrá ampliar la oferta de evaluaciones ante la limitación de recursos, así como mejorar la oportunidad de algunas de estas.
En el marco de la elaboración de esta política, entre 2023 y 2026 algunos sectores, en cabeza de las OAP, de acuerdo con sus intereses y capacidades, se comprometieron a realizar evaluaciones internas o externas en su sector, con el fin de conocer los resultados de las intervenciones y ampliar la oferta de evaluaciones con recursos propios.
Para realizar estas evaluaciones se incentivará el uso de los lineamientos dados por el DNP a través de la DSEPP en sus guías metodológicas. Lo anterior permitiría acercar la oferta y la demanda de evaluaciones.
Línea de acción 2. Mejorar la selección de las evaluaciones a realizar
Entre 2022 y 2026, la SGISE y la DSEPP del DNP, en articulación con el trabajo que realiza la Dirección de Innovación y Desarrollo Empresarial y su metodología Articulación para la Competitividad, construirá un repositorio de intervenciones públicas con el fin de identificar aquellas que han sido evaluadas recientemente, cuáles no han sido evaluadas en los últimos años y cuales nunca han sido evaluadas. Para revisar las evaluaciones realizadas, se tendrá en cuenta no solo aquellas llevadas a cabo por la DSEPP, sino también por otras entidades del Gobierno nacional. De tal forma que sea un insumo para la definición de la agenda anual de evaluaciones, de acuerdo con lo establecido en el artículo 2.2.7.3.2.1 del Decreto 1082 de 2015, ampliando la información de intervenciones y sectores que no cuentan con evaluaciones para la toma de decisiones. También será un instrumento fundamental a nivel de planeación presupuestal, pues se podrá verificar cuáles intervenciones coinciden y se articulan entre sí.
Esto requiere realizar un censo en las entidades nacionales para identificar todas las intervenciones en operación, recopilar información sobre cada una, incluir atenciones y servicios prestados, beneficios entregados, datos administrativos de beneficiarios y fuentes de financiación, de acuerdo con las características de cada intervención. Este inventario recopilará las bases de datos y la calidad de la información de las intervenciones en operación, facilitando el proceso de definición de la agenda anual de evaluaciones de acuerdo con la información y las necesidades de evaluación.
El DNP, en cabeza de la DSEPP, en el marco de lo establecido en el artículo 2.2.7.3.2.3 del Decreto 1082 de 2015, revisará y detallará la forma de selección de las intervenciones públicas a evaluar, para que la agenda de evaluaciones dé respuesta a las necesidades de información para la toma de decisiones en el país. Esta acción se llevará a cabo entre el 2022 y el 2025. Se buscará que los criterios ya establecidos para la priorización tengan en cuenta una visión integral que contribuya al proceso de construcción de la agenda de evaluaciones a ejecutar teniendo en cuenta temas como eficiencia del gasto, acceso a datos e información de las encuestas, requerimientos éticos de las evaluaciones, capacidades técnicas y metodologías de evaluación, análisis económico y social de coyuntura para Colombia, entre otros.
Línea de acción 3. Brindar acceso a bases de datos
El DNP y el Ministerio de Tecnologías de la Información y las Comunicaciones, diseñarán e implementarán una estrategia orientada a aumentar la reutilización de conjuntos de datos derivados de las evaluaciones de programas y políticas públicas. Esta estrategia debe incluir: (i) la elaboración de fichas de información de las evaluaciones; (ii) la elaboración del conjunto de datos de las evaluaciones; y (iii) la publicación de los conjuntos de datos y fichas derivadas de las evaluaciones de políticas públicas, en el catálogo de datos del portal de datos abiertos del estado colombiano. Esta estrategia se diseñará e implementará entre el 2022 y 2024. Lo anterior permitirá que la información recolectada en el marco de las evaluaciones sea utilizada en nuevos análisis sobre las intervenciones evaluadas y se generen nuevos resultados con la información existente. En este proceso, se revisará la posibilidad y forma de poner a disponibilidad la información cualitativa.
En el marco del Sistema Estadístico Nacional (SEN), a través del DANE, como secretaria técnica del Comité de Administración de Datos (CAD) como Data Stewardship que busca facilitar la articulación entre la producción de las estadísticas oficiales y el ciclo de las políticas públicas, formulará un protocolo para brindar acceso a bases de datos para las evaluaciones. Dicho protocolo se definirá entre el 2022 y 2023. El CAD es la instancia de coordinación del SEN orientada a propiciar los acuerdos colaborativos que permitan el acceso funcional a los datos y coordinar el intercambio de datos, su uso y re-uso en beneficio de la sociedad y el Estado, en un ambiente seguro y bajo un marco ético. Este Comité le dará la posibilidad, no sólo al DNP, sino a todas las entidades del Gobierno nacional de hacer un mayor aprovechamiento de datos provenientes de operaciones estadísticas, registros administrativos o fuentes alternativas como insumo para producir información estadística, a partir de la cual, se pueden analizar y comprender los fenómenos económicos, políticos, sociales, ambientales y culturales del país. La DSEPP solicitará el acceso a las bases de datos necesarias para la implementación de evaluaciones de política pública a través del CAD.
5.3.2. Fortalecer la demanda de las evaluaciones que permita su efectivo uso en la toma de decisiones.
Línea de acción 4. Mejorar la medición del uso de evaluaciones
Con el objetivo de ampliar el uso de la evidencia existente de evaluaciones, entre 2022 y 2024 el DNP construirá e implementará un índice de uso de los resultados de las evaluaciones, siguiendo el ejemplo de Coneval en México. Este índice no solo tendrá en cuenta las evaluaciones realizadas por la DSEPP, sino también las realizadas por otras entidades públicas. Se buscará así implementar una metodología para poder identificar, registrar, clasificar, seleccionar, tipificar y categorizar los diferentes usos de la información que se genera de evaluaciones realizadas y proponer estos a las distintas entidades.
Para llevar a cabo esta acción, la DSEPP primero revisará el marco teórico para medir el uso de la información. En un segundo paso realizará el diagnóstico de la metodología y base de las evaluaciones. Finalmente planteará una propuesta metodológica para medir la contribución de las evaluaciones realizadas por la DSEPP a través de un índice de uso de las evaluaciones.
El DNP, con apoyo de las OAP de las cabezas de sector y las DT del DNP, construirá un mecanismo de seguimiento para la implementación a las recomendaciones de las evaluaciones, para lograr que los resultados de las evaluaciones tengan efectos y se traduzcan en acciones concretas de mejoram iento. Este mecanismo se pondrá en marcha entre 2022 y 2023 y recogerá experiencias internacionales y locales, como la de Prosperidad Social. Se buscará además que el sistema incluya un seguimiento no solo a las evaluaciones realizadas por la DSEPP, sino también por otras entidades públicas. El sistema de seguimiento permitirá conocer los avances en la implementación de las recomendaciones.
Entre 2025 y 2026, cada sector, a través de las OAP, formulará y publicará un plan de acción y seguimiento que adopte por lo menos dos de las recomendaciones formuladas en las evaluaciones realizadas por la DSEPP; estos planes que serán acordados de manera conjunta entre la entidad ejecutora y las DT del DNP. Sin perjuicio, de que aquellas entidades que hayan realizado evaluaciones y así lo quieran, puedan formular un plan de implementación de recomendaciones para hacerle seguimiento en el mecanismo dispuesto por el DNP. Esto permitirá que los resultados de las evaluaciones tengan efectos y se traduzcan en acciones concretas de mejoramiento, se definirán compromisos para la implementación de las recomendaciones por parte de los ejecutores a cargo de las intervenciones evaluadas. Las OAP reportarán el avance en la implementación de las recomendaciones.
Línea de acción 5. Garantizar que las evaluaciones informen la toma de decisiones
El DNP, entre 2022 y 2025, alineará el ciclo de evaluación al ciclo de inversión pública, para que los resultados sean entregados en el momento que se realiza la discusión de la priorización de presupuesto. Las evaluaciones deben servir como insumo para el proceso de discusión del presupuesto, para que la priorización de los recursos vaya en línea con los resultados de las intervenciones. Para que esto ocurra los tiempos de la generación de las evaluaciones deben coincidir con la planeación, para así integrar la información del desempeño de la intervención en el proceso de programación del presupuesto.
La OAP y la DSEPP del DNP, realizarán unas mesas de trabajo, que permitan un proceso gradual al 2025, para que las evaluaciones se finalicen en el mes de diciembre y se pueda así generar el informe anual de resultados de la evaluación en el primer trimestre del año siguiente. De tal manera que en abril pueda ser entregado incorporado en el proceso de programación.
Entre el 2022 y el 2026, el DNP, definirá una estructura y elaborará el informe anual de resumen de resultados de las evaluaciones. La DSEPP producirá un informe anual de resumen de resultados de las evaluaciones, buscando incluir tanto las evaluaciones realizadas desde la DSEPP como por otras entidades públicas, que generará una calificación de desempeño de las intervenciones evaluadas y será entregado para las discusiones de los comités sectoriales de presupuesto (Decreto 1068 de 2015). Para proveer información más clara y transparente, cada una de las intervenciones evaluadas será clasificada en una categoría de desempeño, la que se definirá considerando aspectos sobre los resultados (intermedios y finales) de la intervención, su diseño, implementación o eficiencia en el uso de los recursos, proceso similar al adelantado por la Dirección de Presupuesto del Ministerio de Hacienda de Chile (Dirección de Presupuestos del Ministerio de Hacienda de Chile, 2019). Esta información también se incorporará al Balance de Resultados que se entrega en el mes de abril al CONPES desde la DSEPP, de acuerdo con el artículo 29 de la Ley 152 de 1994, que es un insumo para el diseño del plan de inversiones del próximo año.
La DSEPP generará información de las evaluaciones para ser incluida en las circulares que se envían a las entidades con las recomendaciones para la programación, dentro del marco del Decreto 1068 de 2015 a los comités sectoriales de presupuesto y se articulará como parte de la SGISE, para participar en las discusiones anuales de presupuesto donde las evaluaciones de las intervenciones sean relevantes.
En 2025, el DNP, en cabeza de la DSEPP, definirá la estructura de un informe de fin de periodo de gobierno, que recoja los resultados de las evaluaciones, que servirá de insumo para entrega a la construcción del nuevo PND. Se busca de esta forma que la formulación de este documento tenga en cuenta la evidencia de las evaluaciones para una mejor toma de decisiones. Este informe de fin de periodo se socializará con el equipo del nuevo gobierno, así como los responsables de coordinar y elaborar el nuevo PND, con el objeto de que los resultados y las recomendaciones de las evaluaciones ejecutadas durante el periodo anterior sean un insumo para definir las nuevas apuestas del gobierno, así como la continuidad de las intervenciones. El informe estará disponible previo al proceso de construcción del PND.
El DNP fortalecerá la estrategia de comunicaciones para la socialización de los resultados de las evaluaciones realizadas por la DSEPP. Con la orientación del equipo de comunicaciones se revisarán y ajustarán las herramientas de difusión de resultados y recomendaciones de las evaluaciones de tal forma que faciliten la promoción y apropiación por parte de los diferentes usuarios: hacedores de política y técnicos de las entidades para la toma de decisiones basadas en evidencia, y para la ciudadanía en general como mecanismo de rendición de cuentas. Esta acción se ejecutará entre 2022 y 2024.
Entre 2023 y 2026, el DNP, realizará una evaluación de una nueva intervención del PND 2022-2026 en su fase piloto (inicial), de tal forma que con esta información se tomen decisiones sobre su permanencia, financiamiento o escalamiento(46). Las evaluaciones deben procurar aprender de la intervención en una fase piloto, inicial y de baja escala, para ajustar y ver la viabilidad de ampliar la intervención. Además, incluir la evaluación de un nuevo programa, garantizará que la evaluación sea tenida en cuenta desde el diseño de la intervención.
5.3.3. Promover la cultura y la capacidad para realizar y usar evaluaciones, que permita fortalecer la institucionalidad, mediante la articulación entre la oferta y la demanda.
Línea de acción 6. Mejorar las capacidades en seguimiento y evaluación en entidades del orden nacional y territorial
El Departamento Administrativo de la Función Pública (DAFP), en articulación con el DNP, a través de la DSEPP, entre 2022 y 2024, incluirá en el Marco Nacional de Cualificaciones de empleo público, la familia de empleos de seguimiento y evaluación, para garantizar dichas capacidades en las entidades públicas. Para esto se realizará una caracterización e identificación de brechas, que tomarán como base el diagnóstico de este documento CONPES. Posteriormente, se realizará un análisis ocupacional y funcional, para estructurar así la cualificación. Finalmente, se incluirá la en el Marco Nacional de Cualificaciones.
Para 2022, el DAFP, en articulación con la DSEPP, incluirá lineamientos dentro del marco del Plan Nacional de Formación y Capacitación relacionados con la importancia de la capacitación en temáticas de seguimiento y evaluación de políticas públicas. Lo anterior, permitirá que las entidades incluyan en sus planes de formación y capacitación los temas de seguimiento y evaluación. Para esto se definirá el contenido y se desarrollará y validará, para finalmente incluir la línea en el plan de formación y capacitación.
Entre 2022 y 2023, el DAFP y la Escuela Superior de Administración Pública, en articulación con la DSEPP, diseñará e implementará un curso de seguimiento y evaluación, el cual introduce a cualquier funcionario público y/o contratista en los fundamentos en el seguimiento y la evaluación de planes, proyectos, programas, y políticas públicas. Asimismo, partiendo de la importancia del uso de evidencia, el curso guiará al estudiante en la construcción de un marco lógico, cadena de resultado, indicadores, y explicará de manera detallada las metodologías y métodos de evaluación, así como posibles mecanismos de financiación y ejecución de las evaluaciones. Este curso estará dirigido a entidades del orden nacional y territorial.
El DNP en cabeza de la Dirección de Estrategia Regional diseñará e implementará para 2026 una estrategia dirigida a entidades territoriales para fortalecer la implementación de seguimiento y evaluación a políticas, planes, programas y proyectos. Para esto, en un primero momento se identificarán los actores que intervienen en la estrategia y focalizarán las entidades territoriales a las que se les prestará la capacitación. Después se diseñará la estrategia, para proceder a implementará y finalmente medir el avance de esta y realizar un reporte sobre su implementación.
En 2023, el DNP, actualizará la guía de evaluaciones y homogeneizará conceptos de evaluación, con el objetivo de tener lineamientos unificados sobre el desarrollo de evaluaciones para el uso de las entidades del orden nacional y territorial. Con el liderazgo de la DSEPP como parte de la SGISE y el acompañamiento de la Dirección de Seguimiento, Evaluación y Control del Sistema General de Regalías, se llevará a cabo un proceso de revisión de la guía de evaluación para actualizar y homogeneizar conceptos en relación a los diferentes tipos de evaluación que se realizan en el DNP de acuerdo con las necesidades, la información disponible y el fin de las mismas, entre las que se encuentran las evaluaciones de intervenciones (programas o políticas pública), proyectos de inversión y proyectos financiados con recursos provenientes del Sistema General de Regalías. También se buscará actualizar la guía en tipos de evaluación y metodologías, así como enfoques como el de género. Adicionalmente, la guía incluirá los lineamientos en relación con cómo llevar a cabo cada una de las evaluaciones.
Línea de acción 7. Promover la cultura de evaluación
Finalmente, entre 2022 y 2023, desde el DAFP, en articulación con la DSEPP, se incluirá en el premio Nacional de Alta Gerencia un énfasis temático en seguimiento y evaluación, con el objeto de incentivar la realización de evaluaciones en las entidades nacionales y territoriales; además, fortalecerá el uso de los resultados de las evaluaciones para una mejor toma de decisiones. Para esto se tendrán en cuenta aspectos como las capacidades de las entidades, el diseño, la metodología utilizada, los resultados y las recomendaciones, con especial énfasis en la implementación de estas últimas.
5.4. Seguimiento
El seguimiento a la implementación de la presente política se realizará a través del PAS que se encuentra en el Anexo A. En este se establecen los indicadores de seguimiento, las entidades responsables de cada acción, los periodos de ejecución, los recursos necesarios y las fuentes de financiamiento, y la importancia de cada acción para el cumplimiento del objetivo general de la política.
Esta política tiene un periodo de implementación desde el año 2022 hasta el 2026. El seguimiento se realizará de manera semestral a través de los indicadores incluidos en SisCONPES. El primer reporte se hará con corte al segundo semestre de 2022 y el informe de cierre se realizará con corte 31 de diciembre de 2026.
Tabla 2. Cronograma de seguimiento
| Corte | Fecha |
| Primer corte | Diciembre de 2022 |
| Tercer corte | Junio de 2023 |
| Cuarto corte | Diciembre de 2023 |
| Quinto corte | Junio de 2024 |
| Sexto corte | Diciembre de 2024 |
| Séptimo corte | Junio de 2025 |
| Octavo corte | Diciembre de 2025 |
| Noveno corte | Junio de 2026 |
| Informe de cierre | Diciembre de 2026 |
Fuente: DNP (2022)
Adicionalmente, Colombia cuenta con un ejercicio de aproximación para la construcción de la línea de base de este documento CONPES y su seguimiento, debido a su participación en la iniciativa para la elaboración de Índice Nacional de Capacidades en Evaluación con diferentes países de América latina como México, Costa Rica, Ecuador y República Dominicana, coordinado por Deval(47), que busca medir las capacidades y prácticas de evaluación en el ámbito de las políticas, programas y servicios sociales de los países, y la elaboración de un informe periódico que resuma los principales resultados, caracterice la situación en cada país y a nivel regional, y las tendencias observadas. Para el segundo semestre del 2022, se tendrá una medición de la línea de base y a partir de esta, la DSEPP del DNP, formulará metas para el horizonte de tiempo de este documento CONPES.
5.5. Financiamiento
Para efecto del cumplimiento de los objetivos de esta política, las entidades involucradas en su implementación priorizarán, en las cifras del Marco de Gasto de Mediano Plazo del respectivo sector, los recursos suficientes para la financiación de las actividades que se proponen en el PAS. Se estima que el costo total de la política es de 13.557 millones de pesos que se ejecutarán en un periodo de cuatro años.
Tabla 3. Financiamiento
(millones de pesos)
| Objetivo | Costo total |
| O1 | 11.195 |
| O2 | 1.949 |
| O3 | 413 |
| Total | 13.557 |
Fuente: DNP (2022)
6. RECOMENDACIONES
El Departamento Nacional de Planeación (DNP), Ministerio de Hacienda y Crédito Público, Departamento Administrativo Nacional de Estadística y el Ministerio de Tecnologías de la Información y las Comunicaciones recomiendan al Consejo Nacional de Política Económica y Social:
1. Aprobar los lineamientos de la Política para el fortalecimiento del uso y la institucionalidad de las evaluaciones para la toma de decisiones en Colombia, incluidos en el presente documento CONPES, incluyendo el Plan de Acción y Seguimiento (PAS) contenido en el Anexo A.
2. Solicitar a las entidades del Gobierno nacional involucradas en este documento CONPES priorizar en las cifras del Marco de Gasto de Mediano Plazo del respectivo sector, los recursos suficientes para la implementación de las acciones y estrategias contenidas en este documento CONPES.
3. Solicitar al DNP:
a. Consolidar y divulgar la información del avance de las acciones según lo planteado en el Plan de Acción y Seguimiento (Anexo A). La información deberá ser proporcionada por las entidades involucradas en este documento de manera oportuna según lo establecido en la sección de seguimiento.
b. Elaborar un documento que contenga el análisis de mecanismos para la contratación de evaluación de las políticas públicas.
c. Construir un repositorio de intervenciones públicas y sus evaluaciones.
d. Revisar y detallar la forma de selección de las intervenciones públicas a evaluar.
e. Diseñar e implementar una estrategia orientada a aumentar la reutilización de conjuntos de datos derivados de las evaluaciones de programas y políticas pública.
f. Construir e implementar un índice de uso de los resultados de las evaluaciones.
g. Crear un mecanismo de seguimiento para la implementación a las recomendaciones de las evaluaciones.
h. Formular y publicar Plan de Acción de recomendaciones de cada evaluación realizada al sector en cada vigencia, para hacer seguimiento a su implementación.
i. Alinear el ciclo de evaluación al ciclo de la inversión pública.
j. Definir una estructura y elaborar informe anual de resumen de resultados de las evaluaciones.
k. Definir la estructura y elaborar un informe de fin de periodo de gobierno, que recoja los resultados de las evaluaciones, que sirva como insumo para la construcción del nuevo Plan Nacional de Desarrollo (PND).
l. Fortalecer la estrategia de comunicaciones para la socialización de los resultados de las evaluaciones.
m. Realizar una evaluación de una nueva intervención del PND 2022-2026 en su fase piloto.
n. Incluir en el Marco Nacional de Cualificaciones de empleo público, la familia de empleos de seguimiento y evaluación.
o. Incluir lineamientos dentro del marco del Plan Nacional de Formación y Capacitación, relacionados con la importancia de la capacitación en temáticas de seguimiento y evaluación.
p. Diseñar e implementar un curso de seguimiento y evaluación.
q. Actualizará la guía de evaluaciones.
r. Incluir en el premio Nacional de Alta Gerencia un énfasis temático en seguimiento y evaluación.
4. Solicitar al Departamento Administrativo de la Función Pública:
a. Incluir en el Marco Nacional de Cualificaciones de empleo público, la familia de empleos de seguimiento y evaluación.
b. Incluir lineamientos dentro del marco del Plan Nacional de Formación y Capacitación, relacionados con la importancia de la capacitación en temáticas de seguimiento y evaluación.
c. Diseñar e implementar un curso de seguimiento y evaluación.
d. Incluir en el premio Nacional de Alta Gerencia un énfasis temático en seguimiento y evaluación.
e. Formular y publicar Plan de Acción de recomendaciones de cada evaluación realizada al sector en cada vigencia, para hacer seguimiento a su implementación.
5. Solicitar al Departamento Administrativo Nacional de Estadística:
a. Formular un protocolo para brindar acceso a bases de datos para las evaluaciones, en el marco del Comité de Administración de Datos.
6. Solicitar al Ministerio de Tecnologías de la Información y las Comunicaciones
a. Diseñar e implementar una estrategia orientada a aumentar la reutilización de conjuntos de datos derivados de las evaluaciones de programas y políticas públicas.
7. Solicitar a Prosperidad Social y a los Ministerios de Tecnologías de la Información y las Comunicaciones, Deporte, Relaciones Exteriores y de Salud y Protección Social:
a. Ampliar la oferta de evaluaciones, que permita conocer los resultados de los programas y proyectos desarrollados por del sector.
8. Solicitar a Prosperidad Social y a los Ministerios de Agricultura y Desarrollo Rural, Tecnologías de la Información y las Comunicaciones, Ciencia, Tecnología e Innovación, Deporte, Defensa, Cultura, Relaciones Exteriores, Vivienda, Ciudad y Territorio, Ambiente y Desarrollo Sostenible, Transporte, Interior, Comercio, Industria y Turismo, Trabajo, Educación, Justicia, Minas y Energía, y de Salud y Protección Social:
a. Formular y publicar Plan de Acción de recomendaciones de cada evaluación realizada al sector en cada vigencia, para hacer seguimiento a su implementación.
GLOSARIO
Actividades: son las acciones emprendidas o el trabajo realizado para transformar los insumos en productos.
Análisis Costo-Beneficio: es un análisis económico para la toma de decisiones. Permite comparar las cuantificaciones monetarias de los costos y los beneficios de un programa. Esta estrategia permite elegir la mejor alternativa entre diferentes programas o inversiones similares a través de la revisión de las rentabilidades resultado del análisis. Finalmente, el análisis permite atribuirle un valor monetario a aquellos ítems que no tienen una.
Análisis de políticas y/o programas y/o proyectos: examen detallado para conocer características o cualidades, o estado, y extraer conclusiones.
Análisis o evaluación comportamental: busca determinar los factores que influyen en la toma de decisiones de las personas.
Cadena de Valor: la cadena de valor o resultados muestra la secuencia o lógica causal de un programa o política desde su inicio hasta la entrega de resultados (Gertler, P. J, et al, 2017).
Coordinación: es la acción de coordinar, de poner a trabajar en conjunto diferentes elementos en pro de obtener un resultado específico para una acción conjunta.
Dirección: es la acción y efecto de dirigir (llevar algo hacia un término o lugar, guiar, encaminar las operaciones a un fin, regir, dar reglas, aconsejar u orientar).
Diseño de políticas y/o programas y/o proyectos: proceso de elaboración de una propuesta de trabajo, donde se identifican a los beneficiarios y actores claves, se establece un diagnóstico del problema y se definen estrategias posibles para enfrentarlo.
Ejecución de políticas y/o programas y/o proyectos: realizar todas las actividades necesarias para generar el objetivo propuesto.
Evaluación de impacto: analiza los efectos causales esperados y no esperados de una intervención. Para esto, la metodología estudia los potenciales cambios en las condiciones de los beneficiarios como consecuencia directa de los productos entregados por la intervención a través de la comparación de dos tipos de poblaciones: beneficiarios de la intervención y un grupo contrafactual (un grupo con características similares a los beneficiarios pero que no fueron objeto de la intervención). En particular, este tipo de evaluación está orientada hacia programas y proyectos.
Evaluación de operaciones: analiza los procesos de la implementación del programa o proyecto. Para esto, verifica el cumplimiento de las metas operativas e identifica los factores asociados a estos. También hace una valoración ex post a partir de la entrega de los productos y servicios programados en la intervención. En particular, este tipo de evaluación está orientada hacia programas y proyectos.
Evaluación de políticas y/o programas y/o proyectos: "apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo..." (OCDE, 2002).
Evaluación de resultados: analiza el cumplimiento de metas en la entrega de productos y la sostenibilidad de los resultados del programa o intervención. Para esto, estudia los cambios en las condiciones de los beneficiarios como consecuencia directa o indirecta (atribuible o no) de los productos entregados por la intervención. Finalmente, puede identificar los factores que pueden contribuir con el logro de los resultados. En particular, este tipo de evaluación está orientada hacia programas y proyectos.
Evaluación institucional: analiza y valora la capacidad institucional de las entidades públicas para operar la política y rendir cuentas. Para esto, el proceso de evaluación institucional reconstruye la estructura institucional de la política y el esquema de articulación entre actores. En particular, este tipo de evaluación va orientada a analizar políticas con múltiples actores.
Formulación de políticas y/o programas y/o proyectos: procedimiento a seguir para recopilar toda la información de un conjunto de actividades orientadas a perseguir un objetivo concreto.
Implementación de políticas y/o programas y/o proyectos: ejecución o puesta en marcha de un diseño.
Insumos: son los recursos de que dispone el proyecto/política/programa, que incluyen el personal y el presupuesto, entre otros.
Investigación de políticas y/o programas y/o proyectos: acto de llevar a cabo estrategias para descubrir algo. Conjunto de actividades de índole intelectual y experimental de carácter sistemático, con la intención de incrementar los conocimientos sobre un determinado asunto.
Metodologías y/o métodos cualitativos: buscan evaluar, analizar e interpretar información obtenida a través de recursos como entrevistas, grupos focales, etnografías, entre otros. Se diferencia de las metodologías y/o métodos cuantitativos, que están orientados a realizar análisis sobre la base abstracciones numéricas o estadísticas.
Política Pública: son los proyectos/actividades/acciones que el Estado plantea y gestiona a través del gobierno y la administración pública con fines de satisfacer las necesidades de una sociedad.
Productos: son los bienes y servicios tangibles que producen las actividades del proyecto/política/programa (controlados de forma directa por la agencia ejecutora).
Resultados finales: son los resultados finales alcanzados y señalan si los objetivos del proyecto/política/programa se cumplieron o no.
Resultados: son los resultados que previsiblemente se lograrán cuando la población se beneficie de los productos del proyecto/política/programa.
Tipos de evaluación: cada uno de los eslabones de la cadena conlleva aspectos claves en la implementación del programa o política. Lo anterior implica que cada eslabón puede dar información sobre el accionar de la intervención y por ende determinar el tipo de evaluación.
ANEXOS
Anexo A. Plan de Acción y Seguimiento (PAS)
Ver archivo Excel adjunto.
<Para consultar el anexo de este documento dirigirse al siguiente link: https://www.avancejuridico.com/docpdf/Anexo_A._PAS_4083_(1).pdf>
BIBLIOGRAFÍA
Askim, J. (2007). How do politicians use performance information? An analysis of the Norwegian local government experience. International Review of Administrative Sciences.
Aussilloux, V., & Baiz, A. (23 de Junio de 2020). Impact evaluation: what can France learn from the most advanced countries? International webinar on understanding cross country practices for policy evaluation.
Congress USA. (21 de Octubre de 2020). Congress.Gov. Obtenido de
https://www.congress.gov/bill/11 5th-congress/house-bill/41 74
Cunill, N., & Ospina, S. (2003). Evaluación de resultados para una gestión pública moderna y democrática: experiencias latinoamericanas. Caracas: CLAD.
DANE. (2019). Encuesta sobre Ambiente y Desempeño Institucional (EDI).
Darville, P., Rogers, R., & Guzmán, N. (2019). Evaluación Ex Ante de Diseño de Programas Públicos y su Contribución al Proceso Presupuestario. Dirección de Presupuestos del Ministerio de Hacienda.
Davies, P. (2004). Is evidence-based government possible? 4th Annual Campbell Collaboration Colloquium.
Decreto 1893 de 2021. (s.f.). Por el cual se modifica la estructura del Departamento Nacional de Planeación.
Departamento Nacional de Planeación. (1995). Documento CONPES 2790 - Gestión Pública Orientada a Resultados. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (1997). Documento Conpes 3002 - El Salto Social: Informe de Avance del Plan Nacional de Desarrollo 1997. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (2002). Documento CONPES 3188 - Evaluación de Impacto de Programas Sociales. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (2004). Documento CONPES 3294 - Renovación de la Administración Pública: Gestión por Resultados y Reforma del Sistema Nacional de Evaluación. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (2008). Documento CONPES 3515 - Concepto favorable a la Nación para contratar un empréstito externo con la Banca Multilateral para el Fortalecimiento de la Información Pública, Seguimiento y Evaluación para la gestión por resultados en Colombia. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (2017). Encuesta de diagnóstico para la explotación de datos. Bogotá D.C., Colombia: DNP.
Departamento Nacional de Planeación. (2020). Sinergia. Obtenido de https://sinergia.dnp.gov.co/Paginas/inicio.aspx
Departamento Nacional de Planeación. (2021). Encuesta Uso de evaluaciones. Bogotá.
Department of Planning, Monitoring & Evaluation, Republic of South Africa. (2019). National
Evaluation Policy Framework.
Dirección de Presupuestos del Ministerio de Hacienda de Chile. (2019). Resultados Evaluaciones Segundo Trimestre 2019. Santiago.
DNP. (17 de 05 de 2022). Metadatos y Microdatos. Obtenido de https: //anda.dnp.gov.co/index.php/objetivos
Francis, A., & Ally, T. (2014). The Use of Performance Information by Local Government Stakeholders in Tanzania. Journal of Finance and Accounting.
Función Pública. (2019). Modelo Integrado de Planeación y Gestión. Obtenido de https://www.funcionpublica.gov.co/web/mipg/resultados-medicion
Gaarder, M., & Briceño, B. (2010). Institutionalisation of government evaluation: balancing trade- offs. Journal of Development Efectiveness, Vol. 2/3, 289-309.
Gertler, P., Martínez, S., Premand, P., Rawlings, L., & Vermeersch, C. (2017). La evaluación de impacto en la práctica. Washington DC: Banco Internacional para la
Reconstrucción y el Desarrollo/Banco Mundial.
Google Analytics. (Febrero de 2021). Sinergia. Obtenido de https://sinergia.dnp.gov.co/Paginas/inicio.aspx
HM Treasury. (2020). Magenta Book. Central Government guidance on evaluation.
Hood, C. (1991). A Public Management for all Seasons. Public Administration, 69:1.
Interamerican Development Bank. (2020). Blogs iadb. Obtenido de gobernarte: https://blogs.iadb.org/administracion-publica/es/datos-abiertos-en-gobiernos-de-america- latina-y-el-caribe-como-avanzamos/
Johansson, T., & Siverbo, S. (2009). Explaining the Utilization of Relative Performance Evaluation in Local Government: A Multi-Theoretical Study Using Data From Sweden. Financial Accountability & Management.
Lázaro, B. (2015). Comparative Study on the institutionalisation of evaluation in Europe and Latin America. Eurosocial Programme.
Ledermann, S. (2012). Exploring the Necessary Conditions for Evaluation Use in Program Change. American Journal of Evaluation, Vol. 33/2, 159-178.
Ley 1450 de 2011. (s.f.). Por la cual se expide el Plan Nacional de Desarrollo, 2010-2014. 16 de junio de 2011. D.O. No. 48.102.
Mackay, K. (2007). How to Build M&E Systems to Support Better Government. Washington D.C.: The World Bank.
Manning, R., Goldman, I., & Hernández, G. (2020). The impact of impact evaluation. WIDER Working Paper 2020/20.
Ministerio de Planificación Nacional y Política Económica. (2017). Manual de Evaluación para Intervenciones Públicas. Gestión de Evaluaciones en el Sistema Nacional de Planificación.. Costa Rica.
Ministério do Planejamento, Desenvolvimiento e Gestao; Ministério da Fazenda; Ministério da Transparencia e Controladoria-Geral da Uniao. (2018). AvaliaQSo de Políticas Públicas, Gula pático de anállse expost, Brasilia: Presidencia da República.
Ministry for Foreign Affairs of Finland. (2018). Evaluation Manual.
Moynihan, D. (2006). Managing for Results in State Government: Evaluating a Decade of Reform.
Public Administration Review.
Organización para la Cooperación y el Desarrollo Económicos. (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados. Paris: OECD PUBLICATIONS.
Organización para la Cooperación y el Desarrollo Económicos. (2018). Revisión del Gobierno Digital en Colombia: Hacia un Sector Público Impulsado por el Ciudadano. Paris: OECD Publishing.
Organización para la Cooperación y el Desarrollo Económicos. (2020). Improving Governance with Policy Evaluation: Lessons From Country Experience, OECD Public Governance Reviews.
Paris: OECD PublishinG. Obtenido de https://doi.org/1 0. 1 787/89b1 577d-en.
Organización para la Cooperación y el Desarrollo Económicos. (2020). Understanding the
Governance of Policy Evaluation: What do we Know About Institutionalisation, Quality and Use? Results a cross country analysis. Expert Webinar, Policy Evaluation at the OECD: the Way Forward.
Organización para la Cooperación y el Desarrollo Económicos. (2016). Big data for growth and well being. Obtenido de https://read.oecdilibrary.org/science-and-technology/data-driven- innovation_9789264229358- en Organización para la Cooperación y el Desarrollo Económicos. (2019). Obtenido de https://www.oecd-ilibrary.org/sites/b2a87124- es/index.html?itemId=/content/component/b2a87124-es
Pérez, G., & Maldonado, C. (2015). Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina. Ciudad de México: CIDE.
Pérez, G., Maldonado, C., & Hernández, D. (2015). VII. El sistema de seguimiento y evaluación de programas federales en México: retos para su consolidación. En G. Pérez, & C. Maldonado, Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina, Ciudad de México, Centro de Investigación y Docencia Económicas/Centro Clear para América Latina (págs. 273-310). Colección Coyuntura y Ensayo.
Prime Minister's Office. (2020). Government plan for analysis, assessment and research in support of
decision-making 2020.
Prosperidad Social. (26 de Abril de 2022). Prosperidad Social. Obtenido de Evaluaciones:
https://prosperidadsocial.gov.co/transparencia/planeacion/evaluaciones/
Punton, M. (2016). How can Capacity Development Promote Evidence-Informed Policy Making?
Literature Review for the Building Capacity to Use Research Evidence (BCURE) Programme. ITAD.
Santiso, J., & Dayton-Johnson, J. (2012). The Oxford Handbook of Latin American Political Economy. Oxford University Press.
Stewart, R., Dayal, H., Langer, L., & Van Rooyen, C. (2019). The evidence ecosystem in South
Africa: growing resilience and institutionalisation of evidence use. Palgrave Communications, 5-90.
Weiss, D. (1982). Improving Measurement Quality and Efficiency with Adaptive Testing.
What Works Network. (2018). The What Works Network.
World Wide Web Foundation. (2018). El Barómetro de los Datos Abiertos - Edición de los Líderes.
Washington D.C.
1. De acuerdo con la OCDE, la evaluación es una "...apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, puesta en práctica y sus resultados; para determinar la pertinencia, el logro de objetivos, eficiencia, eficacia, Impacto y sostenlbllidad. Las evaluaciones proporcionan información creíble y útil, para incorporar las lecciones en el proceso de toma de decisiones" (OCDE, 2002, p. 22).
2. Traducción propia.
3. Primera etapa: 1994-2002; segunda etapa: 2002-2009; tercera etapa: 2009-2017; situación actual.
4. Por medio del cual se expide el decreto único reglamentario del sector administrativo de planeación nacional
5. Por el cual se reestructura el Departamento Nacional de Planeación (derogado por el artículo 52 del Decreto 1363 de 2000). En la actualidad, las referidas funciones están en el artículo 63 y siguientes, del Decreto 1893 de 2021 "Por el cual se modifica la estructura del Departamento Nacional de Rlaneación"
6. Por la cual se establece la Ley Orgánica del Plan de Desarrollo
7. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/2688.pdf
8. Por la cual se organiza el Sistema Nacional de Evaluación de Gestión de Resultados
9. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/2790.pdf.
10. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3002.pdf.
11. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/31 88.pdf.
12. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3294.pdf.
13. Por la cual se expide el Plan Nacional de Desarrollo 2006-2010
14. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3515.pdf.
15. Por medio del cual se expide el decreto único reglamentario del sector administrativo de Planeación Nacional
16. Por el cual se reglamenta el Sistema Nacional de Evaluación de Gestión y Resultados Sinergia.
17. Por medio del cual se expide el Decreto Único Reglamentario del Sector Hacienda y Crédito Público
18. Derogado expresamente por el artículo 82 del decreto 1893 de 2021.
19. Organismo Internacional de Estandarización.
20. Norma Técnica de Calidad de la Gestión Pública.
21. Organización de las Naciones Unidas que desarrolla programas, políticas y normas con el fin de defender los derechos humanos de las mujeres y garantizar que todas las mujeres y las niñas alcancen su pleno potencial
22. La DSEPP es miembro del 3ie.
23. Artículo 29 de la Ley 152 de 1994.
24. Ejemplo de esto es la iniciativa EvalYouth Colombia, que es grupo de evaluadores jóvenes de diferentes partes del país.
25. Por el cual se modifica la estructura del DNP.
26. Grupo que coordina las actividades de investigación, previsión y evaluación.
27. DNP. Presupuesto de Inversión final de cada vigencia.
28. Se realizó un análisis de texto de los procesos de contratación identificando los procesos asociados a la evaluación de programas y políticas utilizando los siguientes bigramas: evaluación/impacto, evaluación/operaciones, evaluación/resultados, evaluación/ex post, ex post, evaluar/programa, evaluar/política.
29. Con las evaluaciones que se están llevando a cabo y se esperan finalizar en 2022, se tendría un total de 250 evaluaciones.
30. Un variable se denomina proxy cuando reemplaza a otra variable que no se observa o no se puede medir. Para que una variable sea un proxy válido, debe estar estrechamente relacionada con la variable que reemplaza.
31. Actualmente, dentro de la Agenda Anual de evaluaciones del 2021, se está desarrollando la primera evaluación en el sector Deporte, con la Evaluación de operaciones, institucional y resultados del Plan Decenal del Deporte (2009-2019).
32. Disponible en: https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3920.pdf.
33. De acuerdo con la medición, los gobiernos denominados aspirantes no han superado el umbral de 60 puntos y están por detrás del primer grupo. Carecen de pruebas sólidas sobre su impacto. Sin embargo, varios gobiernos de este grupo - incluido Colombia- han mostrado un enorme progreso desde la primera medición hace cinco años.
34. Decreto 111 de 1996, por el cual se compilan la Ley 38 de 1989, la Ley 179 de 1994 y la Ley 225 de 1995 que conforman el estatuto orgánico del presupuesto.
35. Por medio del cual se expide el Decreto Único Reglamentario del Sector Hacienda y Crédito Público.
36. Datos recolectados por medio de una encuesta realizada a la DSEPP en 2019.
37. "El Catálogo del ANDA es un sistema web de catalogación de encuestas, que sirve como un portal para que los investigadores puedan navegar, buscar y descargar datos y metadatos relevantes de censos, encuestas o registros administrativo' (DNP, 2022)
38. Artículo 2.2.7.3.2.12. del Decreto 1082 de 2015
39. Instrumento de planeación que define lineamientos sobre la política pública del país.
40. Por ejemplo, se propone desde la acción realizar una evaluación de impacto que después no es posible llevar a cabo.
41. Las estadísticas referenciadas corresponden a las respuestas a la pregunta ¿Qué cree que debería hacer su entidad para aprovechar mejor los datos que posee?
42. Analiza por qué están pasando las cosas e identifica la causa del problema. El análisis descriptivo indica si algo está bien o mal sin explicar el por qué.
43. Relacionado con la predicción por ejemplo la probabilidad de que ocurra un evento en el futuro, la previsión de una cantidad cuantificable o la estimación de la ocurrencia en el tiempo de un evento.
44. Analiza una serie de condiciones como lo que está sucediendo, por qué sucedió y una posible situación para determinar el mejor curso de acción a tomar.
45. Se buscará tener un espacio de colaboración con Colombia Compra Eficiente.
46. Un piloto consiste en la puesta en marcha inicial de una intervención, a una escala pequeña, con el objetivo de considerar las posibilidades de mejora y expansión.
47. Organización de cooperación alemana
