¿Cómo revisa el CONEVAL las MIR y los indicadores

Revisión de las Matrices de Indicadores

Desde 2008, de manera bienal, el CONEVAL realiza diagnósticos para la Matriz (MIR) y sus indicadores. La revisión de las Matrices de Indicadores se realiza mediante un análisis de gabinete con base en información que procede del Portal Aplicativo de la Secretaría de Hacienda (PASH), así como en información adicional que la instancia evaluada considere necesaria para justificar su análisis.

En este contexto, se entiende por análisis de gabinete al conjunto de actividades que involucra el acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos, evaluaciones internas y/o externas y documentación pública.

De esta manera, inicialmente, a través de una serie de reactivos binarios (Sí/No) se valora el diseño y la calidad de la Metodología de aprobación MIR en dos rubros generales: 1) Cumplimiento de los Elementos de la Matriz de Indicadores y, 2) Evaluación de la Lógica Interna de la Matriz de Indicadores. Cada rubro está compuesto por un número determinado de subrubros y, cada uno de éstos por un conjunto de reactivos, los cuales permiten valorar cada uno de los elementos que conforman la MIR.

El primer rubro valora el cumplimiento de los elementos mínimos que deben ser establecidos en la MIR, mientras que el segundo evalúa la calidad en el diseño de la matriz de indicadores y de la construcción de sus indicadores de desempeño, respectivamente.

Posteriormente, se realiza la revisión de los indicadores de cada uno de los programas contenidos en sus MIR. Los criterios que se evalúan en los indicadores son la claridad, la relevancia, la monitoreabilidad y la adecuación.

Una vez que se obtienen los promedios de los reactivos, tanto de la revisión de MIR como de los indicadores, el CONEVAL divide a los programas de acuerdo a la siguiente clasificación:

Esta clasificación se hace de conocimiento a las Unidades de Evaluación de las Coordinadoras de sector con el objetivo de establecer una agenda de capacitación oasesorías técnicas que permitan la mejora continua de la calidad de las MIR y de los indicadores.

También, los resultados de estas evaluaciones de MIR e indicadores son utilizados durante las diferentes etapas de la Metodología de Aprobación de los Programas de Desarrollo Social.

Para conocer más sobre las revisiones de indicadores de los programas sociales y el proceso de aprobación de indicadores, consultar los siguientes links:

Programas Sociales con indicadores aprobados.

Notas Relacionadas:
Programas con indicadores aprobados 2012-2013

Manuales y Guías:
Manual para el diseño y la construcción de indicadores
Guía para la elaboración de la Matriz de Indicadores para Resultados

 

Construyendo y mejorando los indicadores de los programas sociales

En 2012 el CONEVAL realizó el diagnóstico del diseño de los objetivos y el establecimiento de indicadores de los programas y acciones de desarrollo social. En este diagnóstico el CONEVAL hace una valoración del cumplimiento y la calidad de los elementos mínimos que debe contener la Matriz de Indicadores (MIR) de los programas sociales federales.

Derivado de este análisis, las MIR se clasifican en cuatro categorías 1) MIR con diseño destacado (verde oscuro); 2) Matrices con diseño adecuado (verde claro); 3) Matrices con diseño moderado: (amarillo) y, 4) Matrices con oportunidad de mejora: (rojo)

En 2012 se registraron 734 MIR en el Portal Aplicativo de la Secretaría de Hacienda, de las cuales, se consideró un total de 218 como programas y acciones de desarrollo social a valorar en cuanto al diseño de su MIR y que de acuerdo a la dependencia que los coordina, se distribuyeron de la siguiente manera:

 De acuerdo con los resultados de este Diagnóstico 2012, las MIR se clasificaron de la siguiente manera:

  • Matrices con diseño destacado – 28%
  • Matrices con diseño adecuado – 43%
  • Matrices con diseño moderado – 27%
  • Matrices con oportunidad de mejora – 2%

Como se observa, en 2012 el porcentaje de MIR con diseño destacado y adecuado fue de más del 70 por ciento, lo que implica que menos programas requieren de modificaciones en cuanto al planteamiento de sus objetivos y a la construcción de sus indicadores. Adicionalmente, respecto al diseño de los programas se tienen los siguientes hallazgos:

  • 64 por ciento de las MIR cuentan con los componentes necesarios y suficientes para lograr el propósito del programa.
  • 63 por ciento de los programas tienen un propósito único que representa un cambio específico en las condiciones de vida de la población objetivo.
  • En 76 por ciento de las MIR se espera que el logro del propósito implique una contribución significativa al logro del fin.

En cuanto al análisis de los indicadores, los principales hallazgos fueron los siguientes:

  • 54 por ciento de los programas tienen los indicadores necesarios y suficientes para medir adecuadamente el fin para el cual fue creado el programa.
  • 64 por ciento de los programas han incorporado los indicadores necesarios y suficientes para medir adecuadamente la razón de ser del programa
  • 83 por ciento de los programas han establecido los indicadores necesarios y suficientes para monitorear adecuadamente los componentes.
  • Respecto a los medios de verificación se tienen avances importantes, a nivel de componentes 43 por ciento de los programas han incorporado los medios de verificación suficientes; a nivel de propósito, el 44 por ciento, y; a nivel de fin, el 46 por ciento.

Avances y retos

La implementación de la MIR ha permitido tener mejoras en términos de planeación, diseño, implementación y seguimiento de los programas y acciones de desarrollo social. Entre estas se encuentran las siguientes:

  • El total de programas y acciones de desarrollo social cuenta con una herramienta que resume la información más importante de su quehacer en cuanto al problema que se propone resolver, los medios para alcanzarlo y la medición en términos de gestión y resultados.
  • Se han generado indicadores que dan cuenta de los resultados alcanzados por los programas y acciones de desarrollo social tanto a nivel sectorial como en lo individual y han sentado las bases para la realización de evaluaciones consistentes y homogéneas.
  • La MIR y sus indicadores de desempeño son una herramienta del Presupuesto basado en Resultados y del Sistema de Evaluación al Desempeño y es usada para la elaboración de informes que contribuyen a la transparencia y a la rendición de cuentas de la Administración Pública Federal.

Por otra parte, aún existen retos tanto para los programas y acciones de desarrollo social de manera individual, como para las dependencias y entidades en su conjunto. Entre los retos se encuentran los siguientes:

  • Revisar y mejorar continuamente la lógica causal y los indicadores de los programas, de manera que los objetivos reflejen de manera precisa el resultado que se busca alcanzar y que los segundos den cuenta de su logro.
  • Mejorar las fuentes de información para la elaboración de los indicadores, especialmente los que se refieren a registros internos de los programas.
  • Mayor participación por parte de los actores que toman las decisiones en la construcción y diseño de la MIR, de manera que las modificaciones o mejoras a esta puedan implementarse incluso en el mismo ejercicio fiscal.
  • Si bien para 2012 fueron 35 programas de desarrollo social que recibieron la aprobación de sus indicadores (aproximadamente 30 por ciento del total de programas sujetos a aprobación), aún es necesario que el resto de los programas realice un esfuerzo  para que sus indicadores cumplan con las características mínimas de diseño, consistencia técnica y estadística necesarias para que puedan ser aprobados por el CONEVAL.