Evaluaciones externas al CONEVAL 2012-2013
Con el objetivo de continuar mejorando su desempeño institucional, el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) tomó en 2012 la decisión de emprender las acciones conducentes para contar con una evaluación externa adicional a las auditorías y evaluaciones realizadas en años previos.
La evaluación 2012-2013 analiza dos aspectos específicos de gran relevancia para esta instancia: su estructura organizacional y los logros alcanzados. A partir de los resultados reportados por los evaluadores, el CONEVAL ha estructurado, como en ocasiones anteriores, un documento de trabajo que recupera las áreas de oportunidad y los retos de la evaluación estableciendo compromisos de mejora para los siguientes años, logrando de esta forma el propósito que dio origen a la realización de la evaluación externa.
Dicha evaluación contó con la participación del Mtro. Fernando Rojas Hurtado, ex funcionario del Banco Mundial y consultor externo con amplia experiencia internacional, con quien se definió la estrategia de evaluación y el desarrollo de la Evaluación de Desempeño Organizacional (EDO). Adicionalmente, derivado de una licitación pública nacional, se adjudicó al Tecnológico de Monterrey para realizar la Evaluación Externa de Resultados del CONEVAL (EER).
A continuación se presentan los vínculos a través de los cuales pueden consultarse las evaluaciones externas EER y EDO, los resúmenes de cada uno de estos ejercicios, la opinión institucional sobre la evaluación y el documento de trabajo elaborado por el CONEVAL para dar respuesta a los hallazgos.
Fortalezas
En resumen, la evaluación externa destaca las siguientes fortalezas del CONEVAL:
- El CONEVAL se ha convertido en un referente sólido para otros países e instituciones activas e influyentes en los temas de evaluación y medición de la pobreza. Un ejemplo es que 92 por ciento de los actores internacionales entrevistados cuenta con una excelente imagen del CONEVAL y el 8 por ciento restante manifiesta tener una muy buena imagen de la institución. En el campo de la medición de la pobreza destacan las múltiples solicitudes de asesoría por parte de otros países para conocer mejor y adaptar la medición de la pobreza a su propio contexto.
- La medición de la pobreza cuenta con solidez, posicionamiento y un alto grado de credibilidad. Más del 85 por ciento de los funcionarios entrevistados considera que la información es útil, relevante, transparente, accesible, sólida, creíble, clara, comparable y oportuna.
- Se encontró una alta calidad y relevancia de las evaluaciones que realiza a los programas sociales, por lo que el CONEVAL ha contribuido a la mejora en el diseño y operación de los programas de desarrollo social, lo cual es reconocido por los actores responsables de su ejecución.
- Actores relevantes del Sector de Desarrollo Social señalan un alto nivel de satisfacción sobre el valor de la información que emite el CONEVAL para la toma de decisiones, sobre su labor de rendición de cuentas, y sobre su papel en la transparencia de la política social.
- Se resalta la transparencia en la generación y difusión de indicadores sobre las condiciones sociales de México y el desarrollo de la política social. Destaca que los insumos de cálculo de la pobreza son públicos, lo que le brinda transparencia a la medición.
- Los entrevistados reconocieron como una buena práctica implementada por el CONEVAL la creación de las mesas técnicas de revisión de indicadores de los programas sociales en los que participan expertos temáticos, estadísticos y representantes de la Auditoría Superior de la Federación (ASF).
- Es de gran utilidad la información y análisis en programas de desarrollo a nivel estatal y municipal, por ejemplo, sobre la medición de la pobreza a nivel nacional y estatal, 86 y 77 por ciento de los encuestados, respectivamente, respondió de manera positiva a su uso para la toma de decisión en materia de política pública.
- El CONEVAL cuenta con una elevada relación beneficio-costo en su operación, ya que la evaluación mostró un beneficio positivo neto estimado de 42 por ciento con respecto a la inversión que se realiza en la institución. Para más de 75 por ciento de los encuestados, el CONEVAL vale tanto o más que el valor del presupuesto que ejerce.
Retos
La evaluación externa determina los siguientes retos:
- Existe un conocimiento heterogéneo de los procesos de evaluación por parte de los funcionarios de dependencias federales y del Congreso, lo que limita el uso de las herramientas de evaluación y medición de la pobreza, generadas por el CONEVAL, para tomar mejores decisiones de política pública.
- Existen instituciones en el gobierno mexicano que llevan a cabo diversas acciones de evaluación y medición (CONEVAL, INEGI, CONAPO, INEE, SHCP, SFP, etc.) y no se cuentan con suficientes mecanismos de colaboración claros y explícitos, por lo que se pueden limitar los alcances del CONEVAL y del esquema de medición y evaluación del país en su conjunto.
- El CONEVAL no contó con información suficiente para medir 6 de sus 40 indicadores en la Matriz de Indicadores de Resultados (MIR) 2012 por estar sujeto a la generación de información externa.
- El CONEVAL no cuenta con la certeza de que los usuarios de sus productos tengan claro el uso potencial de éstos en la mejora de los programas y la reducción de la pobreza. Incluso, se detectó que los responsables de los programas no se involucran en la definición, operación y uso de las evaluaciones toda vez que no conocen a cabalidad los criterios de evaluación ni aprovechan sus resultados.
- Se requiere reforzar los instrumentos de difusión del CONEVAL para hacerlos más eficientes y que un público más amplio conozca sus productos. Por ejemplo, la evaluación señala que el método de cálculo de la pobreza es de difícil comprensión para algunos usuarios.
- Se requieren otros estudios e indicadores para complementar el análisis de la pobreza como canastas regionales, indicadores de calidad, acceso efectivo, etc.
- Existen actores relevantes o tomadores de decisión a los cuales no les llega la información que genera el CONEVAL y que requieren otros mecanismos para potenciar el uso de los instrumentos de evaluación y medición de la pobreza.
- El uso de una sola metodología de monitoreo para programas con diferentes características dificulta del monitoreo de alguno de ellos.
- Asimismo, la evaluación externa al CONEVAL detectó algunos retos cuya solución depende de otros actores institucionales. Será importante que las diferentes instituciones retomen estos hallazgos como parte de labor de mejora.
- El aspecto más relevante que enfrentará el Consejo en los años por venir está ligada a la autonomía constitucional. Se detectan áreas de vulnerabilidad de alto riesgo que presentan la posibilidad de debilitar a la institución.
- Existe una amplia heterogeneidad en las capacidades institucionales para implementar el Sistema de Evaluación del Desempeño (SED), y en el uso de la Matriz de Indicadores para Resultados (MIR). Los usuarios no identifican claramente que exista una relación entre el SED y las decisiones presupuestales y de mejora del gasto público.
Para mayor información consulta:
