Introducción

En los últimos años se ha despertado un marcado interés por el concepto de evaluación, por la aplicación de la evaluación en diversos ámbitos (entre los que destaca la política pública) y por aportarle un carácter de rigurosidad y sistematización; dando origen así a un nuevo concepto: la investigación evaluativa.
Salas y Murillo (2010) señalan que “la investigación evaluativa surge dentro del ámbito de las ciencias sociales a partir de la necesidad ciudadana de conocer y participar en el diseño de políticas públicas, debido a que los programas sociales son financiados con recursos públicos. Es entonces que surgen herramientas teórico metodológicas tanto para estimar la eficiencia y eficacia de los programas como para incidir en su operación (Salas y Murillo, citando a Worthen y Sanders, 1987).
Lo anterior, nos lleva a entender que la recolección sistémica de información acerca de actividades, características y resultados de programas, permite realizar juicios acerca del programa, mejorar su efectividad, o informar la toma de futuras decisiones.
Sin embargo, la defensa de la investigación evaluativa como disciplina científica no ha sido tarea fácil. Los argumentos que la respaldan como tal, se fundamentan en el carácter riguroso, objetivo y sistemático que implica la producción de conocimiento a través de ella.
En términos más o menos sencillos, la investigación evaluativa permite, fundamentalmente (Haro, 2009): i) obtener información sobre problemas, expectativas y necesidades de la sociedad para contribuir de una manera eficaz a las decisiones de política social. ii) Producir información para disminuir la incertidumbre sobre las consecuencias de las decisiones tomadas, y sobre las alternativas menos costosas de decisión futura. iii)   Dar respuesta en forma rápida y precisa a cuestiones prácticas y preguntas de relevancia social, sin soslayar que en estas situaciones, los problemas teóricos, metodológicos y técnicos, están presentes.
Veamos pues, qué implica lo que hemos señalado en párrafos anteriores.

Importancia de la metodología en la evaluación de política pública

A continuación sintetizamos algunas concepciones acerca de la evaluación de la política pública que, además de orientarnos acerca de la definición del concepto, nos permite destacar la importancia que implican los aspectos metodológicos para los objetivos de una adecuada evaluación o, propiamente, de la investigación evaluativa:

Fuente: Elaboración propia con base en Salas y Murillo (2010). “La evaluación de los Programas Públicos en México: Una mirada crítica al CONEVAL”.

 

Dichas percepciones nos permiten deducir que la evaluación o investigación evaluativa es un proceso que se encuentra respaldado por un marco teórico – metodológico – contextual; es decir que cualquier evaluación necesariamente debe estar fundamentada en alguna teoría o marco referencial.

El concepto de Investigación Evaluativa

Algunos autores señalan que la investigación evaluativa es el método concreto de la evaluación, pues aporta a ésta última las herramientas de la investigación social para hacer más preciso y objetivo el proceso de evaluar.
En su forma de investigación, la evaluación establece criterios claros y específicos que garanticen el éxito del proceso, reúne sistemáticamente información, pruebas y testimonios de una muestra representativa de las audiencias que conforman el programa u objeto para evaluar, traduce dicha información a expresiones valorativas y las compara con los criterios inicialmente establecidos y finalmente saca conclusiones (Correa y otros, 2002).
La investigación evaluativa podría definirse, entonces, como “… un tipo especial de investigación aplicada cuya meta, a diferencia de la investigación básica, no es el descubrimiento del conocimiento. Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa debe proporcionar información para la planificación del programa, su realización y su desarrollo. La investigación evaluativa asume también las particulares características de la investigación aplicada, que permite que las predicciones se conviertan en un resultado de la investigación” (Correa, op. cit., citando a Suchman, 1967).

Diferencias entre Monitoreo, Auditoría y Evaluación (Investigación Evaluativa)

Siguiendo a Salas y Murillo (2010), los programas de monitoreo son un intento de evaluación sistemática, pero son diferentes a las evaluaciones y auditorías.
El monitoreo es la identificación y medición de lo ya sucedido. En términos teóricos, no se basan en constructos sino que más bien están orientados a los resultados mismos de la operación de un programa social.
Por su parte, la auditoría es una normativa para contrastar lo que es, con lo que debería ser. Es decir, verifica si se hace lo que se dice. Concisamente, es la verificación del desempeño. Para llevarla a cabo, no son necesarios criterios de investigación social ya que se reduce a un chequeo de indicadores.
Finalmente, la evaluación se define como los métodos de investigación sistémicos para el diseño, implementación y resultados de un programa cuyo propósito es la formulación y ejecución de políticas, así como la rendición de cuentas.
Por lo anterior, se asume que la auditoria es una acción complementaria a la evaluación (Salas y Murillo, citando a Chelimsky, 1985).

Dificultades conceptuales-metodológicas y de contexto de la investigación evaluativa

Salas y Murillo (op. cit) señalan que la evaluación no es un proceso estandarizado y único, sino que, por el contrario, está caracterizado por conflictos y negociaciones entre los evaluadores y las partes interesadas, e independientemente del tipo de evaluación, los encargados de ejecutarla encuentran en la realidad una serie de dificultades conceptuales-metodológicas y de contexto.
Estos autores sostienen que las dificultades conceptuales se refieren a los vacíos teóricos que impiden la operacionalización de las variables, así como la explicación de las causas y efectos de los programas dentro de la realidad particular de cada sociedad. Por su parte, metodológicamente existen obstáculos prácticos que impiden la sistematización de los datos, debido a que existen fuentes incompletas o poco fiables. Por su parte, las de contexto están ligadas a la influencia de grupos de poder, así como a la disponibilidad de recursos financieros y tecnológicos para llevar a cabo el trabajo de campo.

Cabe considerar también que los políticos utilizan los resultados de la evaluación como un mecanismo de legitimidad, siendo los evaluadores externos los agentes que simbólicamente cuentan con las competencias necesarias para establecer juicios de valor.
En este contexto, los evaluadores pueden estar sometidos por presiones políticas, teniendo como resultado la pérdida de la conducción de la evaluación, de manera que existe una tensión inherente entre el evaluador y las partes interesadas debido a que sus objetivos y metas no necesariamente están alineados.
Por lo anterior, Salas y Murillo sostienen que existe un frágil equilibrio entre la jerarquía política y la objetividad de la investigación como un proceso científico.

Descripción general de algunos esquemas utilizados en la evaluación de política pública1

La Evaluación Ex Post 2, se lleva a cabo durante la etapa de operación para determinar si es conveniente continuar con el proyecto o definir los requerimientos de reprogramación necesarios para lograr los objetivos de impacto perseguidos. Esta evaluación también se puede llevar a cabo una vez concluida la operación.
Consiste en la medición o sistematización de los resultados acumulados de: i) cobertura, ii) focalización, iii) eficacia, iv) eficiencia, v) efectos, vi) impacto, vii) relación entre los costos y el impacto.
A diferencia de la evaluación ex-ante, en que se trabaja con objetivos y metas a alcanzar según las estimaciones existentes, en la ex-post se utilizan los datos reales, medidos en el proyecto.

Una actividad inicial de la evaluación ex-post es identificar el momento más adecuado para llevarla a cabo, considerando la disponibilidad de información confiable y válida con los requerimientos de toma de decisiones para la gestión.

A continuación se describen, de forma muy general, algunas metodologías que se utilizan para la evaluación de políticas y/o programas públicos:

• Cálculo de los costos reales del proyecto

En esta etapa se realizan las mismas acciones que en la evaluación ex-ante. Se debe:

• Confeccionar un flujo de costos. Tomando como base los datos de la formulación y programación, se ajustan los valores con la información real. Se deben incluir tanto los ítems ya ejecutados como los que ocurrirán entre el momento de la evaluación y el horizonte del proyecto.
• Actualizar los costos a la fecha de análisis. Considerar la fecha de evaluación como punto de referencia.
• Anualizar los costos.
• Construir la matriz de costos reales.

Después de verificar los costos en que realmente se ha incurrido, se los puede contrastar con los estimados durante la programación.

• Medición de los impactos logrados

Se realiza mediante la comparación entre el estado "inicial" de la población objetivo (línea de base) y otro de "comparación" que es la situación existente después de un tiempo de operación del proyecto (línea de comparación), eliminando (o tratando de minimizar) la incidencia de factores externos.
Los modelos para medir efectos e impactos son los mismos, sólo cambian los indicadores utilizados.
Existe una familia de modelos cuyo objetivo es medir el impacto. Entre los que destacan los siguientes:

• Modelo experimental clásico

Exige seleccionar aleatoriamente una muestra que se divide, también aleatoriamente, en dos submuestras, el grupo con proyecto o población beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de control). Estas submuestras se seleccionan antes de iniciarse la operación del proyecto (en la situación de línea de base) y deben diferir sólo en que la primera recibe los bienes o servicios del proyecto y la segunda no.
Tomando en cuenta la selección aleatoria de ambos grupos, las diferencias iniciales entre ellos, si las hay, debieran ser mínimas. Es decir, entre X e Y no deben existir diferencias estadísticamente significativas.
Si las diferencias iniciales fueran estadísticamente significativas, es necesario realizar una nueva selección o distribución de la población en cada grupo, de lo contrario no es posible medir el impacto.
El modelo compara la situación en que se encontraban los dos grupos en la línea de base
(L B), con la situación en la línea de comparación (L C). A partir de ello se verifican los cambios generados por el proyecto.
Se debe analizar únicamente una variable (objetivo) a la vez y mantener las otras constantes.
El modelo experimental clásico constituye una forma vigorosa de identificar los cambios producidos por un proyecto. Sin embargo, su aplicación se dificulta porque requiere la selección aleatoria de los integrantes de cada uno de los grupos en la línea de base (LB).
Otro obstáculo son las dificultades éticas que derivan de aplicar el proyecto a sólo una parte de la población objetivo (el grupo experimental) para poder medir el impacto, excluyendo a otros que legítimamente requieren de la atención que el mismo brinda.

• El modelo cuasiexperimental

La lógica de este modelo es idéntica a la del experimental clásico. Se efectúan mediciones en las líneas de base (LB) y de comparación (LC) y luego se comparan las diferencias. La distinción radica en que la pertenencia al grupo con o sin proyecto no se determina aleatoriamente. La selección se realiza en función de las variables de mayor relevancia en relación al objetivo de impacto perseguido.
Dado que no es aleatoria la selección de los grupos en la LB, es posible que se presenten diferencias entre X e Y. El modelo asume que dichas diferencias son estables en el tiempo, por lo que (X' - X) - (Y' - Y) es un buen estimador del impacto neto.
Este modelo es útil cuando se desea evaluar un proyecto durante su operación y ya se han elegido los "beneficiarios" y los "no beneficiarios". Si se quiere evaluar un programa de alimentación escolar que está en funcionamiento, se pueden comparar los niños que asisten a los comedores escolares con los que, teniendo las mismas características de déficit nutricional y nivel socio-económico, no asisten, sea por auto marginación, sea porque en su escuela no opera el programa.

• Modelos no experimentales

Estos modelos se aplican cuando la población objetivo no puede ser comparada con un grupo de control. Vale decir, que se considera sólo la población beneficiaria del proyecto, lo que impide controlar la incidencia de variables exógenas.
Los modelos no experimentales utilizados con mayor frecuencia son:

• Modelo antes-después (sin grupo de comparación)

Se efectúa una medición "antes" que el proyecto sea implementado (LB) y se comparan los valores obtenidos con los resultados derivados de levantar una línea de comparación, "durante" la operación o "después" que el proyecto ha concluido.
Este diseño no permite eliminar el efecto del contexto y, por tanto, tampoco es posible determinar en qué medida los cambios registrados son imputables al proyecto.
Es posible aumentar la confiabilidad de la estimación a través de la incorporación de variables de control. Es decir, hacer que los dos grupos sean los más parecidos posible en todas las variables externas al proyecto que pudieran incidir en el impacto.

• Series temporales

Si se cuenta con información sobre indicadores de cambio en un conjunto de períodos previos y posteriores al proyecto, es posible hacer un análisis de series temporales, para extraer conclusiones sobre los efectos imputables al mismo.
Para ello, se construyen curvas sobre la base de mediciones periódicas efectuadas
"antes", "durante" y "después" de la realización del proyecto. Según las formas que éstas adopten se trata de determinar la magnitud del impacto que el proyecto produjo.
En términos estrictos, con este modelo no es posible aislar los efectos imputables al proyecto. Es el clásico problema de establecer la causalidad sin disponer de instrumentos que controlen los diferentes tipos de variables que la afectan.

• Modelo sólo después con grupo de comparación

En ocasiones, es posible definir un grupo de control, que permite la comparación de los resultados del proyecto ("después"), sin que sea posible contar con información sobre la línea de base.
Este modelo no controla la posibilidad de que hubiesen diferencias significativas entre los grupos en la línea de base. Este efecto se puede disminuir incorporando variables de control para generar dos grupos que sólo se diferencien en su pertenencia o no al proyecto.
Cuando se evalúa un programa (que incluye un conjunto de proyectos con iguales objetivos de impacto), el análisis incluye:

• la comparación de sus impactos reales (de cada uno), utilizando su posición en una distribución de frecuencias, y
• el estudio de la asociación observada entre distintas variables independientes y el impacto (como dependiente). Esto permitiría conocer el grado en que cada una influye en el impacto alcanzado. Como variables independientes se pueden incluir: costo (unitario y por tipo de recurso), focalización, cobertura, tipo y calidad de los productos, ejecutor o tipo de población objetivo, por ejemplo.

Este análisis se puede hacer de manera bivariada o multivariada, para lo cual existen múltiples coeficientes estadísticos. Sin embargo, dada la complejidad de los fenómenos sociales, el análisis multivariado es el más adecuado para conocer el impacto del proyecto, dado que permite controlar mejor el efecto de interacción.

• Cálculo de la relación Costo-Impacto

El último componente de la evaluación ex-post es calcular el costo por unidad de impacto real, dividiendo los costos reales por los impactos alcanzados.
Para hacer un análisis intra-proyecto, se comparan los resultados con las estimaciones realizadas durante la evaluación ex-ante. Esto permite medir el grado en que dichas estimaciones se adecuaron a la realidad y las razones de las diferencias encontradas.

Especial mención haremos de la llamada Metodología de Marco Lógico”3 , debido a que es una herramienta que ha venido empleado la banca multilateral, organizaciones no gubernamentales para el desarrollo (ONGD) y organismos nacionales para facilitar el proceso de planificación, seguimiento y evaluación de los proyectos; solventando así algunos problemas que se venían presentando en la ejecución de los proyectos, pues ofrece una serie de ventajas sobre otros enfoques menos estructurados.
El marco lógico es una herramienta que inicialmente fue empleada por el Banco Interamericano de Desarrollo, para resolver en principio tres problemas que se venían presentando en los proyectos financiados por esta institución:
1. La planificación de proyectos carentes de precisión, con objetivos múltiples que no están claramente relacionados con las actividades del proyecto.
2. Proyectos que no se ejecutan exitosamente, y el alcance de la responsabilidad del gerente del proyecto no está claramente definida.
3. No hay una imagen clara de cómo luciría el proyecto si tuviese éxito, y los evaluadores no tienen una base objetiva para comparar lo que se planeo con lo que sucedió en la realidad.
Sánchez (2007), citando al ILPES señala que “La metodología del marco lógico es una herramienta para facilitar el proceso de conceptualización, diseño, ejecución y evaluación de proyectos. Su énfasis está centrado en la orientación por objetivos, la orientación hacia grupos beneficiarios y a facilitar la participación y la comunicación entre las partes interesadas”; y que, teniendo presente una situación problemática y la motivación para solucionarla, las etapas para llevar a cabo la metodología según el ILPES son dos:

• Identificación del problema y alternativas de solución, en la que se analiza la situación existente para crear una visión de la situación deseada y selección de las estrategias que se aplicarán para conseguirla. Existen cuatro tipos de análisis a realizar: el análisis de involucrados, el análisis de problemas (imagen de la realidad), el análisis de objetivos (imagen del futuro y de una situación mejor) y el análisis de estrategias (comparación de diferentes alternativas en respuesta a una situación precisa).
• La etapa de planificación, en la que la idea del proyecto se convierte en un plan operativo práctico para la ejecución. En esta etapa se elabora la matriz de marco lógico.

La matriz presenta cuatro columnas que suministran la siguiente información:

• Un resumen narrativo de los cuatro niveles jerárquicos tratados en la estructura analítica del proyecto. Es la primera columna de la matriz de marco lógico y se evalúa a través de la lógica vertical (vínculos causales de abajo hacia arriba).
• Indicadores (resultados específicos a alcanzar). Se definen para el fin, propósito, componentes y actividades. Los indicadores aparecen en cada nivel de la matriz, se convierten en el punto de referencia y “carta de navegación” para guiar las actividades de gestión/monitoreo y evaluación del proyecto. Los indicadores bien formulados aseguran una buena gestión del proyecto y permiten que los gerentes de proyecto decidan si serán necesarios componentes adicionales o correcciones de rumbo para lograr el propósito del proyecto. Así mismo, al finalizar la intervención se conocerá si se logro el impacto y los efectos esperados sobre los beneficiarios.

Los indicadores deben cumplir cinco características: Especifico, medible, realizable, pertinente y enmarcado en el tiempo. Puede ser cuantitativo o cualitativo, dependerá de la naturaleza del objetivo, Los indicadores deben medir el cambio atribuible al proyecto.

• Medios de verificación. Se debe precisar los métodos y fuentes de recolección de información que permitirá evaluar y monitorear los indicadores.
• Supuestos. Los supuestos son los factores externos que están fuera del control de la institución responsable de la intervención, que inciden en el éxito o fracaso del mismo. Corresponden a acontecimientos, condiciones o decisiones que tienen que ocurrir para que se logren los distintos niveles de objetivos de la intervención. Los riesgos a los que está expuesto el proyecto, que pueden ser: ambientales, financieros, institucionales, sociales, políticos, climatológicos u otros factores.

Cuatro filas que presentan información acerca de los objetivos, indicadores, medios de verificación y supuestos en cuatro momentos diferentes en la vida del proyecto:

• Fin al cual el proyecto contribuye de manera significativa luego de que el proyecto ha estado en funcionamiento.
• Propósito logrado cuando el proyecto ha sido ejecutado.
• Componentes/Resultados completados en el transcurso de la ejecución del proyecto.
• Actividades requeridas para producir los componentes/resultados.

Salas y Murillo (op. cit.) presentan algunas limitaciones en relación a la utilización de la matriz de marco lógico como metodología de evaluación de política pública4 , a saber:
En primer lugar, parecería que la metodología sugerida para realizar las evaluaciones se encuentra dentro del paradigma cuantitativo. Esto contrasta con la finalidad de los programas sociales, que está orientada al bienestar de la población. Sin embargo, difícilmente se puede medir el bienestar, ya que es un parámetro subjetivo propenso a ser heterogéneo. Es decir, no todos los individuos perciben de igual manera el impacto de los programas en su calidad de vida. De manera que deberían proponerse, dentro del análisis, aspectos cualitativos bien definidos, con la intención de dimensionar los resultados a la realidad social.
Una segunda cuestión se refiere a que una metodología emplea herramientas e instrumentos, pero dichas herramientas no son una metodología per se. Citando a Kaplan y Norton (2007), dichos autores señalan que se define al balanced scorecard como una matriz de indicadores, que simplemente permite comparar parámetros establecidos con obtenidos y que ello es típicamente empleado como herramienta para recabar información en una auditoría, ya que parte de la metodología de la gestión estratégica empresarial y se utiliza en programas de monitoreo, difiriendo de la investigación evaluativa (citan a Chelimsky, 1985).

Reflexiones Finales: Una crítica a la metodología de evaluación de la política pública

Un elemento fundamental para mejorar la toma de decisiones e incrementar la eficacia de las políticas públicas es el conocimiento de los resultados e impactos de éstas. En ese sentido, la investigación evaluativa asume un rol importante, pues aporta los aspectos de rigurosidad y sistematización que hacen de la evaluación un proceso integral, válido y confiable.
Sin embargo, Cardozo (2003) señala que todas las técnicas empleadas en evaluación (estudios experimentales, cuasiexperimentales, análisis costo-eficacia, costo-beneficio, métodos multicriterios, encuestas, paneles, estudios de caso, historias de vida, etc.) enfrentan serios cuestionamientos que disminuyen su credibilidad. Si bien ninguna técnica es perfecta, una buena combinación de las mismas, con aportación de las más diversas disciplinas, como la sociología, la política, las matemáticas, la informática, etc., puede disminuir considerablemente los problemas no resueltos y contribuir a desarrollar un proceso de aprendizaje a partir de la experiencia realizada, que nos permita ir mejorando la eficacia de los programas implementados.

Los elementos clave que garantizan una evaluación exitosa y rigurosa son, entonces: que la evaluación sea un componente programado desde el diseño del programa, que tenga objetivos claros, que se cuente con el apoyo del ámbito institucional responsable del mismo, que el diseño de la evaluación ofrezca mediciones creíbles, que cuente con un adecuado marco lógico de evaluación, presupuesto suficiente y, de preferencia, un diagnóstico previo a la implantación del programa.

En México, aún cuando se ha implementado la evaluación en el ámbito de las políticas públicas y se le ha considerado ya, como un elemento fundamental para mejorar la toma de decisiones, esto no ha implicado algo más allá del discurso teórico o, incluso, político. Está aún ausente en nuestro país una verdadera cultura de evaluación o, dicho en los términos que hemos desarrollado este trabajo, no se practica la investigación evaluativa.
Esto resulta en un agravante de nuestra realidad si se considera que la investigación evaluativa juega un papel crucial como palanca de la calidad de las políticas públicas y que, por tanto, la inexistencia de ésta implica un obstáculo para el mejoramiento de las políticas implementadas por los gobiernos.

Bibliografía

Bausela, E. (2004). Metodología de Investigación Evaluativa”. Indivisa. Boletín de estudios e investigación. Centro Superior de Estudios Universitarios La Salle. España.

Cardozo Brum, M. (2003). “Evaluación de Políticas de Desarrollo Social”. En revista Política y Cultura No. 020. Universidad Autónoma Metropolitana. México.

Cohen, E. y Martínez R. (S/F). “Manual de Formulación, Evaluación y Monitoreo de Proyectos Sociales”. División de Desarrollo. CEPAL.

Correa S., Puerta A. y Restrepo B. (2002). “Investigación Evaluativa”. Instituto Colombiano para el Fomento de la Educación Superior, ICFES. Colombia.
 
Haro, J. (2009). “Investigación Evaluativa. Aplicaciones e intervenciones sociales y de salud pública”. El Colegio de Sonora. México.

Salas Durazo, I. y Murillo García F. (2010). “La Evaluación de los Programas Públicos En México: Una mirada crítica al CONEVAL”. Tribuna de Economía. ICE. No. 807. España.

Sánchez, N. (2007). “El marco lógico. Metodología para la planificación, seguimiento y evaluación de proyectos”. En revista Visión Gerencial. CIDE. México.

Torres, G. (2007). “La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México”. Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades, (CIICH), UNAM. México.