Patricia Carrera Burneo*
Fernando Cando Ortega**
Sebastián Terán Ávalos***
Pontificia Universidad Católica del Ecuador
E-mail: pcarrera@puce.edu.ec
Resumen
La institucionalización de la evaluación de políticas, programas y proyectos juega un papel importante, aporta información para la mejora de la gestión pública. Los procesos evaluativos previenen y mitigan problemas que requieren la intervención pertinente, efectiva y sostenible de los poderes públicos. Esta investigación buscó determinar el estado de la institucionalización de la evaluación en Ecuador, durante el período 2014-2017. El análisis normativo de la Constitución del Ecuador muestra a la evaluación como un principio que rige la Administración Pública. Existe una normativa con criterios de evaluación con alcance nacional; sin embargo, no se orienta hacia una evaluación programática ni de impacto, no es autónoma, carece de estándares mínimos de calidad y fuentes de financiamiento. Su uso queda restringido a quienes deciden sobre la planificación, dirección y legitimación de programas y proyectos de interés público. De acuerdo al análisis cualitativo, la sociedad civil no participa ni demanda evaluaciones, excepto ciertas organizaciones del tercer sector. Tampoco existen programas integrales de formación profesional y certificación de competencias profesionales en evaluación.
Palabras clave: Institucionalización-evaluación programática-evaluación de políticas públicas-normativa-uso-profesionalización de la evaluación.
Abstract
The institutionalization of evaluation of policies, programs and projects plays an important role providing information for the improvement of public management. Evaluation processes prevent and mitigate problems that require a relevant, effective and sustainable intervention of public authorities. This research sought to determine the status of the institutionalization of the evaluation in Ecuador, during 2014-2017. The normative analysis of the Ecuadorian Constitution shows the evaluation as a principle that governs Public Administration. There is a national normative with evaluation criteria; however, it is not oriented towards a programmatic or impact evaluation, it is not autonomous, it lacks of quality standards and funding sources. Its use is restricted to those who decide the planning, direction and legitimization of programs and projects of public interest. According to the qualitative analysis, civil society does not participate or demand evaluations, except for certain civil society organizations. There are also no comprehensive professional training programs and certification of professional skills under evaluation.
Keywords: Institutionalization-programmatic evaluation-public policy evaluation-regulations, use-professionalization of the evaluation.
Para citar este artículo puede utilizar el siguiente formato:
Patricia Carrera Burneo, Fernando Cando Ortega y Sebastián Terán Ávalos (2019): “Análisis de la institucionalización de la evaluación de políticas, programas y proyectos de desarrollo en Ecuador (2014-2017)”, Revista Contribuciones a las Ciencias Sociales, (noviembre 2019). En línea:
https://www.eumed.net/rev/cccss/2019/11/institucionalizacion-politicas-ecuador.html
http://hdl.handle.net/20.500.11763/cccss1911institucionalizacion-politicas-ecuador
Los sistemas de evaluación en América Latina en general se encuentran inmersos en procesos de institucionalización. En el caso ecuatoriano, la institucionalización de la evaluación constituye un proceso continuo y paulatino desde hace décadas, y cuenta con importantes avances e hitos aunque también con obstáculos y retrocesos.
En la actualidad, es importante destacar que el país continúa en un proceso de implementación de prácticas y estrategias para desarrollar la evaluación. Este se ha llevado a cabo en la mayoría de los casos por instituciones estatales como la Senplades, la Contraloría General de la Nación y la Academia. Por lo que se plantea como un reto el involucrar a la sociedad civil y a la Asamblea Nacional en la institucionalización de la evaluación. Por lo tanto, surge la interrogante, ¿cómo se ha desarrollado el proceso de institucionalización de la evaluación de políticas públicas, programas y proyectos sociales en el Ecuador durante el período 2014-2017?
El objetivo general de esta investigación fue analizar la situación de la institucionalización de la evaluación de políticas públicas, programas y proyectos de desarrollo en Ecuador durante el período 2014-2017. Los resultados de este trabajo pretenden fortalecer el análisis, la discusión y la participación para la solución de los problemas relacionados con la normativa, uso de los resultados y desarrollo de capacidades locales en el ámbito de la evaluación, propone recomendaciones para mejorar sus actividades sustantivas con el propósito de que la sociedad ecuatoriana se beneficie, especialmente los sectores más vulnerables.
Este estudio se centró, a nivel nacional, en el análisis de la institucionalización de la evaluación programática a través del poder ejecutivo, legislativo y ciudadano. Mientras que para el análisis sectorial se consideró a los sectores que realizan con mayor frecuencia evaluaciones como: planificación (Secretaria Nacional de Planificación y Desarrollo), educación (Ministerio de Educación e Instituto de Evaluación), ambiental (Ministerio de Medio Ambiente) y de educación superior (Consejo de Aseguramiento de la Calidad de la Educación Superior). Se analizó el período 2014-2017, por constituir una etapa relevante y de transición entre dos gobiernos en funciones, que implicó la implementación de reformas institucionales.
Para el desarrollo de la investigación se implementaron cuatro etapas, conforme a la siguiente estructura y aspectos metodológicos:
Se utilizó metodología cualitativa de carácter descriptivo. Se usaron técnicas de análisis documental y entrevistas semi-estructuradas, que fueron sistematizadas a partir de codificaciones descriptivas cuyas dimensiones están relacionadas con: a) las estructuras y procesos institucionales; b) el uso de la evaluación; c) la participación de la sociedad civil; y d) la profesionalización del evaluador; para cada dimensión se establecieron entre 3 y 6 preguntas. Se realizaron 17 entrevistas a representantes de las instituciones que ejecutan evaluaciones: Senplades; Ministerio de Medio Ambiente: Subsecretaría de Control Ambiental; Consejo de Aseguramiento de la Calidad de la Educación Superior (CACES); Ministerio de Educación (MinEduc), Instituto de Evaluación Educativa (INEVAL); Pontificia Universidad Católica: Dirección de Aseguramiento de la calidad y profesores encargado de la autoevaluación de la carrera. El análisis del contenido de las entrevistas permitió realizar inferencias sobre los conocimientos relativos a las condiciones de institucionalización de la evaluación en el Ecuador.
Para identificar la importancia de la evaluación en el desarrollo de una sociedad, es fundamental advertir que ésta se organiza en base a una institucionalidad, la cual agrupa un conjunto de prácticas que se repiten continuamente y permiten mantener un orden determinado. De ahí que “la institución es el conjunto de reglas alrededor de las cuales los individuos han encontrado compromisos explícitos que les permiten estabilizar sus relaciones” (Pesqueux, 2009: 11).
Así, la institucionalización se origina en la tendencia del ser humano a la habituación, a la repetición de una misma acción según pautas que se convierten en típicas. Se puede especificar que la habituación es el fundamento de la institucionalización, ya que la manera repetitiva de hacer las cosas frente a una necesidad determinada “se convierte en una conducta normada, con una carga de significado y de deber moral, ético o estético, convirtiéndose en una conducta institucionalizada” (Yánez, 2010: 7).
Consecuentemente, dentro del proceso de construcción de la sociedad como realidad objetiva se deberían considerar tres momentos que la determinan: institucionalización, legitimación y socialización. A través de los dos primeros la actividad humana se objetiviza, mientras que mediante la socialización la realidad ya objetivizada se internaliza y es asumida como una realidad dada. La legitimación es el punto en el que se consolida la institucionalización, pues permite mantener un determinado orden y frenar el posible caos que devendría en caso de ausencia de un orden institucional.
Austin (2000) parafrasea a Berger y Luckmann y menciona que las instituciones ayudan a evitar que los sujetos sociales se comporten bajo su libre albedrío. Las personas no deben crear, reinventar o reorganizar el mundo cotidianamente, pues ya existe una realidad en la cual “las instituciones crean programas para el manejo de la interacción social; proporcionan modelos a los que la gente puede recurrir para orientar su conducta... las instituciones son sustitutos de los instintos”. Por ello, la mayor parte de las interacciones sociales se desarrollan en forma casi automática, sin que los individuos deban considerar todas las alternativas posibles de acción para una determinada situación.
La existencia de una sociedad institucionalizada permite contar con reglas de juego ya definidas, que dan forma a la interacción humana y en general al devenir histórico, caracterizado por el encuentro constante entre fuerzas que tienden al desorden (Guevara, 2016). Sin embargo, no se puede perder de vista que por más que un comportamiento sea repetitivo y habitual, este no se ejecuta maquinal e irreflexivamente. Esto significaría ignorar la dinámica cambiante de la sociedad, la cual cabe aclarar es “un proceso de institucionalización de pautas culturales y no de instituciones a secas, porque estas últimas son usualmente interpretadas como rígidas, estáticas, no cambiantes, fosilizadas” (Austin, 2000: 2). Esta última visión de las instituciones está ligada a un enfoque de tipo sociológico, diferente a la visión jurídica del viejo institucionalismo.
En relación con la institucionalización, Guevara y Pacheco (2016), con referencia al artículo de Selznick de 1996, la definen como “el proceso mediante el cual las organizaciones desarrollan un tipo de estructuras, de carácter distintivo, que imprimen patrones de integración, socialmente ordenados y estables”. Por otra parte, agregan, basándose en el texto de Scott de 1995, que la institucionalización es “un proceso de adaptación a valores que se infunden por interacción social” (Guevara y Pacheco, 2016: 3). Estos autores coinciden en la racionalidad de las instituciones, las cuales son creadas para un propósito predeterminado.
En definitiva, a pesar de que las instituciones, agrupan sujetos con comportamientos repetitivos y socialmente aceptados, no son entes estáticos. Se modifican y reestructuran a lo largo del tiempo, y están ligadas a estructuras culturales e históricas que determinan su accionar y permanencia.
De acuerdo con Boyle, Lemaire y Rist (1999), Furubo y Sandahl (2008) y Jacob y Varone (2004), cuando en el entorno público la evaluación forma parte habitual del ciclo de vida de las intervenciones públicas, se la realiza de forma sistemática y metodológicamente rigurosa, y sus resultados son utilizados por parte de decisores políticos, de gestores a cargo de las intervenciones, a más de ser accesibles a la ciudadanía. Así, los resultados permiten generar evidencias robustas sobre la pertinencia, funcionamiento, efectividad, eficiencia, impacto y sostenibilidad de las intervenciones públicas, que realimentan los procesos de toma de decisiones.
La evaluación es un proceso que permite obtener información que servirá a quienes toman decisiones en la elección de alternativas para conseguir determinados objetivos. Este argumento se alinea con la definición de Stockmann y Meyer, para quienes la evaluación es “el instrumento con el cual se puede medir, examinar y valorar cambios sociales observados sumativamente, así como generar datos formativamente para la conducción racional de procesos” (2016: 2).
Otro elemento de la evaluación es su utilidad como instrumento para valorar si estrategias, programas o proyectos aportan con soluciones a problemas sociales o a la transformación de instituciones. Ahí la importancia de que la evaluación sea conocida y debatida en todas las instancias sociales: “poner los resultados de las evaluaciones a disposición de la opinión pública es una acción que promueve el debate acerca de los problemas sociales y las soluciones políticas ofrecidas” (Stockmann y Meyer, 2016: 4).
Por otro lado, si bien las evaluaciones responden a metodologías rigurosas, y en algunos casos cuentan con sustento académico, no pueden considerarse totalmente científicas. “Siempre se deben orientar según los intereses y las necesidades de información de aquellos que la inician, la contratan o de alguna forma resultan afectados por ella” (Stockmann y Meyer, 2016: 59). Por ello importa saber que las evaluaciones no son estructuras cerradas que responden a programas mecánicos, sino que también se adaptan a los procesos sociales e instituciones y sus dinámicas de cambio.
Para que la evaluación juegue un papel importante en entornos gubernamentales, es fundamental considerar su grado de institucionalización, y sobre todo lo que aporta en información para que los tomadores de decisiones encaminen sus acciones hacia una mejor gestión pública. La institucionalización de la evaluación permite, así, contar con la estandarización de criterios que posibiliten medir y/o valorar, cuantitativa y cualitativamente, la ejecución de políticas públicas, programas y proyectos de desarrollo. En términos metodológicos, se deben seguir pautas de calidad y promover su utilización efectiva en favor de soluciones a problemas sociales que afectan a un Estado y su sociedad.
Finalmente, para que en el Estado ecuatoriano la evaluación pueda institucionalizarse, es indispensable un proceso de transformación paulatina y profunda de la administración pública y sus modelos actuales. Esa transformación debe superar visiones que conciben la evaluación únicamente como mecanismo ligado a la rendición de cuentas, pues su conocimiento evita y/o mitiga problemas que reclaman la intervención de los poderes públicos de manera pertinente y efectiva.
La trayectoria política del Ecuador se ha caracterizado, debido a cambios de gobierno en cortos períodos, por ser inestable; lo que ha provocado crisis económicas y sociales que debilitan su entramado social. Tradicionalmente, el proceso político ecuatoriano contaba con una baja gobernabilidad, principalmente por la existencia de un sistema bipolar entre las élites de Quito, la capital política del país, y Guayaquil, su puerto más importante y motor económico (Guerrero y Velasco, 2015). En ese contexto, la institucionalización de los ámbitos políticos, sociales y económicos son complejos y sobre todo volátiles.
En el ámbito institucional, desde los inicios de su historia republicana en 1830, Ecuador cuenta con la figura del Ministerio de Finanzas (que hasta 1964 se llamó Ministerio de Hacienda). Esta institución administradora del presupuesto nacional canaliza los recursos públicos hacia la generación y aplicación de políticas públicas, que posteriormente tienen un grado de afectación sobre la población del Ecuador (Avilés Pino, 2019). En 1927 se creó la Contraloría General del Estado (CGE) con el asesoramiento de la Misión Kemmerer (Contraloría General del Estado del Ecuador, 2019), que en la actualidad tiene la función de controlar y supervisar, mediante el control y la evaluación, los recursos del país.
En 1954 se creó la Junta Nacional de Planificación y Coordinación Económica (Junapla), que en 1979 fue reemplazada por el Consejo Nacional de Desarrollo (CONADE), mientras que en 1998, el CONADE dio lugar a la Oficina de Planificación (ODEPLAN), para luego convertirse en 2004 en la Secretaría Nacional de Planificación y Desarrollo (Senplades), como una entidad dependiente de la Presidencia de la República del Ecuador, cuyo objeto es “incrementar la efectividad de la gestión en el ciclo de la política pública en los procesos de planificación nacional y territorial, de seguimiento y evaluación, fomentando la participación ciudadana” (Secretaría Nacional de Planificación y Desarrollo, 2018).
Por otro lado, a pesar de que en el mundo la evaluación se desarrolló desde los años 50 del siglo XX, en el Ecuador no se contó formalmente con una entidad encargada de evaluar las intervenciones públicas sino hasta el 2008, cuando se aprobó la actual Constitución de la República del Ecuador. La Carta Magna permitió un replanteamiento integral del modelo político, social, económico, así como de la estructura institucional del Estado mediante un proceso de modernización, que estableció una administración pública apegada a los principios de eficacia, eficiencia, calidad, jerarquía, desconcentración, descentralización, coordinación, participación, planificación, transparencia y evaluación (Constitución de la República, Cap. 2. Art. 227).
Hasta el 2008, los esfuerzos en materia de seguimiento y evaluación fueron dispersos a nivel del sector público, pues no existía ninguna entidad encargada formalmente de centralizar estas acciones. En base a las demandas institucionales y siguiendo los principios y normativas vigentes, se dio el primer paso para fortalecer la institucionalidad del seguimiento y evaluación a través de dos organismos:
Posteriormente, el Reglamento del COPLAFP, expedido en 2014, creó el Subsistema Nacional de Seguimiento y Evaluación (SNSE), que establece un “conjunto de normas, instrumentos, procesos y actividades que las entidades y organismos del sector público deben realizar con el objeto de monitorear y evaluar las políticas públicas (...)”. La Subsecretaria de Seguimiento y Evaluación (SEE), creada en 2008 en la Senplades, es el ente encargado de dirigir y coordinar el SNSE.
En general, se determina que el SNSE se concibe como una herramienta para potenciar la gestión gubernamental en los diferentes niveles de ejecución de la política pública y para retroalimentar el proceso de la política pública. La toma de decisiones se estructura a través de elementos clave: la medición y evaluación de resultados, ligados al Plan Nacional de Desarrollo; la aplicación de herramientas metodológicas e información estadística para el monitoreo; la evaluación de diferentes intervenciones estatales, todos asociados con la promoción de la rendición de cuentas y transparencia (cultura de evaluación).
Los instrumentos utilizados para la evaluación hasta el momento son: el Plan Nacional de Desarrollo, las Agendas Intersectoriales y Sectoriales de Planificación y el Plan Anual de Evaluaciones (Reglamento del Código Orgánico de Planificación y Finanzas Públicas, Art. 8 y 54). Adicionalmente, el SNSE cuenta con las Coordinaciones de Planificación Institucional que incluyen las Direcciones de Planificación, Seguimiento y Evaluación, las que realizan los enlaces sectoriales e institucionales y que además tienen la potestad de implementar evaluaciones dentro de cada institución.
A partir del 2014, la Senplades inició formalmente los procesos de evaluación estratégica y programática ante la ausencia de evaluación como una práctica frecuente, planificada y consolidada en el país. Estos esfuerzos institucionales se materializaron a través de la formulación de lineamientos y metodologías para priorizar y guiar los procesos de evaluación, la implementación del Plan Anual de Evaluaciones (PAEV-principal hito), la contratación de servicios especializados para la ejecución de evaluaciones y la creación de la Dirección de Evaluación de Políticas Públicas (DEPP).
Hasta el 2016, el PAEV evaluó 17 intervenciones públicas distribuidas en todos los sectores de la economía, que incluyen proyectos identificados como estratégicos por su magnitud de inversión, alcance nacional y número de beneficiarios. En este marco institucional, aunque de las evaluaciones derivaron importantes resultados, estos fueron de uso interno (estatal) y no se divulgaron oficialmente, ni tampoco se exhibieron al público en general.
El recorrido histórico de los avances del Ecuador en materia de evaluación de programas, proyectos y políticas públicas permite observar que los mayores esfuerzos de la institucionalidad gubernamental, en cuanto a evaluación, se enfocan en el seguimiento y valoración de las metas contenidas en el PND. En lo referente a evaluaciones, la implementación del PAEV fue un importante avance, aunque su ejecución presenta ciertos problemas de gestión producto de cambios institucionales (absorción de instituciones como la SNAP y eliminación de la figura de los Ministerios Coordinadores), que dificultan la participación articulada de las instituciones relacionadas con las intervenciones evaluadas.
En este acápite se describen los principales cuerpos legales de la normativa nacional y sectorial en el ámbito de la evaluación. Este análisis se enfoca principalmente en la evaluación programática, es decir, la evaluación de políticas públicas, programas y proyectos a nivel nacional. En el ámbito sectorial analiza la normativa de aquellos sectores en los que la evaluación juega un rol preponderante para la planificación y toma de decisiones, como son los sectores de educación básica y bachillerato, ambiente, educación superior, participación ciudadana y control social.
La Constitución de la República del 2008 considera a la evaluación y su rol dentro del ciclo de formulación de políticas públicas como un principio fundamental (Constitución de la República, Cap. 2. Art. 227). Por otro lado, este cuerpo legal define la estructura del Estado ecuatoriano en cinco poderes con similar importancia y jerarquía: ejecutivo, legislativo, judicial, electoral y poder ciudadano.
De manera previa, se determinó que la evaluación programática, como objeto de estudio, no se encuentra incluida en el poder judicial ni el electoral. De ahí que, para el análisis de la regulación nacional en evaluación se consideró los siguientes poderes del estado y sus respectivos cuerpos legales y normativos:
Si se considera al poder ejecutivo y el COPLAFP, que fue promulgado en el 2010 y reformado en el 2017, en su Art. 6, la evaluación forma parte de las responsabilidades institucionales concerniente a la planificación nacional, vinculada a la Senplades, y a la política fiscal ejecutada a través del Ministerio de Economía y Finanzas (MEF). Asimismo, el Art. 17 obliga a la Senplades a elaborar instructivos metodológicos para la formulación, monitoreo y evaluación de las políticas públicas nacionales y sectoriales, que promuevan la institucionalización de la evaluación.
Por otro lado, el Reglamento del COPLAFP define el ciclo de la política pública como la formulación, coordinación, implementación, seguimiento y evaluación de políticas, y ubica al Consejo Nacional de Planificación como uno de los espacios donde la evaluación juega un rol importante, ya que dos de las funciones de este cuerpo colegiado, definidas en el Art. 8 del Reglamento, son: aprobar el plan anual de evaluaciones y establecer una o varias comisiones de seguimiento y evaluación permanentes para el cumplimiento de los objetivos de la planificación nacional.
Otro aspecto clave del marco normativo es que otorga a la Senplades el liderazgo del Sistema Nacional Descentralizado de Planificación Participativa (SNDPP) y establece que se encargará de “normar los parámetros técnicos mínimos, los procedimientos de reporte y la difusión de las evaluaciones respecto de entidades u organismos del sector público” y de mantener “un banco de las evaluaciones de las intervenciones públicas realizadas en el país y publicar los resultados de las evaluaciones” (Presidencia de la República del Ecuador, 2014). Asimismo, y quizás sea una de las atribuciones más importantes de la Senplades (ahora Secretaría Técnica de Planificación), ejecutar el seguimiento y evaluación del PND y de la Estrategia Territorial Nacional, cuyo informe anual de cumplimiento debe presentar el/la Presidente(a) de la República a la Asamblea Nacional.
Con relación al poder legislativo, la LOFL determina la estructura y desarrolla las obligaciones, deberes y atribuciones constitucionales de esta Función. Los sujetos de esta ley son los Asambleístas nacionales y provinciales. El cuerpo de la ley establece la naturaleza, funcionamiento, atribuciones, procedimientos, de las reformas a la Constitución, de la fiscalización y control político, entre otros elementos de la normativa e institucionalización de la Asamblea Nacional del Ecuador.
En los capítulos y articulados del cuerpo legal no hay referencias a la evaluación. Lo más cercano al tema es la función de fiscalización y control político, en la que se establecen requisitos y procedimientos de carácter jurídico y de investigación. Luego, se puede inferir que la evaluación y el uso de sus resultados no están integrados en las estructuras de la Asamblea Nacional del Ecuador (en el Ecuador se instauró la Asamblea Nacional, equivalente al parlamento). En general, se puede afirmar que los asambleístas ecuatorianos no exigen evaluaciones para su trabajo político, a pesar de que sus funciones legislativas y de fiscalización lo demanda para la toma de decisiones y ejecución de sus responsabilidades.
Finalmente, el Poder Ciudadano, cuyas responsabilidades y alcance se describen en los Arts. 61, 95 y 102 de la Constitución de la República, propone un proceso permanente de construcción del poder ciudadano. En tal sentido, se consagra en la Constitución el derecho a la participación de los ciudadanos en los asuntos de interés público, es decir, con la posibilidad de participar en el control popular de las instituciones del Estado, de la sociedad y de sus representantes.
A partir de estos principios constitucionales se crea la LOPC, promulgada el 2010 y reformada el 2011, en la cual la evaluación se plantea en torno a las políticas públicas, los programas, los proyectos y el control social. Un ejemplo de esto son las veedurías ciudadanas, e incluso, tal como se indica en el Art. 25 de la LOPC, se podrá revocar democráticamente el mandato a las autoridades de elección popular por el incumplimiento de su plan de trabajo. Es en este último punto cuando el rol de la evaluación toma relevancia.
Acorde con lo antes mencionado, en los Art. 48, 49 y 51 de la LOPC se dispone la realización de evaluaciones al menos dos veces por año: la primera al momento de la elaboración del PND y la segunda para evaluar su cumplimiento. Las evaluaciones deben ser llevadas a cabo por la Asamblea Ciudadana Plurinacional e Intercultural para el Buen Vivir. Otra instancia que la LOPC menciona para llevar a cabo la evaluación participativa de las políticas públicas son los Consejos Ciudadanos Sectoriales, los cuales por obligación deben ser convocados al menos una vez al año por las distintas carteras del Estado.
Durante el 2008 se creó el Consejo de Participación Ciudadana y Control Social (CPCCS) que, siendo un organismo público llamado a promover e incentivar el ejercicio de los derechos relativos a la participación ciudadana, debe impulsar y establecer mecanismos de control social en los asuntos de interés público. En esta medida, la evaluación programática mantiene su importancia, ya que se encuentra ligada a los sistemas de evaluación de la implementación de proyectos, y a la formulación y propuesta de contenidos, metodologías, mecanismos y sistemas de evaluación de la implementación de los proyectos del subcomponente de Control Social. Lo expresado fomenta los mecanismos participativos de rendición de cuentas, que someten a control y evaluación de la sociedad la gestión de lo público.
En cuanto a las regulaciones sectoriales en evaluación, se determinó que la evaluación tiene un rol y accionar destacado en los sectores de educación (inicial, general básica y bachillerato), ambiente y educación superior. Para el análisis de la regulación sectorial en evaluación, a nivel nacional, se tomó en cuenta los siguientes sectores con sus respectivos cuerpos normativos:
Promulgada en el 2011 y reformada en el 2018, la LOEI expresa que la “evaluación” es uno de los principios de la actividad educativa y la define como “un proceso permanente y participativo del Sistema Educativo Nacional” liderado por el Ministerio de Educación del Ecuador. Asimismo, se afirma que la evaluación forma parte de una las obligaciones del Estado, la que se refiere a la necesidad de “asegurar el mejoramiento continuo de la calidad de la educación”.
Por disposición de la Constitución de la República de 2008, en su Art. 346, se creó el Instituto Nacional de Evaluación Educativa, con el fin de promover la calidad educativa a través de la evaluación integral interna y externa del Sistema Nacional de Educación (Ley Orgánica de Educación Intercultural, 2011).
La evaluación en la educación básica y bachillerato se ejecuta a través de una prueba estandarizada, que busca medir variables específicas y tienen por objetivo determinar el rendimiento académico, tanto de los estudiantes como de los directivos y docentes, institución, gestión escolar y aplicación del currículo.
El segundo componente de análisis del sector educativo fue la educación superior y su LOES, que se promulgó en el 2010 y reformó en el 2018. En este cuerpo legal, la evaluación se presenta como requisito de calidad en la educación superior y forma parte del proceso de acreditación, aseguramiento de la calidad y categorización del Sistema de Educación Superior (SES). La LOES, en su Art. 94, define a la evaluación de la calidad como el “proceso para determinar las condiciones de la institución, carrera o programa académico, mediante la recopilación sistemática de datos cuantitativos y cualitativos que permitan emitir juicios o diagnóstico (...) a fin de que sus resultados sirvan para reformar y mejorar el programa de estudios, carrera o institución”.
De igual manera, la LOES establece en su Art. 95 que para la acreditación de las Instituciones de Educación Superior (IES), de una carrera o programa educativo se realizará una evaluación rigurosa, cuyo procedimiento incluye un proceso de autoevaluación y de evaluación externa. Otra finalidad de la evaluación es la categorización de las instituciones, carreras y programas según los resultados de la evaluación bajo criterios y objetivos medibles de carácter internacional (Ley Orgánica de Educación Superior, 2010).
En el marco del reglamento del Consejo de Educación Superior (CES), se dispone la creación del Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior (CEAACES), cuya finalidad es “normar la autoevaluación institucional, y ejecutar los procesos de evaluación externa, acreditación, clasificación académica y el aseguramiento de la calidad” (Presidencia de la República del Ecuador, 2011).
El tercer componente de análisis fue el ámbito ambiental, en el cual se consideró el COA, promulgado en el 2017 y reformado en el 2018. Esta investigación verificó que la evaluación es una parte trascendental para este sector, pues se encuentra inmersa entre las competencias que tienen los Gobiernos Autónomos Descentralizados (GAD) provincial, cantonal y parroquial, para el “proceso de evaluación de impactos, control y seguimiento de la contaminación, así como de la reparación integral de los daños ambientales en concordancia con el Código Orgánico de Organización Territorial, Autonomía y Descentralización (COOTAD)”. Asimismo, a través de la evaluación se puede identificar el estado de los servicios ambientales.
Además, otro aspecto clave que se destaca en la normativa ambiental nacional es el papel que juega la planificación, ejecución y evaluación de las políticas públicas, junto con la participación ciudadana liderada por el Ministerio de Ambiente del Ecuador. Es necesario recalcar que los proyectos específicos de gran magnitud deben contar con un proceso de regularización ambiental, que incluya la medición de la magnitud de sus impactos o riesgos ambientales, en donde tiene importancia la participación ciudadana. El informar directamente a la población potencialmente afectada sobre la realización de un proceso de regularización ambiental, de proyectos, obras o actividades, así como de los posibles impactos socio ambientales esperados y la pertinencia de las acciones a tomar, es una obligación del Ministerio del Ambiente y de la Subsecretaría de Control Ambiental.
De acuerdo con el análisis de los marcos normativos con alcance nacional y sectorial, se concluye que el Ecuador no cuenta con políticas o estrategias en evaluación, a pesar de que se destaca a la evaluación como un aspecto transversal a todo el accionar de la administración pública. Uno de los inconvenientes para esta situación, es que las leyes con alcance nacional y sectorial mantienen una misma jerarquía normativa, lo que implica que en cada institución pública prima la ley que determina su funcionamiento. Por este motivo, leyes nacionales como las de Planificación y Finanzas Públicas, Legislativo y Participación Ciudadana serían un complemento al accionar sectorial.
Este estudio observó que, tanto en el ámbito nacional como en el sectorial, los cuerpos legales analizados mantienen normativa secundaria o regulaciones administrativas; es decir, cuentan con Estatutos Orgánicos por Procesos (atribuciones y productos), Planes Estratégicos Institucionales, Procedimientos, Guías y Manuales que permiten la puesta en la práctica de las leyes y sus reglamentos, y permitan en cierta medida solventar los vacíos o términos generales que tienen las diversas normativas.
Con el propósito de analizar el contexto de los marcos normativos y legales existentes en evaluación, se tomó en consideración criterios como la independencia de la evaluación, su calidad, la orientación al impacto, presupuesto asignado y su uso.
Al observar el criterio de independencia para realizar la evaluación, se constató que a nivel nacional no se definen parámetros o requisitos de independencia. La evaluación es concebida como parte del ciclo de la política pública, que se desarrolla de manera interna en la administración pública. No obstante, en el ámbito sectorial sí se definen requisitos de independencia y como resultado se tiene la creación de institutos como el INEVAL y el CEAACES (2014-2017) (actualmente CACES, 2019). Mientras tanto en el sector ambiental la independencia se implementa a través de la descentralización y desconcentración de las competencias de evaluación. En definitiva, en el país no existen instituciones completamente independientes, ni públicas ni privadas, que realicen evaluación; los institutos o departamentos de evaluación existentes tienen una relación directa y de dependencia con las instituciones públicas que solicitan las evaluaciones.
En cuanto a los criterios de calidad de la evaluación, se observó que no existen requisitos específicos establecidos en los marcos normativos. Si acaso los hay, son generales y quedan para la interpretación de quienes aplican la normativa. Sin embargo, en la normativa secundaria y administrativa se determinó que la Senplades cuenta con requisitos mínimos para las evaluaciones, y que el INEVAL también busca estandarizar las evaluaciones para cumplir con determinado nivel de calidad.
La evaluación se lleva a cabo en todo el sector público y sobre todo en las organizaciones de cooperación para el desarrollo. En el país la relación entre las evaluaciones internas y externas es diversa, ya que depende de la normativa y la especialidad de la evaluación de cada sector. No obstante, las evaluaciones externas son las más frecuentes, ya que tienen como fin orientar la planificación, dirección, responsabilidad, legitimidad y fortalecimiento de la política pública y toma de decisiones, a más de constituir un requisito del organismo que financia el proyecto.
En cuanto a la orientación al impacto de la evaluación, se observa que la normativa legal no tiene en cuenta este criterio a nivel nacional ni sectorial. Este tipo de evaluaciones son producto de la visión y liderazgo de las autoridades que en su momento dirigen las instituciones nacionales y sectoriales.
Al considerar el presupuesto establecido en la normativa para realizar evaluaciones, se advierte que en el período 2014-2017 no se estableció una fuente fija de financiamiento para su ejecución. Lo que implica que año tras año las instituciones y áreas que realizan evaluación deben generar las respectivas solicitudes de asignación presupuestaria, la cual se otorga en función de la planificación gubernamental.
Finalmente, la normativa nacional y sectorial no establece ningún uso particular ni tampoco define usuarios específicos de los resultados de las evaluaciones.
La presente sección evidencia la percepción de los actores clave del sector público y privado respecto al uso y práctica de la evaluación en el Ecuador.
En paralelo a las diecisiete entrevistas con los actores clave de los sectores mencionados, se analizaron tres evaluaciones que fueron implementadas y dirigidas desde el Estado a sectores estratégicos: educación básica, educación superior y energía. Se evidenció que estas tenían como objetivo específico la toma de decisiones en el ámbito público. Este análisis observa la forma práctica cómo la evaluación adquiere institucionalidad en el Ecuador, pero también relieva la complejidad en la transversalización de criterios de evaluación, aplicación de metodologías, frecuencia y uso de los resultados de la evaluación.
Como se ha expuesto, las evaluaciones en el Ecuador se realizan por sectores, y cada uno define el alcance de las evaluaciones de acuerdo con sus especificidades. Sin embargo, existen sectores como la educación intercultural, en todos sus niveles, y la educación superior, en los cuales las evaluaciones tienen alcance nacional. Cabe indicar que la Senplades evaluó los planes, proyectos y programas planificados para el desarrollo del país, y acompañó en el seguimiento de los resultados e impactos en las diferentes instituciones públicas; además de generar, durante el período 2014-2017, los modelos de evaluación y sus herramientas.
De acuerdo con la normativa analizada, la evaluación se debe llevar a cabo en todo el sector público. Pero se observan diferencias entre los sectores estudiados en cuanto a la frecuencia de las evaluaciones y es común que sus resultados no se difundan a través de los medios de comunicación masiva. También la relación entre las evaluaciones internas y externas es diversa, depende de la normativa y la especificidad de la evaluación de cada sector. No obstante, las evaluaciones externas son las más frecuentes, especialmente aquellas que son financiadas con fondos para el desarrollo.
La percepción de actores clave establece que los sectores con mejor desempeño en evaluación y en el uso de sus resultados son: educación, inclusión económica-social y ambiente. Mientras que los sectores que tienen mal desempeño en el uso de la evaluación y sus resultados son: minería, agricultura y telecomunicaciones. Se emplean evaluaciones de distinto tipo en cada sector: externas, internas, de procesos, de resultados.
Se reconoce que la evaluación y sus resultados son utilizados regularmente por grupos profesionales, entre los que se encuentran tomadores de decisiones políticas y gerentes de programas y proyectos. De acuerdo con los entrevistados, los distintos profesionales usan los resultados porque orientan la planificación, dirección, responsabilidad, legitimidad, monitoreo y aseguran la calidad de sus acciones visualizadas en proyectos, programas y políticas. Se puede entender, en esa medida, que el recurrir a los resultados de las evaluaciones tiene la intención de obtener legitimidad política o, más frecuente, para rendir cuentas de lo ejecutado tanto en el ámbito financiero como técnico. Todo lo cual impide el arraigo de una cultura de evaluación en la institucionalidad del país y que, más bien, quede sujeta a una voluntad personal y política, que resulta contingente.
En esta misma línea, existe una implementación de diferentes procesos –de acuerdo con los sectores y el desarrollo de sus normativas– como mecanismos de respuesta de la administración, monitoreo, plan de mejoras, seguimiento, acreditación, socialización de resultados, repositorio de evaluaciones, manuales de gestión de evaluación. Existen algunos procedimientos establecidos y herramientas para garantizar el uso de los resultados de las evaluaciones, pero no hay una implementación sistemática de la evaluación a nivel general de la sociedad y el Estado.
La calidad de las evaluaciones está garantizada por la observancia de la normativa y la reglamentación sobre evaluación de cada sector. Existen procedimientos como el cumplimiento de requisitos de competencias para los evaluadores, los estándares de calidad para las evaluaciones, las guías y herramientas de evaluación, los modelos y las metodologías de evaluación determinadas para cada sector. No obstante, por estar sujetos a una normativa sectorial y a requisitos particulares de cada evaluación, no se puede hablar de un estándar nacional respecto a la calidad de evaluación. Asimismo, a pesar de que el Ecuador puede acoger lineamientos y criterios de calidad de las evaluaciones de organismos multilaterales o asociaciones internacionales, en términos de una unificación de la concepción sobre la calidad de evaluación, el desarrollo por sectores de los procesos de evaluación limita su estandarización.
En esta sección se expone observaciones en base a tres evaluaciones, por lo que el análisis corresponde a una particularidad en el ámbito institucional y no se puede generalizar esta realidad.
Las evaluaciones analizadas fueron: Programa “Unidades Educativas del Milenio UEM” (MINEDUC, 2017), ¨Evaluación del Proyecto hidroeléctrico Coca Codo Sinclair¨ ejecutado por la Dirección de Evaluación de Políticas Públicas-SENPLADES, y el informe de Acreditación de calidad a la Pontificia Universidad Católica en el año 2013.
En referencia a las dos primeras evaluaciones, a pesar de las recomendaciones emitidas, no existe una respuesta formal institucional que explique si las recomendaciones serán implementadas, cómo se lo hará, si se realizó algún tipo de seguimiento de los resultados emitidos. Además, sus resultados no son de dominio público.
En la evaluación realizada para la acreditación a la Pontificia Universidad Católica en el 2013 por el CEAACES, las recomendaciones emitidas fueron implementadas parcialmente hasta el 2017 por las autoridades académicas correspondientes. Y tampoco se cuenta con información relativa al seguimiento de las recomendaciones o una respuesta formal institucional que proponga un plan de seguimiento y mejora con miras a optimizar la calidad de la educación superior.
De acuerdo con el cumplimiento de la norma y obligaciones que fue presentado en el marco legal, se puede dimensionar que la evaluación es un preeminente requisito para el análisis de la política pública del gobierno ecuatoriano; sin embargo, el panorama nacional se encuentra marcado por el cumplimiento parcial de la ley. Un reflejo de esta problemática es la nula participación de las Organizaciones de la Sociedad Civil (OSC) en el diseño de evaluaciones que deberían realizar las diversas carteras del Estado ecuatoriano. Como consecuencia, se manifiesta la falta de legitimidad social de las evaluaciones que se han llevado a cabo.
Por otro lado, si bien las organizaciones de la sociedad civil reconocen la existencia de los planes de evaluación que mantiene el gobierno y tienen suficiente conocimiento para aquilatar la importancia que envuelve a la evaluación, ignoran el marco legal que ampara la observancia de sus derechos para exigir evaluaciones. Es evidente un desconocimiento de las leyes que amparan el cumplimiento de la evaluación por parte de las instituciones de Estado, y esto puede deberse a la existencia de instancias estatales como, por ejemplo, el poder Legislativo, que pudiendo difundir el tema y las normativas no lo hace en la práctica, ni tampoco integra la evaluación a su institución. Asimismo, los bajos niveles de difusión que tiene la evaluación en la opinión pública, o las especificidades del marco legal nacional, limitan los niveles de comunicación del tema en la sociedad civil. Esto se evidencia en las evaluaciones que se tomaron como caso de estudio, pues si bien ellas se aplicaron a sectores estratégicos para el desarrollo nacional, la difusión de sus resultados quedó limitada por la coyuntura política.
Sin embargo, existen casos positivos a destacar. Se reconoce que al interior de las Organizaciones de la Sociedad Civil es habitual el uso de las evaluaciones como un insumo para desarrollar investigaciones que permiten recabar información útil para la planificación de proyectos, y tomar decisiones gerenciales en los diferentes niveles de la propia organización. La evaluación al interior de las OSC cada vez adquiere mayor importancia, siendo una causa para ello el requerimiento que hacen las diversas agencias que brindan cooperación internacional a sus contrapartes ecuatorianas. Si bien los campos teórico-metodológicos relativos a la evaluación aún no se encuentran arraigados en la cultura organizacional de las OSC, es importante indicar que el campo de la evaluación podría ser potencializado, ya que la práctica de seguimiento y monitoreo de los proyectos implementados se encuentra bastante bien manejado en las políticas y normativas internas de estas organizaciones. Estos procedimientos cuentan con documentos guías que proponen la formulación de indicadores y estrategias, lo que permite el levantamiento de información importante al momento de realizar evaluaciones.
A pesar de que la palabra evaluación se encuentra inmersa en el debate académico, principalmente, y también en el sector público y privado, la teoría y conceptos básicos no se manejan frecuentemente. Más bien se desconocen los conceptos, las metodologías, los métodos y las herramientas, tanto de la evaluación programática como para la evaluación de impacto. Por tanto, el grado de comprensión y conocimiento que poseen los ciudadanos es deficiente. Asimismo, la problemática que gira alrededor de la evaluación es confundida con otros procesos como el seguimiento, monitoreo y/o la auditoría.
Según la normativa de transparencia y acceso a la información, los resultados de las evaluaciones que realizan las instituciones estatales deben estar disponibles al público. En algunos sectores consta solamente la versión resumida, mientras que de otros la versión completa; esto depende de la especificidad y las regulaciones de las evaluaciones que realiza cada sector.
Es importante destacar que, en los primeros meses de funciones del gobierno actual, los medios de comunicación difundieron la palabra evaluación como una respuesta a los casos de corrupción planteados en el país. En este contexto, el gobierno hizo uso de la información de varias evaluaciones para exacerbar y señalar como efectivos ciertos procesos de evaluación. Los medios de comunicación compartieron esta visión, lo que generó una expectativa ético-política más no un debate académico o técnico sobre cómo se están llevando a cabo los procesos de evaluación, por ejemplo. Cabe señalar que, por lo general, las evaluaciones y sus resultados no son discutidos en los medios de comunicación.
Ahora bien, existen diversos factores que dificultan la discusión pública sobre evaluación, entre ellos: a) no es un tema de interés para los medios de comunicación; b) no es un tema de interés para la sociedad; c) en la sociedad y los medios de comunicación no existe formación técnica o profesional específica en evaluación que configure prácticas y discursos con relación a la problemática, y d) porque su tratamiento es altamente técnico y especializado. Todo lo cual, en un contexto político inestable, no permite que procesos y políticas públicas se mantengan de manera sostenida en el tiempo, provocando más bien desinterés por el seguimiento y análisis de resultados de programas que son constantemente interrumpidos. Y si se añade que los procesos de evaluación surgen en contextos particulares y con intenciones políticas determinadas, terminan posicionándose como herramientas que no responden a los ciclos políticos y sociales, sino a especificidades técnicas que no son parte de la institucionalidad.
En definitiva, el contexto que envuelve a la evaluación es poco discutido. Sin embargo, la práctica más desarrollada es la socialización de los resultados de proyectos a la comunidad, o dirigidos a grupos de la sociedad civil directamente involucrados. Entre los posibles factores que dificultan esta discusión se pueden señalar: a) el tratamiento técnico-metodológico de los hallazgos; b) la poca cobertura de la prensa sobre estos temas, y c) la especialización de la evaluación en cada sector. En esa medida, existe una vaguedad en la percepción ciudadana sobre la evaluación y sus usos, lo que se evidencia en formas de rendimiento de los sectores involucrados con la evaluación, así como en los usos que hacen de sus resultados, tanto las OSC como la sociedad en general.
En Ecuador no existen programas de educación superior especializados en la formación integral de evaluadores. No obstante, la enseñanza de la evaluación aparece como una asignatura en el currículo de varias carreras profesionales. Se reconoce a materias relacionadas con la evaluación en carreras como Economía, Administración, Políticas Públicas, Sociología, Educación, Psicología, Ingeniería Ambiental, Ingeniería Industrial y Salud. Pero es necesario mencionar que existen cursos libres ofrecidos en instituciones de Educación Superior que tratan la temática de evaluación, aunque no de manera integral.
En cuanto a la formación de cuarto nivel, se observa que los programas de maestría en investigación en Instituciones de Educación Superior (IES) incorporan la disciplina de evaluación programática dentro de sus mallas curriculares.
Otras modalidades de capacitación se ofertan a través de educación virtual y a distancia, organizadas por organismos internacionales como el Banco Interamericano de Desarrollo (BID), Proyecto de Fortalecimiento de Capacidades en Evaluación (FOCEVAL), Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), Corporación Andina de Fomento (CAF), Organizaciones Voluntarias para Profesionales en Evaluación (VOPE) y la Contraloría General del Estado para servidores públicos.
Es importante destacar la labor de la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) y del International Rescue Committee (IRC), instituciones de cooperación para el desarrollo de espacios, en los que se difunde información y se promueve el fortalecimiento de habilidades que debe tener un evaluador profesional.
En el Ecuador no se considera a la evaluación como una disciplina, ni circulan revistas o boletines especializados. Sin embargo, existen artículos científicos relativos a evaluación publicados en revistas de universidades y organismos no gubernamentales especializados en las siguientes disciplinas científicas: Economía, Sociología, Políticas Públicas, Gestión o Administración Pública, Estadística, entre otras.
En cuanto a la asociatividad o iniciativas de organizaciones de evaluadores, el Ecuador cuenta con la Red de Evaluadores (EvalEC) afiliada a la RELAC, EvalYouth Ecuador y la Sociedad Ecuatoriana de Evaluación. Una de las debilidades es que estas iniciativas no se encuentran legalmente reconocidas, aunque la Sociedad Ecuatoriana de Evaluación (2019) está formalmente legalizada.
Por otra parte, el mercado de los profesionales especializados en evaluación en el país se encuentra dominado por consultores y profesionales del campo de la evaluación de distintos sectores. A esto se suma la inexistencia de un sistema de certificación para evaluadores, por lo que cada sector (social, público, privado y tercer sector) establece los requisitos de contratación, como el nivel de profesionalización, experiencia y en qué área; es decir, no existe una normativa estandarizada que rija en todos los sectores.
Las organizaciones profesionales de evaluadores que se identificaron no están formalmente establecidas. Por lo tanto, los procedimientos institucionales y de evaluación, guías y principios se definen en las diferentes contrataciones y proyectos de evaluación de manera puntual. Sin embargo, los clientes demandan calidad en la evaluación y el cumplimiento de las normas, ya que tienen un carácter obligatorio, sobre todo si se encuentra especificado en la normativa.
Generalmente se tiende a asociar a la evaluación con un lenguaje excesivamente técnico y especializado, por lo que las organizaciones sociales no se interesan por ejecutar evaluaciones, a estas se las relaciona con la academia, las ONG, los gobiernos locales y el gobierno nacional. El uso de los resultados de las evaluaciones queda ligado a intereses políticos y, por lo mismo, a la voluntad de los tomadores de decisiones del gobierno de turno.
Asamblea Nacional del Ecuador. (2017a). Código Orgánico del Ambiente. Registro Oficial Suplemento 983. Asamblea Nacional. Quito, Ecuador.
Asamblea Nacional del Ecuador. (2017b). Reglamento Código de Planificación y Finanzas Públicas.
Asamblea Nacional del Ecuador. (2011). Ley Orgánica de Educación Intercultural. Registro Oficial 417. Asamblea Nacional. Quito, Ecuador.
Asamblea Nacional del Ecuador. (2009). Reglamento Orgánico Funcional de la Asamblea Nacional. Registro Oficial 642. Asamblea Nacional. Quito, Ecuador.
Austin, Thomas (2000). El proceso de institucionalización en los sistemas sociales. Editorial Universidad Arturo Prat, Sede Victoria. Chile.
Avilés Pino, E. (2019). Enciclopedia del Ecuador: Ministerio de Finanzas y Crédito Público. 16 de marzo. Obtenido de http://www.enciclopediadelecuador.com/historia-del-ecuador/ministerio-finanzas-credito-publico/
Berger, Peter, y Luckmann, Thomas (1996). Modernidad, Pluralismo y Crisis de Sentido, EL MERCURIO, Suplemento Artes y Letras.Boyle, R., Lemaire D., y Rist, R. C. (1999). Introduction: Building evaluation capacity. En Boyle, R., & Lemaire, D. (Eds.), Building effective evaluation capacity (pp. 1-19). New Brunswick, NJ: Transaction Publishing.
CEAACES, 2013a. Informe final de Evaluación, Acreditación y Categorización de la Pontificia Universidad Católica del Ecuador. Dirección de Evaluación y Acreditación de Universidades y Escuelas Politécnicas. Ecuador.
CEAACES, 2013b. Informe General sobre la Evaluación, Acreditación y Categorización de las Universidades y Escuelas Politécnicas. Dirección de Acreditación de Universidades y Escuelas Politécnicas. Ecuador.
Contraloría General del Estado del Ecuador. (2019). Historia de la Contraloría General del Estado del Ecuador. 16 de marzo. Obtenido de http://www.contraloria.gob.ec/LaInstitucion/Historia/HistoriaCGE
Consejo de Participación Ciudadana y Control Social (2011). Reglamento Orgánico por procesos del CPCCS. Asamblea Nacional. Quito, Ecuador.
Constitución de la República del Ecuador (2008). Ciudad Alfaro: Asamblea Constituyente.
Diez de Castro, Emilio, y Vásquez, Adolfo (2015). Antecedentes de la institucionalización de las organizaciones. Cuadernos de Gestión, vol. 15 - Nº 1 (2015), pp. 15-38.
El Universo (2008). Así quedaron las funciones del Estado. 20 de julio.
Ferrer, J. (2010). Conceptos básicos de Metodología de la Investigación. Obtenido de https://metodologia02.blogspot.com/p/tecnicas-de-la-investigacion.html
Furubo, J. E., and Sandahl, R. (2008). “A Diffusion Perspective on Global Developments in Evaluation’’. In International Atlas of Evaluation, edited by Furubo J. E., Rist, R. C., Sandahl, R. 1-23. New Brunswick, NJ/London: Transaction Publishers.
Guerrero, E., & Velasco, E. (2015). Acercamiento a los procesos de monitoreo y evaluación de la República del Ecuador: Proceso político y énfasis en el control gerencial. México DF: Centro de Investigación y Docencia Económicas.
Guevara, Jorge (2016). El proceso de institucionalización del Sistema Nacional de Educación Superior en el Ecuador: un estudio desde el análisis de resignificación de las presiones institucionales. Universidad Andina Simón Bolívar. Quito, Ecuador.
Guevara, Jorge y Pacheco, Leónidas (2016). El Proceso de Institucionalización del Sistema Nacional de Educación Superior Ecuatoriano. En Revista Empresarial ICE-FEE-UCSG. Edición Nro. 40, volumen 10, páginas 31-38. Ecuador.
Jacob, S., y Varone, F. (2004). The evaluation of public politics in Belgium: The estate of venues at the Federal level in public administration.
Junyent, J. B. (1994). La Investigación social: introducción a los métodos y las técnicas. Barcelona: Escuela Superior de Relaciones Públicas.
Lázaro, Blanca (2015). Estudio comparado sobre institucionalización de la evaluación en Europa y en América Latina. Programa Eurosocial. Colección de Estudios Nro.15. Madrid-España.
Ministerio de Educación del Ecuador. (2017). Evaluación de Impacto del Programa de Escuelas del Milenio. Quito: Ministerio de Educación del Ecuador.
Ministerio de Medio Ambiente. (2003). Texto unificado de Legislación Secundaria de Medio Ambiente. Decreto Ejecutivo 3516. Registro Oficial Edición Especial 2. Última modificación 2017. Acuerdo Ministerial.
Ministerio de Planificación Nacional y Política Económica. (2017). Manual de Evaluación de las Intervenciones Públicas. San José, Costa Rica.
Morra, L., y Rist, C. (2009). The Road to Results: Designing and Conducting Effective Development Evaluations. Washington DC: Banco Internacional de Reconstrucción y Fomento (BIRF) y Banco Mundial (BM).
Pesqueux, Yvon (2009). Institución y Organización. Cuadernos de Administración. Universidad del Valle. Nro. 41, enero-junio.
Presidencia de la República del Ecuador (2014). Reglamento del Código Orgánico de Planificación y Finanzas Públicas. Decreto Ejecutivo 489 en Registro Oficial Suplemento 383, November 26. Asamblea Nacional. Quito, Ecuador.
Presidencia de la República del Ecuador (2012). Reglamento General a la Ley Orgánica de Educación Intercultural. Registro Oficial Suplemento 754. Última modificación 2015. Presidencia de la República. Quito, Ecuador.
Presidencia de la República del Ecuador (2011). Reglamento General a la Ley Orgánica de Educación Superior. Decreto Ejecutivo 865. Registro Oficial Suplemento 526. Asamblea Nacional. Quito, Ecuador.
Presidencia de la República del Ecuador (2010a). Código Orgánico de Planificación y Finanzas Públicas. Registro oficial Suplemento 306. Última modificación 2017. Quito, Ecuador.
Presidencia de la República del Ecuador (2010b). Ley Orgánica de Educación Superior. Registro Oficial Suplemento 298. Presidencia de la República. Quito, Ecuador.
Presidencia de la República del Ecuador (2010c). Ley Orgánica de Participación Ciudadana. Registro Oficial Suplemento 175. Última modificación 2011. Asamblea Nacional. Quito, Ecuador.
Presidencia de la República del Ecuador. (2009). Ley orgánica de la Función Legislativa. Registro oficial Suplemento 642. Última modificación 2012. Quito, Ecuador.
Procuraduría General del Estado (2017). Estatuto Orgánico por Procesos de la Procuraduría General del Estado. Registro Oficial Edición Especial 68. Resolución de la Procuraduría General del Estado 108.
Secretaría Nacional de Planificación y Desarrollo (2019). Reseña Histórica de la Planificación en Ecuador. 16 de abril. Obtenido de http://www.planificacion.gob.ec/resena-historica/.
Selznick, P. (1996). Institutionalism “Old” and “New”. Administrative Science Quarterly, Vol. 41 (No. 2). pp. 270-77.
Stockmann, Reinhard, y Meyer, Wolfgang (2016). Evaluación: una introducción teórico-metodológica. Editorial Universidad de Costa Rica. San José- Costa Rica.Vargas, José (2008). Perspectivas del Institucionalismo y Neoinstitucionalismo. Obtenido de https://www.uv.mx/iiesca/files/2012/12/perspectivas2008-1.pdf.
Weber, Max (2006). Conceptos Sociológicos fundamentales. Sociología. Alianza Editorial. Madrid-España.
Yánez, Raúl (2010). La construcción social de la realidad: la posición de Peter L. Berger y Thomas Luckmann. Universidad Complutense de Madrid. Madrid-España.