Impact Evaluation of Graduation Program in Paraguay: Sembrando Oportunidades Familia por Familia
By Jorge Higinio Maldonado — Associate professor. Department of Economics. Universidad de los Andes. Bogotá, Colombia. jmaldona@uniandes.edu.co; and Viviana León Jurado — Junior economist. Department of Economics. Universidad de los Andes. Bogotá, Colombia. dv.leon10@uniandes.edu.co.
According to the most recent data from the World Bank, 10% of the world's population still lived in extreme poverty in 2015, most of whom lived in rural areas. For this reason, finding strategies to decrease rural poverty has become a priority for many countries. The Graduation approach is one of the different alternatives that have been developed to combat this situation, and it has emerged due to previous experiences of BRAC, CGAP (Consultative Group to Assist the Poor) and the Ford Foundation.
Specifically, in Paraguay, given the need to reduce poverty levels and the existing poverty gap between rural and urban areas, the government implemented the “Sembrando Oportunidades Familia por Familia (SOF)” pilot program (“Growing Opportunities Family by Family”), inspired by the Graduation approach. This intervention is an initiative of the Paraguayan government within the National Extreme Poverty Reduction Program: “Sembrando Oportunidades,” which seeks innovative strategies for poverty reduction in rural areas.
The Platform for Evaluation and Learning of the Graduation Program in Latin America emerges as an joint effort carried out by the Center for Economic Development Studies (CEDE) at the Department of Economics at Universidad de los Andes to evaluate these type of programs in the region, including the SOF pilot. The Platform is financed by the Ford Foundation, the IDRC and Fundación Capital.
The SOF pilot was developed to “[increase] the income and access to social services of vulnerable households” (STP, s.f.) throughout the strengthening of human and productive assets of participants, to empower households to develop their productive activities. According to the Operative Manual, and based on the graduation approach, the SOF pilot was integrated by seven components: 1) Consumption support, 2) Savings, 3) Life and technical skills building, 4) Asset transfer (USD500), 5) Periodical checkups, 6) Community building fairs, and 7) Interinstitutional networks and strategic alliances.
To evaluate the SOF program two types of assessments were implemented: an impact evaluation and a results evaluation. The former identifies the exclusive effect generated by SOF (causal effect). The latter captures the time changes in households, without the certainty that change is an exclusive effect of the program. In practical terms, an impact evaluation compares the group of households that were treated and a group of households that were not but who were eligible to be treated (controls). The results evaluation, on the other hand, compares treated households in time (before-after comparison).
To implement these exercises, 502 baseline surveys were collected from participants between May and June 2016, and 1,005 end line surveys were gathered from treated and non-treated participants between October and November 2017. The impact evaluation was implemented through an Instrumental-Variable methodology that involved the comparison between pure controls (286) and treated (719) households. The results evaluation was carried out by comparing the treated households from the baseline (427) with the same households in the end line (427).
According to the baseline, SOF participants are characterized by being mostly women (88.8%) and aged between 40 and 41 years. Most of them (58%) are heads of household. The households are made up of more than six people on average, and according to the educational level of SOF participants, only 4% completed secondary school. In accordance with the program objectives, 98% of treated households are extremely poor, and multidimensional poverty is present in 75% of the participating households.
The results of both exercises, impact and results evaluation, suggest the program generated positive effects on long-term poverty variable determinants such as savings and asset acquisition. In particular, there was an increase in the implementation of household savings practices, where informal savings were predominant. The main contribution to this effect relates to the increase in animal ownership (e.g., pigs, horses, and poultry other than chickens) and productive infrastructure. Along with these behavioral changes in the households, positive effects were also observed in the participants’ daily allocation to work. In particular, they increased their work by almost an hour per day. These results together could be directly related to the SOF components and could be one of the main elements to explain the increases in the participant’s income. Specifically, there was an improvement of USD 0.71 ppp on the participants’ daily work income. This increase is also observed in household income from agricultural activities, with a daily increase of 0.15 USD ppp.
A consistent and complementary positive effect was found in the evaluated subjective variables. The participants’ perception of wellbeing improved, indicating that by the end of the intervention they considered themselves to be in a better condition. However, there is no change in the two- and five-year expectation gaps in the impact assessment. This suggests that by the end of the program, participants did not have the perception that they were closer to their future welfare goals or objectives compared to households that did not receive the program.
Understanding empowerment as the ability or freedom of the individual to make effective decisions, it is also possible to think about the tenability of the observed changes in the long term, because of the households’ empowerment in terms of their income-generating activities. Changes in behavior like productive investments, savings, and more time allocated to work, would suggest that SOF promoted households’ empowerment in the productive sphere.
As a result, some households promoted to better living conditions and came out from extreme poverty. In particular, in the results evaluation, monetary poverty levels among the households were reduced by 5.4 percentage points, although the impact evaluation suggests that there were no changes in this indicator. This contrast in the results by evaluation methodology suggest that the households that received the intervention improved their living conditions over time, but it also tells us that the intervened households did not improve significantly more than the households that were not treated by the program. This could be explained because households that did not receive SOF were able to receive other interventions that improved their conditions or because the SOF program generated spillover effects.
This difference in the results highlights the complementarity in the analysis provided by the two evaluation exercises performed, and the need to combine different analysis techniques when accounting for and to understand the effects generated by a program on its beneficiaries. On one hand, quantitative analysis is essential, but on the other, qualitative analysis is a fundamental tool to understand the observed behavioral changes given the contextualization of the results it provides.
……………………………………………………………………………………….
Evaluación de impacto de un programa integral de alivio a la pobreza extrema en Paraguay
Por Jorge Higinio Maldonado — Profesor asociado, Facultad de Economía, Universidad de los Andes. Email: jmaldona@uniandes.edu.co. El trabajo completo de donde se obtiene esta nota fue desarrollado conjuntamente con Viviana León Jurado, Laura Isabel Villa y John Alexander Gómez.
A pesar de la importante reducción en la pobreza extrema en el mundo, aún persiste una importante proporción de hogares en esta condición, especialmente en las zonas rurales de países en desarrollo. El Modelo Graduación ha sido identificado como una de las diferentes alternativas para combatir este fenómeno, que ha surgido gracias a la evolución de experiencias previas de BRAC, el CGAP (Consultative Group to Assist the Poor) y la Fundación Ford, y que se ha constatado como una alternativa viable para mejorar varias dimensiones de la pobreza extrema (Banerjee et al., 2015 — Science, 348 (6236). doi:10.1126/science.1260799).
Específicamente, en Paraguay, ante la necesidad de reducir los niveles de pobreza y la brecha existente entre zonas rurales y urbanas, se diseña el programa Sembrando Oportunidades Familia por Familia (SOF), inspirado en el Modelo Graduación. Esta intervención es un esfuerzo del gobierno Paraguayo en el marco del Programa Nacional de Reducción de Pobreza Extrema Sembrando Oportunidades, que busca estrategias novedosas para la reducción de la pobreza en zonas rurales.
Ante esta iniciativa y la de otros países de la región, la Plataforma de Evaluación y Aprendizaje del Programa Graduación en América Latina surge como un esfuerzo dirigido por el Centro de Estudios sobre Desarrollo Económico (CEDE) de la Facultad de Economía en la Universidad de los Andes para desarrollar la evaluación de impacto de programas de graduación implementados por gobiernos en América Latina, incluido el caso de SOF ( www.plataformagraduacionla.info).
La intervención de SOF tuvo el objetivo de potenciar las ideas de negocio fortaleciendo los activos humanos y productivos de los participantes y de esta manera fomentar el empoderamiento de los hogares en desarrollo de sus actividades productivas. Este programa, inspirado en el modelo de graduación, aplicó siete componentes, cinco de ellos típicos de este esquema de intervención: 1) apoyo al consumo, 2) promoción del ahorro, 3) transferencia de activos, 4) entrenamiento en habilidades para la vida y 5) acompañamiento técnico; complementados con otros dos componentes particulares del caso paraguayo: alianzas público privadas para facilitar la producción y comercialización de productos agrícolas, y ferias de intercambio comunitario.
La evaluación del programa SOF incluyó dos tipos de ejercicios: una evaluación de impacto y una evaluación de resultados. La evaluación de impacto permite identificar el efecto generado directamente por SOF (efecto causal), mientras la evaluación de resultados proporciona información sobre los cambios que tuvieron los participantes durante la intervención, sin que se pueda atribuir el cambio observado exclusivamente a la misma. En términos prácticos, en una evaluación de impacto se realiza una comparación entre el grupo de personas que recibieron el programa (tratados) y un grupo de personas que no lo recibieron pero que son muy similares a los que sí recibieron la atención (controles). Idealmente, se recoge información de los dos grupos antes del inicio de la intervención y una vez esta ha finalizado para realizar dicha comparación. En la evaluación de resultados se comparan únicamente los individuos que recibieron la intervención antes y después de que termina el programa.
Para implementar estos ejercicios se recogieron 502 encuestas de línea base de los participantes del programa entre mayo y junio de 2016, y 1.005 encuestas de línea final de participantes y no participantes entre octubre y noviembre de 2017. Para la evaluación de impacto se implementó una metodología por variables instrumentales que implicó la comparación entre controles (286) y tratados (719). La evaluación de resultados se llevó a cabo a través de la comparación de 427 hogares encuestados tanto en la línea base como en la línea final.
Los participantes de SOF, de acuerdo a la línea base, se caracterizan por ser en su mayoría mujeres (88,8%) y tener edades promedio entre los 40 y 41 años. El rol que desempeñan dentro de sus hogares es, en su mayoría, el de jefes de hogar, con una proporción del 58%. Los hogares están conformados en promedio por más de 6 personas y con respecto al nivel educativo del participante SOF, solo el 4% alcanzó a completar la educación secundaria. En concordancia con los objetivos del programa se encuentra que el 98% de los atendidos son pobres extremos y que la pobreza multidimensional está presente en el 75% de los hogares participantes.
La evaluación mira diferentes dimensiones como variables de respuesta al programa: pobreza (monetaria y multidimensional), ingreso, consumo, activos, ahorros, seguridad alimentaria, actividad productiva y variables sicológicas, como percepción de bienestar, aspiraciones, expectativas y empoderamiento.
En la siguiente figura se presenta un resumen de los efectos identificados para variables seleccionadas, tanto desde el punto de vista de la evaluación de impacto (EI1) como de la evaluación de resultados (ER).
Los resultados de los dos ejercicios de evaluación sugieren que el programa generó efectos positivos en términos de reducción de la pobreza por línea de pobreza en 8,6 puntos porcentuales de acuerdo a la evaluación de impacto. De acuerdo a la evaluación de resultados, el 13,7 por ciento de los participantes migraron a mejores condiciones en términos de la línea de pobreza.
En términos de la pobreza extrema, de acuerdo a la evaluación de resultados, los participantes redujeron sus niveles de pobreza extrema monetaria en 5,4 puntos porcentuales, aunque la evaluación de impacto sugiere que no hubo cambios significativos en este indicador. Este contraste en los resultados por metodología de evaluación sugiere que los hogares que recibieron la intervención mejoraron en el tiempo sus condiciones de vida, pero también nos dice que los hogares no intervenidos igualmente mejoraron sus condiciones en el mismo periodo. Esto podría explicarse bien sea porque los hogares que no recibieron SOF pudieron recibir otras intervenciones que mejoraron sus condiciones o porque el programa SOF puede haber llegado de manera indirecta a los hogares no tratados. Es decir, es posible que se hayan generado spillovers sobre los hogares no intervenidos y que se haya activado un multiplicador de efecto territorial, que generó beneficios no solo a los participantes del programa.
Los cambios en las condiciones de pobreza se pueden asociar a cambios en variables determinantes de la pobreza en el largo plazo como el ahorro y la adquisición de activos. En particular, se evidenció un incremento en la implementación de prácticas de ahorro de los hogares, principalmente a través de la conformación de grupos de ahorro (ahorro informal). A ello se suma la mayor tenencia de activos al final de la intervención. La principal contribución a este cambio positivo se relaciona con el incremento en la tenencia de animales (ej. cerdos, caballos y aves de corral) e infraestructura productiva. Junto con estos cambios de comportamiento en los hogares, también se observaron efectos positivos en la dedicación diaria a trabajar de los participantes: en promedio, incrementaron en casi una hora diaria el tiempo dedicado a esta actividad. Estos resultados se relacionarían con el fomento al emprendimiento del programa SOF y pueden ser uno de los elementos principales que explica los aumentos en los ingresos del participante. Concretamente, hubo una mejora en el ingreso diario de 0,71 USDppa por cuenta de las actividades laborales de los participantes. Por su parte, los ingresos provenientes de actividades agropecuarias incrementan en 0,15 USDppa para cada miembro del hogar.
De manera consistente y complementaria, se encontró un efecto positivo en las variables de tipo subjetivo evaluadas. La percepción de bienestar de los participantes mejoró, lo que indica que estos al final de la intervención consideraban que se encontraban en mejores condiciones, y este efecto se mantiene incluso en la evaluación de impacto. Esto se refleja en reducciones en las brechas de expectativas a 2 y 5 años (con respecto a donde creen que van a llegar), significativas en la evaluación de resultados, aunque no en la evaluación de impacto.
Aunado a estos resultados, es posible pensar en la sostenibilidad de los cambios observados en el largo plazo, de acuerdo al empoderamiento de los hogares en sus actividades generadoras de ingreso. Si se entiende el empoderamiento como la capacidad o libertad de la persona para tomar decisiones de manera efectiva, los cambios de comportamiento relacionados con las inversiones productivas, la generación de ahorro y la mayor dedicación a trabajar, permitirían intuir que se fomentó el empoderamiento de los hogares en la esfera productiva. En ese sentido, el programa podría haber ayudado a reducir las restricciones tanto externas como internas de los participantes.
Los resultados observados son consistentes con los ejercicios llevados a cabo en otros países a través de metodologías experimentales (ver Banerjee et al., 2015), y sugieren que el enfoque graduación brinda una alternativa interesante a los gobiernos en su búsqueda por reducir la pobreza extrema en sus países con un enfoque basado en mejoramiento de capacidades de una forma integral.
Finalmente, la comparación entre los efectos estimados a través de la evaluación de impacto y aquellos de la evaluación de resultados pone en evidencia la complementariedad en el análisis que proporcionan los dos ejercicios y la necesidad de combinar diferentes técnicas de análisis a la hora de contabilizar y entender los efectos generados por un programa en sus beneficiarios. Por un lado, es esencial el análisis cuantitativo, pero por otro, el análisis cualitativo se constituye en una herramienta fundamental a la hora de entender los cambios de comportamiento observados, dada la contextualización de los resultados que proporciona.
Originally published at http://focoeconomico.org on November 20, 2018.
