Thanks for asking: Evaluating the transformation of gender norms in Paraguay and Colombia

by Daryl Collins and Marcia Almeida-Mendes

(Leer en español)

Within its graduation program, Fundación Capital digitally distributed transformative gender norms materials to low-income women in Paraguay and Colombia after the start of the COVID pandemic. Digital distribution of gender norms materials not only allows the program to be viable during the pandemic, but also incurs lower costs. However, without face-to-face contact with participants, how do you know if they “get” the message?

Fundación Capital partnered with Dr. Daryl Collins and our team at Decodis to tackle these questions. At Decodis, we use tech-led methods for data collection and analysis that allow us to do qualitative research that provide insightful and actionable results at scale and at a lower cost. Most importantly, because it can be done quickly and inexpensively, it can be used as an early (and continued) assessment of social programming allowing for course correction.

Designing remote qualitative research

For this research exercise, we assembled a survey with questions about the topics covered in the materials. Then, we executed this survey using

Our respondents were women beneficiaries of social programs who had received the materials about gender norms, and a much smaller, not representative control group who had not received the materials but were in the same social programs and had similar socioeconomic characteristics. This allowed us to compare the gender norms perceptions of women who were exposed to the materials and those who were not.

The data collection for this project was fully remote, and happened in two sprints: December 2020 in Paraguay and August 2021 in Colombia. We took advantage of an existing communication channel between Fundación Capital and the respondents: WhatsApp. See an overview of our research process below.

To participate in the survey, a respondent would get an invite over WhatsApp to start talking to Yoli, our digital interviewer. Yoli is a bot powered by a third-party automated survey system. She asked questions using voice notes, and the respondent was expected to answer also using voice notes.

Having women’s responses in audio recordings, we proceeded to our tech-led analysis. We used Natural Language Processing (NLP) to analyze the text contained in transcriptions by identifying and categorizing topics that emerged in each question. We also analyzed the audio recordings themselves, using software Praat to extract speech signals which helped us understand different emotions in women’s answers based on Sociolinguistic studies. Interestingly, the speech signal analysis also helped us identify instances where women’s answers were being dictated by a male voice or a man was answering the survey in lieu of the woman we had invited to take the survey. You can learn more about how we use NLP and speech signal analysis on the pictures below.

“Thanks for Asking”

When we talk about remote data collection on qualitative research with such sensitive topics, it might sound like researchers are distant and removed from participants’ reality. However, in fact, we got even better information than the impressions one might pick up in person.

During the survey, Yoli encouraged respondents to speak for as long as they wanted. And they did so at a scale that one could never get to being physically in the field. Women were more comfortable talking to what they saw as a “peer” asking their opinion rather than a “researcher”. Some of them thanked Yoli for asking about their opinion, and some thanked the recruiters directly for the chance to participate in the survey. This, to us, was a clear indication that respondents did not see the survey as a separate moment in the program after its execution, but rather saw it as an organic part of the program.

Insights and Recommendations

Our analysis showed subjects about which women were giving mostly canned answers or showing signs of uncertainty. This was an indication as to where content needed to be revamped to improve messaging effectiveness.

Early Assessment for Actionable Insight

It is important to note that this exercise was not designed to be an impact evaluation exercise. This was done very early in the program’s life and the objective was to assess and enable course correction. We believe that using tech-led methods which make qualitative research more viable can make a huge difference to social programming.

Gracias por preguntarme: Evaluando la transformación de normas de género en Paraguay y Colombia

de Daryl Collins y Marcia Almeida-Mendes

A través del programa de Graduación, Fundación Capital distribuyó a través de medios digitales materiales transformadores sobre las normas de género de mujeres con bajos ingresos de Paraguay y Colombia tras el estallido de la pandemia de la COVID-19. La distribución digital de materiales sobre normas de género no solo permitió que el programa fuera viable durante la pandemia, sino que se incurriera en un coste menor. No obstante, sin poder entablar una relación cara a cara con las participantes, ¿Cómo es posible saber si el mensaje «ha llegado»?

Fundación Capital se asoció con la Dra. Daryl Collins y con el equipo de Decodis para dar respuesta a estas preguntas. En Decodis utilizaron métodos tecnológicos para recopilar y analizar datos que nos permiten llevar a cabo investigaciones cualitativas, consiguiendo así resultados esclarecedores y prácticos a escala y con un coste menor. Y, lo que es más importante, dado que se puede llevar a cabo de forma rápida y barata, puede utilizarse como una evaluación temprana (y constante) de la programación social, lo que nos permite corregir el rumbo.

Diseñar investigaciones cualitativas remotas

Para esta actividad de investigación, se redactó una encuesta con preguntas sobre los temas que se tratan en los materiales. Luego, llevamos a cabo la encuesta utilizando lo siguiente:

Las encuestadas eran mujeres beneficiarias de programas sociales que habían recibido los materiales sobre normas de género, y un grupo de control mucho más pequeño y no representativo que no había recibido los materiales pero sus miembros formaban parte de los mismos programas sociales y tenían características socioeconómicas similares. Esto nos permitió comparar la percepción que tienen de las normas de género tanto las mujeres que tuvieron acceso a los materiales como las que no.

La recopilación de los datos de este proyecto se llevó a cabo de forma completamente remota y duró dos sprints: uno en diciembre de 2020 en Paraguay y otro en agosto de 2021 en Colombia. Aprovechamos el canal de comunicación existente entre Fundación Capital y las encuestadas: WhatsApp. A continuación, puede ver un resumen general de nuestro proceso de investigación.

Para participar en la encuesta, las encuestadas recibían una invitación por WhatsApp para empezar a hablar con Yoli, nuestra entrevistadora digital. Yoli es un robot controlado por un sistema de encuestas automatizadas de un tercero. Planteaba preguntas usando notas de voz, y se esperaba que las encuestadas también respondieran usando notas de voz.

Una vez que se obtuvieron las respuestas de las mujeres en grabaciones de audio, se inició el análisis mediante tecnología. Utilizando métodos de procesamiento del lenguaje natural (PLN) para analizar el texto que contenían las transcripciones y, así, identificar y categorizar los temas que surgían en cada pregunta.

También se analizaron las grabaciones de audio utilizando el software Praat para extraer señales de voz que ayudaran a comprender las diferentes emociones subyacentes en las respuestas de las mujeres usando como base estudios sociolingüísticos. Resultó interesante ver que el análisis de las señales de voz también ayudó a identificar instancias en las que las respuestas de las mujeres estaban dictadas por una voz masculina o un hombre respondía a la encuesta en lugar de la mujer a la que se había invitado. Puede saber más sobre la manera de utilizar el PLN y el análisis de las señales de voz en las siguientes imágenes.

«Gracias por preguntarme»

Cuando hablamos de recopilar datos de forma remota para fines de investigación cualitativa sobre temas tan sensibles, puede parecer que los investigadores se muestran distantes y alejados de la realidad de las participantes. No obstante, resulta sorprendente comprobar que se obtiene información de más calidad que las impresiones que se habrían podido llevar en persona.

Durante la entrevista, Yoli animaba a las encuestadas a que hablaran tanto tiempo como quisieran. Y lo hicieron a una escala a la que sería imposible llegar si se estuviera físicamente en el terreno. Las mujeres se sentían más cómodas hablando con alguien a quien consideraban una «compañera» que les pedía su opinión que hablando con una «investigadora». Algunas de ellas le dieron las gracias a Yoli por preguntar su opinión, y algunas de ellas dieron las gracias directamente a los reclutadores por la oportunidad de participar en la encuesta. Para nosotros, esto suponía un claro indicativo de que las encuestadas no consideraban que la encuesta fuera un elemento independiente del programa tras su ejecución, sino una parte orgánica de este.

Ideas extraídas y recomendaciones

El análisis reveló temas sobre los que las mujeres daban respuestas herméticas o mostraban signos de incertidumbre. Estos son indicativos de las áreas en las que se necesita renovar el contenido o mejorar la eficacia de los mensajes.

Evaluación temprana para extraer ideas prácticas

Es importante tener en cuenta que este ejercicio no se diseñó para ser un ejercicio de evaluación de impacto. Se llevó a cabo en una fase muy temprana del programa y su objetivo era evaluarlo y permitir que se corrigiera su rumbo. Creemos que utilizar métodos impulsados por la tecnología que faciliten la viabilidad de las investigaciones cualitativas puede marcar una diferencia esencial para la programación social.