Evaluación de impacto de programas de apoyo empresarial: cuándo hacerla y cómo medir el impacto

Key Takeaways

• Medir el impacto de un programa es comparar lo que pasó en las empresas atendidas con lo que les habría pasado sin el programa. Ese escenario, el contrafactual, no se observa y hay que estimarlo con un grupo de comparación (Gertler y otros, La evaluación de impacto en la práctica, BID y Banco Mundial, 2017).
• Comparar antes y después, o participantes contra quienes no quisieron participar, no mide impacto. El manual del Banco Interamericano de Desarrollo (BID) y el Banco Mundial los llama contrafactuales falsos.
• El método de evaluación lo deciden las reglas con las que se selecciona a las empresas. Si hay más postulantes que cupos, un sorteo; si hay un puntaje con umbral y muchas empresas cerca de él, una regresión discontinua; si el orden de entrada se sortea, fases aleatorias.
• Con 200 a 400 empresas por grupo, ninguno de los estudios de formación empresarial revisados por McKenzie y Woodruff (2014) alcanzaba el poder estadístico para detectar un aumento de 25% en ventas. No encontrar un efecto significativo no es lo mismo que encontrar que no hubo efecto.
• En Start-Up Chile, una regresión discontinua mostró que la escuela de emprendimiento aumentó el financiamiento y el empleo, y no encontró efecto del capital y el espacio de trabajo solos en las empresas cercanas al corte (González-Uribe y Leatherbee, 2018).

"¿Qué impacto tuvo el programa?" es la pregunta que llega al final, cuando el financiador pide el informe o cuando se discute si renovar. La mayoría de los programas no la pueden responder con rigor porque nadie decidió, antes de seleccionar a las empresas, contra qué se iban a comparar.

Si diseñas o financias un programa con empresas en América Latina, lo que sigue sirve para saber tres cosas antes de abrir la convocatoria: si una evaluación de impacto tiene sentido para tu programa, qué método permite tu forma de seleccionar y qué hay que dejar listo para que la evaluación sea posible.

¿Qué es una evaluación de impacto?

Una evaluación de impacto establece hasta qué punto un programa, y solo ese programa, causó un cambio en un resultado de las empresas que atendió. Para eso compara a las empresas atendidas con un grupo de comparación que represente lo que les habría pasado sin el programa.

El manual del BID y el Banco Mundial pide tres condiciones para que ese grupo sea válido: que, sin el programa, tenga en promedio las mismas características que el grupo atendido; que el programa no lo afecte; y que reaccionaría al programa igual que el grupo atendido. Si el grupo de comparación no cumple esas condiciones, la estimación queda sesgada.

No es la única evaluación posible. La guía de seguimiento y evaluación del DNP, el Departamento Nacional de Planeación de Colombia, distingue cinco tipos de evaluación. Tres de ellos son los que más se usan en programas empresariales; la última columna es nuestro criterio:

¿Cuándo vale la pena hacer una evaluación de impacto?

Una evaluación de impacto vale la pena cuando su resultado va a cambiar una decisión grande, como escalar, replicar o renovar un programa con muchos recursos, y cuando el programa tiene suficientes empresas y una regla de selección que permita armar un grupo de comparación. El manual del BID y el Banco Mundial propone tres preguntas antes de decidir: qué está en juego, si ya existe evidencia sobre ese tipo de programa y si hay recursos para hacerla bien.

J-PAL, el laboratorio de evaluación del MIT, agrega cuándo no conviene: si la muestra es muy pequeña, si el costo de los datos se come el presupuesto del programa o si el programa termina antes de que lleguen los resultados, salvo que esos resultados sirvan para ediciones futuras.

Con 30 o 60 empresas en una sola edición es difícil estimar con precisión cuánto causó el programa en ventas, y eso no deja al programa sin evidencia. Hay tres caminos. Medir resultados que varían poco entre empresas, como adoptar una práctica o solicitar un crédito, que requieren muestras más pequeñas. Mantener la misma regla de selección en varias ediciones y evaluar las cohortes juntas. Y, mientras tanto, hacer una buena evaluación de resultados con línea base, medición diferida y un análisis de contribución basado en la teoría de cambio.

¿Por qué comparar antes y después no mide el impacto?

Comparar antes y después no mide el impacto porque supone que, sin el programa, las empresas habrían seguido igual que antes, y en un periodo de meses o años eso casi nunca es cierto. La economía se mueve, los clientes cambian y las empresas que entran a un programa suelen estar en un momento de cambio. El manual lo llama un contrafactual falso.

Comparar a los participantes con quienes no quisieron participar tiene otro problema: el sesgo de selección. Quienes se inscriben suelen ser más motivados o estar mejor preparados, y esas diferencias explican parte del resultado.

Los datos de la Global Accelerator Learning Initiative (GALI) lo muestran con claridad. En su informe A Rocket or a Runway? (2021), con 2.599 emprendimientos que postularon a 212 aceleradoras, los participantes sumaron en dos años, entre ventas, inversión, deuda y donaciones, casi el doble de recursos que los rechazados. Pero ya al postular tenían más fondos y más años de operación. Los autores advierten que los rechazados no son un grupo de control y que la diferencia sirve solo como indicador aproximado.

Cómo diseñar la evaluación de impacto de un programa paso a paso

1. Define la pregunta y el resultado que importa

Escribe la pregunta en una frase: qué decisión se va a tomar con la respuesta y qué resultado de las empresas la responde. El resultado sale de la teoría de cambio y debe estar escrito como indicador, con su ficha técnica, como explicamos en la guía de indicadores para programas de fortalecimiento empresarial.

Prefiere resultados que varían poco entre empresas frente al efecto que esperas. McKenzie y Woodruff encontraron que el poder estadístico es mucho mayor para resultados como adoptar una práctica o solicitar un crédito que para ventas o utilidades, que cambian mucho de una empresa a otra y se reportan con error.

2. Decide la evaluación y quién la hace antes de abrir la convocatoria

El grupo de comparación casi siempre sale de la forma en que se seleccionan las empresas, así que la evaluación se decide al mismo tiempo que la convocatoria. El manual del BID y el Banco Mundial lo dice al revés de como suele hacerse: las reglas de operación del programa definen el método de evaluación. La guía de cómo seleccionar empresas en una convocatoria explica cómo dejar la selección lista para evaluar.

Define también quién evalúa. La evaluación de impacto conviene que la haga un equipo distinto del que opera el programa, para que quien reporta el resultado no sea quien lo produjo. El operador sí tiene que dejar listas las condiciones: el registro de la selección, la línea base y el contacto con las empresas de comparación, y eso debe quedar escrito en sus términos de referencia.

3. Escoge el método de evaluación de impacto según cómo entran las empresas

Tres preguntas sobre la operación definen el método: si hay más demanda que cupos, si la selección usa un puntaje con un umbral y si el orden de entrada se puede sortear.

Cuando no es aceptable dejar empresas por fuera, las fases aleatorias dan a todas la misma oportunidad de entrar primero. Y cuando algunas seleccionadas no participan, los cupos que liberan se llenan desde una lista de espera ordenada por sorteo, nunca a criterio, y cada empresa se analiza en el grupo al que fue asignada.

4. Calcula si la muestra alcanza para detectar el efecto

Con pocas empresas, la evaluación puede concluir que el programa no tuvo efecto aunque sí lo tuvo. Antes de comprometerse hay que estimar el efecto mínimo que se podría detectar con la muestra disponible, y decidir si ese efecto es razonable. El manual recuerda que definir qué efecto mínimo justificaría la inversión es, sobre todo, una pregunta de política.

La evidencia de formación empresarial muestra el riesgo. Muchos experimentos trabajan con 200 a 400 empresas por grupo, y ninguno de los que revisaron McKenzie y Woodruff alcanzaba el poder para detectar un aumento de 25% en ventas. El metaanálisis de McKenzie (2020) estima efectos promedio de cerca de 10% en utilidades y 5% en ventas, demasiado pequeños para que la mayoría de los estudios individuales los detecte.

Dos cosas cambian mucho el cálculo. Si solo participa una parte de las seleccionadas, la comparación mide el efecto de ofrecer el programa, y la muestra necesaria crece con el cuadrado de esa pérdida: si participa la mitad, hacen falta unas cuatro veces más empresas. A favor, el poder mejora sin sumar empresas si el análisis controla por la línea base del mismo resultado, si se hacen varias rondas de seguimiento en lugar de una y si el sorteo se hace dentro de grupos de empresas parecidas.

5. Levanta la línea base en los dos grupos

La línea base se mide antes de que empiece el programa, con el mismo instrumento, en las empresas atendidas y en las de comparación. Medir solo a las atendidas deja la evaluación sin punto de partida para el otro grupo.

Ten en cuenta que el programa puede cambiar la forma en que las empresas reportan. McKenzie y Woodruff advierten que la formación puede cambiar cómo se informan ventas y utilidades aunque no cambien en la realidad, y que la tasa de no respuesta en ingresos suele ser alta. Siempre que se pueda, combina el autorreporte con registros administrativos, con autorización de la empresa.

6. Mide cuando el efecto puede aparecer y cuida que no se pierdan empresas

Las mediciones a los seis y doce meses que proponemos en la guía principal bastan para ver los primeros cambios y para un análisis de contribución. Si además se quiere atribuir un efecto en ventas o empleo, conviene un horizonte más largo: ocho de los 13 estudios que revisaron McKenzie y Woodruff midieron a un año o menos, y en Start-Up Chile los resultados se midieron hasta casi cinco años después.

El otro riesgo es el desgaste. Las pequeñas empresas de países en desarrollo cierran a un ritmo de cerca de 8% al año, según los datos que cita McKenzie, y en los datos de GALI las empresas rechazadas respondieron el seguimiento en un 47%, frente a 77% de las participantes. Una empresa que cierra no se saca de la muestra: su cierre es un resultado. Lo que sesga la estimación es que un grupo responda menos que el otro, así que reporta la tasa de respuesta de cada grupo y presupuesta el seguimiento a los dos.

7. Revisa los supuestos antes de leer el resultado

Cada método descansa en un supuesto que hay que comprobar con datos. En diferencias en diferencias, que los grupos venían con tendencias parecidas antes del programa. En regresión discontinua, que no se acumulan empresas justo encima del umbral y que sus características previas no cambian de golpe en él.

Una evaluación del BID sobre los aglomerados productivos de Brasil muestra por qué (Figal Garone y otros, 2012). Con la muestra completa, las empresas del programa y las de comparación venían de tendencias distintas antes del programa, así que esa estimación no era confiable. Al emparejar o reponderar las empresas para que sus tendencias previas se parecieran, el efecto en empleo seguía siendo positivo y crecía con los años, de unos 3 a 6 trabajadores el primer año a unos 15 a 17 al sexto. Al reportar, di también qué tamaño de efecto podía detectar la muestra y cuál no.

Caso real: Start-Up Chile y qué parte del programa funcionó

Start-Up Chile es un programa de aceleración patrocinado por el gobierno chileno. Daba a cada emprendimiento capital semilla de unos 40.000 dólares sin pedir participación, y espacio de trabajo. A cerca de 20 de las 100 empresas de cada cohorte les daba además una escuela de emprendimiento, asignada por un concurso de pitch con un puntaje de corte.

Juanita González-Uribe y Michael Leatherbee aprovecharon los dos cortes del programa, el del puntaje de admisión y el del pitch, para hacer regresiones discontinuas (González-Uribe y Leatherbee, 2018), con datos de 3.258 postulantes. Compararon a quienes quedaron justo por encima del corte con quienes quedaron justo por debajo, y midieron resultados entre uno y casi cinco años después de entrar al programa.

El resultado separó los componentes del programa. No encontraron evidencia de efecto del capital y el espacio de trabajo solos en financiamiento, escala ni supervivencia, al menos en las empresas cercanas al corte. La escuela de emprendimiento sí tuvo efecto: aumentó en 21% la probabilidad de conseguir financiamiento adicional, subió el capital levantado de unos 37.000 a unos 112.000 dólares en promedio y llevó el empleo de 0,9 a 1,8 personas.

Los autores advierten que la dificultad central de estas evaluaciones es separar el efecto del programa del efecto de haber seleccionado a los mejores. La regresión discontinua resuelve eso solo cerca del corte, y por eso sus resultados hablan de las empresas que estaban en el borde de la selección.

Preguntas frecuentes sobre la evaluación de impacto de programas empresariales

¿Cuál es la diferencia entre una evaluación de resultados y una de impacto?

La evaluación de resultados mide qué cambió en las empresas después del programa; la de impacto mide cuánto de ese cambio se debe solo al programa. La primera no necesita grupo de comparación y la segunda sí. Para muchos programas, una buena evaluación de resultados con línea base y medición diferida es la opción realista.

¿Quién debe hacer la evaluación de impacto, el operador o un tercero?

Conviene que la haga un equipo distinto del que opera el programa, para que quien reporta el resultado no sea quien lo produjo. El operador sí debe levantar la línea base, conservar los registros de la selección y facilitar el contacto con las empresas, y esas obligaciones deben quedar escritas en sus términos de referencia.

¿Cuántas empresas necesita una evaluación de impacto?

Depende del tamaño del efecto que se quiere detectar, de qué tan distintas son las empresas entre sí y de cuántas de las seleccionadas participan de verdad. Como referencia, con 200 a 400 empresas por grupo ninguno de los estudios de formación empresarial revisados por McKenzie y Woodruff tenía poder suficiente para detectar un aumento de 25% en ventas. Resultados que varían poco, como adoptar una práctica, necesitan muestras más pequeñas.

¿Sirven las empresas rechazadas como grupo de comparación?

Sirven como referencia para un análisis de contribución, pero no para atribuir impacto, porque la selección las hace distintas de las aceptadas. La comparación suele favorecer al programa, y lo perjudica si se seleccionó a las más rezagadas. Se vuelven un grupo de comparación válido cuando la selección usa un puntaje con umbral y se comparan las empresas cercanas al corte, o cuando la entrada entre elegibles se decidió por sorteo.

¿Qué hago si mi programa no puede tener una evaluación de impacto?

Haz una evaluación de resultados bien diseñada: línea base, medición al cierre y medición diferida a los seis y doce meses, con indicadores en cada eslabón de la teoría de cambio. Con eso puedes hacer un análisis de contribución y sostener con evidencia que el programa contribuyó, sin afirmar cuánto causó. Si el programa se repite, mantener la misma regla de selección entre ediciones abre la puerta a evaluar más adelante.

Lo que hay que dejar listo antes de seleccionar

Para que una evaluación de impacto sea posible hacen falta tres cosas antes de que empiece el programa: una regla de selección que defina el grupo de comparación, una línea base en los dos grupos y presupuesto para seguirlos después del cierre. Con eso, el informe final puede responder la pregunta del impacto con el rigor que el tamaño del programa permite y decir con honestidad lo que no se pudo detectar.

Si nos compartes las reglas de selección de tu próxima convocatoria, te decimos qué tipo de evaluación permiten y qué hay que dejar listo para que un evaluador independiente pueda medir.

Pide una sesión de diseño | Cómo trabajamos con instituciones

Lee también: Cómo diseñar un programa de apoyo empresarial | Indicadores para programas de fortalecimiento empresarial