Indicadores de impacto y de resultado para programas de fortalecimiento empresarial

Key Takeaways

• Un buen indicador de programa dice qué cambió en las empresas y cuándo se puede verificar. Los indicadores de actividad sirven para gestionar la operación, pero no muestran que el programa funcionó.
• El DNP clasifica los indicadores en tres tipos según la cadena de valor: gestión, producto y resultado (DNP, Guía para la construcción y análisis de indicadores, 2018). La misma guía advierte que los resultados pueden estar influidos por factores externos.
• Pocos estudios encuentran efectos significativos de la formación empresarial sobre ventas o utilidades, y muchos miden antes de cumplirse un año (McKenzie y Woodruff, World Bank Research Observer, 2014). Prometer ventas al cierre es prometer algo difícil de demostrar.
• En un ensayo con 432 pymes en México, el efecto más grande del acompañamiento (cerca de 50% más empleo) apareció en registros del seguro social y seguía ahí cinco años después (Bruhn, Karlan y Schoar, Journal of Political Economy, 2018). Un informe al cierre no lo habría visto.
• El impacto se mide con tiempo y con un punto de comparación. Sin eso, lo honesto es reportar resultados y contribución, no impacto.

Los indicadores de un programa de fortalecimiento empresarial se escriben casi siempre al final, cuando el documento ya está listo y alguien pide "la matriz". Ese orden produce lo que se ve en la mayoría de informes: horas dictadas, talleres realizados y empresas inscritas, porque son las cifras que el operador controla y que se pueden contar sin salir de la oficina.

Esta guía va en el orden contrario. Parte del cambio que el programa quiere producir y llega a la ficha técnica de cada indicador, con ejemplos de los programas que hemos operado para cámaras de comercio, multilaterales y gobiernos en América Latina. Es una de las piezas de cómo diseñar un programa de apoyo empresarial, la guía principal de esta sección.

¿Qué es un indicador de impacto en un programa empresarial?

Un indicador de impacto mide un cambio en el negocio de las empresas (ventas, empleo, inversión recibida, supervivencia) que se puede atribuir al programa, porque se compara contra lo que habría pasado sin él. La palabra que lo separa de los demás indicadores es "atribuir". Si no hay un grupo de comparación o al menos una forma razonable de descartar otras causas, lo que se tiene es un indicador de resultado.

La guía de indicadores del DNP organiza los indicadores según el eslabón de la cadena de valor que miden. Los de gestión cuantifican insumos y actividades, los de producto miden los bienes y servicios entregados y sus beneficiarios, y los de resultado miden cambios de percepción, de conocimiento y de condiciones de bienestar. Sobre estos últimos, la guía dice algo que en programas empresariales pesa mucho: sus efectos "pueden ser incididos por factores externos y no necesariamente se producen directamente por la intervención pública".

Traducido a un programa de fortalecimiento empresarial, la cadena se ve así:

Las dos primeras filas responden si el programa se ejecutó. Las dos últimas responden si sirvió.

¿Por qué tantos programas terminan reportando actividades?

Porque las actividades son lo único que el operador controla por completo, y el financiador suele pedir reportes antes de que las empresas alcancen a cambiar. El resultado se ve en cifras como la que abrió AuRA, el programa de la Fundación Bolívar Davivienda y BID Lab: once organizaciones de apoyo colombianas acompañamos a más de 30.000 empresas entre 2022 y 2024, y en ese periodo se cerraron 49 inversiones. Cada organización tenía sus reportes al día. Lo que casi nadie medía era qué pasaba en las empresas. Lo contamos en el fin de las métricas de vanidad en el soporte empresarial.

El otro extremo también existe. Hay programas que prometen aumentos de ventas al cierre de un acompañamiento de tres meses. La evidencia no los respalda: la revisión de McKenzie y Woodruff sobre evaluaciones de formación empresarial en países en desarrollo encontró que la mayoría de empresarios adopta algunas de las prácticas enseñadas, que esas mejoras suelen ser modestas y que pocos estudios detectan efectos significativos en utilidades o ventas. También señaló que muchas evaluaciones midieron antes de cumplirse un año.

Entre contar talleres y prometer ventas hay un terreno intermedio, que es donde se construyen los indicadores útiles: cambios verificables en la operación de la empresa, medidos con el mismo instrumento antes y después, y una medición diferida para lo que tarda más.

Cómo construir los indicadores de un programa paso a paso

1. Parte del cambio esperado, no de la lista de actividades

El primer indicador que se escribe es el de resultado, y sale directo del cambio que el programa promete. Si el programa quiere que las empresas vendan en línea, el indicador es cuántas tienen un canal de venta en línea funcionando, no cuántas asistieron al módulo de comercio electrónico.

Una prueba útil es preguntar qué vería un evaluador si visitara la empresa al día siguiente del cierre. Si la respuesta es "un certificado", el indicador está mal ubicado en la cadena.

2. Escoge pocos indicadores por nivel y descarta el resto

Un programa con treinta indicadores no se puede seguir y termina reportando los que son fáciles de llenar. Uno o dos por nivel suelen bastar. Para decidir cuáles se quedan, la guía del DNP propone los criterios CREMAS: que el indicador sea claro, relevante, económico de recolectar, medible por un tercero, adecuado para la dimensión que quiere medir y sensible a cambios en periodos cortos.

El criterio de sensibilidad es el que más descarta en programas empresariales. Las ventas anuales no se mueven en un acompañamiento de tres meses, aunque el programa haya funcionado. Una decisión de segmento o un canal habilitado sí.

Los indicadores de gestión no se descartan; se usan para otra cosa. En El Salvador, el programa de 105 asesores de transformación digital registró 591 sesiones y 1.397 horas de trabajo en campo con 210 emprendimientos. Esas cifras servían para saber si la cobertura avanzaba al ritmo esperado en cada departamento. El resultado estaba en lo que cada emprendimiento dejaba funcionando después de la sesión.

3. Escribe la ficha técnica de cada indicador

La ficha técnica, que el DNP llama "hoja de vida" del indicador, es lo que evita que dos personas midan lo mismo de forma distinta. Debe tener nombre, objetivo, definición de cada variable, fórmula, unidad de medida, fuente, periodicidad y responsable, además de la línea base y la meta.

Este es un ejemplo de ficha armado sobre la línea base de un programa de comercio electrónico con 65 mipymes en Panamá, donde ninguna tenía tienda en línea al empezar. La meta queda en blanco porque la fija cada programa:

La línea de "definición" es la que más se omite y la que más discusión ahorra en el informe final.

4. Levanta la línea base con el mismo instrumento que usarás al cierre

Si el instrumento de entrada y el de salida no son el mismo, la diferencia entre los dos no significa nada. Mismas preguntas, mismas dimensiones, misma escala y, si se puede, la misma persona aplicándolo.

La línea base también sirve para ajustar el diseño antes de empezar. Si la mayoría de la cohorte ya tiene resuelto lo que el programa pensaba enseñar, todavía hay tiempo de cambiar el énfasis.

5. Define cómo se verifica cada dato

Cada indicador necesita una regla de verificación: autodeclarado por la empresa, verificado por el asesor o tomado de un registro externo. Las tres son válidas, pero no pesan igual en un informe y conviene decir cuál se usó.

En Innovalab, el programa de la Cámara de Comercio de Bogotá, doce empresas reportaron ingresos al inicio y al cierre de su acompañamiento y en todas el número subió, en un caso casi al triple. No lo presentamos como resultado del programa: eran cifras autodeclaradas, en un periodo corto y sin grupo de comparación. Lo que sí pudimos verificar fue que al menos once de las 67 empresas pivotaron o redefinieron su propuesta de valor. El detalle está en a quién venderle: lo que más se repitió en 67 empresas.

6. Programa la medición diferida y decide cómo vas a hablar de impacto

Las ventas, los clientes nuevos y el empleo se miden a los seis y doce meses del cierre, con un instrumento corto que la empresa pueda responder en pocos minutos. Esa medición tiene que estar en el presupuesto desde el diseño, porque después del cierre el operador ya no tiene contrato ni equipo para hacerla.

Para hablar de impacto hace falta además un punto de comparación. Una opción práctica es medir también a las empresas que se postularon y no entraron, siempre que el criterio de selección no las haga muy distintas. Si no hay forma de compararlas, el informe debería hablar de resultados y de contribución del programa, y no de impacto.

Indicadores de resultado según el tipo de programa

El indicador de resultado cambia con el formato del programa. Esta tabla propone un punto de partida para cada formato, que cada programa ajusta a su cambio esperado:

En todos los casos, el indicador de impacto que se mide después (ventas, empleo, inversión) puede ser el mismo. Lo que cambia es el resultado intermedio que hace creíble la relación entre el programa y ese impacto.

Caso real: 432 pymes en México medidas cinco años después

El caso que mejor muestra por qué importa el momento de la medición no es nuestro. A partir de 2008, el gobierno del estado de Puebla, en México, ofreció consultoría empresarial subsidiada durante un año a pequeñas y medianas empresas, y un equipo de investigadores (Miriam Bruhn, del Banco Mundial; Dean Karlan y Antoinette Schoar) aprovechó el programa para hacer un ensayo aleatorio con 432 empresas. A unas se les asignó la consultoría y a otras no, de modo que el grupo de comparación quedó definido desde la convocatoria.

Al cumplirse el año, las empresas acompañadas mostraban mejor productividad y mejor retorno sobre activos que las del grupo de comparación, y los cambios más visibles estaban en prácticas de mercadeo, contabilidad financiera y planeación de largo plazo. Eran indicadores de resultado: cambios en cómo se manejaba la empresa.

El efecto más grande llegó después. Con datos del seguro social mexicano, los investigadores encontraron que el número de empleados y la nómina total de las empresas acompañadas crecieron cerca de 50% frente al grupo de comparación, y que la diferencia seguía cinco años después del programa. Los resultados se publicaron en el Journal of Political Economy en 2018.

Para quien diseña indicadores, el caso deja tres lecciones:

La tercera lección es la más fácil de copiar en programas pequeños. Un registro administrativo, como la planilla de seguridad social o la renovación de la matrícula mercantil, permite medir empleo y supervivencia años después sin volver a encuestar a nadie, siempre que la empresa haya autorizado ese uso de sus datos al entrar al programa.

Preguntas frecuentes sobre indicadores de impacto en programas empresariales

¿Cuál es la diferencia entre un indicador de resultado y uno de impacto?

El indicador de resultado mide un cambio en la empresa; el de impacto mide la parte de ese cambio que se debe al programa. Para medir resultado basta comparar la empresa consigo misma antes y después. Para medir impacto hace falta compararla con empresas parecidas que no participaron, porque las ventas de una empresa dependen de muchas cosas además del programa.

¿Cuántos indicadores debe tener un programa de fortalecimiento empresarial?

Pocos: uno o dos por nivel de la cadena suelen bastar. Cada indicador adicional tiene un costo de recolección y verificación, y cuando son demasiados el equipo termina llenando los fáciles. Es mejor tener cinco indicadores con ficha técnica completa que veinte sin definición.

¿Sirven los datos que reportan las propias empresas?

Sirven, siempre que el informe diga que son autodeclarados y no se presenten como efecto del programa. Para indicadores de resultado conviene pedir una evidencia simple (una captura, una factura, un contrato) o que el asesor verifique. Para ventas, el dato autodeclarado es casi siempre la única fuente disponible y por eso se lee con cautela.

¿Cómo se mide el impacto si no hay grupo de comparación?

No se puede atribuir el cambio al programa con rigor, pero sí se puede reportar contribución. Eso significa mostrar la cadena completa: la empresa tenía un déficit en la línea base, el programa trabajó ese déficit, el resultado intermedio se verificó y después vino el cambio en el negocio. Si el financiador necesita atribución, el grupo de comparación tiene que estar en el diseño desde la convocatoria.

¿Qué indicadores se deben pedir en los términos de referencia de un operador?

Los de resultado y producto, con su ficha técnica y su forma de verificación, además de la obligación de levantar línea base y de apoyar la medición diferida. Si los términos de referencia solo piden horas, sesiones y asistentes, el operador va a optimizar para esas cifras. Pedir resultados verificables también abre la puerta a esquemas de pago por resultados.

Un indicador vale por la decisión que permite tomar

La prueba de un buen sistema de indicadores es que alguien cambie algo cuando los lee: que el operador ajuste el énfasis a mitad de programa, que el financiador decida repetir o rediseñar, que la siguiente convocatoria pida otro perfil de empresa. Si los indicadores solo sirven para llenar el informe final, se escogieron por lo fácil que era contarlos.

Si estás armando la matriz de indicadores de un programa o revisando la que propuso un operador, podemos trabajarla contigo en una sesión de diseño antes de que salga la convocatoria.

Pide una sesión de diseño | Cómo trabajamos con instituciones

Lee también: Cómo diseñar un programa de apoyo empresarial | Qué es una ESO