Indicadores de proceso versus los indicadores de resultado/impacto:

Para una mejor comprensión del concepto de impacto, a continuación se describen los términos relacionados con este concepto:

  • Impactos. Describen nuestro éxito, los resultados de nuestro programa y cómo se benefician los participantes, tanto en cantidad (cobertura) como en calidad (cambios logrados). El impacto se refleja en cambios en conocimientos, habilidades, actitudes, valores, conductas, condiciones o estatus de las personas o comunidades con las que trabajamos.
  • Indicadores. Por cada impacto, describen cómo se reconoce o mide el avance hacia las metas.
  • Indicadores de impacto. Las partidas específicas de información que rastrea el éxito o fracaso de un programa en un impacto:
    • Identifica la característica o cambio, el cual muestra que se ha alcanzado un impacto.
    • Es observable y medible.
    • De manera usual se expresa como una cantidad o porcentaje de participantes que logran el impacto.

Factores comunes que influyen en los impactos

La determinación de los impactos se ve afectada por algunos factores, ya sea por parte de los participantes como de otras circunstancias, siendo los más comunes:

  • Edad
  • Género
  • Raza/etnia
  • Ingreso/nivel socioeconómico
  • Tamaño o composición de la familia
  • Salud, incapacidades
  • Dificultades de la situación de los participantes
  • Localización geográfica
  • Cantidad de servicios proporcionados
  • Tiempo de duración del programa
  • Grupos o individuos a quienes se atienden

Dificultades en la medición de impactos

Como se puede observar a continuación, la medición de los impactos presenta algunas dificultades:

  • Participantes anónimos, por ejemplo, servicios por teléfono o Internet, programas que tienen beneficiarios sin identificación o no realizan un buen levantamiento de información sobre los beneficiarios.
  • Asistencia de corto plazo, por ejemplo, cursos de capacitación.
  • Impactos a muy largo plazo, por ejemplo, cambios culturales.
  • Respuestas no confiables de los participantes por diversos sesgos.
  • Impactos intangibles, por ejemplo, capacitación en relaciones humanas o administración general.
  • Actividades orientadas a toda una comunidad sin focos especificos, por ejemplo, actividades culturales.
  • Falta de linea base confiable, por ejemplo, programas que no han medido qué tan grande es el problema antes de partir.
  • Falta de recursos (económicos, humanos, de tiempo, entre otros), lo cual habitualmente ocurre cuando un programa prefiere focalizar el uso de recursos en la ejecución del programa y no en la medición de utilidad del programa.
  • Diversidad de formas de entender lo que es un impacto.
  • A nivel Universitario, identificar solo impactos internos o externos y no ambos.

Impactos en el tiempo

Los impactos de un programa se reflejan en distintos momentos, a saber:

  • Impactos iniciales. Son los primeros beneficios o cambios que experimentan los participantes. A menudo son conocimientos, actitudes o habilidades.
  • Impactos intermedios. Unen los impactos iniciales y los finales, que un programa pretende alcanzar en sus participantes. A menudo representan cambios temporales o parciales en condición o estatus.
  • Impactos a largo plazo. Son los impactos finales que un programa pretende alcanzar en sus participantes. A menudo representan cambios definitivos en condición o estatus.

Etapas clave en la medición de impactos

La medición de impactos consta de las siguientes etapas:

  1. el desarrollo de un modelo lógico del programa (identificando por qué se eligió realizarlo respecto de otros programas; y por qué, su aplicación es más impactante realizarlo de esta forma, con este foco o con estos beneficiarios, que si se realizara con otros actores o beneficiarios).
  2. la identificación de los impactos deseados (cualitativa y cuantitativamente),
  3. la creación de la propuesta de indicadores de impacto,
  4. la identificación a priori del valor base o inicial de los indicadores de impacto (antes de la ejecución del programa)
  5. la medición a posteriori del indicador de impacto (después de la ejecución del programa)
  6. por ultimo, realizar un análisis crítico de si se logró los impactos deseados (iniciales, intermedios o de largo plazo según corresponda).

Cobertura, tasa de cobertura y sesgo de cobertura

Uno de los aspectos en los que más se refleja el impacto de cualquier programa es el de su cobertura, por lo que a continuación se presentan algunas precisiones acerca de este concepto.

  • Cobertura. Mide el grado en que el programa o proyecto llega a la población necesitada, que debe ser la beneficiaria. Algunos factores a tomar en cuenta sobre la población son:
    • Área geográfica y localización (accesibilidad).
    • Actividad lucrativa o no.
    • Situación económica.
    • Circunstancias familiares, sociales y culturales (etnias, género, edad, religión, afiliación política, entre otros).
  • Tasa de cobertura. Parte de la población necesitada que recibe los servicios o beneficios del programa. Los elementos para su cálculo son:
    • Estimación de la población necesitada.
    • Tipos de beneficios que genera el programa (ejemplo: acceso a créditos, capacitación, apoyos alimentarios, becas, etcétera).
    • Distribución en el reparto de beneficios.
  • Sesgo de cobertura. Son errores sistemáticos que se cometen en las investigaciones durante todo el proceso, los cuales requieren determinarse y considerarse para que los resultados sean representativos de la población.

Además, permite descubrir subgrupos dentro de la población beneficiaria y su impacto diferencial, el cual puede provocar discriminación en la población, por la composición o característica de los factores a tomar en cuenta en la determinación de la cobertura.

Limitaciones en la utilización de los indicadores de impactos

Los indicadores de impacto pueden mostrar que los participantes no experimentaron los beneficios esperados, pero no indican dónde se localiza el problema o cómo arreglarlo.

Los indicadores, tanto de impacto como de procesos o resultado, permiten evaluar el desempeño de un programa o proyecto, los que pueden clasificarse también como: de efectos (fines) y causas (medios). Sin embargo, para completar la evaluación es importante considerar el análisis de Fortalezas, Oportunidades, Debilidades y Amenazas (FODA) para conocer:

  • Del entorno, las oportunidades y amenazas (riesgos) a que se enfrenta el programa y que repercuten en la mayor o menor adaptabilidad de dicho programa al entorno.
  • De su propia naturaleza, las fortalezas y debilidades del programa (y de la organización de la que forma parte), tanto en el proceso administrativo como en los recursos que utiliza para la ejecución del programa que, finalmente, explican las causas del éxito o fracaso.

Validación de los indicadores de impacto

Los indicadores de impacto, al igual que el resto de los indicadores, deben validarse tanto en su aspecto formal (autorización, contenido, periodicidad, etc.) como en su utilidad y atributos básicos (confiabilidad, relevancia, coherencia, costo beneficio y otros que se juzguen convenientes).

Para aumentar las probabilidades de éxito en la implantación de los indicadores, es importante que se apliquen pruebas piloto para confirmar que los bienes y servicios entregados producen los impactos deseados, es decir, cambios en sus condiciones.

Una forma de aplicar la prueba experimental de un programa que diferencie el impacto entre la población atendida (grupo experimental), o no atendida por el programa (grupo control), es que en su inicio y como etapa de validación se maneje una prueba piloto y se compare con la población no atendida, o bien, se aplique en primera instancia a la población menos favorecida con la aplicación de la “línea base” (valor de los indicadores al iniciar un programa) como punto de comparación.

Uso de múltiples mediciones

Ninguna medición aislada es suficiente. Conviene establecer varias que sean complementarias en concepto y de diferentes audiencias, lo que le da mayor credibilidad.

No existe una cantidad correcta de impactos de un programa. En algunos programas los impactos iniciales pueden ser más cercanos a las salidas, debido a que, rara vez, representan un cambio importante.

Etapas siguientes

Una vez determinados los indicadores de impacto, al igual que todos los demás, es necesario estructurarlos dentro del sistema de información, para lo cual se requiere:

  • Identificar sus fuentes de información.
  • Desarrollar un plan de recolección de datos.
  • Obtener y registrar los datos.
  • Analizar los resultados.

En conclusión, todo el esfuerzo en la definición y elaboración de los indicadores de impacto no tendría sentido si no se utilizan en la toma de decisiones ni en la rendición de cuentas. En especial, los indicadores de impacto deben utilizarse en la Universidad Andrés Bello para cumplir con las obligaciones derivadas de la rendición de cuentas y, en particular, con los procesos de Acreditación Nacional o Internacional.

Preparado con aportes de las siguientes fuentes: