Protagonistas de la Evaluación

Entrevista a...

 

José Luis Osuna

Presidente de la Sociedad Española de Evaluación de Políticas Públicas

Catedrático de Economía Aplicada, es Director de la Cátedra “Carlos Román” de Evaluación de Políticas Públicas de la Universidad de Sevilla. Dispone de una amplia y contrastada dedicación en favor de instaurar la “cultura” de la evaluación en nuestro país: fundador y Presidente de la Sociedad Española de Evaluación; miembro del Grupo de Expertos para la creación de la AEVAL y de su Consejo Rector en calidad de “profesional independiente de reconocido prestigio”; “Stagiare-Administratif” en la Comisión Europea y miembro del Programa MEANS; Director del Máster (4ª ed.) y del Experto (15ª ed.) en Evaluación de Políticas Públicas. Es el investigador español que ha dirigido un mayor número de proyectos, más de sesenta, objeto de la herramienta: teóricos y metodológicos (vr.gr. “Desarrollo de actuaciones tendentes al fortalecimiento del seguimiento y la evaluación de la cooperación española”. MAEC); políticas de la U. E. (vr.gr.  “Evaluación de Impactos de la Iniciativa EQUAL en Andalucía”); políticas nacionales (vr.gr. “Evaluación del Acuerdo para el Empleo y la Protección Social Agrarios”); políticas sectoriales (vr.gr. “Evaluación Intermedia del Plan de Modernización del Sector Pesquero Andaluz”); políticas sociales (vr.gr. “Evaluación Ex – ante de la Ley de Dependencia de Andalucía”); políticas locales (vr.gr. “Evaluación del Plan Municipal de la Vivienda  de Sevilla 2003-2007”); políticas medio-ambientales (vr.gr. “Modelos de gestión participativa del agua en la Cuenca del Guadalquivir”); meta-evaluaciones (vr.gr. “Evaluación políticas sociales-Evalúa DF, Méjico-Capital Federal”). Con cerca de cincuenta publicaciones, es el  Director de la Guía de Evaluación de Políticas (www.consigna.us.es). Profesor invitado en más de cuarenta Universidades, nacionales e internacionales, donde ha impartido cursos de doctorado, máster, seminarios, conferencias y talleres sobre la materia.

 

José Luis, te he escuchado muchas veces hablar de “más Estado vs. más Mercado”, ¿cómo va la batalla?

 

La “batalla” va para largo. Mi maestro, Carlos Román, en los comienzos de éste siglo aseveraba que: “… en realidad la polémica sobre el papel del Estado en las economías de mercado es casi tan vieja como la propia Ciencia Económica. …… probablemente, una vez más, el quid de la cuestión estriba en el empecinamiento de los economistas en encontrar fórmulas magistrales de aplicabilidad universal, cuando puede que lo más razonable sea encargar al Estado el cumplimiento de unas u otras funciones, según cuales sean las condiciones objetivas y subjetivas del desarrollo histórico de cada sociedad determinada, en cada momento específico”.

Siendo así, tras la crisis financiera última  y dado que el Estado (paradojas del destino, de manera destacada; “el americano del norte”) acudió al rescate hasta de las empresas automovilísticas, quizás quepa reconocer que el pendular del pensamiento económico entre el “si” o el “no” a la intervención del Estado marca el fracaso de una ciencia que -- empeñada en mimetizar el método de las ciencias naturales -- se olvidó de su esencia social y de centrar el debate en “cúanta” y “cúal” intervención; pero, eso es lo dificil y la Academia prefiere las “curvas” fáciles y los modelos “flexibles”.

 

¿Y qué papel juega la evaluación en este sentido?

 

La evaluación tiene que hacer una valoración crítica de las Políticas Públicas y aportar, a la luz de los resultados e impactos, recomendaciones de mejora. Por tanto, siguiendo a Christie y Alkin (2008) en su metafórica  representación del Árbol de las Teorías de la Evaluación y recuperando a los clásicos (que aunque algunos no los lean, “¡¡haberlos, haylos!!”) podemos seguir en el “centro del tronco”, intentando infructuosamente abracarlo, discutiendo eternamente sobre el método. A mí, para no caer en la falacia de la pretendida neutralidad, me apetece más confesar con Gunar Mirdal mi ideología y siguiendo a Ortega y Gasset, “no intentar proporcionar verdades absolutas, sino conocimiento óptimo”. Así que, cuando afrontamos una evaluación pretendemos centrar nuestro objetivo en la utilidad y el uso de la misma. Consecuentemente, preocupados por la atribución del valor y la ética, quiero creerme que la evaluación puede jugar un papel importante como herramienta de uso generalizado en las administraciones públicas; y debe hacerlo para fortalecer la democracia, juzgando la política económica, con las técnicas propias de la investigación social.

 

Castilla y León está diseñando su propia Agencia de Evaluación;  la Junta de Andalucía,  declara su voluntad de sacar la Ley de Evaluación; el Ayuntamiento de Valencia ha creado Avalua:Lab, laboratorio de ideas especializado en evaluación; el Observatorio de la Realidad Social de Navarra impulsa nuevas iniciativas en la materia; y, en fin,  la actividad evaluadora de Fundae, FIIAPP, SEPE, Cooperación al Desarrollo, y hasta la AIREF -- que parecía llamada a otros fines -- dice querer aplicarse a la tarea..… ¿Está la evaluación en España más viva que nunca?

 

Son buenos indicadores; aunque, con tanta heterogeneidad y dispersión no alcanzo a avizorar si será posible el cumplimiento del objetivo común: que la “cultura” de la evaluación de políticas se instale en la práctica de nuestra moderna Gestión Pública. Ya en la primera década de éste siglo, con el impulso de la creación de la AEVAL, sufrimos ese “sarampión” evaluador…. ¡¡hasta el Programa de la Orquesta Joven, fue evaluado!! . En su momento, ante la carencia de la “cultura” administrativa, participé de la idea de que el órgano podría animar a crear la función. Hoy, soy bastante más escéptico; aún así, observo complacido y considero muy positivamente  el interés por la herramienta.

 

Ester Dufló y su equipo recibieron el Premio Nobel de Economía 2019 por la aplicación de metodologías experimentales de evaluación. ¿Algún día veremos un Premio Nobel para las metodologías participativas?

 

Hace tiempo que la Academia me es ajena; incluso, cuando premia a los míos.  Por cierto,  el de Economía es el único que no otorga la Academia de las Ciencias Sueca; sino, el Banco Central…… Lo del “cuasi-experimentalismo” y la discusión sobre si conviene hacer “matching”, usar variables instrumentales, discontinuidad en la regresión, doble diferencia, truncar series temporales o comparaciones reflexivas…… para evaluar programas de vacunación o campañas contra el hambre; hiere mi sensibilidad. Si además, la “parafernalia matemática” se hace sin la participación activa de los agentes implicados en la sociopolítica y el territorio afectado y se aplica por imposición jerárquica de los resultados “matemáticos” obtenidos, me parece una auténtica impostura que pone en evidencia el gran daño de haberle quitado a la “Economía” su apellido, “Política”.

 

¿Qué crees que falta para que la evaluación sea una realidad en el día a día de nuestras administraciones públicas?

 

Formación y conocimiento; para alcanzar un mínimo de consenso en cuanto a qué entendemos por “Evaluación de Políticas Públicas”. No me resisto a volver a insistir en que una actividad sistemática como ésta, consistente en valorar la intervención mediante la aplicación rigurosa de procedimientos propios de las Ciencias Sociales está, obviamente, sujeta al método científico; pero también debe estarlo a los valores predominantes de la sociedad en que tiene lugar el ejercicio de la evaluación y a las relaciones de fuerza existentes. Es este último aspecto el que diferencia la evaluación de la investigación académica pura y el que hace de la misma una actividad particularmente delicada y políticamente sensible, pero imprescindible.

Es necesario reabrir el debate sobre la necesidad y utilidad de la evaluación, aclarando el papel que deben tener en ella los actores públicos y privados, junto a los ciudadanos y ciudadanas beneficiarios de las políticas. La interpretación menos lúcida y más dominante de la crisis última, ha colocado la reducción del gasto en primer plano y exige de la evaluación que se limite a justificarla; a tal fin, con la “neutral” cuantificación, se “bombardea” a la opinión pública para justificar los recortes de las políticas sociales. Volvemos con ello  al vetusto paradigma de la evaluación clásica sustentada en la biunívoca relación cartesiana “causa-efecto”.  Otros pensamos que, de conformidad con la idea de que los ciudadanos han de ser sujetos activos y no meros elementos pasivos de la acción pública, la evaluación debe proporcionar criterios para la estimación de los intereses en juego, cauces para el establecimiento negociado de prioridades y para la participación en el proceso decisorio de los grupos afectados, directa o indirectamente, por los programas de intervención.

La estricta disciplina en el gasto que exige el criterio de estabilidad en el “ciclo económico”, la coordinación interadministrativa que requiere el complejo entramado supranacional (Unión Europea) y el no menos complicado entramado nacional (Comunidades Autónomas y Autonomía Local), así como el carácter riguroso y profesional que debe caracterizar la toma de decisiones públicas, ponen de manifiesto la necesidad de un acuerdo político razonable que permita el desarrollo de un sistema de evaluación coherente de objetivos, instrumentos y medidas, el cual abra vías al control social de las intervenciones públicas con el rigor que requiere una sociedad moderna.

Y para ello, el experimentalismo – todo o “cuasi” – y, aún más, las 3 “E” -- Economía, Eficacia y Eficiencia -- de la “Auditoría Operativa” son visiones reduccionistas de una herramienta – la Evaluación de Políticas Públicas -- cuyo potencial político y social es mucho mayor: ser “palanca de fuerza” para transformar la “cultura” de la Gestión Pública.

 

En defensa de los derechos de los profesionales de la evaluación, has denunciado muchas veces públicamente, los problemas y abusos que sufre el sector, sobre todo por el peso que se sigue otorgando a la oferta económica frente a la oferta técnica en los concursos públicos de evaluación. ¿Qué podemos seguir haciendo en este sentido?

 

Perseverar en la denuncia. Tiene mucho que ver con mi respuesta anterior. Falta formación y conocimiento sobre el concepto y el método de la herramienta entre los Funcionarios Públicos; y además, los Pliegos de Prescripciones Técnicas no precisan la “matriz de evaluación” respondiendo con claridad ¿para qué? y ¿por qué? se quiere hacer la evaluación.

Dices bien, he denunciado hasta por escrito ésta situación ante nuestras Autoridades en Gobiernos de distinto ámbito y signo político. Siempre con reconocimiento por su parte del problema; pero, sin  resultado práctico alguno. La consecuencia es que el 80% de las evaluaciones son de dudoso rigor y escasa utilidad. Eso sí, las hacemos muy, muy, muy baratas…. cuando desde los años setenta del siglo pasado, por C. Weis, ya sabemos que las evaluaciones son costosas en tiempo y en recursos.

 

Conocemos tu capacidad para generar ideas e impulsar iniciativas. ¿Qué proyectos tienes ahora mismo entre manos y cuáles son tus siguientes retos en materia de evaluación?

 

Muchas gracias por el halago deferente. Mi “gran” proyecto, es muy doméstico: dejar la Presidencia de la SEE en manos de profesionales contrastados junto a jóvenes investigadores y residiendo fuera de Sevilla; porque, aún y a pesar de Neruda, “veinte años” son mucho La Conferencia de Valencia, confío, será un punto de inflexión para el nuevo impulso de la SEE como sociedad civil organizada para instaurar la “cultura” de la Evaluación en nuestras administraciones públicas.

En la práctica de la investigación aplicada, estamos afrontando el reto de revisar el Plan Estratégico de EMASESA (Empresa Metropolitana de Aguas de Sevilla) para desarrollar e implementar un modelo de evaluación participativa. Es ilusionante y muy novedoso. Lo es sectorialmente, gestión de un recurso escaso y autorrenovable; también funcionalmente, la estrategia de una empresa pública como instrumento al servicio de un política. Y además, es de una oportunidad indudable en el contexto de la Estrategia 2030. Soy afortunado, tenemos un proyecto relevante; intentaremos llevarlo a cabo con rigor, esfuerzo y la capacidad adquirida tras 30 años dedicado a estudiar, investigar y hacer evaluaciones.

 

Muchas gracias, José Luis.

Entrevista realizada por El Diario de la Evaluación

11 de marzo de 2020

 

Logo Ministerio.png
US.png
Logo 5 Observatorio.jpg
Red2.jpg
0. Logo KSNet txt.jpg
Logo TJ-UB.jpg
logofms_fondo magenta.png