*La labor de hacer y publicar encuestas sobre preferencias electorales debe ir siempre acompañada de una evaluación crítica posterior a …
La labor de hacer y publicar encuestas sobre preferencias electorales debe ir siempre acompañada de una evaluación crítica posterior a los comicios. Uno de los aspectos centrales de dicha evaluación es saber hasta qué grado los ejercicios demoscópicos fueron precisos, es decir, cuánto se acercaron o se desviaron sus estimaciones de los resultados electorales oficiales. Este es un primer corte de caja de las encuestas de El Financiero a la luz de lo que arrojan los PREP de las diversas entidades en las que se hicieron encuestas previas a la elección o encuestas de salida durante la jornada electoral.
Entre el 29 de marzo y el 1 de junio, El Financiero publicó 17 encuestas preelectorales realizadas en 11 de los 12 estados que renovaron gobernador el pasado 5 de junio, así como en la Ciudad de México, con miras a la elección para Asamblea Constituyente. También se realizaron encuestas de salida para proyectar los resultados y comprender las razones de voto de las elecciones en 5 entidades de la República, publicando los cortes de dichas encuestas a las 6 de la tarde, hora del cierre de casillas.
El cuadro que acompaña a este texto muestra los datos como se publicaron, los resultados del PREP y dos métricas para evaluar la precisión de estos ejercicios de muestreo y estimación estadística: 1) el error promedio, que se refiere a la desviación que tuvo la estimación de cada candidato dividida entre el número de candidatos (agrupando aquellos que obtuvieron menos de 10%); y 2) el error ventaja, que se refiere al error que tuvo la encuesta en estimar la ventaja entre primero y segundo lugar. Entre más se acercan a cero estos indicadores significa que la encuesta fue más precisa.
Es evidente que los resultados son mixtos: hay encuestas con un alto grado de precisión y otras fuera de los márgenes tolerables. En 7 de las 17 encuestas (41%) el error promedio fue menor o igual a 3 puntos, pero en 24% de los casos el error promedio se disparó a más de 6 puntos. El caso con mayor error promedio es Sinaloa, pero los más marcados como fallas son Chihuahua, Quintana Roo y Durango, en tanto se falló en anticipar al ganador: el PAN en el primer estado y la alianza PAN-PRD en los segundos. Este dejá vu 2010, cuando la mayoría de los sondeos falló en señalar el triunfo de las alianzas PAN-PRD en Oaxaca, Sinaloa y Puebla, es una señal clara de que las encuestas han sido incapaces de estimar esa dinámica electoral.
El uso de modelos de votantes probables mejoró las estimaciones en 4 de las 9 encuestas finales en las que se emplearon; en ningún caso aumentó el error promedio más de 1 punto porcentual. Esto marca la necesidad de revisar y mejorar dichos modelos que, en casos de participación baja como la Ciudad de México, resultan cruciales.
De un total de 26 estimaciones publicadas (incluyendo las de votantes probables de las encuestas finales), los ejercicios de El Financiero acertaron ganador o previeron un escenario cerrado con error promedio menor o igual a 3 puntos en 17 casos (65% del total), mientras que en el resto (35%) no se proyectó correctamente al ganador y se salió de los márgenes de error aceptables.
Encuestas de salida
De las cinco encuestas de salida publicadas al cierre de las casillas el 5 de junio, dos de ellas tuvieron un error promedio menor a 3% (Aguascalientes y Veracruz), una registró menos de 4% (Oaxaca), y dos más registraron menos de 5% (Quintana Roo y Tamaulipas). El error en ventaja varía de 2 puntos en Oaxaca a 14 puntos en Tamaulipas. Los casos más notables de precisión son Oaxaca, Aguascalientes y Veracruz, estas dos últimas con ganador cruzado, pero dentro del error promedio. En contraste, las encuestas más imprecisas fueron las de Quintana Roo y Tamaulipas.
Razones de las fallas
Las encuestas enfrentan múltiples fuentes de error potencial, muchas de ellas de carácter no muestral que tienen que ver con la forma y contexto en que se aplica o se responde la encuesta. En este 2016 se pueden señalar varias: un voto oculto en entidades de alternancia que reflejaron el mismo efecto de 2010; un swing (cambio de preferencia) de último momento en estados como Tamaulipas; condiciones de inseguridad que minan la confianza de los encuestados a responder o que limitan a los propios encuestadores para llevar a cabo su trabajo; en el caso de las encuestas de salida, altas tasas de rechazo y, quizás relacionado, algunas zonas con condiciones de seguridad insuficientes para llevar a cabo el estudio. La revisión puntual de tasas de participación por casilla se maneja por ahora como hipótesis para una vez que queden los resultados finales computados.
Qué hacer
Las encuestas requieren una constante innovación y adaptación. Deben revisarse los protocolos de capacitación, entrevista y supervisión, de manera que los encuestadores puedan generar la mayor confianza posible de los entrevistados en contextos de inseguridad y que minimicen el rechazo a la entrevista. Deben revisarse y adaptarse los modelos y estimaciones de votantes probables en el caso de las encuestas preelectorales, y los procedimientos de estimación de participación por sección o distrito en el caso de las encuestas de salida.
Debe mantenerse o, en su caso, mejorarse la transparencia de los métodos y de las características técnicas y organizacionales de los estudios. Deben revisarse y analizarse las bases de datos para poder confirmar estas explicaciones o derivar otras. Las bases de datos de El Financiero son accesibles de inmediato a través de los institutos electorales y eventualmente en archivos de datos de instituciones académicas.
Las encuestas no solamente son su método y sus estadísticas, también son su difusión. En este sentido, deben revisarse las formas más convenientes para comunicar los resultados de encuestas enfatizando sus alcances, limitaciones y su objetivo.
Algunas encuestas fallaron, ya sea subestimando o sobrestimando el apoyo a ciertos candidatos, pero todas ellas ofrecieron información valiosa sobre las prioridades, preocupaciones y opiniones de los electores, así como del vínculo entre sus características sociodemográficas y el voto, o la conexión entre la forma en que evalúan el desempeño de gobierno y su preferencia electoral. Sirva este corte de caja para abonar a una discusión pública sobre el desempeño de las encuestas y, por supuesto, para su mejoramiento en los siguientes procesos electorales. Es un acierto seguir utilizando, promoviendo y mejorando las encuestas públicas; sería una gran falla no contar con ellas.