En el GPS Ciudadano nos interesa explorar diversas técnicas de análisis para extraer información desde los datos. En esta ocasión nos propusimos el desafío de explorar técnicas complementarias para el procesamiento de preguntas abiertas. Elegidas las técnicas a usar, nos faltaba seleccionar un tema. Entonces, luego de revisar nuestro monitoreo de tópicos de interés nacional contingente que tuvieran un componente de incertidumbre que justificara el ejercicio, decidimos encuestar a personas con la siguiente pregunta abierta: “Si ganara la opción ‘Rechazo’ en el plebiscito de salida, ¿qué cree usted que debería ocurrir?”.
A continuación exponemos el resultado del análisis y en el documento anexo (ver anexo técnico al final) explicamos el procesamiento realizado. A partir de las técnicas utilizadas organizamos el material textual en dos grandes tópicos. El primero, que denominamos “Salidas institucionales de cambio constitucional”, abarca las respuestas que ponen enfasis en cómo dar continuidad al proceso luego de un triunfo del “rechazo”. El segundo tópico, denominado “Consecuencias sociales y políticas”, recoge las respuestas cuyo foco estaba puesto en los potenciales efectos que ese resultado puede tener en la sociedad. Cabe señalar que algunas respuestas abordaban ambas dimensiones, las que fueron codificadas en uno u otro tópico dependiendo de la idea predominante en la respuesta (ver cuadro 1. Matriz de codificación). Con esta primera aproximación, podemos constatar que el 75.77% de las respuestas abordan posibles salidas de cambio constitucional, mientras que solo el 11.44% responde pensando en las consecuencias sociales y políticas que puede tener un eventual triunfo del rechazo.
Al observar en el gráfico 1 las diferencias según la predisposición a votar “Apruebo” o “Rechazo”, destaca que:
- Quienes votan “Apruebo seguro” presentan una proporción más alta de casos (17.88%) que resalta las posibles consecuencias sociales y políticas de triunfo del rechazo.
- El 83.39% de quienes votan “Rechazo seguro” responde pensando en salidas institucionales, en un porcentaje significativamente más alto que los demás grupos.
- El porcentaje más alto de no respuesta se encuentra entre los “inseguros” (18.98%).
Gráfico 1: Tipos de respuestas entregadas y distribución por grupos de votantes
N = 1.337
Para codificar el material textual recogido con la pregunta, se utilizó la “matriz de codificación” que se presenta en la tabla 1, construida inductivamente a partir de las propias respuestas, y que buscó generar categorías que permitieran diferenciar la heterogeneidad de respuestas recogidas.
Un primer hallazgo de este proceso de codificación a destacar es que, cuando se trata de las alternativas institucionales para darle continuidad al proceso de cambio constitucional en un eventual triunfo del “rechazo”, las salidas que las personas imaginan dan cuenta de un repertorio de alternativas mucho más amplio que las opciones que han estado presentes en el debate público.
Un segundo hallazgo es que en las respuestas es posible diferenciar analíticamente dos niveles diferentes: los fines y los medios. En cuanto a los fines, se pueden distinguir cuatro propósitos diferentes: i) Redactar una nueva constitución, ii) Reformar la constitución vigente, iii) Corregir o reformar la constitución propuesta por la CC, y iv) Mantener la constitución vigente dando por cerrado el proceso constitucional. Por otro lado, algunas respuestas identifican los medios institucionales a partir de los cuales se debiera dar continuidad al proceso, destacando delegar el poder constituyente a i) El Congreso vigente, ii) La actual Convención Constitucional, extendiendo sus plazos, iii) Una nueva Convención Constitucional, iv) Una Convención Mixta (donde las respuestas recogidas varían en la composición que se propone, incluyendo a parlamentarios, actuales convencionales, nuevos convencionales y/o expertos), o v) Comisión o Concejo de Expertos. Ello sugiere que pueden existir desacuerdos tanto respecto a los fines como a los medios, sobre los que indagaremos en futuras mediciones.
A continuación, se presenta la matriz que describe los códigos creados a partir del material textual:
Tabla 1 Matriz de codificación
En el gráfico 2 se presenta el peso de cada uno de estos códigos en las respuestas de los encuestados, con porcentajes calculados a nivel de dimensión. Así, destaca que cuando se trata de salidas institucionales de cambio constitucional, las respuestas con mayor cantidad de menciones corresponden a i) Reformar la constitución vigente sin establecer mecanismo (20,83%), ii) Redactar nueva constitución sin establecer mecanismo (16,78%) y iii) No debe continuar el proceso constitucional (16,39%). Si bien esta opción de mantener la constitución vigente queda en el tercer lugar de menciones, es pertinente destacar que todas las otras categorías (equivalentes al 83,61%) suponen la necesidad de un cambio constitucional. Ello da cuenta de una necesidad de cambio ya instalada, la que un eventual triunfo de la opción “Rechazo” no podría erradicar. En cuanto a las posibles consecuencias sociales y políticas, el 49,02% de las respuestas apunta a una “Crisis social / Nuevo estallido”.
Luego, en el gráfico 3, desagregamos estos resultados según los grupos que se inclinan por el “Apruebo seguro”, “Rechazo seguro” e “Inseguros”, de acuerdo a la clasificación de encuestados que hemos realizado en las entradas anteriores (ver aquí). Al hacerlo vemos que existen tendencias distintas en las respuestas de cada grupo, lo que se observa claramente al identificar las 3 opciones más mencionadas en cada uno:
- Quienes se inclinan por el “Apruebo seguro” prefieren redactar una nueva constitución sin establecer mecanismo (27,68%), corregir el borrador propuesto por la actual CC (18,45%) o conformar una nueva CC (14,39%).
- Quienes se encuentran “Inseguros” prefieren redactar una nueva constitución sin establecer mecanismo (22,08%), corregir el borrador propuesto por la actual CC (20%) y reformar la constitución vigente sin establecer mecanismo (20%).
- Quienes se inclinan por el “Rechazo seguro” prefieren reformar la constitución vigente sin establecer mecanismo (26,27%), creen que no debe continuar el proceso constitucional (22,88%) o convocar a comisión de expertos para reformar o redactar constitución (13,77%).
Un hallazgo relevante al respecto es que las preferencias de quienes se encuentran “inseguros” se asemejan a las que se observan entre quienes fueron clasificados como “Apruebo seguro”.
Gráfico 2: Peso de las codificaciones entre las respuestas de los encuestados
Gráfico 3: Peso de las codificaciones entre las respuestas de cada grupo de votantes
Conclusiones
Al analizar los que los encuestados creen que debiera suceder si gana el rechazo destaca, en primer lugar, una creencia generalizada de que el proceso de cambio constitucional debiera continuar. Esto llama la atención especialmente en votantes del rechazo, entre los cuales menos de un cuarto cree que un eventual triunfo de tal opción debiera derivar en el imperio de la constitución actual. Sin embargo, entre el grueso de personas que abogan por realizar cambios pareciera no haber consenso ni en los medios ni en los fines a los que se debiera apuntar. Una forma de indagar mejor al respecto sería, en el futuro, repetir la pregunta distinguiendo entre lo que los encuestados creen que pasará y lo que quisieran que pase en tal escenario. En todo caso, pareciera que hoy la mayoría de los votantes está comprometido con buscar nuevas vías de reforma en caso de que triunfe el rechazo, aunque con poca claridad respecto de cómo hacerlo.
Anexo técnico: Combinando técnicas para mejorar las codificaciones de preguntas abiertas.
En encuestas, las preguntas abiertas siempre son un desafío porque se requiere de un tiempo significativo de codificación humana para dejarlas en condiciones de ser utilizadas en los análisis estadísticos. ¿Es posible usar simples técnicas estadísticas para mejorar o acelerar el proceso de codificación?. En este documento detallamos nuestra experiencia con la pregunta abierta “Si ganara la opción ‘Rechazo’ en el plebiscito de salida, ¿qué cree usted que debería ocurrir?”.
El resultado deja varios aprendizajes sobre las ventajas y desventajas de distintos métodos y cuándo parece ser más apropiado el uso de cada cual. La pregunta elegida parece propicia para el ejercicio porque se trata de un escenario incierto para el que no existe un itinerario institucional establecido. Así, mediante la fórmula de pregunta abierta pudimos recoger las opiniones de los encuestados con un mayor nivel de detalle, sin restringirlas a un conjunto predefinido de opciones. Además, nos permitió identificar directamente los términos que usan para referirse al objeto del estudio.
Para analizar los resultados recurrimos a dos técnicas diferentes: análisis automatizado de texto y codificación humana. En el marco del primero buscamos identificar las palabras más frecuentes usadas por los encuestados en sus respuestas, y luego los sentimientos positivos y negativos que más claramente se desprenden de ellas. La segunda técnica, de codificación humana, buscó agrupar las respuestas según las similitudes de las propuestas e impresiones que implicaban, a partir de lo cual se cuantificó el peso que tenían entre los encuestados. Estos últimos resultados ya fueron expuestos en la publicación principal (ver aquí). Si bien la segunda técnica llega, como veremos, a conclusiones más robustas, la primera requiere mucho menos trabajo y tiempo en la medida en que es el sistema computacional quien realiza el grueso del análisis. El uso de ambas metodologías permitió ponderar la utilidad y sesgos de cada una para abordar un mismo objeto de estudio.
El gráfico 1 muestra las palabras más usadas por los encuestados y los términos que les están correlacionados. Como se observa, las palabras más frecuentes fueron “constitución”, “nueva” y “actual”. Lamentablemente, el grado de tecnificación de la discusión implica que todas las personas usen más términos específicos del debate planteado, los que no necesariamente dan luces sobre una apreciación o postura propia. Ello resulta en una de las principales dificultades para el empleo de esta técnica de análisis. Además, el hecho de que la técnica prescinda de contexto al destacar las palabras obliga a una interpretación intuitiva de la connotación que adquieren, lo que en algunos casos resulta poco fiable si es que no imposible.
A pesar de tales dificultades, fue posible identificar algunos términos que nos ofrecen información relevante sobre las respuestas recogidas. Por ejemplo podemos destacar que el término “Lagos” aparezca como uno que correlaciona con el de “constitución”, dando luces de lo presente que están entre los encuestados las reformas realizadas durante el mandato de Ricardo Lagos a la actual constitución. A su vez, la correlación de palabras como “reformar” con el término “actual” sugieren que tiene cierta presencia entre los encuestados la apuesta por cambiar la actual constitución en caso de que gane el rechazo. Las otras asociaciones parecieran no dar lugar a interpretaciones tan claras.
Gráfico 1: correlación de los términos más frecuentes en todos los grupos
n=1337
Posteriormente desagregamos esta correlación de términos entre los grupos que se inclinan por el “Apruebo seguro”, “Rechazo seguro” e “Inseguros”, según la clasificación de encuestados que hemos realizado en las entradas anteriores (ver aquí).
Al observar el gráfico 2 vemos que las palabras más frecuentes entre las respuestas de entrevistados que votarían rechazo son “actual”, “nueva” y “debería”. Nuevamente ellas en sí mismas no nos dan luces sobre la opción por la que se inclinan estos en caso de ganar el rechazo en septiembre. Sin embargo, destacan ciertas palabras de connotación negativa asociadas sobre todo al término “nueva”, como “analfabetas” o “farándula”, que parecieran reflejar la impresión que tienen estos votantes del proceso de elaboración de nueva constitución. Lo más llamativo, en todo caso, es que a palabras como “actual” y “debería” se le relacionen términos que conllevan cambios, como “modificaciones”, “constitucionalistas” o “modificarse”. Si bien se observan también términos como “mantener”, que dan señales del ánimo por conservar la actual constitución, las palabras anteriores muestran una relativa inclinación a las reformas constitucionales que habría entre una parte de los votantes del rechazo.
Gráfico 2: correlación de los términos más frecuentes en votantes del rechazo
El gráfico 3 muestra esta misma desagregación aplicada a encuestados que se declaran indecisos. Las palabras más frecuentes fueron las mismas que las observadas en votantes del rechazo, pero los términos peyorativos están definitivamente ausentes entre las correlaciones observadas. Llama la atención, eso sí, la correlación de 0,28 puntos entre el término “mantener” y “actual”, que sugiere que en alguna proporción los indecisos considerarían que debe conservarse la constitución vigente en caso de ganar el rechazo. Otras asociaciones no parecen dejar en claro qué connotación adquirieron en las respuestas dadas, pero también destaca que aparezca correlacionando con la palabra “actual” el término “desilusión”, el que no podría decirse con certeza si refiere más a la actual constitución o al proceso de elaboración de una nueva. En resumen, los términos usados por las personas indecisas parecen ser los más difíciles de abordar mediante esta técnica.
Gráfico 3: correlación de los términos más frecuentes en votantes indecisos
Finalmente, el gráfico 4 presenta los resultados para encuestados que estarían seguros por el apruebo. Primero llama la atención que junto a las palabras “actual” y “nueva” ahora aparezca como la tercera más frecuente “volver”. Ello pareciera dar cuenta de cierta aspiración entre los partidarios del apruebo por reeditar el proceso constituyente en caso de que ganara el rechazo. Así lo sugiere, al menos, que junto a este término correlacionen principalmente las palabras “escribir”, “votar” o “redactar”. También llama especialmente la atención que asociada a la palabra “nueva” correlacionen términos como “Bachelet” y “michel” (sic). Aparentemente entre los votantes del apruebo las reformas constitucionales que se intentaron realizar durante el segundo gobierno de Bachelet podrían ser una alternativa para tener una nueva constitución aún si ganase el rechazo. Es curioso contrastar estas respuestas con las de la totalidad de encuestados, donde “Lagos” correlacionaba con el término “actual”. Mientras esta figura podría estar en todos los grupos asociada a la constitución vigente, los votantes del apruebo se asociarían a la exmandataria a la posibilidad de generar reformas.
Gráfico 4: correlación de los términos más frecuentes en votantes del apruebo
n=1337
Posteriormente recurrimos a la técnica automatizada de “léxicos de subjetividad” para el análisis de sentimientos. Esta técnica imputa una puntuación a cada palabra de acuerdo a una connotación positiva o negativa que se le supone asociada. Ello implica que no necesariamentese destaquen los términos más frecuentes entre las respuestas, sino aquellos que tienen una carga emocional más fuerte. En consecuencia, la técnica conlleva un sesgo mayor cuando el grueso de las respuestas no contienen una carga emocional tan clara, como sucede con el contenido aquí analizado. De todas formas permite una aproximación a las emociones más frecuentemente expresadas, las que nuevamente desagregamos entre los grupos de encuestados por el “Apruebo seguro”, “Rechazo seguro” e “Indecisos”.
Al observar las palabras positivas en el gráfico 5, destacan una serie de verbos que los encuestados usaron para describir la manera de abordar el problema constitucional post-plebiscito frente a un eventual triunfo de la opción “Rechazo”. Así, palabras como “validar”, “impulsar”, “mejora”, “aceptar”, “resolver”, “cumplir”, “promoviendo”, “legalmente”, aparecen en el relato para describir las salidas institucionales que se pueden explorar para dar continuidad (o no) al proceso de cambio constitucional. Por otro lado, en las palabras negativas, se observan tanto palabras asociadas a una desafección emocional (“decepción”, “desilusionado”, “pena”, “fracaso”) como a un potencial descalabro social (“crisis”, “caos”, “colapso”, “miedo”, “ruina”, “hambre”). Esta técnica pareciera ofrecernos aún menos pistas sobre las diferencias entre cada grupo de votantes y la forma en que enfrentan un eventual triunfo del rechazo. Sin embargo, las palabras asociadas a un eventual descalabro social nos sugirieron que esta clase de consecuencias debían considerarse al desarrollar la etapa de codificación humana, presentada en el documento principal de esta publicación.
Gráfico 5: Palabras positivas y negativas en las respuestas de cada grupo de encuestados
Varias cuestiones llaman la atención si se contrastan los resultados de las técnicas automatizadas aquí expuestas con los resultados de la codificación humana presentados en la publicación principal. En primer lugar, pareciera que algunas de las intuiciones a las que nos llevarían las palabras más frecuentes impidieron ponderar correctamente a la mayoría de personas que estaban en favor de continuar un proceso de cambios en caso de ganar el rechazo, cosa que mostró la codificación humana. Por el contrario, observando los primeros cuatro gráficos se pudo haber generado la impresión de que había mayor equilibrio entre quienes abogaban por continuar con la actual constitución y quienes querían buscar nuevas vías de cambio. Esto, nuevamente, a partir de las intuiciones a que obliga una técnica que prescinde del contexto en que son usadas las palabras, lo que se vio agravado en el caso de una temática tecnificada que obliga al empleo de términos neutrales.
Otras impresiones menores también fueron cuestionadas por la codificación humana. Por ejemplo, la idea de que entre los votantes del apruebo estuviera más presente el borrador elaborado en el gobierno de Michelle Bachelet como alternativa constitucional. Como vimos en la publicación principal, fueron proporcionalmente más los indecisos y los votantes del rechazo quienes tenían en consideración este documento. Ello, a pesar de que la correlación de términos automatizada mostró más presencia del nombre de la ex – mandataria entre los definidos por el apruebo.
En cuanto al análisis de sentimiento, presentado en el gráfico 5, se observó un gran sesgo de esta técnica hacia las palabras emocionalmente cargadas. Como vimos en la codificación humana, poco más de la décima parte de los encuestados aludían en sus respuestas a las consecuencias sociales de un triunfo del rechazo, sin embargo el análisis de sentimiento dio énfasis a palabras que estaban asociadas a estas respuestas en la medida en que tenían connotaciones más fuertes. Aún así, al comparar sus resultados con el de frecuencias de palabras pudo tenerse algunas nociones mínimas sobre el peso de estos términos dentro del conjunto.
Conclusiones del anexo técnico
Este anexo tuvo el propósito de contrastar los resultados de técnicas de análisis automatizado de texto con aquellos a que se llegó mediante codificación humana. Naturalmente el desempeño de cada técnica estuvo dado, en buena medida, por la naturaleza del texto en que se empleó. Particularmente en este caso la pregunta respecto de lo que debiera ocurrir en caso de ganar el rechazo dio lugar a respuestas sumamente tecnificadas, que compartían una jerga común donde las palabras más recurrentes carecían de connotación clara. De ahí que las interpretaciones que permitía eran mucho más débiles de lo que otros textos, con términos de connotación más evidente, hubieran suscitado. Así mismo observamos un claro sesgo de la técnica de análisis de sentimiento en favor de las palabras emocionalmente cargadas. Si bien ello no lleva a desechar esta metodología para textos similares al aquí tratado, sí obliga a tener en cuenta su tendencia a sobrerrepresentar términos y respuestas de tipo emocional. En resumen, para respuestas de los encuestados que surgen en un escenario de posibilidades muy abiertos pero al que a la vez se alude por todos en un lenguaje común, la codificación humana pareciera realizar un aporte casi imprescindible.
Ficha técnica / Características del estudio
Diseño de investigación: Estudio cuantitativo, Encuesta online vía correo electrónico
Universo: Personas mayores de 18 años usuarios de correo electrónico que habitan en el territorio nacional
Marco muestral: Base de datos de correos electrónicos de personas que habitan en el territorio chileno (~ 1.000.000)
Muestra: 1.337 entrevistas web
Método de muestreo: Muestreo aleatorio simple sobre marco muestral disponible.
Tasa de contacto: 37,76% (corresponde a la proporción de correos abiertos respecto de los enviados)
Tasa de respuesta: 4,91% (corresponde a la proporción de encuestas respondidas sobre el total de correos abiertos)
Periodo de terreno: La recolección de datos se efectuó entre el 11 de mayo y 17 de mayo.
* La solicitud de mayores antecedentes respecto al estudio y sus resultados puede realizarse por correo a Joao Acharán (j.acharan@datavoz.cl).
