La extensión del cuestionario y su incidencia en la calidad de respuesta - Volumen 13 Número 2 - Página —-

La extensión del cuestionario y su incidencia en la calidad de respuesta.
/
Questionnaire Length and Its Impact on Response Quality

El presente estudio no contó con financiamiento externo. Los recursos fueron provistos por los autores.

Nombres y Apellidos: Jorge Izaguirre Olmedo
Correo electrónico: joizaguirreol@uide.edu.ec

Los autores retienen los derechos de autor de este artículo. Revista Inclusiones publica esta obra bajo una licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0), que permite su uso, distribución y reproducción en cualquier medio, siempre que se cite apropiadamente a los autores originales.

Resumen
El uso de encuestas digitales presenta una tendencia creciente en el campo de la investigación. La comodidad que representa llenar una encuesta desde un smartphone ha generado incentivos para diseñar cuestionarios extensos, sin embargo, la información sobre el efecto que puedan tener dichos instrumentos sobre la calidad de la data debido a factores como el agotamiento aún es escasa. El objetivo de este estudio es explorar la incidencia de la extensión del cuestionario sobre la calidad de respuesta para estudios administrativos. Este estudio constituye una revisión bibliométrica en el que se analizan 30 artículos publicados en SCOPUS desde el 2008 hasta el 2024. Los resultados sugieren que el tamaño del cuestionario y la condición de respuesta forzada tienen una incidencia en la pérdida de calidad de respuesta. Así mismo, los resultados sugieren la estrategia de división del cuestionario en secciones para evitar el agotamiento del encuestado. El estudio plantea la hipótesis de una pérdida de calidad en cuestionarios extensos, lo cual invita a cuestionar los resultados y conclusiones de investigaciones que utilicen instrumentos con excesivo número de ítems.

Palabras claves: Extensión del cuestionario; calidad de respuesta; calidad de data; encuestas digitales.

Abstract
Digital surveys have shown a growing trend in research. The convenience of completing a survey on a smartphone has created incentives to design lengthy questionnaires; however, evidence on the effect such instruments may have on data quality due to factors such as respondent fatigue remains scarce. This study aims to explore the impact of questionnaire length on response quality in management research. It consists of a bibliometric review analyzing 30 articles published in SCOPUS between 2008 and 2024. The findings suggest that questionnaire size and forced-response conditions contribute to a loss of response quality. The results also point to the strategy of dividing questionnaires into sections as a means of preventing respondent fatigue. The study advances the hypothesis of quality loss in lengthy questionnaires, which calls into question the results and conclusions of research employing instruments with an excessive number of items.

Keywords: Questionnaire length; response quality; data quality; digital surveys.

La investigación de encuestas en línea ha aumentado significativamente en popularidad en los últimos años^[1]. Con la creciente sofisticación de las herramientas de encuestas en línea y la necesidad de investigaciones a distancia durante la pandemia de COVID-19, el uso del denominados e-surveys con fines de investigación se ha multiplicado^[2]. A lo largo de la historia, se observa una tendencia decreciente en el uso de encuestas presenciales y telefónicas en el ámbito de la recopilación de datos, siendo sustituidas paulatinamente por encuestas autoadministradas^[3].

La disponibilidad de una amplia gama de herramientas para recopilar datos a través de encuestas en línea ofrece nuevas oportunidades para que los usuarios las elijan. Sin embargo, también dificulta el proceso de elección^[4]. Además, aunque los avances tecnológicos de los últimos años han aumentado el uso de estas encuestas; muchos estudios han tenido tasas de respuesta muy bajas^[5].

Las encuestas, que obtienen datos mediante paneles de acceso en línea y reclutan participantes a través de muestreos no probabilísticos, están ganando popularidad como una alternativa a las técnicas tradicionales de encuestas, tanto en investigación de mercado como en ciencias sociales. Esto se debe a los ahorros de recursos que representan. Con una cuidadosa consideración de la calidad de los datos, las encuestas en línea con muestreo no probabilístico podrían avanzar en la investigación sociológica al brindar a los investigadores mayor libertad para formular preguntas a un costo relativamente bajo, con un tiempo de respuesta rápido y más oportunidades para realizar investigaciones a nivel internacional^[6].

Por otro lado, la autoselección entre los participantes de las encuestas parece constituir una fuente importante de sesgo^[7]. Por esta razón, los investigadores en sociología muestran reservas al adoptar métodos de recopilación de datos mediante encuestas en línea, ya que no está claro cuán representativos son esos datos. No obstante, según la investigación de Ito & Todoroki, los datos obtenidos a través de paneles de acceso basados en voluntarios producen resultados similares a los datos de referencia, especialmente al examinar las relaciones entre variables^[8]. En consecuencia, argumentan que descartar automáticamente los datos recopilados mediante paneles de acceso basados en voluntarios no es una práctica adecuada.

Debido a la facilidad y ahorro de recursos que supone la utilización de cuestionarios online, múltiples investigaciones han utilizado este mecanismo para el levantamiento de información y generación de resultados^[9]. Por otro lado, debido a la comodidad que supone para el encuestado el responder a un cuestionario desde su teléfono celular, en el lugar y hora que se le haga más cómodo; existe una tendencia a generar instrumentos que podrían ser extensos y podrían ocasionar agotamiento en el encuestado^[10].

Malhotra señala que existe un tiempo aproximado asociado a una cantidad de preguntas, para el levantamiento de información según el tipo de encuesta que se haya diseñado. De esta manera, una encuesta telefónica tiene menos preguntas que una encuesta presencial en centros comerciales; la cual, a su vez, tiene menos preguntas que una encuesta hecha en casa, como los censos^[11].

Las encuestas digitales pueden contener un alto número de preguntas, debido a la comodidad que supone que el encuestado responde en su tiempo libre y desde su celular. Esta situación ocasiona una tasa baja de respuesta en las investigaciones^[12], para lo cual los investigadores utilizan estrategias como las respuestas forzadas^[13] y el seguimiento constante. Sin embargo, ¿qué tan confiables son los datos de encuestados que responden a una encuesta debido al seguimiento del investigador o porque el dispositivo los obliga debido a la respuesta forzada? ¿Hay un número de preguntas o tiempo promedio de la encuesta a partir del cual el encuestado responde automáticamente o con sesgo debido a la extensión del instrumento?

Según Wang, Chen & Zhou, la extensión del cuestionario constituye un indicador valioso para identificar la calidad de la data^[14]. Lo cual contrasta con lo señalado por Cernat et al. que sostienen que existe una calidad de datos similar en los diferentes diseños de encuestas, incluyendo la extensión de estas^[15]. Para Andreadis & Kartsounidou, un cuestionario más corto reduce la carga para los encuestados. Presentan evidencia de que después de dividir un cuestionario largo en dos partes más cortas, las tasas de respuesta de estos subcuestionarios son significativamente más altas que la tasa de respuesta del cuestionario largo original e indiviso^[16].

Gonçalves & Dos Santos consideran importante evaluar los límites y posibilidades de los formularios en línea para la investigación sociológica, así como la valoración de impactos de las plataformas de difusión para llegar a la muestra^[17]. En un estudio desarrollado por Nur et. al se observó que más del 70% de las respuestas fueron marcadas como fraudulentas, siendo las direcciones IP duplicadas y los tiempos de inicio/fin concurrentes los indicadores de fraude más comunes observados, por lo que destacaron la necesidad de establecer estrategias para detectar y limitar el fraude en este tipo de encuestas^[18].

Considerando la información previa, junto con el aporte de otros investigadores, se puede observar que algunos de los problemas de realizar cuestionarios en línea son: baja tasa de respuesta^[19], direcciones IP duplicadas^[20], tiempo/extensión del cuestionario^[21], calidad de los datos^[22], sesgo de autoselección^[23] y desarrollo simultáneo de otras actividades que desenfoque al encuestado^[24].

Al respecto de la tasa de respuesta y representatividad de la muestra, De Rada plantea algunas estrategias. Se trata de ejercer la máxima precaución al acceder a los encuestados, establecer contacto con la muestra objetivo en múltiples ocasiones, ajustar la duración del trabajo de campo, informar previamente a los encuestados sobre su selección para participar y utilizar incentivos^[25].

En lo que respecta a la extensión de cuestionarios y el respectivo tiempo de inicio y fin de respuesta, Goerres & Höhne diseñaron un estudio experimental cuyo objetivo fue verificar y mejorar la calidad de 16 encuestas. Los resultados generales mostraron disparidades en el nivel de esfuerzo de respuesta en cuanto a los tiempos empleados, aunque apenas se observaron diferencias significativas en la calidad de los datos en términos de validez de criterio. Goerres & Höhne concluyeron que los instrumentos que analizaron muestran una sólida validez, pero que es posible realizar mejoras en los tiempos de respuesta de los encuestados^[26].

Investigadores han señalado la importancia de identificar la posibilidad de encuestas fraudulentas o baja calidad de la data. Así mismo, han recomendado orientar las investigaciones futuras a evaluar la frecuencia del fraude en encuestas online e investigar las razones de su ocurrencia^[27].

Las nuevas teorías o concepciones están sujetas a los resultados de las investigaciones y las metodologías que se han empleado en dichas investigaciones. La confiabilidad de la información proporcionada por los estudios está directamente ligada a la calidad de los datos obtenidos durante su desarrollo.

Por lo anterior, se evidencia la preocupación de los investigadores por los problemas del uso de encuestas digitales, siendo el tiempo y esfuerzo requeridos para completarlas, uno de estos problemas. Obtener conclusiones a partir de investigaciones que puedan arrojar datos poco confiables podría tener consecuencias negativas en la administración de los negocios y el conocimiento sobre los consumidores.

Considerando que aún no está claro cómo la longitud del cuestionario afecta la calidad de la data^[28], esta investigación se enfoca en analizar el problema de la efectividad de las encuestas digitales que utilizan cuestionarios extensos. Específicamente se plantea analizar la relación existente entre la extensión del cuestionario y la calidad de respuesta.

Los resultados de la presente investigación podrían sugerir el efecto de un número de preguntas o tiempo de encuesta sobre la validez de los datos recolectados. Esta información sería muy útil para el estado actual del arte, pues analizaría la validez de aquellas conclusiones según estudios con instrumentos largos.

Esta investigación constituye una revisión bibliométrica que sigue la metodología PRISMA. La fuente de consulta es SCOPUS. La pregunta de investigación es: ¿Cómo afecta la extensión del cuestionario a la calidad de respuesta? El método PRISMA consta de 4 partes: Identificación, Cribado, Elegibilidad e Inclusión.

Para la fase de identificación de artículos se utilizaron los siguientes operadores booleanos en títulos, resúmenes y palabras claves: (questionnaire length OR questionnaire length) AND (data quality OR response quality). La búsqueda arrojó 4687 estudios.

Para la fase de cribado se definió como criterio que las investigaciones correspondan a artículos en las áreas de: ciencias sociales; y, negocios, administración y contabilidad. La base resultante fue de 234 investigaciones.

Para la fase de elegibilidad se definió una temporalidad del 2000 al 2025 debido que el enfoque corresponde a cuestionarios digitales, los cuales no se utilizaban en años anteriores. El total de investigaciones fue de 211.

Finalmente, con la revisión de la temática de cada artículo, se seleccionaron 31 para el análisis. La distribución de los artículos se muestra en la tabla 1.

Para el análisis bibliométrico se utilizó el software VOSviewer que permitió la generación de mapas de calor para identificar tendencias y palabras claves, así como la generación de clusters para asociación de palabras claves.

Con el objeto de identificar tendencias y áreas de investigación como parte del análisis de la producción científica, en la Figura 1, se muestran 6 clústeres que permiten visualizar la evolución de las palabras clave vinculadas a la extensión del cuestionario y calidad de los datos, así como las áreas en crecimiento y emergentes dentro de esta temática. Para este análisis se empleó el método fractional counting, estableciendo como criterio un mínimo de diez apariciones por palabra clave, y se utilizó la técnica de association strength para la normalización de los datos, con el objetivo de identificar tendencias y posibles líneas de investigación futura.

Principales tendencias y palabras claves de la investigación. Generado con VOSviewer.

La Tabla 2 presenta los 6 clústeres temáticos resultantes en el software VOSviewer, vinculados a la extensión del cuestionario y calidad de los datos, identificados a partir de las palabras clave utilizadas en publicaciones científicas. Este análisis permite reconocer las líneas de investigación predominantes dentro de cada grupo.

La masificación del uso de cuestionarios en línea ha despertado un nuevo conjunto de preocupaciones en los investigadores sobre la recopilación y el análisis de datos, incluida la posibilidad de presentación fraudulenta de encuestas^[29]. Nur, Leibbrand, Curran, Votruba-Drzal & Gibson-Davis señalan que muchos investigadores llevan a cabo investigaciones con encuestas en línea sin conocer la prevalencia y probabilidad de experimentar fraudes en los cuestionarios de encuestas, ni estar familiarizados con las medidas utilizadas para identificar el fraude una vez que ha ocurrido^[30].

Según Bauer, Kunz & Gummer; en las encuestas en línea, la ausencia de un entrevistador puede generar dificultades para aclarar dudas sobre las preguntas, especialmente entre aquellos encuestados con habilidades de alfabetización limitadas. Aunque se ha utilizado lenguaje claro en diversos contextos para mejorar la comprensión del texto, no se ha explorado su aplicación en cuestionarios de ciencias sociales hasta la fecha^[31].

En los cuestionarios autoadministrados es importante considerar que algunos encuestados pueden no prestar suficiente atención al responder. Aunque la confiabilidad de los datos suele analizarse a nivel grupal, también es necesario que las respuestas de cada participante sean confiables. Según Chauliac, Willems, Gijbels & Donche, existe una alta presencia de respuestas inatentas en este tipo de cuestionarios. No obstante, los autores indican que, si bien este problema resalta la importancia de revisar las respuestas individuales, su efecto sobre la calidad global de los datos a nivel grupal es limitado^[32].

Una de las estrategias utilizadas para aumentar la tasa de respuesta es la técnica de respuesta forzada (FA). Esta técnica, común en las encuestas en línea, obliga a los participantes a responder todas las preguntas para poder avanzar en el cuestionario, con el objetivo de reducir la cantidad de datos faltantes^[33]. A pesar de su uso frecuente, la evidencia empírica sobre el impacto de la respuesta forzada en el comportamiento de los encuestados es aún limitada y muestra resultados variados. Algunos estudios cuasiexperimentales han señalado que esta técnica puede generar efectos negativos, como un mayor abandono de la encuesta y respuestas simuladas. Además, hasta el momento no se ha propuesto una explicación teórica clara desde la psicología que justifique estos efectos. La FA se ha asociado con un aumento de la reactancia, una mayor probabilidad de abandono del cuestionario y respuestas más cortas en preguntas abiertas. En síntesis, la evidencia sugiere que la respuesta forzada puede afectar negativamente la calidad de los datos recopilados^[34].

Aún no se conoce en su totalidad cómo las decisiones de diseño, la elección del método de encuesta o la extensión del cuestionario, influyen en la calidad de la data. Cernat et al. compararon la calidad de la medición mediante tres diseños de encuestas diferentes. Observaron una calidad de datos similar entre los distintos diseños de encuestas^[35]. En contraste, Andreadis & Kartsounidou sostienen que los cuestionarios autoadministrados extensos pueden experimentar tasas de respuesta más bajas, mayores abandonos y respuestas de calidad inferior. Los encuestados que responden cuestionarios extensos tienden a proporcionar más respuestas no sustantivas en los ítems de escala tipo Likert y respuestas más breves a las preguntas abiertas^[36].

Otro inconveniente abordado en la administración de encuestas en línea es el elevado riesgo de que los encuestados realicen múltiples tareas, lo que podría distraerlos. Existe una falta de conocimiento sobre cómo la multitarea afecta la calidad de las respuestas. Décieux indica que se ha observado que el 25% de los encuestados participan en actividades de multitarea, y que los atributos de los encuestados y el dispositivo utilizado para responder la encuesta están vinculados a estas actividades. Asimismo, destaca que las actividades de multitarea están correlacionadas de manera significativa con medidas de calidad de datos^[37].

Korytnikova estudió el problema de la validación y control de calidad de los datos obtenidos de una encuesta en línea. Destaca la importancia de indicadores relacionados con la categorización de los datos. Propone tres criterios claves: la etapa de investigación, el método de recolección y el software. En su investigación, formula condiciones necesarias para la estandarización y universalización del proceso de control de calidad de los datos^[38]. Al respecto, Neves, Augusto & Terra destacan la necesidad de una evaluación metódica de las herramientas de e-survey ya que existen varias con características muy similares. También subrayan la necesidad de considerar los requisitos del usuario y los objetivos del cuestionario durante esta evaluación^[39].

La mayoría de las investigaciones sociales basadas en encuestas suponen que los encuestados responden a las preguntas lo mejor que pueden. El proceso cognitivo para responder una pregunta de encuesta consiste en cuatro pasos: comprensión de la pregunta, recuperación de información, juicio y estimación, y reporte de una respuesta. Los analistas de datos típicamente asumen que todos los encuestados llevaron a cabo cuidadosamente los cuatro pasos de respuesta; sin embargo, los encuestados podrían toman atajos. Este comportamiento se llama satisficing y fue introducido por Krosnick y Alwin en 1987^[40].

Los tres factores que influyen en la ocurrencia y grado de satisficing son: la dificultad de la tarea, la habilidad del encuestado y la motivación del encuestado. Uno de los casos más comunes de satisficing es el straight-lining o respuestas lineales^[41] que se refiere a la tendencia de los encuestados a elegir la misma o una opción de respuesta muy similar para cada ítem en una cuadrícula. La no respuesta de ítems es otra forma de satisficing fuerte.

Debido a lo anterior Ganassali señala que el concepto de calidad de respuestas necesita ser discutido y ampliado. La calidad de respuesta ha recibido mucha menos atención en la investigación que las tasas de respuesta. Los investigadores confunden la calidad de los datos con la calidad de las respuestas. La calidad de los datos solo se considera desde un punto de vista metodológico, también se necesitan respuestas de calidad a las preguntas que se elaboran^[42].

Meitinger, Behr & Braun señalan que los estudios metodológicos suelen medir la calidad de respuesta en preguntas abiertas narrativas con la proporción de no respuesta, la longitud de la respuesta, el tiempo de respuesta y el número de temas mencionados por los encuestados. No todos estos indicadores pueden ser comparables y apropiados para evaluar preguntas abiertas en un contexto transnacional. En su investigación concluyeron que todos los indicadores pueden estar potencialmente sesgados en un contexto transnacional debido a razones lingüísticas y culturales y que el sesgo difiere en prevalencia según los temas^[43].

Aparte de la tasa de respuesta o la velocidad se han identificado cuatro dimensiones de calidad de respuesta: omisión de ítems, error de respuesta, respuestas completas y equivalencia de respuesta. La calidad de los datos puede ser juzgada utilizando varios criterios como la no respuesta de unidad e ítem, respuestas incompletas, la honestidad de la respuesta y la tasa de error de transcripción.

Gummer, Bach, Daikeler & Eckman utilizaron seis medidas de calidad de datos. Se enfocaron en medidas que indicaban si los encuestados pueden haber omitido pasos en el proceso cognitivo de respuesta para reducir su carga de respuesta. Las medidas fueron: respuestas alineadas a la izquierda, respuestas extremas, no respuesta de ítems, respuestas en línea recta, probabilidad de diferenciación y falla en una verificación de atención^[44].

Los indicadores de calidad de respuesta - IRQ, por sus siglas en inglés^[45], pueden agruparse en dos conjuntos: los directos, que reflejan problemas reales de calidad de respuesta y, por lo tanto, son de mayor importancia; y los indirectos, asociados a comportamientos de respuesta no deseados.

Los IRQ directos corresponden a: i) abandonos, la proporción de encuestados que no concluyeron el cuestionario; ii) no respuesta de ítems; iii) respuestas lineales o verticalizadas; iv) respuestas extremas y en el punto medio; v) consistencia entre ítems, medido a través del alfa de Cronbach; vi) chequeo de manipulación instruccional - IMC, que es un indicador del nivel de atención; y, vii) valores atípicos.

Los IRQ indirectos corresponden a: i) multitarea autoreportada concurrente y secuencial, práctica muy utilizada en el llenado de encuestas en línea^[46]; ii) duración de las preguntas de cuadrícula, medido a través de tiempo en página; y, iii) evaluación de la carga. La tabla 3, presenta la medición de los IRQ utilizados por Vehovar.

Según Lawlor et al., las investigaciones venideras deberían analizar la incidencia del fraude en encuestas, examinar las razones que lo motivan y explorar la influencia que las redes sociales pueden tener en la comunicación entre participantes fraudulentos. Lawlor et al. sugieren también que los investigadores consideren el fraude en encuestas en línea como un problema a lo largo de la vida útil de su encuesta y apliquen preguntas orientadoras que permitan identificar el problema de manera oportuna^[47].

El desarrollo de la pandemia del SARS-COV 2 marcó un cambio en la tendencia del uso de cuestionarios digitales para investigaciones sociales. La comodidad y el ahorro en recursos que representa el uso de esta metodología generaron la masificación de encuestas en línea; no obstante, el asumir la comodidad del encuestado al resolver una encuesta desde su computador o desde su teléfono, hizo que los investigadores se incentiven a desarrollar instrumentos que puedan abordar variables más complejas, con mayor cantidad de dimensiones e indicadores. El resultado fue la generación de cuestionarios extensos que podrían tomar varios minutos para completarlos.

Debido a lo anterior, empezó a desarrollarse una línea de investigación que analizaba la incidencia de la extensión de los cuestionarios sobre la calidad de respuesta. Algunos estudios, principalmente desde el 2020, han analizado las dimensiones y los indicadores que implica la calidad de respuesta, así como los factores que inciden sobre ella, entre los cuales se encuentra la extensión de la encuesta.

Los resultados del estudio mostraron que se ha evidenciado una incidencia negativa de la extensión de un cuestionario sobre la calidad de los datos o la calidad de la respuesta; no obstante, no se ha estudiado cuál es el tiempo óptimo de desarrollo de una encuesta o, la cantidad de preguntas que ésta incluya, para que se mantenga la calidad de los datos. Algunas estrategias que han planteado los investigadores incluyen la eliminación de respuestas forzadas y la generación del cuestionario a través de secciones, de tal forma que exista percepción de cuestionarios más cortos. La recomendación del autor es continuar la línea de investigación para encontrar el rango óptimo de extensión de cuestionario que mantenga la calidad de los datos.

Andreadis, Ioannis, y Evgenia Kartsounidou. "The impact of splitting a long online questionnaire on data quality". Survey Research Methods 14, no. 1 (2020): 31–42. https://doi.org/10.18148/srm/2020.v14i1.7294.

Avolio, Bruce, y Bernard Bass. Multifactor Leadership Questionnaire. Instrument (Leader and Rater Form) and Scoring Guide (Form 5X-Short). English and Spanish versions. Mind Garden, Inc., 2004.

Bauer, Isabella, Tanja Kunz, y Tobias Gummer. "Plain language in web questionnaires: effects on data quality and questionnaire evaluation". International Journal of Social Research Methodology (2023). https://doi.org/10.1080/13645579.2023.2294880.

Cernat, Alexandru, Joseph Sakshaug, Pablo Christmann, y Tobias Gummer. "The Impact of Survey Mode Design and Questionnaire Length on Measurement Quality". Sociological Methods and Research (2022). https://doi.org/10.1177/00491241221140139.

Chauliac, Marylie, Joachim Willems, David Gijbels, y Vincent Donche. "The prevalence of careless response behaviour and its consequences on data quality in self-report questionnaires on student learning". Frontiers in Education 8 (2023): 1197324. https://doi.org/10.3389/feduc.2023.1197324.

Cornesse, Carina, y Annelies Blom. "Response Quality in Nonprobability and Probability-based Online Panels". Sociological Methods and Research 52, no. 2 (2023): 879–908. https://doi.org/10.1177/0049124120914940.

De Rada, Vidal Díaz. "Strategies to improve response rates to online surveys". Papers 107, no. 4 (2022): e3073. https://doi.org/10.5565/rev/papers.3073.

Décieux, Jean Philippe. "Sequential On-Device Multitasking within Online Surveys: A Data Quality and Response Behavior Perspective". Sociological Methods and Research (2022). https://doi.org/10.1177/00491241221082593.

Ganassali, Stéphane. "The Influence of the Design of Web Survey Questionnaires on the Quality of Responses". Survey Research Methods 2, no. 1 (2008): 21–32. https://doi.org/10.18148/srm/2008.v2i1.598.

Goerres, Achim, y Jan Höhne. "Evaluating the response effort and data quality of established political solidarity measures: a pre-registered experimental test in an online survey of the German adult resident population in 2021". Quality and Quantity 57, no. 6 (2023): 5431–5447. https://doi.org/10.1007/s11135-022-01594-4.

Gonçalves, Ana Paula, y Rodrigo Dos Santos. "Quantitative research in sociology: resources and dilemmas of carrying out online surveys with workers during the covid-19 pandemic". Sociologia e Antropologia 13, no. 2 (2023): e220007.

Gummer, Tobias, Ruben Bach, Jössica Daikeler, y Stephanie Eckman. "The relationship between response probabilities and data quality in grid questions". Survey Research Methods 15, no. 1 (2021): 65–77. https://doi.org/10.18148/srm/2021.v15i1.7727.

Ito, Daisuke, y Maiko Todoroki. "Evaluating the Quality of Online Survey Data Collected in 2018 in the USA: Univariate, Bivariate, and Multivariate Analyses". International Journal of Japanese Sociology 30, no. 1 (2021): 140–162. https://doi.org/10.1111/ijjs.12117.

Izaguirre, Jorge A., Diego P. Jordán, y Tania Y. Palacios. "Eficiencia en el tiempo de respuesta y calidad de los datos en encuestas en línea". Revista Venezolana De Gerencia 30, no. Especial 13 (2025): 407-419. https://doi.org/10.52080/rvgluz.30.especial13.27.

Korytnikova, Nadezhda. "Paradata as indicators of online survey data quality: Classification experience". Sotsiologicheskie Issledovaniya 3 (2021): 111–120. https://doi.org/10.31857/S013216250010298-0.

Lawlor, Jeremy, Christine Thomas, A. T. Guhin, Matthew Lerner, y Amy Drahota. "Suspicious and fraudulent online survey participation: Introducing the REAL framework". Methodological Innovations 14, no. 3 (2021). https://doi.org/10.1177/20597991211050467.

Meitinger, Katharina, Dorothée Behr, y Michael Braun. "Using Apples and Oranges to Judge Quality? Selection of Appropriate Cross-National Indicators of Response Quality in Open-Ended Questions". Social Science Computer Review 39, no. 3 (2021): 434–455. https://doi.org/10.1177/0894439319859848.

Neves, Clarice, Carla Augusto, y Ana Lúcia Terra. "Online surveys: comparative tool analysis for the creation and administration of e-surveys". AtoZ 9, no. 2 (2020): 69–78.

Nur, Afrah, Catherine Leibbrand, Sara Curran, Elizabeth Votruba-Drzal, e introduciendo Christina Gibson-Davis. "Managing and minimizing online survey questionnaire fraud: lessons from the Triple C project". International Journal of Social Research Methodology (2023). http://dx.doi.org/10.1080/13645579.2023.2229651.

Sischka, Philipp, Jean Philippe Décieux, Alexandra Mergener, Kristina Neufang, y Axel Schmidt. "The Impact of Forced Answering and Reactance on Answering Behavior in Online Surveys". Social Science Computer Review 40, no. 2 (2022): 405–425. https://doi.org/10.1177/0894439320907067.

Smyk, Magdalena, Joanna Tyrowicz, y Lucas Van der Velde. "A Cautionary Note on the Reliability of the Online Survey Data: The Case of Wage Indicator". Sociological Methods and Research 50, no. 1 (2021): 429–464. https://doi.org/10.1177/0049124118782538.

Van Laar, Sanne, y Johan Braeken. "Prevalence of random responders as a function of scale position and questionnaire length in the TIMSS 2015 eighth-grade student questionnaire". International Journal of Testing 24, no. 1 (2024): 24–52. https://doi.org/10.1080/15305058.2023.2263206.

Vehovar, Vasja, Mick Couper, y Gregor Čehovin. "Alternative Layouts for Grid Questions in PC and Mobile Web Surveys: An Experimental Evaluation Using Response Quality Indicators and Survey Estimates". Social Science Computer Review 41, no. 6 (2023): 2122–2144. https://doi.org/10.1177/08944393221132644.

Wang, Yang, Xiaowen Chen, y Xi Zhou. "A New Method for Identifying Low-Quality Data in Perceived Usability Crowdsourcing Tests: Differences in Questionnaire Scores". International Journal of Human-Computer Interaction (2023). https://doi.org/10.1080/10447318.2023.2263694.

[1] Jeremy Lawlor et al., "Suspicious and Fraudulent Online Survey Participation: Introducing the REAL Framework", Methodological Innovations 14, no. 3 (2021), https://doi.org/10.1177/20597991211050467.

[2] Afrah A. Nur et al., "Managing and Minimizing Online Survey Questionnaire Fraud: Lessons from the Triple C Project", International Journal of Social Research Methodology (2023), http://dx.doi.org/10.1080/13645579.2023.2229651.

[3] Vidal Díaz de Rada, "Strategies to Improve Response Rates to Online Surveys", Papers 107, no. 4 (2022): e3073, https://doi.org/10.5565/rev/papers.3073.

[4] Claudia Neves, Custódio Augusto y Ana Lúcia Terra, "Online Surveys: Comparative Tool Analysis for the Creation and Administration of E-surveys", AtoZ 9, no. 2 (2020): 69–78, https://revistas.ufpr.br/atoz/article/download/75826/43559.

[5] Díaz de Rada, "Strategies to Improve Response Rates to Online Surveys", 3.

[6] Daisuke Ito y Makoto Todoroki, "Evaluating the Quality of Online Survey Data Collected in 2018 in the USA: Univariate, Bivariate, and Multivariate Analyses", International Journal of Japanese Sociology 30, no. 1 (2021): 140–162, https://doi.org/10.1111/ijjs.12117.

[7] Magdalena Smyk, Joanna Tyrowicz y Lucas van der Velde, "A Cautionary Note on the Reliability of the Online Survey Data: The Case of Wage Indicator", Sociological Methods and Research 50, no. 1 (2021): 429–464, https://doi.org/10.1177/0049124118782538.

[8] Ito y Todoroki, "Evaluating the Quality of Online Survey Data”, 2.

[9] Lawlor et al., "Suspicious and Fraudulent Online Survey Participation", 1.

[10] Achim Goerres y Jan K. Höhne, "Evaluating the Response Effort and Data Quality of Established Political Solidarity Measures: A Pre-registered Experimental Test in an Online Survey of the German Adult Resident Population in 2021", Quality and Quantity 57, no. 6 (2023): 5431–5447, https://doi.org/10.1007/s11135-022-01594-4.

[11] Naresh Malhotra, Investigación de mercados, 5ta ed. (México: Pearson Educación, 2016).

[12] Díaz de Rada, "Strategies to Improve Response Rates to Online Surveys", 3.

[13] Philipp E. Sischka et al., "The Impact of Forced Answering and Reactance on Answering Behavior in Online Surveys", Social Science Computer Review 40, no. 2 (2022): 405–425, https://doi.org/10.1177/0894439320907067.

[14] Yang Wang, Xiaowei Chen y Xu Zhou, "A New Method for Identifying Low-Quality Data in Perceived Usability Crowdsourcing Tests: Differences in Questionnaire Scores", International Journal of Human-Computer Interaction (2023), https://doi.org/10.1080/10447318.2023.2263694.

[15] Alexandru Cernat et al., "The Impact of Survey Mode Design and Questionnaire Length on Measurement Quality", Sociological Methods and Research (2022), https://doi.org/10.1177/00491241221140139.

[16] Ioannis Andreadis y Evangelia Kartsounidou, "The Impact of Splitting a Long Online Questionnaire on Data Quality", Survey Research Methods 14, no. 1 (2020): 31–42, https://doi.org/10.18148/srm/2020.v14i1.7294.

[17] Ana Paula V. Gonçalves y Rodrigo S. P. Dos Santos, "Quantitative Research in Sociology: Resources and Dilemmas of Carrying Out Online Surveys with Workers During the COVID-19 Pandemic", Sociologia e Antropologia 13, no. 2 (2023): e220007.

[18] Nur et al., "Managing and Minimizing Online Survey Questionnaire Fraud", 1.

[19] Díaz de Rada, "Strategies to Improve Response Rates to Online Surveys", 3.

[20] Nur et al., "Managing and Minimizing Online Survey Questionnaire Fraud", 1.

[21] Cernat et al., "The Impact of Survey Mode Design", 3.

[22] Natalia V. Korytnikova, "Paradata as Indicators of Online Survey Data Quality: Classification Experience", Sotsiologicheskie Issledovaniya 2021, no. 3 (2021): 111–120, https://doi.org/10.31857/S013216250010298-0.

[23] Smyk, Tyrowicz y van der Velde, "A Cautionary Note on the Reliability of the Online Survey Data”, 2.

[24] Jean Philippe Décieux, "Sequential On-Device Multitasking within Online Surveys: A Data Quality and Response Behavior Perspective", Sociological Methods and Research (2022), https://doi.org/10.1177/00491241221082593.

[25] Díaz de Rada, "Strategies to Improve Response Rates to Online Surveys", 3.

[26] Jorge Izaguirre, Danny Jordán y Tania Palacios, "Eficiencia en el tiempo de respuesta y calidad de los datos en encuestas en línea", Revista Venezolana de Gerencia 30, no. Especial 13 (2025): 407–419, https://doi.org/10.52080/rvgluz.30.especial13.27.

[27] Lawlor et al., "Suspicious and Fraudulent Online Survey Participation", 1.

[28] Andreadis y Kartsounidou, "The Impact of Splitting a Long Online Questionnaire", 3.

[29] Lawlor et al., "Suspicious and Fraudulent Online Survey Participation", 1.

[30] Nur et al., "Managing and Minimizing Online Survey Questionnaire Fraud", 1.

[31] Isabella Bauer, Tanja Kunz y Tobias Gummer, "Plain Language in Web Questionnaires: Effects on Data Quality and Questionnaire Evaluation", International Journal of Social Research Methodology (2023), https://doi.org/10.1080/13645579.2023.2294880.

[32] Mickaël Chauliac et al., "The Prevalence of Careless Response Behaviour and Its Consequences on Data Quality in Self-report Questionnaires on Student Learning", Frontiers in Education 8 (2023): 1197324, https://doi.org/10.3389/feduc.2023.1197324.

[33] Sischka et al., "The Impact of Forced Answering and Reactance", 3.

[34] Sischka et al., "The Impact of Forced Answering and Reactance", 3.

[35] Cernat et al., "The Impact of Survey Mode Design", 3.

[36] Andreadis y Kartsounidou, "The Impact of Splitting a Long Online Questionnaire", 3.

[37] Décieux, "Sequential On-Device Multitasking", 4.

[38] Natalia V. Korytnikova, "Paradata as Indicators of Online Survey Data Quality: Classification Experience", Sotsiologicheskie Issledovaniya 2021, no. 3 (2021): 111–120, https://doi.org/10.31857/S013216250010298-0.

[39] Claudia Neves, Custódio Augusto y Ana Lúcia Terra, "Online Surveys: Comparative Tool Analysis for the Creation and Administration of E-surveys", AtoZ 9, no. 2 (2020): 69–78, https://revistas.ufpr.br/atoz/article/download/75826/43559.https://revistas.ufpr.br/atoz/article/download/75826/43559

[40] Carina Cornesse y Annelies G. Blom, "Response Quality in Nonprobability and Probability-based Online Panels", Sociological Methods and Research 52, no. 2 (2023): 879–908, https://doi.org/10.1177/0049124120914940.

[41] Vasja Vehovar, Mick P. Couper y Gregor Čehovin, "Alternative Layouts for Grid Questions in PC and Mobile Web Surveys: An Experimental Evaluation Using Response Quality Indicators and Survey Estimates", Social Science Computer Review 41, no. 6 (2023): 2122–2144, https://doi.org/10.1177/08944393221132644.

[42] Stéphane Ganassali, "The Influence of the Design of Web Survey Questionnaires on the Quality of Responses", Survey Research Methods 2, no. 1 (2008): 21–32, https://doi.org/10.18148/srm/2008.v2i1.598.

[43] Katharina Meitinger, Dorothée Behr y Michael Braun, "Using Apples and Oranges to Judge Quality? Selection of Appropriate Cross-National Indicators of Response Quality in Open-Ended Questions", Social Science Computer Review 39, no. 3 (2021): 434–455, https://doi.org/10.1177/0894439319859848.

[44] Tobias Gummer et al., "The Relationship Between Response Probabilities and Data Quality in Grid Questions", Survey Research Methods 15, no. 1 (2021): 65–77, https://doi.org/10.18148/srm/2021.v15i1.7727.

[45] Vehovar, Couper y Čehovin, "Alternative Layouts for Grid Questions", 10.

[46] Décieux, "Sequential On-Device Multitasking", 4.

[47] Lawlor et al., "Suspicious and Fraudulent Online Survey Participation", 1.

Año	Número de artículos	Frecuencia relativa
2008	1	3.2%
2017	2	6.5%
2019	1	3.2%
2020	4	12.9%
2021	6	19.4%
2022	7	22.6%
2023	8	25.8%
2024	1	3.2%
2025	1	3.2%
Total	31	100%

Clúster	Palabras clave por el peso de la fuerza total de las relaciones
1	Precisión de los datos, recopilación de datos, procedimientos, metodología, evaluación de la calidad de los datos, cuestionario, procesamiento de la información, fiabilidad, estudio controlado, análisis de datos, estadísticas, reproducibilidad de los resultados, validez, encuestas y cuestionarios, precisión de la medición.
2	Calidad de los datos, conjunto de datos, datos espaciales, estudio comparativo, base de datos, modelo numérico, internet, método de evaluación, análisis de errores, análisis estadístico, análisis de regresión, análisis espaciotemporal, optimización, modelado, análisis de fiabilidad.
3	Adquisición de datos, encuestas, manejo de datos, integración de datos, monitoreo, visualización de datos, procesamiento de datos, errores, evaluación de desempeño, automatización, calidad, predicción, levantamiento topográfico, control de calidad de datos, validación.
4	Big data, sistemas de información, minería de datos, metadatos, datos abiertos, uso de la información, gestión de datos, calidad de la información, análisis de información, privacidad de datos, consistencia de datos, calidad de los datos, datos de gestión, confianza, integridad de datos.
5	Aprendizaje automático, inteligencia artificial, aprendizaje profundo, rendimiento, redes sociales, modelo de lenguaje, sistemas de aprendizaje, clasificación (de información), alta calidad, sistemas de procesamiento de lenguaje natural, evaluación comparativa, redes sociales (en línea), investigación del comportamiento.
6	Encuesta web, encuesta, error de medición, calidad de la respuesta, medición, percepción, investigación mediante encuestas, diseño de cuestionarios, metodología de encuestas, tasa de respuesta, diseño de encuestas, métodos de encuestas, no respuesta, comportamiento de respuesta, incentivos.

IRQ	Medición	Otros investigadores
Abandono	Proporción de encuestados que abandonaron antes de que se concluyera el cuestionario entre todos los encuestados que comenzaron el cuestionario.	Cornesse & Blom, Ganassali, Meitinger, Behr & Braun, Gummer et al.
No respuesta de ítems	El número de ítems sin respuesta a los que estuvo expuesto el encuestado se dividió por el número de todos los ítems que se mostraron al encuestado. Luego se calculó la media para todos los encuestados.	Cornesse & Blom, Ganassali, Meitinger, Behr & Braun, Gummer et al.
Respuestas lineales	Se calculó para cada encuestado como el número de cuadrículas donde las respuestas tenían una desviación estándar de cero. Luego se calculó la media para todos los encuestados.	Cornesse & Blom, Gummer et al.
Respuestas extremas y punto medio	Se calcularon los porcentajes de opciones de respuesta más a la izquierda y más a la derecha y los porcentajes de respuestas en el punto medio para cada ítem en las cuatro cuadrículas de actitud. Luego se calcularon las medias correspondientes entre los ítems y los encuestados.	Gummer et al..
Consistencia entre ítems	El alfa de Cronbach con valor alto indica una mayor consistencia.	Ganassali
Chequeo de manipulación instruccional	Se incluyeron dos tiendas en línea ficticias en una cuadrícula para compras en línea. Los encuestados desatentos fallaron el IMC si indicaban que habían visitado una tienda en línea inexistente.	Gummer et al.
Valores atípicos	La distancia de Mahalanobis se ha utilizado para detectar encuestados con patrones de respuesta inusuales. La distancia se basó en variables de las cuatro cuadrículas de actitud. Los valores atípicos fueron unidades con una distancia estadísticamente significativa desde el centroide correspondiente en el espacio multivariado. Luego se calculó el número total de valores atípicos.	Ganassali, Gummer et al.
Multitarea	Los encuestados informaron sobre la multitarea al final del cuestionario. La multitarea concurrente se refiere a actividades que podrían hacerse en paralelo, mientras que la multitarea secuencial significa pausar el proceso de respuesta debido a actividades alternativas.	Décieux
Duración de preguntas de cuadrícula	Se midió el tiempo de página. Para cada página, los tiempos de los 1% más lentos de los encuestados se reemplazaron por el percentil 99. Luego se sumaron los tiempos correspondientes de la página para determinar la duración total de la cuadrícula para cada encuestado. Se calculó el promedio para todos los encuestados en ciertas celdas experimentales.	Meitinger, Behr & Braun
Evaluación de carga	El indicador se basó en las respuestas a la pregunta "¿Qué tan pesado fue completar esta encuesta?" en una escala de 5 puntos. Se calculó la media para todos los encuestados.

REVISTA INCLUSIONES – REVISTA DE HUMANIDADES Y CIENCIAS SOCIALES
	ISSN 0719-4706 Volumen 13 Número 2 Abril - Junio 2026 e3737 https://doi.org/10.58210/rie3737


Las opiniones, análisis y conclusiones del autor son de su responsabilidad y no necesariamente reflejan el pensamiento de la Revista Inclusiones.