¿Está Google Scholar Lab Realmente Cumpliendo su Promesa?
¿Está Google Scholar Lab Realmente Cumpliendo su Promesa?
¿Está Google Scholar Lab Realmente Cumpliendo su Promesa?
¿Está Google Scholar Lab Realmente Cumpliendo su Promesa?
¿Está Google Scholar Lab Realmente Cumpliendo su Promesa?
Una prueba inicial desde el campo del diseño en la innovación del sector público en América Latina
Una prueba inicial desde el campo del diseño en la innovación del sector público en América Latina
Por Tina Rosado, Researcher
Por Tina Rosado, Researcher
Cuando Google lanzó Scholar Lab hace unas semanas, presentó la herramienta como “una búsqueda de Scholar impulsada por IA, diseñada para ayudarte a responder preguntas de investigación detalladas.” Aunque aún se encuentra en fase de prueba y con acceso limitado, la promesa es ambiciosa: en lugar de depender de palabras clave, Scholar Lab afirma que puede identificar los conceptos centrales de una pregunta de investigación, recorrer la literatura académica y presentar los documentos más relevantes, acompañados de breves resúmenes contextuales.
Durante el último año he colaborado con el equipo del Colectivo de Diseño Público en la construcción de una red de laboratorios de innovación del sector público en América Latina. Por ello, cuando se lanzó esta nueva herramienta, quise ponerla a prueba de inmediato y evaluar cómo se comportaba frente a nuestro corpus, producto de una revisión sistemática de literatura multilingüe que ahora está disponible en nuestro repositorio de GitHub. Tras solicitar acceso, recibí la invitación en menos de 24 horas y pude realizar una prueba inicial. Lo que sigue es una primera impresión: parte reflexión metodológica, parte comentario sobre hasta dónde puede —y aún no puede— llevarnos una herramienta de descubrimiento académico asistida por IA.
¿Cómo funciona Scholar Lab?
¿Cómo funciona Scholar Lab?
¿Cómo funciona Scholar Lab?
Google describe el funcionamiento de Scholar Lab funciona de la siguiente manera:
Analiza la pregunta de investigación para identificar los temas clave, las relaciones y los conceptos asociados.
Identifica y selecciona literatura alineada con esos elementos.
Evalúa y clasifica los documentos según el contenido según la medida en que mejor responden a la pregunta.
Presenta los resultados, diez documentos a la vez.
En la prueba que llevé a cabo, ejecuté este flujo de trabajo dos veces y, en solo unos minutos, reuní 20 documentos:
Paso 1: Ingresé nuestra pregunta de investigación. Scholar Lab examinó aproximadamente 65 documentos y devolvió 10 resultados seleccionados por IA.
Paso 2: Hice clic en “More”, lo que activó una revisión más amplia de unos 185 documentos aproximadamente. Luego, la herramienta presentó 20 resultados clasificados, cada uno acompañado de una breve explicación de por qué fue seleccionado.
La pregunta central, por supuesto, es si estos resultados realmente cumplen con la promesa de Google de ayudar a los investigadores a responder preguntas detalladas y específicas de cada campo.
Diseñar una prueba sencilla para Scholar Lab
Diseñar una prueba sencilla para Scholar Lab
Diseñar una prueba sencilla para Scholar Lab
Para evaluar la herramienta, recurrí a la pregunta eje que define el desarrollo de nuestra revisión sistemática de literatura, detallada en el artículo y presentación Building a Networked Repository of Public Sector Design in Latin America, para la 7ª Conferencia Internacional de Política Pública:
“Cómo se utiliza el diseño en las unidades de innovación del sector público en América Latina?
Consulté tanto Scholar Lab como el Scholar tradicional, recopilé los primeros 20 resultados de cada uno y los comparé con nuestro corpus multilingüe de 84 documentos, seleccionados a partir de un corpus inicial de 700 fuentes en inglés, español, francés y portugués.
Esto me permitió evaluar de forma directa la relevancia, la precisión y los puntos ciegos de Scholar Lab frente a un referente ya establecido.
Results & Observations
1. Velocidad y volumen: Scholar Lab es, indudablemente, un motor de productividad
The tool dramatically accelerates early discovery. Here is a comparison of the 20 results returned by each tool (access the data here):
Resultados y Observaciones
Resultados y Observaciones
1. Velocidad y volumen: Scholar Lab es, indudablemente, un motor de productividad
1. Velocidad y volumen: Scholar Lab es, indudablemente, un motor de productividad
La herramienta acelera de manera sobresaliente la fase inicial de descubrimiento. A continuación, comparto una comparación de los primeros 20 resultados de cada herramienta (puedes acceder los datos aquí):
Estos resultados son impresionantes. Scholar Lab mejora de manera significativa las tareas de búsqueda de información para los investigadores, reduciendo el tiempo necesario para el descubrimiento y la revisión inicial de documentos académicos.
Una área en la que el equipo de Google podría mejorar es en el manejo de duplicados; varios resultados mostraron distintas versiones del mismo artículo. Idealmente, los duplicados deberían agruparse o aparecer como una sola entrada con múltiples versiones, una mejora sencilla que ayudaría a optimizar aún más la experiencia de uso.
2. Limitaciones de idioma: una brecha importante para la investigación multicultural
2. Limitaciones de idioma: una brecha importante para la investigación multicultural
2. Limitaciones de idioma: una brecha importante para la investigación multicultural
Nuestro repositorio es multilingüe, y nuestra revisión mostró que gran parte de la producción académica sobre innovación en el sector público en América Latina se publica en español y portugués. Sin embargo, Scholar Lab actualmente solo busca en la versión en inglés de Scholar, una limitación real para cualquier investigación moldeada por contextos culturales o lingüísticos. En nuestra propia revisión, tuvimos que realizar búsquedas en cuatro sitios distintos de Scholar tradicional, uno para cada idioma representado en nuestro corpus.
Una versión de Scholar Lab capaz de comprender una pregunta y recuperar documentos en varios idiom
as, sin exigir que los investigadores naveguen por diferentes sitios según el idioma, transformaría de manera fundamental los flujos de trabajo de investigación tanto globales como regionales. Esto representa a la vez un desafío y una gran oportunidad para el equipo de Google, y la posibilidad de explorar el conocimiento académico de manera verdaderamente multilingüe me resulta emocionante.
3. Alcance temático: Scholar Lab ofrece un retrato más homogéneo del campo
3. Alcance temático: Scholar Lab ofrece un retrato más homogéneo del campo
3. Alcance temático: Scholar Lab ofrece un retrato más homogéneo del campo
Unos de los resultados más reveladores de este experimento es el contraste en la amplitud conceptual. Nuestra revisión sistemática requirió generar un universo de búsqueda amplio, filtrarlo meticulosamente y debatir sus límites, lo que nos llevó a plantear preguntas como:
¿Qué cuenta como un laboratorio de innovación? (una pregunta engañosamente compleja en una región multilingüe y multicultural donde las etiquetas y convenciones de nombramiento varían ampliamente.)
¿Debemos incluir prácticas de diseño para el cambio social que ocurren fuera de las instituciones gubernamentales?
¿Dónde trazamos la línea entre conceptos como diseño de servicios, innovación digital en el gobierno, gobierno abierto o intraemprendimiento?
Este trabajo de delimitación fue intelectualmente generativo, una experiencia que nos obligó a articular definiciones, enfrentar ambigüedades y reconocer líneas de investigación emergentes. Además, refleja una realidad académica más amplia: este tipo de trabajo es fundamental para dar forma a un campo y avanzar la investigación, más que simplemente trazar un mapa del mismo.
Google Scholar Lab, en contraste, evita esta deliberación. Recupera material relevante de manera eficiente, pero el retrato que ofrece suele ser más homogéneo que la realidad. Esto es a la vez una ventaja y una limitación. Su fortaleza radica en mostrar rápidamente investigación pertinente; su limitación es que puede crear puntos ciegos inadvertidos, mostrándote lo que está cerca, pero no necesariamente lo que pertenece o dónde se ubican los límites.
Una metáfora ayuda: Scholar Land te entrega un menú bellamente curado, con descripciones claras de los ingredientes de cada plato. Lo que no hace es dejarte en la cocina, donde ocurren sustituciones, omisiones e improvisaciones. Esas decisiones ocultas son, a menudo, las que permiten a los investigadores definir límites y formular nuevas preguntas que, en última instancia, impulsan el campo hacia adelante.
