Al equipo de soporte llega una pregunta corriente.
«¿Qué es el área personal?»
En la base de conocimiento hay 4.862 páginas. La respuesta está ahí. Más de una vez.
La primera página explica qué es esta parte del sitio, cómo entrar y qué se puede hacer allí. La segunda es una lista antigua de cambios del servicio. La tercera es una página larga en la que «área personal» aparece veintisiete veces. La cuarta explica cómo recuperar la contraseña y lo llama «perfil de usuario».
La búsqueda elige la tercera.
No está rota. Ha encontrado honestamente más coincidencias.
Por eso resulta peligrosa.
Quien abra la tercera página dedicará tiempo a leer y volverá con la misma pregunta. Quien llegue a la sección adecuada de la primera entenderá enseguida para qué sirve esa área. La primera debería ser el resultado principal. La diferencia no está en la calidad del texto ni en la capacidad de buscar de la persona, sino en cómo el sistema entiende un documento.
Para una persona, un documento nunca ha sido solo un conjunto de palabras. El encabezado «Área personal: acceso y funciones» significa una cosa. Las mismas palabras en un archivo de cambios significan otra. Una tabla de funciones, la dirección de una página y el texto principal transmiten información distinta. La búsqueda debe advertirlo; de otro modo entregará una instrucción y su sombra con la misma seguridad.
BM25F es una de las respuestas a este problema.
Cuando el documento dejó de ser texto plano
Durante mucho tiempo, los modelos clásicos de búsqueda usaron una simplificación cómoda: un documento era una secuencia de palabras. El sistema sabía que una palabra poco frecuente suele ser más útil que una común y que varias coincidencias son mejores que una. De esa lógica surgió TF-IDF, que evalúa la rareza de las palabras, y después BM25, una fórmula para ordenar las páginas encontradas.
BM25 introdujo dos límites importantes. Repetir una palabra no debe aumentar sin fin la confianza de que una página sea útil: la primera mención de «área personal» importa, la segunda confirma el tema y la vigesimoséptima no hace la página veintisiete veces más útil. Un documento largo tampoco debe ganar solo porque tiene más espacio para coincidencias accidentales.
Eso convirtió a BM25 en una buena base para la búsqueda de texto completo. Pero, al estructurarse más los documentos, apareció un límite: BM25 trabaja con palabras, pero por sí solo no sabe dónde están en el documento.
Una frase, cuatro señales distintas
«área personal» en el título de la página habla de su tema.
«área personal» en un encabezado señala el tema de un fragmento concreto.
«área personal» en una tabla de funciones puede ser una opción disponible.
«área personal» en el texto principal puede ser una instrucción, contexto o una mención casual.
No es una diferencia de formato. Para la búsqueda, es una diferencia de significado.
El error de la solución obvia
Cuando el documento adquirió partes estructuradas, la primera solución fue inevitable: contar por separado las coincidencias en el título, el texto principal y la dirección de la página, y luego sumar las puntuaciones. Dar al título un peso de diez y al texto uno. En documentación, añadir el encabezado de la sección, su lugar en el índice y los nombres de objetos importantes.
Suena razonable. Pero el orden del cálculo importa.
BM25 está diseñado para que cada repetición posterior aporte menos confianza. Si se valora primero cada parte y luego se suman los resultados ya calculados, esa lógica cambia. Cada parte llega a su propio límite y el sistema las trata después como pruebas independientes.
El problema no son los pesos. Es el momento en que aparecen en la búsqueda.
En 2004 Stephen Robertson, Hugo Zaragoza y Michael Taylor describieron un camino más cuidadoso en Simple BM25 Extension to Multiple Weighted Fields. Así apareció BM25F: una extensión de BM25 para documentos divididos en partes. Véase la fuente 1.
Qué cambia BM25F
BM25F reúne primero las coincidencias de distintas partes del documento, teniendo en cuenta su peso y longitud. Después aplica la saturación no lineal de BM25 a la señal conjunta.
Para cada palabra de la consulta:
señal conjunta =
título de la página × su peso
+ encabezado de sección × su peso
+ nombres de objetos × su peso
+ texto principal × su peso
La señal conjunta pasa después por la saturación de BM25.En la fórmula completa, cada parte tiene su propio ajuste de longitud. Es importante: un título tiene pocas palabras y el texto principal puede tener miles. Usar la misma normalización para ambos sería tan erróneo como valorar igual una coincidencia en el encabezado y en el pie de página.
Un experimento mental
En el documento A, «área personal» está en el título y en el encabezado «Qué se puede hacer en el área personal». En el documento B, la misma frase aparece ocho veces en una sección de preguntas frecuentes.
BM25F no tiene que elegir siempre A. Pero permite explicar por qué dos señales estructurales fuertes pueden pesar más que ocho repeticiones en un texto largo.
En este ejemplo, la primera página debe convertirse en el resultado principal porque responde la pregunta completa. La larga lista de cambios no desaparece, pero deja de ocultar la explicación que la persona realmente necesita.
Así se puede ajustar la búsqueda a distintos documentos. En un catálogo importan especialmente la marca, la categoría y las propiedades del producto. En una base científica, el título, el resumen y las palabras clave. En la ayuda de un sitio, el título de página, el encabezado de sección y el texto principal.
Dónde vive esta idea en la práctica
BM25F no se quedó como fórmula universitaria. Apache Lucene tiene un mecanismo que trata varias partes del documento como un conjunto y permite ajustar su importancia relativa. Véase la fuente 2.
SharePoint llama explícitamente BM25F a su variante de BM25 por campos y permite fijar pesos y normalización de longitud para propiedades administradas. Véase la fuente 3.
Manticore Search ofrece BM25F como una forma independiente de ordenar resultados según el peso de partes del documento. Véase la fuente 4.
No conviene confundir estas ideas. Buscar en varias partes de un documento o dar prioridad artificial al título no significa automáticamente BM25F clásico. Un sistema puede evaluar las partes por separado, reforzar una coincidencia ya encontrada o combinar el texto de otra forma. Son enfoques útiles, pero se comportan de manera distinta.
El límite de la coincidencia exacta
Volvamos a la pregunta inicial. Mientras la persona escribe «área personal», BM25F trabaja en su zona fuerte: ve esas palabras y su lugar en el documento.
Pero puede preguntar de otro modo: «¿Dónde veo los cargos y pago una factura?». La pregunta puede llevar al área personal, pero no contiene su nombre. Aquí el modelo por campos ya no puede apoyarse en una coincidencia exacta.
No es una carencia de BM25F, sino el límite de su tarea. Responde a esta pregunta: ¿en qué lugar adecuado del documento están las palabras de la consulta? No tiene por qué entender por sí solo que dos frases distintas describen la misma situación.
La búsqueda no elige un único ganador
Un nombre exacto, código de error, nombre de ajuste o referencia de producto: búsqueda exacta.
Una pregunta reformulada: búsqueda por significado, que compara frases cercanas en sentido.
Documentos relacionados: búsqueda por conexiones entre páginas y conceptos.
Varios candidatos fuertes: comparación adicional de resultados.
En una buena búsqueda, estos métodos no se desplazan entre sí. La búsqueda exacta conserva códigos de error, nombres de tarifas, ajustes, fórmulas jurídicas y referencias. La búsqueda por significado ayuda cuando alguien recuerda la situación, pero no el nombre exacto. Después el sistema compara varios resultados fuertes y elige los que responden a la pregunta completa.
Dónde entra Dzen
En Dzen, la búsqueda por palabras también tiene en cuenta la estructura de la fuente: título, dirección de página, encabezado de fragmento y texto principal se tratan de forma diferente. Así, las coincidencias exactas son una señal propia y no un efecto casual.
Pero esta señal no tiene la última palabra. Se combina con la búsqueda por significado y con la búsqueda por conexiones entre páginas; después se comparan varios resultados antes de preparar la respuesta. Una coincidencia exacta en un encabezado no se pierde, pero tampoco puede decidir sola qué fuente verá la persona.
En este caso, la idea de BM25F importa más que la fórmula exacta. Recuerda que la búsqueda debe ver la forma del conocimiento: no solo qué palabras contiene un documento, sino qué papel desempeñan en él.
Cómo la búsqueda elige una página sobre el área personal
Cambie el método de búsqueda y el peso del título de la página y del encabezado de la sección.
