Deep Learning for Search
Tommaso Teofili
- Editorial
- Manning
- Año
- 2019
- Páginas
- ~355
- Nivel
- Intermedio
De qué trata
Manual especializado que explora cómo transformar los motores de búsqueda tradicionales de Information Retrieval en sistemas neuronales de búsqueda semántica mediante el aprendizaje profundo. Está orientado a ingenieros de búsqueda, desarrolladores de backend y científicos de datos con experiencia práctica en Java (y conocimientos complementarios de Python) que ya comprenden los mecanismos de indexación invertida, tokens y scoring de texto, pero desean incorporar modelos neuronales sin necesidad de una titulación avanzada en procesamiento del lenguaje natural.
El autor descompone la integración entre el motor clásico de referencia Apache Lucene (aprovechando sus APIs de indexación, analizadores y Lookup suggesters) y librerías de deep learning nativas para la máquina virtual de Java como Deeplearning4j (DL4J) y ND4J, además de modelos auxiliares en TensorFlow. Enseña a sustituir la coincidencia exacta de palabras clave por representaciones vectoriales densas con Word2Vec (Skip-gram y CBOW), embeddings de documentos completos con Paragraph Vectors (Doc2Vec), redes recurrentes y LSTM para modelado secuencial del lenguaje, redes convolucionales (CNN) para visión y técnicas de hashing sensible a la localidad (LSH) para acelerar la recuperación vectorial en índices de gran escala.
A lo largo de los capítulos se programan componentes concretos que potencian un motor de búsqueda real: un expansor de consultas con sinónimos semánticos basados en contexto, un módulo de autocompletado inteligente de búsquedas con redes LSTM, un motor de reordenación de resultados (reranking) y recomendación de documentos con Doc2Vec, un índice de búsqueda multilingüe y un sistema de recuperación de imágenes basado en contenido visual (CBIR). La obra aborda con maestría el desajuste léxico en entornos empresariales manteniendo el rendimiento y la baja latencia de producción. Si bien fue publicado justo antes de la adopción masiva de arquitecturas bi-encoder basadas en Transformers (como BERT o ColBERT), los principios de búsqueda vectorial híbrida y reranking continúan siendo el pilar fundamental de los sistemas modernos de Retrieval-Augmented Generation y búsqueda neuronal.
- Motores de búsqueda
- Apache Lucene
- Deeplearning4j
- Búsqueda semántica
- Word2Vec
- Doc2Vec
- Redes LSTM
- Reranking de resultados
- Búsqueda de imágenes CBIR
- Locality-Sensitive Hashing
- Búsqueda multilingüe
¿Cómo enseña?
Con proyectos
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Expansor semántico de sinónimos para consultas
Módulo de preprocesamiento sobre Apache Lucene que analiza el contexto de términos de búsqueda imprecisos y genera expansiones de sinónimos relevantes mediante embeddings vectoriales de Word2Vec con Deeplearning4j.
Sugeridor neuronal de consultas con LSTM
Sistema de autocompletado y predicción de consultas que entrena un modelo de lenguaje neuronal a nivel de caracteres con redes recurrentes LSTM para ofrecer sugerencias contextuales y diversificadas.
Reclasificador semántico de documentos
Pipeline de reranking y recomendación que calcula la similitud semántica entre la intención de búsqueda y los textos indizados mediante vectores de documentos Doc2Vec (Paragraph Vectors) sobre Lucene.
Buscador de imágenes por contenido visual
Motor de recuperación de imágenes (CBIR) que extrae características densas con redes neuronales convolucionales (CNN) y efectúa búsquedas aproximadas de alta velocidad empleando Locality-Sensitive Hashing (LSH).
