Lenguajes Naturales

Facultad de Informática de La Coruña
Ingeniería Informática
Curso 2011-2012

Esta páxina en galego

For Erasmus students: this page in English

Índice:

• Profesores
• Aulas y horario
• Programa
• Bibliografía
• Tutorías
• Prácticas
• Evaluación
• Enlaces de interés

Nota: existe también una página oficial de la asignatura en el servidor web de la facultad.

NOTA IMPORTANTE: La información mostrada en estas páginas se ofrece a título meramente informativo y no sustituye a la información oficial publicada en los medios correspondientes.

Profesores

• Miguel A. Alonso Pardo
• Carlos Gómez Rodríguez
• Jesús Vilares Ferro

Aulas y horario

• Teoría: la primera mitad del cuatrimestre, en el aula 2.6, los LUNES de 16:30 a 18:30 y los VIERNES de 15:30 a 17:30
• Prácticas: la segunda mitad del cuatrimestre, en horario libre, aunque tenemos aisgnado el laboratorio 1.3 los viernes de 15:30 a 17:30

Programa

1.  Introducción
1. Niveles de análisis
2. Ambigüedad
2.  Recursos lingüísticos
1. Juegos de etiquetas
2. Diccionarios
3. Textos etiquetados
4. Bancos de árboles
3. Análisis léxico
1. Segmentación de textos
2. Morfología flexiva y derivativa
3. Modelización de grandes diccionarios
4. Autómatas finitos acíclicos deterministas numerados
5. Traductores de estado finito y morfología de dos niveles
4. Etiquetación
1. Modelos de Markov ocultos
2. Ejecución eficiente de los modelos de Markov ocultos
3. Técnicas de suavizado
4. Tratamiento de palabras desconocidas
5. Aprendizaje de etiquetas basado en transformaciones y dirigido por el error
5. Análisis sintáctico: gramáticas independientes del contexto
1. Esquemas de análisis sintáctico
2. Análisis ascendente
3. El algoritmo de Earley
4. Autómatas a pila y programación dinámica
5. Análisis sintáctico LR generalizado
6. Representación compartida de los árboles de análisis sintáctico
7. Análisis sintáctico probabilístico
6. Análisis sintáctico: gramáticas suavemente dependientes del contexto
1. Gramáticas de adjución de árboles
2. Análisis sintáctico de gramáticas de adjunción de árboles
3. Autómatas para el análisis de gramáticas de adjunción de árboles
4. Representación compartida de los árboles de derivación
5. Gramáticas de adjunción de árboles probabilísticas
7. Análisis semántico
1. Estruturas de rasgos y formalismos basados en unificación
   
2. Relaciones léxicas. WordNet y EuroWordnet
8. Recuperación de información (RI)
1. Conceptos básicos
   
2. Modelos de recuperación: booleano, vectorial y probabilístico
   
3. Los procesos de indexación y recuperación
   
4. Evaluación en RI
   
5. RI en la web. Un caso práctico: Google
   
6. Aplicaciones del procesamento del  lenguaje natural a RI: la variación lingüística
   
9. Extración de información (EI)
   
1. Conceptos básicos
   
2. Arquitectura de un sistema de EI
   
3. Tareas de EI
   
4. Evaluación en EI
   
5. Ejemplos de sistemas de EI: FASTUS y otros
10. Búsqueda de respuestas (BR)
    
1. Conceptos básicos
   
2. BR vs. RI/EI
   
3. Arquitectura de un sistema de BR
   
4. Procesamiento de la pregunta
   
5. Recuperación y selección de documentos/pasajes
   
6. Extracción de la respuesta
   
7. Evaluación en BR 
11. Traducción automática (TA)
    
1. Conceptos básicos y problemática
   
2. Técnicas "clásicas"
   
3. Técnicas estadísticas
   
4. Aplicaciones en la RI interlingüe

Bibliografía Básica

• Daniel Jurafsky y James H. Martin, Speech and Language Processing. Second Edition, Pearson Education, Upper Saddle River, New Jersey, 2009.
• Christopher D. Manning and Hinrich Schütze, Foundations of Statistical Natural Language Processing, The MIT Press, Cambridge (Massachusetts) and London (England), 1999.
• ChristopherD. Manning, Prabhakar Raghavan, and Hinrich Schütze. Introduction to Information Retrieval, Cambridge University Press, Cambridge, 2008.

Bibliografía Complementaria:

En la signatura I28 de la biblioteca pueden encontrarse numerosos libros sobre Procesamiento del Lenguaje Natural. Se recomienda a los alumnos que se den una vuelta por esa parte de la biblioteca.

• Ricardo Baeza-Yates and Berthier Ribeiro-Neto, Modern Information Retrieval, Addison Wesley and ACM Press, Harlow, England, 1999.
• Marie-Francine Moens, Information Extraction: Algorithms and Prospects in a Retrieval Context, Springer, Dordrecht, 2006.
• Klaas Sikkel, Parsing Schemata - A Framework for Specification and Analysis of Parsing Algorithms, Texts in Theoretical Computer Science - An EATCS Series. Springer-Verlag, Berlin/Heidelberg/New York, 1997 (una versión previa de este libro se encuentra en ftp://ftp.cs.utwente.nl/pub/doc/Parlevink/PhD/Sikkel/).
• Robert Dale, Hermann Moisi and Harold Somers (editores), Handbook of Natural Language Processing, Marcel Dekker, Inc., New York and Basel, 2000.
• James Allen, Natural Language Understanding, The Benjamin/Cummings Publishing Company, Inc., Redwood City, CA, USA, second edition, 1995.

Transparencias:

• Tema de recursos lingüísticos
• Tema de análisis léxico
• Preprocesamiento
• Modelización de grandes diccionarios
• Tema de etiquetación
• HMM
• Brill
• Tema de análisis sintáctico: gramáticas independientes del contexto
• Tema de análisis sintáctico de gramáticas suavemente dependientes del contexto
• Tema de gramáticas de unificación
• Ejemplo
• Tema de representación y análisis semántico
• Ejemplo
• Tema de análisis sintáctico superficial
• Demos on-line:
• Freeling 2.1 demo (incluye español y gallego)
• Cognitive Computation Group (CCG) demo (Univ. of Illinois at Urbana-Champaign)
• Memory-Based Shallow Parsing (MBSP) demo, Computational Linguistics and Psycholinguistics (CLiPS) Research Centre, University of Antwerp
  
• Tema de semántica léxica
• Tema de recuperación de información
• Tutorial sobre el modelo probabilístico: apuntes, traspas
• Ejemplo de generación de un índice
• Tema de extracción de información
• Sistema FASTUS: web, local (protegida)
• Tema de búsqueda de respuestas
• Sistemas QA on-line:
• START (generalista)
• EAGLi (genómica)
  
• Tema de traducción automática

Material complementario:

• Análisis léxico:
• preprocesamiento.pdf (artículo conjunto del Prof. Jorge Graña, Fco. Mario Barcala y Jesús Vilares sobre la segmentación y el preprocesamiento)
• diccionario.pdf (material preparado por el Prof. Jorge Graña sobre la implemenatción eficiente de grandes diccionarios)
• Etiquetación:
• HMM.pdf (material preparado por el Prof. Jorge Graña sobre los modelos de Markov ocultos)
• brill.pdf (material preparado por el Prof. Jorge Graña sobre aprendizaje de etiquetas basado en transformaciones y dirigido por el error)
• Análisis sintáctico de gramáticas independientes del contexto:
• parsing_schemata.pdf (material preparado por el Prof. Miguel A. Alonso sobre los esquemas de análisis sintáctico)
• cfg_parsing.pdf (material preparado por el Prof. Miguel A. Alonso sobre los algoritmos CYK y Earley)
• PDA.pdf (material preparado por el Prof. Miguel A. Alonso sobre la interpretación en programación dinámica de los autómatas a pila no deterministas)
• PCFG.pdf (material preparado por el Prof. Jorge Graña para introducir el análisis sintáctico probabilístico)
• Análisis sintáctico de gramáticas suavemente dependientes del contexto:
• TAG.pdf (material preparado por el Prof. Miguel A. Alonso sobre las gramáticas de adjunción de árboles)
• parsing_TAG.pdf (material preparado por el Prof. Miguel A. Alonso sobre el análisis sintáctico de las gramáticas de adjunción de árboles)
• LIA.pdf (material preparado por el Prof. Miguel A. Alonso sobre los autómatas lineales de índices)
• Análisis semántico:
• feature_structures.pdf   (material sobre estructuras de rasgos extraído del capítulo 7 del libro de Sikkel)
• parsing_unification.pdf (material sobre análisis sintáctico de gramáticas de unificación extraído del capítulo 8 del libro de Sikkel)
• wordnet.pdf (cinco artículos sobre WordNet)
• Recuperación y extracción de información:
• ir.pdf   (Introducción a la recuperación de información realizada por el Prof. jesús Vilares)
• ir_pobabilistico.pdf   (Introducción a los modelos probabilísticos de recuperación de informació:n realizada por el Prof. jesús Vilares)
• slides_IR.pdf   (transparencias del capítulo 15 del libro de Manning & Schütze)
• pagerank.pdf (artículo de Page, Brin, Motwani & Winograd sobre el algoritmo PageRank usado por Google)
• ie.pdf (tutorial de Appelt & Israel en IJCAI'99 sobre extracción de información)
• agrep.pdf (technical Report de Wu y Manber sobre pattern matchning con errores)

Tutorías

Véase la página web de la facultad

Prácticas

Evaluación

• Normas de evaluación:

  La nota final de la asignatura se basa en la calificación obtenida en las práticas. El examen escrito de teoría es opcional.

Enlaces de interés

• LIBNAFDA, Librería para el manejo eficiente de diccionarios de gran tamaño, basada en autómatas finitos acíclicos deterministas numerados.
• NLTK, Natural Language Toolkit: módulos open-source en Python para diversas tareas de NLP, corpus lingüísticos y buena documentación. Si se utiliza, es recomedable mirar el libro Natural Language Processing with Python --- Analyzing Text with the Natural Language Toolkit disponible on-line.
• OpenNLP, un conjunto de herramientas NLP en Java. Pensadas para utilizar encadenadas mediante pipelines. Escasa documentación.
• WordFreak, una herramienta basada en Java para dar soporte a la anotación manual y automática de textos, compatible con el aprendizaje activo. Se puede combinar con las herramientas de OpenNLP.
• http://coleweb.dc.fi.udc.es/cole/sites_cl.html, página del Grupo COLE con multitud de enlaces a sitios de interés en el ámbito del procesamiento del lenguaje natural
• http://coleweb.dc.fi.udc.es/cole/sites_ir.html, página del Grupo COLE con multitud de enlaces a sitios de interés en los ámbitos de la recuperación y extracción de información
• El Mundo según Google, programa de Documentos TV emitido el martes 30 de septiembre de 2007 por La 2
• Europarl Parallel Corpus