• Inicio

    Profesor: Germán Kruszewski

    Resumen:

    Las redes neuronales se han convertido en la herramienta predilecta para una gran cantidad de tareas de aprendizaje automático, y el procesamiento del lenguaje natural no es la excepción. En este curso, se introducirán las redes neuronales sin presumir ningún conocimiento previo en aprendizaje automático, y se demostrará su aplicación a diversos problemas relacionados con el procesamiento del lenguaje humano. En particular, se demostrará su potencial para clasificar oraciones (por ejemplo, según su polaridad o tópico), para establecer relaciones entre distintas frases (una implica la otra? se contradicen?), para producir texto o para traducirlo entre distintos idiomas.

    Indice Breve

    - Introducción a las redes neuronales y al procesamiento del lenguaje natural.

    - Aprendizaje automático: clasificación y regresión con modelos lineales. -

    - Optimización de la función de error (loss function).

    - Clasificación de oraciones basados en conjuntos de palabras y n-grams.

    - Modelos distribucionales del significado (e.g. word2vec).

    - Redes neuronales de múltiples capas aplicadas a decidir relaciones entre oraciones. Backpropagation.

    - Redes neuronales recurrentes con aplicación al modelado del lenguaje (“language modeling”)

    - Redes neuronales recurrentes y mecanismos de atención aplicados a la traducción automática.

    - Transformer Networks y Representaciones contextualizadas de palabras (Si el tiempo lo permite)

    Conocimientos requeridos para tomar el curso: 

    Nociones de probabilidad y estadística Rudimentos de álgebra lineal: vectores, matrices, producto interno y producto matricial. Análisis matemático: conceptos de derivadas y gradiente. Los ejemplos de código se van a exhibir en python.