Física estatística do machine learning
Resumo
A última década presenciou um aumento significativo no desenvolvimento e adoção de algoritmos de aprendizado de máquina (machine learning) para resolver tarefas computacionais do dia a dia. No entanto, ainda falta uma compreensão teórica sólida até mesmo das ferramentas mais básicas usadas na prática, uma vez que os métodos tradicionais de aprendizado estatístico são inadequados para lidar com o regime moderno em que o número de parâmetros do modelo é da mesma ordem que a quantidade de dados - um problema conhecido como a maldição da dimensionalidade (curse of dimensionality). Curiosamente, este é precisamente o regime estudado pelos Físicos desde meados do século XIX no contexto de sistemas com muitas partículas interagentes. Essa conexão, que foi estabelecida pela primeira vez no trabalho seminal de Elisabeth Gardner e Bernard Derrida nos anos 80, é a base de uma longa e frutífera colaboração entre esses dois campos. Neste curso, irei motivar e revisar as conexões entre Física Estatística e problemas de Aprendizado de Máquina, em particular no que diz respeito ao progresso recente na teoria de redes neurais.
- Horário:
09:30 às 11:30
- Duração:
2
- Local:
Auditório 6º Andar - Prédio César Lattes
Professores
Bruno Loureiro - (DI-ENS) & CNRS
Ementa
Overview histórico da relação entre a física estatística e a ciência da computação. Introdução aos problemas do machine learning. Modelo de Curie-Weiss: revisão da noção de campo médio e do conceito de meta-estabilidade no limite termodinâmico. Aprendizado estatístico como um problema de física estatística. Método de réplicas. Introdução ao algoritmo de message passing Ponto de vista da física estatística à teoria da complexidade computacional típica. Noção de computational-to-statistical gaps.
Bibliografia
O curso será baseado nessas notas de um curso ministrado no verão de 2024 na Universidade de Princeton: https://brloureiro.github.io/assets/pdf/NotesPrinceton_BL.pdf Outros recursos úteis: Marc Mézard, Andrea Montanari. Information, Physics, and Computation. Oxford University Press. Disponível online: http://www.stat.ucla.edu/~ywu/research/documents/BOOKS/MontanariInformationPhysicsComputation.pdf Hidetoshi Nishimori. Statistical Physics of Spin Glasses and Information Processing: An Introduction. Oxford University Press, 2001. Disponível online: http://www.stat.ucla.edu/~ywu/research/documents/BOOKS/SpinGlassInformation.pdf
Pré-requisitos
-
Cursos Relacionados
Inteligência Artificial na Física
O Intrigante fenômeno do Emaranhamento
