Matemática para redes neurais (backpropagation)

Aprendizado por reforço para aplicações em redes neurais

Prof. Hallison Paz

9 de fevereiro de 2024

Como você faria para um perceptron aproximar uma reta específica?

Como se computa a saída de um MLP?

Composição de funções

Sabemos calcular a saída (resposta) de uma rede. E agora?

Função de custo ou função de perda

Métricas

Uma métrica ou função de distância é qualquer função que atende às 3 propriedades a seguir:
  • Não negativa
  • Simétrica
  • Respeita desigualdade triangular

Exemplos de Métricas


Distância na norma :

Temos uma medida do erro. E agora?

Queremos minimizar o erro!

Gradiente Descendente



Funções de várias variáveis


Exemplo 1:


Exemplo 2:

Derivadas Parciais

e o vetor Gradiente

Regra da Cadeia

Se , então:


Backpropagation

Deu pra entender que a função de ativação tem um papel nesse processo?

Bibliografia complementar

  • Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. Cambridge, MA: MIT Press, 2016. Chicago (author-date), 17th ed.
    • Capítulo 4 seção 4.3 (Gradient-Based Optimization)

## Redes Neurais são aproximadores universais

![bg](styles/bg_inteli_03.png)