Sobre mim

Hallison Paz

• Engenheiro de computação (Instituto Militar de Engenharia)
• Mestre e doutorando em Matemática (IMPA)
• Criador do canal (Youtube)
  Programação Dinâmica
• Trabalhei no Reality Labs Research (Meta)

Mapeamento de competências da Turma

• Inglês
• Python
• Matemática

https://forms.gle/xzbykAzUzAJvxBZX7

Como isso nos ajuda a resolver problemas?

Forward Propagation

Função de ativação

Exemplos

O que não pode ser uma função de ativação?

Perceptron Multicamadas

Multilayer Perceptron (MLP)

Questão Ponderada - parte 1

Você foi contratado por uma startup de tecnologia de saúde que está desenvolvendo um algoritmo de aprendizado profundo para detectar anomalias em imagens de raios-X. Durante a fase de prototipagem, a equipe decidiu usar a função de ativação ReLU nas camadas ocultas de sua rede neural.

Após algumas iterações, você observa que muitos neurônios na rede estão "morrendo" durante o treinamento, ou seja, eles estão sempre produzindo uma saída zero, independentemente da entrada.

Questão Ponderada - parte 2

a) Explique por que a função ReLU pode causar o "morte" de neurônios durante o treinamento.
b) Sugira uma modificação ou alternativa à função ReLU para mitigar esse problema.
c) Descreva como essa modificação ou alternativa pode beneficiar o treinamento do modelo, especialmente em um contexto de detecção de anomalias em imagens médicas.