Który wynalazł Relu

Odprostowana funkcja aktywacji jednostki liniowej (RELU) została zaproponowana przez Nair i Hinton 2010, a od tego czasu była najczęściej stosowaną funkcją aktywacyjną dla aplikacji głębokiego uczenia się z najnowocześniejszymi wynikami [57].

1. Który wprowadził aktywację RELU?
2. Dlaczego został wprowadzony?
3. Dlaczego jest sławny?
4. Dlaczego RelU nazywa się relu?

Który wprowadził aktywację RELU?

Fukushima opublikował oryginalny artykuł poznawczy w 1975 roku. To był pierwszy przypadek Relu. Jest zdefiniowany w równaniu 2 tutaj: Fukushima, k.

Dlaczego został wprowadzony?

Obecnie RELU jest używane jako domyślna aktywacja w rozwoju wielowarstwowego rozwoju nerwowych i Perceptron. Funkcja aktywacji RELU rozwiązuje ten problem, umożliwiając modele na lepsze wyniki i szybciej uczyć się. Nie ma dobrych ani niewłaściwy sposób nauki technologii sztucznej inteligencji i ML - tym bardziej, tym lepiej!

Dlaczego jest sławny?

Odpowiedź jest popularna, ponieważ jest prosty i szybki. Z drugiej strony, jeśli jedynym problemem, który znajdziesz w RELU, jest to, że optymalizacja jest powolna, dłuższe szkolenie sieci jest rozsądnym rozwiązaniem. Jednak najnowocześniejsze dokumenty częściej stosują bardziej złożone aktywacje.

Dlaczego RelU nazywa się relu?

Relu stał się funkcją kochanej aktywacji świata sieci neuronowej. Krótkie dla prostowanej jednostki liniowej, jest to częściowa funkcja liniowa, która jest zdefiniowana jako 0 dla wszystkich wartości ujemnych x i równa × x w przeciwnym razie, gdzie A jest parametrem możliwym do nauczania.