Reguły wyboru parametrów dla regularyzacji L1?

1. Jak wybrać parametr regularyzacji TiKhonov?
2. Dlaczego regularyzacja L1 powoduje rzadkość?

Jak wybrać parametr regularyzacji TiKhonov?

Biorąc pod uwagę funkcję, oszacowanie poziomu szumu i parametr dodatni, wybierz parametr regularyzacji, tak że (2) D (α) = B δ dla niektórych parametrów B > B 0 . Jeśli rozwiązanie nie istnieje, wybierz α (δ) = 0; Jeśli to równanie ma wiele rozwiązań, wybierz najmniejsze rozwiązanie.

Dlaczego regularyzacja L1 powoduje rzadkość?

Powód rzadkości

Regulalizacja L1 powoduje, że współczynniki zbiegają się do 0 dość szybko, ponieważ ograniczenie ogranicza wszystkie wektory ciężarowe leżące w obrębie normy L1. Szybkość konwergencji jest wyższa dla L1 ze względu na pierwszą pochodną straty to po prostu λ dla L1, podczas gdy 2 λ 2 \ lambda 2λ dla L2.