Jaki jest algorytm kompresji używany przez Facebook?

Zstandard (znany również jako ZSTD) to bezpłatny program kompresji danych w czasie rzeczywistym z lepszymi współczynnikami kompresji, opracowanymi przez Facebook. Jest to bezstronny algorytm kompresji napisany w C (w Javie jest ponownie wdrażanie)-zatem jego natywny program Linux.

1. Czy Facebook używa kompresji danych?
2. Który algorytm służy do kompresji?
3. Jest LZ4 lepszy niż ZSTD?
4. Jaki jest najlepszy algorytm kompresji?

Czy Facebook używa kompresji danych?

Podobnie system dystrybucji pakietów Facebooka, FBPKG, jest odpowiedzialny za dystrybucję dużych plików do floty. Przy tak dużych plikach FBPKG priorytetowo traktuje wydajność i szybkość kompresji. Nie może jednak poświęcić żadnej prędkości dekompresyjnej, ponieważ jest to pisanie i czytanie.

Który algorytm służy do kompresji?

W połowie lat osiemdziesiątych, po pracach Terry'ego Welcha, algorytm Lempel-Ziv-Welch (LZW) stał się metodą wyboru dla większości systemów kompresji ogólnej przez. LZW jest używane w obrazach GIF, programach takich jak PKZIP i urządzenia sprzętowe, takie jak modemy.

Jest LZ4 lepszy niż ZSTD?

Większy jest lepszy! Przy obecnych współczynnikach kompresji odczyt z dekompresją dla LZ4 i ZSTD jest w rzeczywistości szybszy niż odczyt dekompresowany: znacznie mniej danych pochodzi z podsystemu IO. Wiemy, że LZ4 jest znacznie szybszy niż ZSTD na samodzielnych testach porównawczych: Prawdopodobnie wąskie gardło jest root io api.

Jaki jest najlepszy algorytm kompresji?

Najszybszy algorytm, LZ4, powoduje niższe współczynniki kompresji; XZ, który ma najwyższy współczynnik kompresji, cierpi z powodu powolnej prędkości kompresji. Jednak Zstandard, przy domyślnym ustawieniu, wykazuje znaczną poprawę zarówno prędkości kompresji, jak i prędkości dekompresji, a ściskając w tym samym stosunku co ZLIB.