Ужé в самые ранние годы существования WWW — и прежде всего благодаря тому, что как раз в эти годы каналы связи были в Интернете часто чудовищно низкоскоростными (по нынѣшнимъ мѣркамъ — невыносимо низкоскоростными) — путь от замысла до реализации довольно быстро прошла идея о том, что весь текстовый траффик (и HTML-страницы, и CSS-стили, и джаваскрипты) быстрѣе перегонять по Сѣти не «как есть», а заархивированными со сжатием въ нѣсколько разъ, зазипованными в формат gzip, который Википедия называет появившимся под конец октября 1992 года.
С той поры прошло больше трёх десятилѣтій. Обзавелась ли эта же идея какими-нибудь техническими усовершенствованиями? — а как же! — обзавелась, ясное дѣло.
Во-первых, можно ткнуть пальцем в попытки совершенствования gzip-архиваторов, среди которых наибольшаго внимания заслуживают pigz (многопоточная реализация gzip, всё болѣе полезная для современных дорогостоящих процессоров, которые теперича могут содержать без мáлого сотню двухпоточных ядер) и Zopfli (средство, достигающее на нѣсколько процентов большаго сжатия за счёт многодесятикратнаго роста усилий, который для современных высокоскоростных процессоров ужé не приводит к такому невыносимому росту времени работы, каким он был бы в девяностые годы).
Во-вторых, можно ткнуть пальцем в попытки создания болѣе новых форматов сжатия траффика, опережающих формат gzip по силе сжатия за счёт примѣненія новых алгоритмов и приёмов. Среди таких форматов наибольшаго внимания заслуживают формат Brotli (в Google созданный) и формат Zstandard (в Facebook꙳ созданный).
Формат Zstandard добрался до поддержки новыми версиями каждого из популярных браузеров в феврале нынѣшняго (2026) года, послѣдними о его поддержке объявили разработчики браузера Safari.
Формат Brotli добрался до поддержки новыми версиями каждого из популярных браузеров значительно ранѣе — в сентябре 2017 года, причём послѣдними из поддержавших его сайт caniuse называет опять же разработчиков браузера Safari.
Экономия, лежащая в основе сжатия текстовых данных, обычно полагается на способность кодировщика обнаруживать в тексте повторяющиеся фрагменты и заносить их в автоматически создающийся словарь, а в сжимаемом тексте замѣнять такие фрагменты болѣе краткими ссылками на словарь. Но разработчики Brotli пошли ещё дальше, включив в состав кодировщика небольшой готовый словарь, содержащий наиболѣе частыя (по ихъ мнѣнію) конструкции языков WWW (то есть HTML, CSS, JS) и словá языков так называемаго реальнаго міра, появление которых в кодируемом тексте поэтому ужé не требует помѣщенія ихъ в файл-результат (даже однократного), достаточно только ссылки на словарь в кодировщике.
Однако же пристальное разглядывание отсортированного содержимого словаря Brotli способно обнаружить там без мáлого 6½ тыщщ слов и словосочетаний латиницею (строки с номерами 897—7351), но только штук 300 слов кириллицею (строки с номерами 7392—7694), что попахивает, как минимум, недопредставленностью (а как максимум — неоколониализмом).
Правда, упрёк этот может быть обращён единственно к содержимому конкретного готового словаря (встроенного в кодировщик и в декодировщик Brotli), сама же практика подготовки и затѣмъ употребления готовых словарей как дополнительнаго средства, позволяющаго наращивать силу сжатия текстовых файлов, является безусловно плодотворною практикою — слѣдовательно, есть смысл порадоваться тому, что практика эта дошла ужé и до стандартизации (RFC 9842), и до реализации во браузере Chrome 130 (выпуск этой версии состоялся в середине октября 2025 года), и затѣмъ во всѣхъ его производных (Edge 130, Opera 115, etc.). Одобрили эту затею и разработчики браузера Firefox, и затѣмъ разработчики браузера Safari.
В феврале нынѣшняго (2026) года Tim Perry посвятил подробному разсмотрѣнію достоинств употребления готовых словарей замѣтку «Dictionary Compression is finally here, and it's ridiculously good», с которою я рекомендую ознакомиться всѣмъ желающим дальнѣйшихъ подробностей.
________
꙳ Владеющая Facebook компания Meta внесена в перечень террористов и экстремистов (в настоящее время — под номером 13).
С той поры прошло больше трёх десятилѣтій. Обзавелась ли эта же идея какими-нибудь техническими усовершенствованиями? — а как же! — обзавелась, ясное дѣло.
Во-первых, можно ткнуть пальцем в попытки совершенствования gzip-архиваторов, среди которых наибольшаго внимания заслуживают pigz (многопоточная реализация gzip, всё болѣе полезная для современных дорогостоящих процессоров, которые теперича могут содержать без мáлого сотню двухпоточных ядер) и Zopfli (средство, достигающее на нѣсколько процентов большаго сжатия за счёт многодесятикратнаго роста усилий, который для современных высокоскоростных процессоров ужé не приводит к такому невыносимому росту времени работы, каким он был бы в девяностые годы).
Во-вторых, можно ткнуть пальцем в попытки создания болѣе новых форматов сжатия траффика, опережающих формат gzip по силе сжатия за счёт примѣненія новых алгоритмов и приёмов. Среди таких форматов наибольшаго внимания заслуживают формат Brotli (в Google созданный) и формат Zstandard (в Facebook꙳ созданный).
Формат Zstandard добрался до поддержки новыми версиями каждого из популярных браузеров в феврале нынѣшняго (2026) года, послѣдними о его поддержке объявили разработчики браузера Safari.
Формат Brotli добрался до поддержки новыми версиями каждого из популярных браузеров значительно ранѣе — в сентябре 2017 года, причём послѣдними из поддержавших его сайт caniuse называет опять же разработчиков браузера Safari.
Экономия, лежащая в основе сжатия текстовых данных, обычно полагается на способность кодировщика обнаруживать в тексте повторяющиеся фрагменты и заносить их в автоматически создающийся словарь, а в сжимаемом тексте замѣнять такие фрагменты болѣе краткими ссылками на словарь. Но разработчики Brotli пошли ещё дальше, включив в состав кодировщика небольшой готовый словарь, содержащий наиболѣе частыя (по ихъ мнѣнію) конструкции языков WWW (то есть HTML, CSS, JS) и словá языков так называемаго реальнаго міра, появление которых в кодируемом тексте поэтому ужé не требует помѣщенія ихъ в файл-результат (даже однократного), достаточно только ссылки на словарь в кодировщике.
Однако же пристальное разглядывание отсортированного содержимого словаря Brotli способно обнаружить там без мáлого 6½ тыщщ слов и словосочетаний латиницею (строки с номерами 897—7351), но только штук 300 слов кириллицею (строки с номерами 7392—7694), что попахивает, как минимум, недопредставленностью (а как максимум — неоколониализмом).
Правда, упрёк этот может быть обращён единственно к содержимому конкретного готового словаря (встроенного в кодировщик и в декодировщик Brotli), сама же практика подготовки и затѣмъ употребления готовых словарей как дополнительнаго средства, позволяющаго наращивать силу сжатия текстовых файлов, является безусловно плодотворною практикою — слѣдовательно, есть смысл порадоваться тому, что практика эта дошла ужé и до стандартизации (RFC 9842), и до реализации во браузере Chrome 130 (выпуск этой версии состоялся в середине октября 2025 года), и затѣмъ во всѣхъ его производных (Edge 130, Opera 115, etc.). Одобрили эту затею и разработчики браузера Firefox, и затѣмъ разработчики браузера Safari.
В феврале нынѣшняго (2026) года Tim Perry посвятил подробному разсмотрѣнію достоинств употребления готовых словарей замѣтку «Dictionary Compression is finally here, and it's ridiculously good», с которою я рекомендую ознакомиться всѣмъ желающим дальнѣйшихъ подробностей.
________
꙳ Владеющая Facebook компания Meta внесена в перечень террористов и экстремистов (в настоящее время — под номером 13).