Сайты давно сами поддерживают gzip — зачем нужен WebWarper?
Приведенное мнение насчет использования gzip преувеличено.
Действительно, почти все крупные популярные порталы, например,
Yahoo! или Google,
поддерживают gzip, т.е. передают свои страницы в сжатом виде.
Но для большинства не столь известных сайтов это не так.
Отчасти — потому, что это требует квалификации и некоторых усилий со стороны разработчика сайта
(или хостинг-компании). Другая возможная причина — автоматическое сжатие страниц
увеличивает нагрузку на сервер, что может оказаться нежелательным.
Но чаще всего причина проще: разработчики сайта просто не думают об этом.
Попробуйте поискать что-нибудь в Google,
скажем, слово "Литература". Откройте наугад несколько найденных сайтов.
И воспользуйтесь нашей утилитой измерения,
чтобы проверить, поддерживают ли gzip эти сайты. (При просмотре сайта через WebWarper,
эту утилиту можно вызвать с помощью ссылки "Measure traffic" на верхней панели WebWarper.)
Если сайт поддерживает gzip, то в разделе "Direct loading" вы увидите "Content-Encoding: gzip",
а величина "SAVING RATIO" будет около 1.
WebWarper также поддерживает специальный
"сверхплотный" режим,
позволяющий получить дополнительную экономию даже на сайтах, поддерживающих gzip.
Например, измерьте
выигрыш при таком просмотре сайта Yahoo!