Gzip是若干种文件压缩
程序的简称,通常指
GNU计划的实现,此处的gzip代表GNU zip。也经常用来表示gzip这种文件格式。
软件的作者是Jean-loup Gailly和Mark Adler。在1992年10月31日第一次公开
发布,版本号0.1,1993年2月,发布了1.0版本。
GZIP概念
GZIP最早由Jean-loup Gailly和
Mark Adler创建,用于
UNⅨ系统的
文件压缩。我们在
Linux中经常会用到后缀为.gz的文件,它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种
数据压缩格式,或者说一种文件格式。
HTTP协议上的GZIP编码是一种用来改进WEB应用程序性能的技术。大流量的WEB站点常常使用GZIP
压缩技术来让用户感受更快的速度。这一般是指WWW服务器中安装的一个功能,当有人来访问这个服务器中的网站时,服务器中的这个功能就将网页内容压缩后传输到来访的电脑浏览器中显示出来.一般对纯文本内容可压缩到原大小的40%.这样传输就快了,效果就是你点击网址后会很快的显示出来.当然这也会增加服务器的负载. 一般服务器中都安装有这个功能模块的。
文件格式
gzip的基础是
DEFLATE,DEFLATE是LZ77与
哈夫曼编码的一个组合体。DEFLATE最初是作为LZW以及其它受
专利保护的
数据压缩算法的替代版本而设计的,当时那些专利限制了
compress以及其它一些流行的归档工具的应用。
文件格式说明:
尽管这种文件格式允许多个这样的数据拼接在一起,在解压时也能认出它们是拼接在一起的数据,但通常gzip仅用来压缩单个文件。多个文件的压缩归档通常是首先将这些文件合并成一个
tar文件,然后再使用gzip进行压缩,最后生成的.tar.gz或者.tgz文件就是所谓的“tar压缩包”或者“tarball”。
注意不要将gzip和ZIP压缩格式混淆。ZIP也使用DEFLATE算法,而且可移植性更好,不需要一个外部的归档工具就可以包容多个文件。但是,由于ZIP对每个文件进行单独压缩而没有利用文件间的冗余信息(即
固实压缩),所以ZIP的压缩率会稍逊于tar压缩包。
gzip命令的常用选项
派生品和其它应用
在大多数Linux发行版中,通过使用 zx 选项来提取.tar.gz格式的压缩文件,例如:tar -zxf file.tar.gz
zlib是DEFLATE算法的实现库,它的API同时支持gzip文件格式以及一个简化的数据流格式。zlib数据流格式、DEFLATE以及gzip文件格式均已被分别标准化为RFC 1950、RFC 1951、RFC 1952。
gzip在
HTTP压缩IE还没有正确的实现该标准,还不能处理zlib格式。
zlib DEFLATE 已经在Protable Network Graphics(PNG)格式中使用。
自20世纪90年代末期以来,一个基于数据块排序算法的文件压缩工具
bzip2作为gzip的替代者逐渐得到流行,它可以生成相当小的压缩文件,尤其是对于源代码和其他结构化文本更是这样,但代价是最高达4倍的内存与处理器时间消耗。bzip2压缩的tar包传统上叫作.tar.bz2或.tbz。
AdvanceCOMP和
7zip内部也有一个DEFLATE实现,可以制作gzip兼容的压缩文件,与gzip相比有更高的压缩率,不过比较耗费处理器的处理时间。
gzip压缩文件对应的解压程序是gunzip。
gzip 命令
减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间。gzip 是在 Linux 系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用。
该命令的各选项含义如下:
-c 将输出写到标准输出上,并保留原有文件。
-l 对每个压缩文件,显示下列字段:
压缩文件的大小;未压缩文件的大小;压缩比;未压缩文件的名字
-r 递归式地查找指定目录并压缩其中的所有文件或者是
解压缩。
-t 测试,检查压缩文件是否完整。
-v 对每一个压缩和解压的文件,显示文件名和压缩比。
-num 用指定的数字 num 调整压缩的速度,-1 或 --fast 表示最快压缩方法(低压缩比),
-9 或--best表示最慢压缩方法(高压缩比)。系统缺省值为 6。
指令实例:
gzip *
gzip -dv *
% 把当前目录下每个压缩的文件解压,并列出详细的信息。
gzip -l *
% 详细显示例1中每个压缩的文件的信息,并不解压。
gzip usr.tar
% 压缩 tar
备份文件usr.tar,此时
压缩文件的扩展名为.tar.gz。
快速启动
在WordPress中虽然有插件可以启动Gzip网页压缩,不过能通过几句语法来达到网页压缩,这样不是更好吗?其实在PHP中,有一句语法是可以开启Gzip的,只要加在网页输出的前端即可。在WordPress中,其实大部分的缓存插件都有内建启动Gzip压缩功能,不论是老牌的缓存插件WP Super Cache、轻巧的1 Blog Cacher或是hyper Cache都可以启动Gzip网页压缩功能。如果你没有装这些插件,或是这些插件虽然启动了Gzip功能但是检测出来却没有压缩,那你可能需要通过插件GZippy来启动,不过通过这个插件来启动时,记得缓存插件本身的Gzip要关掉,否则可能造成冲突。
第一步:打开IIS,启用HTTP压缩服务
右击“网站”->“属性”,选择“服务”。在“HTTP压缩”框中选中“压缩应用程序文件”和“ 压缩静态文件”,按需要设置“临时目录”和“临时目录的最大限制”;
第二步:启用web服务
第三步:修改MetaBase.xml
ⅡS或Apache启用GZIP压缩优化网站
先来了解一下GZIP,gzip是GNU zip的缩写,它是一个
GNU自由软件的
文件压缩程序,也经常用来表示gzip这种文件格式。软件的作者是Jean-loupGailly和Mark Adler。1992年10月31日第一次
公开发布,版本号是0.1,稳定版本是1.2.4。
gzip可以极大的加速网站.有时压缩比率高达80%,近来测试了一下,最少都有40%以上,还是相当不错的.在Apache2之后的版本,模块名不叫gzip,而叫mod_deflate
1、Apache启用gzip
如果要开启gzip的话,一定要打开下面二个模块.
LoadModule headers_module modules/mod_headers. so
LoadModule deflate_module modules/mod_deflate. so
设置压缩比率,取值范围在 1(最低) 到 9(最高)之间,不建议设置太高,虽然有很高的
压缩率,但是占用更多的CPU资源.
DeflateCompressionLevel 3
AddOutputFilter DEFLATE html xml php js css
SetOutputFilter DEFLATE
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch MSIE !no-gzip !gzip-only-text/html
SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png)$ no-gzip dont-vary
SetEnvIfNoCase Request_URI .(?:exe|t?gz|zip|bz2|sit|rar)$ no-gzip dont-vary
SetEnvIfNoCase Request_URI .(?:pdf|mov|avi|mp3|mp4|rm)$ no-gzip dont-vary
Header append Vary User-Agent env=!dont-vary #对代理的设置
下面二个测试网站
测试数据对css
Original Size: 44 KB
Gzipped Size: 10 KB
Data Savings: 77.27%
测试数据js
Original Size: 6 KB
Gzipped Size: 2 KB
Data Savings: 66.67%
测试数据php
Original Size: 62 KB
Gzipped Size: 15 KB
Data Savings: 75.81%
上面只是随机拿的几个数据,看的出来,使用了gzip压缩后文件小多了.
另外讲一下,有关squid对gzip的处理
在squid中,对同一个URL只保留一份缓存。对于如果不同browser(是否支持压缩)如果频繁交替访问,例如:对某个cache住的目标,一个http/1.0请求可能会导致squid强制更新其缓存。但接下来的另一个http/1.1请求又会导致squid再次更新缓存。这样那squid缓存数据就要频繁更新,这就极大的降低了cache命中率。
不过还好,现实环境中不支持压缩的browser毕竟是很少的情况,所以对于
缓存命中率的降低很有限.
这个神通广大的模块就是mod_gzip.它通过用和gzip一样的压缩算法对
apache发出的页面进行压缩,可能的话可以把页面压缩成为原来大小的十份之一。哪,如果10K的页面只要传1K这不就是提速10倍嘛。当然一般网页只可以达到3-6倍。那也很不错。对吧。连google这样一个大的网站都采用这个技术。你还不快跟上?
这样一个好东东,来来来,我告诉你如何安装:分3步,1、下载,2、修改配置,3、测试。
安装,配置
把mod_gzip放到你的apache的源代码目录下,新建一个mod_gzip目录如果需要补丁(针对1.3.17. la版) 还需运行:
patch mod_gizp.c
按你需要,在配置中选择动态DSO或
静态编译进
apache系统。如何处理在README中讲得很清楚,如-add-module=mod_gzip.c,make,make install等等。这里不多讲。
把下列配置加入httpd.conf尾部。
# MOD_GZIP configuration
mod_gzip_on Yes
mod_gzip_minimum_file_size 1002
mod_gzip_maximum_file_size 0
mod_gzip_maximum_inmem_size 60000
mod_gzip_item_include mime text/*
mod_gzip_dechunk Yes
mod_gzip_keep_workfiles No
在保存修改后运行
…/bin/
apachectl configtest确保配置修改无误。
然后用apachectl restart 指令重起服务。
修改,测试
在宣布做好了之前在测试一下是优秀程序员的习惯。为了尽量不影响你的用户的浏览,我们可以用把新的apache驱动在
8080端口上或者用指令控制mod_gzip起作用的目录,而不是一下子全用mod_gzip.
用法如下:
MOD_GZIP configuration
没有问题后你就可以让你的用户很开心的发现’XX网站好快哦。’
Mod_gzip真的很神奇,100K的HTML大 文档只要12K就可以传到用户端了。越先采用这个技术你的用户对你的网站的高速度印象就越深。不过有所得必有所失,由于解压是在客户端进行的,效果和用户 的浏览器有一定关系。
2、ⅡS启用gzip
现代的浏览器IE6和Firefox都支持客户端Gzip,也就是说,在服务器上的网页,传输之前,先使用Gzip压缩再传输给客户端,客户端接收之后由浏览器解压显示,这样虽然稍微占用了一些服务器和客户端的CPU,但是换来的是更高的带宽利用率。对于纯文本来讲,压缩率是相当可观的。如果每个用户节约50%的带宽,那么你租用来的那点带宽就可以服务多一倍的客户了。
ⅡS6已经内建了Gzip压缩的支持,可惜,没有设置更好的管理界面。所以要打开这个选项,还要费些功夫。
在服务器中新建一个文件夹,名称任意,给本机用户添加写入权限。
进入IIS管理器,IIS管理器>网站 右键进入“属性”面板,切换到“服务”选项卡,勾选HTTP压缩中两项,如果仅仅想压缩静态文件,那么第一项就算了。临时目录就是刚才新建的那个文件夹。
确认后进入IIS管理器>Web服务扩展,点击“添加一个新的Web服务扩展”,在弹出的面板中首先输入扩展名,名称任意;然后在“要求的文件”中添加文件,其实就是输入gzip.dll所在的路径。如果不是特立独行的服务器,那么这个位置基本上就是“C:WINDOWSsystem32inetsrvgzip.dll”,确认后记得将“设置扩展状态为允许”勾选。
进入C:WINDOWSsystem32inetsrv这个目录下,找到一个叫MetaBase.xml的文件,直接修改保存是不行的,因为IIS服务正在使用该文件。强烈建议先备份该文件,再在一个副本上修改。用文本编辑器打开副本,用查找功能找到“IIsCompressionScheme”,共有3处,都在一起,分别是deflate、gzip和Parameters,deflate也是一种压缩格式,不过性能上不如gzip。需要修改的是deflate和gzip这两段,参数基本一样,都要修改。
HcDynamicCompressionLevel是用来设置压缩率,默认是0,最高是10。低压缩级别生成稍大一些的压缩文件,但对 CPU 和内存资源的总体影响较小。高压缩级别通常会生成较小的压缩文件,但会占用较多的 CPU 时间和内存。有人说设置成9性价比最高。
HcFileExtensions是用来设置压缩的静态文件扩展名,默认是htm、html、txt,根据网站的自身情况添加扩展名,最基本的是js、css。添加时注意原有的换行格式。
HcScriptFileExtensions是用来设置压缩的动态文件扩展名,默认是asp、dll和exe,根据需要自行添加扩展名,无外乎aspx、php等。可以将这一项的默认删除留空,这样所有的动态响应都以压缩方式发送。另外,还将动态压缩 HcFileExtensions 中所有未指定的静态文件类型,并且因此不将它们放入缓存。同样地,必须将 HcDoDynamicCompression 设置为 true,以进行动态压缩。
把IIS服务停止,用刚才保存的副本替换原有的MetaBase.xml
重启IIS服务,如果一切正确,那么Gzip就启动了。
可以在这个地址检测Gzip的工作情况。
置文件在windows目录下的system32/inetsrv/metabase.xml
如果要对动态网页进行压缩,则要修改如下配置项
dll
将你要压缩的文件的扩展名填进去就可以了。
特别提示:这种压缩优化流量的方法,对于文本文件比较有效,大约能压缩50%(我一个200k左右的页面包含js和css压缩后118k左右),图片则效果很差。另外压缩比高对于服务器来说也会导致cpu负载过高,所以建议不要设置太高的压缩比。
修改配置文件时请暂停IIS服务,保存后重新启动服务即可。
用Nginx的gzip模块提升网站访问效率
Nginx自带的有gzip模块,这个模块支持在线实时压缩输出数据流。经过良好的配置优化,可以大幅的提升网站的输出效率。
效果显而易见。
指令
[#gzip gzip] [#gzip_buffers gzip_buffers] [#gzip_comp_level gzip_comp_level] [#gzip_min_length gzip_min_length] [#gzip_http_version gzip_http_version] [#gzip_proxied gzip_proxied] [#gzip_types gzip_types]
指令详解
gzip
语法:gzip on|off
默认值:gzip off
作用域:http,server,location,if (x) location
开启或者关闭gzip模块
gzip_buffers
语法:gzip_buffers number size
默认值:gzip_buffers 4 4k/8k
作用域:http,server,location
设置系统获取几个单位的缓存用于存储gzip的压缩结果数据流。例如 4 4k 代表以4k为单位,按照
原始数据大小以4k为单位的4倍申请内存。4 8k 代表以8k为单位,按照原始数据大小以8k为单位的4倍申请内存。
如果没有设置,默认值是申请跟原始数据相同大小的内存空间去存储gzip压缩结果。
gzip_comp_level
语法:gzip_comp_level 1..9
默认值:gzip_comp_level 1
作用域:http,server,location
gzip压缩比,1 压缩比最小处理速度最快,9 压缩比最大但处理最慢(传输快但比较消耗cpu)。
gzip_min_length
语法:gzip_min_length length
默认值:gzip_min_length 0
作用域:http,server,location
设置允许压缩的页面最小字节数,页面字节数从header头中的Content-Length中进行获取。
默认值是0,不管页面多大都压缩。
建议设置成大于1k的字节数,小于1k可能会越压越大。即: gzip_min_length 1024
gzip_http_version
语法:gzip_http_version 1.0|1.1
默认值:gzip_http_version 1.1
作用域:http,server,location
识别http的协议版本。由于早期的一些浏览器或者http客户端,可能不支持gzip自解压,用户就会看到
乱码,所以做一些判断还是有必要的。注:21世纪都来了,除了类似于百度的蜘蛛之类的东西不支持自解压,99.99%的浏览器基本上都支持gzip解压了,所以可以不用设这个值,保持系统默认即可。
gzip_proxied
语法:gzip_proxied [off|expired|no-cache|no-store|private|no_last_modified|no_etag|auth|any] ...
默认值:gzip_proxied off
作用域:http,server,location
gzip_types
语法:gzip_types mime-type [mime-type ...]
默认值:gzip_types text/html
作用域:http,server,location
注意:如果作为http server来使用,主配置文件中要包含文件类型配置文件
http{ include conf/mime.types; ......}
如果你希望压缩常规的文件类型,可以写成这个样子
http {
include conf/mime.types;
gzip on;: gzip_min_length 1000;
gzip_buffers 4 8k; : gzip_http_version 1.1;
gzip_types text/plain application/x-javascript text/css text/html application/xml;
......
}