您现在的位置: 365建站网 > 365文章 > linux 压缩命令怎么组合?.gz 只是单文件流封装,所以目录必须先 tar 再 gzip

linux 压缩命令怎么组合?.gz 只是单文件流封装,所以目录必须先 tar 再 gzip

文章来源:365jz.com 点击数:366 更新时间:2024-09-01 09:05

一、先把定义钉死:gzip 是「流压缩」,不是「打包」

gzip 官方主页的第一句定义是这样的:

gzip is a single-file/stream lossless data compression utility, where the resulting compressed file generally has the suffix .gz. gzip also refers to the associated compressed data format used by the utility.

single-file/stream 这四个字解决了一整个家族的困惑:gzip 压缩的是一股字节流,一个输入对应一个输出,它不保存文件清单、路径、权限、目录结构。所以:

  • 压一个文件:gzip app.log → 得到 app.log.gz,原文件被替换(可用 -k 保留)。
  • 压一个目录:必须先由 tar 把整棵树拼成一股流,再交给 gzip —— tar -czvf backup.tar.gz /etc/app。
  • 看到的 .tar.gz 不是「一种新格式」,而是两层叠加:内层 tar 归档(负责组织与元数据),外层 gzip 压缩(负责缩体积)。解压时同样分两步,所以 tar -xzvf 里的 z 只是告诉 tar「顺手调一下 gzip」。

这层区分清楚了,也就明白为什么「把 tar 换成 gzip 就能压目录」是不可能的——能压目录的是 tar,能缩体积的是 gzip,两者职责不重叠。

gzip 单流封装与不同压缩算法的体积对比示意
先归档成流,再压缩,是 Linux 压缩命令的固定分层

二、格式分两层:RFC 1952 管封装,RFC 1951 管算法

官方主页给的两条 RFC 链接把这件事拆得很干净:

RFC 1952, which is the specification of the gzip wrapper format
RFC 1951, which is the specification of the deflate compressed data format, contained within the gzip wrapper

即 .gz = gzip wrapper(RFC 1952)套住 deflate 数据(RFC 1951)。wrapper 提供的是文件头、原名与时间戳、CRC 校验、尾部大小这些「包装信息」,deflate 才是真正做无损压缩的算法主体。由此有三个直接可用的推论:

  1. 凡是能产出 deflate 流的工具,都可以套上 gzip 外壳;反过来,deflate 与 gzip 不是同一层概念,把它们当并列算法比较是常见的错误。
  2. HTTP 响应头里 Content-Encoding: gzip 之所以能直接给浏览器解,是因为它带 wrapper 与校验;而 zlib 格式的 Content-Encoding: deflate 另有外壳,两者不能互换写法。
  3. 校验完整性看 wrapper 里的 CRC,gzip -t xxx.gz 测的就是这一层;传输后担心截断,先 -t 再解压,比解压到一半报 unexpected end of file 更省事。

官方还给出读写这两层的库:zlib 是「a free software library written in C, which you can use to read and write gzip files and memory streams」——PHP 的 gzencode/gzcompress/gzuncompress 三个函数对应三种不同外壳,正是这一层区别,别混用。

三、gzip 不是 zip:官方亲自澄清的一条

主页链接列表里专门放了一条问答,摘要被官方直接写了出来:

How are zlib, gzip and zip related?, to answer your most pressing questions (summary: gzip is not zip, zip is not gzip)

差别就落在第一节那句定义上:zip 自己就是归档 + 压缩二合一,内含文件清单,能压目录、能取单文件;gzip 只管压缩一股流。所以 Linux 上要「像 zip 那样只取出其中一个文件」,做法是解 tar:tar -tzvf backup.tar.gz 先列清单,tar -xzvf backup.tar.gz etc/app/nginx.conf 再定点解出。另外 zip 常用逐文件独立压缩,tar.gz 是整股流连续压缩,对大量小文件通常压得更紧,代价是要读全流才能随机访问其中某一个。

四、为什么当年要做 gzip:主页给的历史答案

A Brief History 一段把动机讲得很明确,也顺带说明了它相对前辈的优势:

Jean-loup Gailly and Mark Adler wrote the gzip utility to replace the Unix compress utility. At the time the continued use of compress was threatened by giant corporations holding patents on the LZW algorithm used by compress. In addition to avoiding patent infringement, gzip provided superior compression. The gzip utility and format remain in wide use, these many eons later.

三点信息:①替代品是 Unix 的 compress(产出 .Z,不是 .gz);②直接动机是绕开 LZW 专利;③附带收益是压缩率更高。今天遇到历史遗留的 .Z 文件,别用 gunzip 硬怼,那是另一种外壳。

五、多核机器上让 gzip 变快:pigz

gzip 是「single-file/stream lossless data compression utility」这个定位决定了它单线程——deflate 是一条连续流,没法简单切段并行。官方给出的答案是:

pigz home page, where pigz is a parallel implementation of gzip, able to take advantage of multiple processors, cores, and threads

pigz 的定位就是并行版 gzip,能吃满多处理器、多核、多线程,且产出与 gzip 兼容的 .gz。所以大体积备份的提速方式是把它插到 tar 前面当外部过滤器(具体选项以它的 man 页为准),而不是徒劳地调 gzip 的压缩级别。级别与线程是两个维度:gzip -1 到 -9 只换压缩强度与耗时,-9 相对 -6 收益递减,而加线程是线性吞吐提升——先确认瓶颈在 CPU 还是磁盘,再决定动哪一个。

六、日常命令组合速查

# 单文件
gzip app.log            # 原地压缩,原文件消失
gzip -k -9 app.log      # 保留原文件,最高压缩级别
gunzip app.log.gz       # 解压
zcat app.log.gz | grep error      # 不解压直接读
zgrep 'Timeout' *.log.gz          # 在压缩文件里搜
gzip -t backup.tar.gz             # 只测完整性

目录:tar 归档 + gzip 压缩

tar -czvf backup.tar.gz /etc/app # 打包压缩
tar -tzvf backup.tar.gz # 只列清单
tar -xzvf backup.tar.gz etc/app/cron # 定点解出一个成员
tar -xzvf backup.tar.gz -C /opt # 解到指定目录

管道直落,不落地中间文件

mysqldump app | gzip -6 > app_$(date +%F).sql.gz
gunzip -c app_2024-09-01.sql.gz | mysql app

三条习惯建议:①命名带日期,备份脚本里用 $(date +%F),不要覆盖同名文件;②备份完立刻 gzip -t,把损坏发现时间从「恢复那天」提前到「备份那天」;③需要边写边看别用 tar.gz 存日志——它是顺序流,追加内容要整条流重压,这种场景该用逐文件独立压缩的方案。

参考来源:gzip 官方主页(gzip.org)、RFC 1952(gzip 封装格式)、RFC 1951(deflate 压缩格式)、GNU gzip 手册、pigz 项目页。

生产内容,同时打通搜索引擎(SEO)与AI搜索引擎(GEO)流量入口的软件! 点击进入365建站器 »