Shell脚本文本三剑客之sed

目录

1 sed工具

1.1 sed概述

1.2 sed 的工作流程

1.3 sed 命令常见用法

2 实例

---

1 sed工具

1.1 sed概述

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。

1.2 sed 的工作流程

sed 的工作流程主要包括读取、执行和显示三个过程。

• 读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
• 执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
• 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

 注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

1.3 sed 命令常见用法

通常情况下调用 sed 命令有两种格式，如下所示。其中，“参数”是指操作的目标文件， 当存在多个操作对象时用，文件之间用逗号“，”分隔；而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

格式： sed [选项] '操作' 参数
            sed [选项] -f scriptfile 参数

常见的 sed 命令选项
-e或--expression=	表示用指令命令或脚本来处理输入的文本文件
-f或--file=	表示用指定的脚本文件来处理输入的文本文件
-h或--help	显示帮助
-n、--quiet或silent	表示仅显示处理后的结果
-i.bak	直接编辑文本文件
-r、-E	使用扩展正则表达式
-s	将多个文件视为独立的文件，而不是单个连续的长文件流

“操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间进行，则表示为“5，20 动作行为”。

常见的操作
a	增加，在当前行下面增加一行指定内容
c	替换，将选定行替换为指定内容
d	删除，删除选定的行
i	插入，在选定行上面插入一行指定内容
p	打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
s	替换，替换指定字符
y	字符转换

2 实例

测试文本

     1	He was short and fat.
     2	He was wearing a blue polo shirt with black pants. 
     3	The home of Football on BBC Sport online.
     4	the tongue is boneless but it breaks bones.12! 
     5	google is the best tools for search keyword.
     6	The year ahead will test our political establishment to the limit.
     7	PI=3.141592653589793238462643383249901429
     8	a wood cross!
     9	Actions speak louder than words
       
       
    10	#woood #
    11	#woooooood 
    12	# AxyzxyzxyzxyzC
    13	I bet this place is really spooky late at night! 
    14	Misfortunes never come alone/single.

例1

sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。

例1

例2：删除符合条件的文本（d）

 

 例3：替换符合条件的文本
在使用 sed 命令进行替换操作时需要用到 s（字符串替换）、c（整行/整块替换）、y（字符转换）命令选项

 

 

 

 例4：迁移符合条件的文本

 在使用 sed 命令迁移符合条件的文本时，常用到以下参数.

• H:复制到剪贴板
• g、G:将剪贴板中的数据覆盖/追加至指定行
• w：保存为文件
• r：读取指定文件
• a：追加指定内容。具体操作方法如下所示
• I,i   忽略大小写

 

 

 

例5 ：使用脚本编辑文件

使用 sed 脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。例如执行以下命令即可将第 1~6 行内容转移至第 16 行后。