Изучаем команды Linux: команда sed Linux

Команда sed – это потоковый редактор текста, работающий по принципу замены. Его можно использовать для поиска, вставки, замены и удаления фрагментов. Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил.

Команда sed в Linux

Сначала рассмотрим синтаксис команды:

$ sedопции-e командыфайл

А вот её основные опции:

• -n, –quiet – не выводить содержимое буфера шаблона в конце каждой итерации;
• -e – команды, которые надо выполнить для редактирования;
• -f – прочитать команды редактирования из файла;
• -i – сделать резервную копию файла перед редактированием;
• -l – указать свою длину строки;
• -r – включить поддержку расширенного синтаксиса регулярных выражений;
• -s – если передано несколько файлов, рассматривать их как отдельные потоки, а не как один длинный.

Установка

Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:

$ sed –version

В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется “sed” независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.

Концепции

Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает “sed”, так как словосочетание “потоковый редактор” мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.

Как работает sed

Теперь нужно понять как работает команда sed. У утилиты есть два буфера, это активный буфер шаблона и дополнительный буфер. Оба изначально пусты. Программа выполняет заданные условия для каждой строки в переданном ей файле.

sed читает одну строку, удаляет из неё все завершающие символы и символы новой строки и помещает её в буфер шаблона. Затем выполняются переданные в параметрах команды, с каждой командой может быть связан адрес, это своего рода условие и команда выполняется только если подходит условие.

Когда всё команды будут выполнены и не указана опция -n, содержимое буфера шаблона выводится в стандартный поток вывода перед этим добавляется обратно символ перевода строки. если он был удален. Затем запускается новая итерация цикла для следующей строки.

Если не используются специальные команды, например, D, то после завершения одной итерации цикла содержимое буфера шаблона удаляется. Однако содержимое предыдущей строки хранится в дополнительном буфере и его можно использовать.

Адреса sed

Каждой команде можно передать адрес, который будет указывать на строки, для которых она будет выполнена:

• номер – позволяет указать номер строки, в которой надо выполнять команду;
• первая~шаг – команда будет выполняется для указанной в первой части сроки, а затем для всех с указанным шагом;
• $ – последняя строка в файле;
• /регулярное_выражение/ – любая строка, которая подходит по регулярному выражению. Модификатор l указывает, что регулярное выражение должно быть не чувствительным к регистру;
• номер, номер – начиная от строки из первой части и заканчивая строкой из второй части;
• номер, /регулярное_выражение/ – начиная от сроки из первой части и до сроки, которая будет соответствовать регулярному выражению;
• номер, +количество – начиная от номера строки указанного в первой части и еще плюс количество строк после него;
• номер, ~число – начиная от строки номер и до строки номер которой будет кратный числу.

Если для команды не был задан адрес, то она будет выполнена для всех строк. Если передан один адрес, команда будет выполнена только для строки по этому адресу. Также можно передать диапазон адресов. Тогда адреса разделяются запятой и команда будет выполнена для всех адресов диапазона.

Синтаксис

Синтаксис данной утилиты не отличается сложностью. Он представлен в виде:

sed [параметры]  [команды] (файл)

Первоначально необходимо изучить основные параметры, которые поддерживает команда:

• «-n» – дает возможность не выводить содержимое, присутствующее в буфере шаблона после каждой итерации.
• «-e» – позволяет выполнить команды, которые необходимы для редактирования текста.
• «-f» – дает возможность прочесть команды, которые были использованы при изменении файла.
• «-l». Опция позволяет указать требуемую длину строки.
• «-r». Опция применяется для включения поддержки синтаксиса расширенного типа, распространяющегося на активно используемые выражения.
• «-i». Функция предназначена для создания копии файла (в резерве) перед тем, как он будет отредактирован.
• «-s». Опция позволяет изучить несколько файлов единовременно. Они будут просмотрены не как длинные потоки, а как отдельные.

Чтобы выполнить несколько действий, используется аргумент “-e”.

sed -e [команды] (файл)

Первоначально кажется, что данная утилита очень сложная. На самом деле это не так, ей сможет пользоваться даже новичок в сфере программирования.

Стоит отметить, что данная утилита имеет два отдельно обособленных буфера – это основной и вспомогательный буфер (активного и пассивного плана). Первоначально они абсолютно пусты. Специальная программа передает предварительно определенные условия для всех строк передаваемого файла.

Первоначально программа «sed» изучает одну строку. Из нее удаляются все завершающие данные, а также символы, присутствующие в новой строке. Обрабатываемая стока помещается в главный буфер.

Далее выполняются команды, которые были переданы пользователем в параметрах. За каждой определенной командой закрепляется адрес. Он используется в качестве своеобразного условия. Команда пройдет лишь в том случае, если данное условие будет соблюдено.

После выполнения всех предписанных команд, содержимое буфера шаблона попадает в классический поток вывода. Это происходит в том случае, если предварительно не была указана функция «-n», которая ограничивает вывод содержимого.

Когда символ перевода изначально был удален, он добавляется обратно. Только после этого запускается следующая интерпретация, подразумевающая обработку новой строки.

Когда пользователь не планирует использование специальных команд, после завершения первой интерпретации все содержимое основного буфера будет удалено. Стоит отметить, что содержимое, которое относится к первоначально обработанной строке, сохраняется во вспомогательном буфере. Его применяют в дальнейшем при осуществлении задач.

Особенности адресов, предающихся утилите «sed»

Все команды получают свой адрес. Именно он указывает на строки, для которых выполняется команда:

• «номер». В данном случае прописывается номер определенной строки, где в последующем будет выполняться команда.
• «первая~шаг». Здесь команда выполняется для изначальной части строки, а далее – для всех остальных. В обязательном порядке указывается шаг.
• «$». Обрабатывается последняя строка, которая относится к выбранному вами файлу.
• «/часто используемое_выражение/». Здесь используется любая строка, подходящая по регулярному выражению. Оно не должно зависеть от особенностей регистра.
• «номер, номер». Обработка начинается с начала первой строки, а заканчивается концом второй строки.
• «номер,/регулярное_выражение/». Обработка начинается с первоначальной строки, заканчивается в той, которая соответствует информации в часто используемых фразах.
• «номер+количество». Обработка начинается с верхней строки, длится до той поры, пока не будет исчерпано предварительно указанное число строк.
• «номер~число». Обработка начинается со строки с определенным номеров. Она заканчивается той строкой, которая кратна определенному числовому обозначению.

Когда пользователь не желает задавать определенный адрес для программы «sed», она распространяется на все строки в файле. Если передается один адрес, команда выполняется до той строки, которая расположена по указанному адресу.

Есть возможность передавать диапазон адресов. Информация разделяется запятыми, а команда осуществляется для тех адресов, которые находятся в требуемом диапазоне.

Использование специальных символов:

Можно использовать спецсимволы:
^ – начало строки
$ – конец строки
. – обозначение одного символа

Полный набор не ограничен только этими тремя. Sed прекрасно понимает регулярные выражения (regular expressions).

Следующая команда заменит root на Admin в тех строках, которые начинаются с user:

sed ‘/^user/s/root/Admin/g’ имя_файла

Следующая команда заменит root на Admin в тех строках, которые заканчиваются словом data:

sed ‘/data$/s/root/Admin/g’ имя_файла

В том, случае если Вам нужно использовать какой-либо спецсимвол в sed ( $, ^, /, пробел, точка, ‘, и т.д.) его нужно экранировать с помощью .

С помощью следующей конструкции слово root с пробелом после него будет заменено на Admin с двоеточием:

sed ‘s/root /Admin:/g’ имя_файла

В случае использования символа

(pipe) в качестве разделителя спецсимволы экранировать не нужно, но при этом регулярные выражения работать не будут

sed ‘s|root |Admin:|g’ имя_файла

Регулярные выражения

Убрать все цыфры из вывода:

sed ‘s/[0-9][0-9]//g’

Продублировать отсеченное значение:

sed ‘s/root/& &/g’

Попробуйте выполнить:

echo`123 abc` | sed ‘s/[0-9][0-9]*/&-&/’

Регулярное выражение [0-9]* определят 0 или больше цыфр.
Регулярное выражение [0-9][0-9]* определят 1 или больше цыфр.

Если Вам нужно использовать первое слово из строки текста – обзначьте его экранированой цыфрой:

sed ‘s/([a-z]*).*/1/’

Проверьте сами:

echo’abcd qwer zxc 123’| sed ‘s/([a-z]*).*/1/’

Для того что бы поменять местами первое и второе слово – воспользуйтесь следующей конструкцией:

sed ‘s/([a-z]*) ([a-z]*)/2 1/’

Пробел в левой части выражения может быть заменен на любой другой разделитель.

Для теста:

echo’abcd qwer zxc 123’| sed -r’s/([a-z]+) ([a-z]+)/2 1/’

и

echo’abcd_qwer_zxc_123’| sed -r’s/([a-z]+)_([a-z]+)/2**_**1/’echo’abcd_qwer_zxc_123’| sed -r’s/([a-z]+)**_**([a-z]+)/2 1/’

Замена текства между двумя словами:

sed -ure’s/**word1**.+?**word2**/**word1** замена **word2**/g’-i файл

Использование переменных в выражениях sed

При написании bash скриптов мы используем переменные. Иногда возникает необходимость использовать эти переменные в выражениях sed.

Самый простой подход – использование двойных кавычек для обертки выражения:

sed ‘s/$var1/$var2/g’

Двойные кавычки не сработают, есть в $var1 или $var2 присутвствуют спецсимволы. Лучше всего – исключать переменные из обертки:

sed ‘s/”$var1”/”$var2”/g’

Основные команды Sed

Для того чтобы применить SED достаточно ввести в командную строку

echo ice | sed s/ice/fire/

Результат:

fire

Замена слова в файле

Обычно SED применяют к файлам, например к логам или конфигам.
Предположим, что у нас есть файл input.txt следующего содержания

Here is a StringHere is an IntegerHere is a Float

Мы хотим заменить слово Here на There

sed ‘s/Here/There/’ input.txt

Результат будет выведен в консоль:

There is a String
There is an Integer
There is a Float

Если нужно не вывести в консоль а изменить содержание файла – используем опцию -i

sed -i ‘s/Here/There/’ input.txt

В этом случае перепишется исходный файл input.txt

Рассмотрим пример посложнее. Файл input.txt теперь выглядит так:

Here is an Apple. Here is a Pen. Here is an ApplePenInteger is HereHere is a FloatHere is a Pen. Here is a Pineapple. Here is a PineapplePen

sed ‘s/Here/There/’ input.txt

Как Вы сейчас увидите, замена произойдёт только по одному разу в строке

There is an Apple. Here is a Pen. Here is an ApplePen
Integer is There
There is a Float
There is a Pen. Here is a Pineapple. Here is a PineapplePen

Чтобы заменить все слова нужна опция g

sed ‘s/Here/There/g’ input.txt

There is an Apple. There is a Pen. There is an ApplePen
Integer is There
There is a Float
There is a Pen. There is a Pineapple. There is a PineapplePen

Замена слова в файле и вывод результата в другой файл

Та же замена, но с выводом в новый текстовый файл, который мы назовём output:

sed ‘s/Here/There/’ input.txt > output.txt

Замена слова в нескольких файлах одновременно

Если нужно обработать сразу несколько файлов: например файл 1.txt с содержанием

First File: Here

И файл 2.txt с содержанием

Second File: Here

Это можно сделать используя *.txt

sed ‘s/Here/There/’ *.txt > output.txt

На выходе файл output.txt будет выглядеть так

First File: ThereSecond File: There

Отбросить всё, что левее определённого слова

Предположим, что у нас есть файл input.txt следующего содержания

Here is a String it has a NameHere is an Integer it has a NameHere is a Float it has a Name

Мы хотим отбросить всё, что находится левее слова it, включая слово it, и записать в файл.

sed ‘s/^.*it//’ input.txt > output.txt

^ означает, что мы стартуем с начала строки Результат:

 has a Name
has a Name
has a Name

Для доступности объясню синтаксис сравнив две команды. Посмотрите внимательно, когда мы заменяем слово Here на There.
There находится между двумя слэшами. Раскрашу их для наглядности в зелёный и красный.

sed ‘s/Here/There/‘

А когда мы хотим удалить что-то, мы сначала описываем, что мы хотим удалить. Например, всё от начала строки до слова it.
Теперь в правой части условия, где раньше была величина на замену, мы ничего не пишем, т.е. заменяем на пустое место. Надеюсь, логика понятна.

sed ‘s/^.*it//‘ > output.txt

Отбросить всё, что правее определённого слова

Предположим, что у нас есть файл input.txt следующего содержания

Here is a String / it has a NameHere is an Integer / it has a NameHere is a Float / it has a Name

Мы хотим отбросить всё, что находится правее слова is, включая слово is, и записать в файл.

sed ‘s/is.*//’ > output.txt

Результат:

HereHereHere

Экранирование символов в sed

Специальные символы экранируются с помощью
Предположим, что у нас есть файл input.txt следующего содержания

Here is a String / it has a NameHere is an Integer / it has a NameHere is a Float it / has a Name

Мы хотим отбросить всё, что находится левее /a, включая /a, и записать в файл.

sed ‘s/^.*/a//’ > output.txt

В результате получим ошибку

-e expression #1, char 15: unknown option to `s’

Чтобы команда заработала нужно добавить перед /

sed ‘s/^.*/a//’ > output.txt

Результат:

Here is a StringHere is an IntegerHere is a Float

Два условия одновременно в Sed

Предположим, что у нас есть файл input.txt следующего содержания

Here is a String /b it has a NameHere is an Integer /b it has a NameHere is a Float /b it has a Name

Мы хотим отбросить всё, что находится левее /b, включая /b, и всё, что правее has.
Таким образом, в каждой строчке должно остаться только слово it.
Нужно учесть необходимость экранирования специального символа / а также мы хотим направить вывод в файл.

sed ‘s/^.*/b// s/has.*//’ input.txt > output.txt

Результат:

ititit

Удаление переходов на новую строку

sed ‘:a;N;$!ba;s/n//g’ file

Удалить всё после определённой строки

Допустим Вы хотите удалить все строки после третьей

sed 3q input.txt > output.txt

Удаление текста

Можно легко удалить текст, который мы выводили в предыдущем примере, заменив команду “p” на команду “d”. Команда «-n» нам больше не нужна, потому что при использовании команды удаления утилита выводит все, что не удалено. Это позволяет нам видеть, что происходит. Изменим последнюю команду из предыдущего раздела так, чтобы она удаляла все нечетные строки, начиная с первой. В результате мы должны получить все строки, которые не были выведены в прошлый раз.

sed ‘1~2d’ BSD All rights reserved. Redistribution and use in source and binary forms, with or without are met: notice, this list of conditions and the following disclaimer. notice, this list of conditions and the following disclaimer in the 3. Neither the name of the University nor the names of its contributors without specific prior written permission. . . . . . .

При этом исходный файл не меняется. Результаты редактирования просто выводятся на экран. Если результат нужно сохранить, можно перенаправить стандартный вывод в файл:

sed ‘1~2d’ BSD > everyother.txt

Открыв этот файл командой cat, мы увидим тот же результат, который был на экране после выполнения предыдущей команды. По умолчанию sed не редактирует исходный файл в целях безопасности. Это можно изменить при помощи опции «-i», которая означает редактирование на месте. Исходный файл будет изменен. Давайте попробуем отредактировать только что созданный нами файл «everyother.txt». Снова удалим все нечетные строки:

sed -i ‘1~2d’ everyother.txt

При помощи cat можно убедиться, что файл был отредактирован.

Опция “-i” может быть опасной, но утилита предоставляет возможность создания резервной копии перед редактированием. Для этого сразу после опции “-i” укажите расширение резервной копии “.bak”:

sed -i.bak ‘1~2d’ everyother.txt

Будет создан файл резервной копии с расширением “bak”, а затем выполнено редактирование исходного файла.

Замена текста

Чаще всего sed используется для замены текста. Редактор позволяет осуществлять поиск текста по шаблону при помощи регулярных выражений. А затем заменять найденный текст. В простейшем варианте можно заменить одно слово на другое, используя следующий синтаксис:

‘s/старое_слово/новое_слово/’

Параметр «s» – это команда замены. Три слэша (/) нужны для разделения различных текстовых полей. Если вам удобно, вы можете использовать для этого другие символы. Например, если нам нужно изменить имя веб-сайта, удобнее использовать другой разделитель, так как URL содержат слэши. Воспользуемся командой echo для передачи примера:

echo “http://www.example.com/index.html” | sed ‘s_com/index_org/home_’ http://www.example.org/home.html

Здесь секция «com/index» заменяется на «org/home». В качестве разделителя используется нижнее подчеркивание «_». Не забудьте про последний разделитель, иначе sed выдаст ошибку.

echo “http://www.example.com/index.html” | sed ‘s_com/index_org/home’ sed: -e expression #1, char 22: unterminated `s’ command

Создадим файл для отработки замен:

echo “this is the song that never ends yes, it goes on and on, my friend some people started singing it not knowing what it was and they’ll continue singing it forever just because…” > annoying.txt

Теперь заменим «on» на «forward»

sed ‘s/on/forward/’ annoying.txt this is the sforwardg that never ends yes, it goes forward and on, my friend some people started singing it not knowing what it was and they’ll cforwardtinue singing it forever just because…

Стоит обратить внимание на ряд моментов. Во-первых, мы заменяем шаблоны, а не слова. “on” в слове “song” было заменено на “forward”. Во-вторых, второе “on” в строке 2 заменено не было. Это произошло потому, что по умолчанию команда “s” обрабатывает первое совпадение в строке. А затем переходит к следующей строке. Для замены каждого “on”, а не только первого в строке, можно указать команде замены флаг “g” после шаблонов:

sed ‘s/on/forward/g’ annoying.txt this is the sforwardg that never ends yes, it goes forward and forward, my friend some people started singing it not knowing what it was and they’ll cforwardtinue singing it forever just because…

Теперь были заменены все “on”. Чтобы заменить только вторые “on” в каждой строке, вместо “g” нужно указать “2”:

sed ‘s/on/forward/2’ annoying.txt this is the song that never ends yes, it goes on and forward, my friend some people started singing it not knowing what it was and they’ll continue singing it forever just because…

Если нам нужно вывести только те строки, где выполнялась замена, для отмены автоматического вывода можно снова воспользоваться опцией «-n». Затем мы можем передать флаг “p” для вывода строк, в которых производились замены.

sed -n ‘s/on/forward/2p’ annoying.text yes, it goes on and forward, my friend

Пример показывает, что флаги в конце команды можно комбинировать. Чтобы игнорировать регистр, нужно указать флаг “i”.

sed ‘s/SINGING/saying/i’ annoying.txt this is the song that never ends yes, it goes on and on, my friend some people started saying it not knowing what it was and they’ll continue saying it forever just because…

Если нужно заменить текст во всех файлах директории то можно воспользоваться командой

grep ‘текс’ -P -R -I -l  * | xargs sed -i ‘s/текст_который_нужно_искать/текст/g’

Примеры использования sed

Синтаксис команды	Описание
sed ‘s/Nick/John/g’ report.txt	Заменяет каждое вхождение Nick на John в файле report.txt
sed ‘s/Nick|nick/John/g’ report.txt	Заменяет каждое вхождение Nick или nick на John.
sed ‘s/^/ /’ file.txt > file_new.txt	Добавляет 8 пробелов слева от текста для улучшения качества печати.
sed -n ‘/Of course/,/attention you pay/p’ myfile	Выводит все абзацы, начинающиеся с “Of course” и заканчивающиеся на “attention you pay”.
sed -n 12,18p file.txt	Выводит только строки 12-18 файла file.txt
sed 12,18d file.txt	Выводит весь файл file.txt за исключением строк с 12 по 18
sed G file.txt	Вставляет пустую строку после каждой строки в file.txt
sed -f script.sed file.txt	Записывает все команды в script.sed и выполняет их.
sed ‘5!s/ham/cheese/’ file.txt	Заменяет ham на cheese в file.txt за исключением 5-й строки
sed ‘$d’ file.txt	Удаляет последнюю строку
sed -n ‘/[0-9]{3}/p’ file.txt	Печатает только строки с тремя последовательными цифрами
sed ‘/boom/s/aaa/bb/’ file.txt	Если найден “boom”, заменить aaa на bb
sed ’17,/disk/d’ file.txt	Удаляет все строки, начиная с 17-й, до “disk”. Если строк с “disk” несколько, удаляет до первой из них.
echo ONE TWO | sed “s/one/unos/I”	Заменяет one на unos независимо от регистра, поэтому будет напечатано “unos TWO”
sed ‘G;G’ file.txt	Вставляет две пустые строки после каждой строки в file.txt
sed ‘s/.$//’ file.txt	Способ замены dos2unix :). В общем случае удаляет последний символ в каждой строке.
sed ‘s/^[ t]*//’ file.txt	Удаляет все пробелы/табы перед каждой строкой в file.txt
sed ‘s/[ t]*$//’ file.txt	Удаляет все пробелы/табы в конце каждой строки в file.txt
sed ‘s/^[ t]*//;s/[ t]*$//’ file.txt	Удаляет все пробелы/табы в начале и в конце каждой строки в file.txt
sed ‘s/foo/bar/’ file.txt	Заменяет foo на bar только в первом вхождении в строке.
sed ‘s/foo/bar/4’ file.txt	Заменяет foo на bar только в четвертом вхождении в строке.
sed ‘s/foo/bar/g’ file.txt	Заменяет foo на bar для всех вхождений в строке.
sed ‘/baz/s/foo/bar/g’ file.txt	Заменить foo на bar только если строка содержит baz.
sed ‘/./,/^$/!d’ file.txt	Сжать все последовательные пустые строки до одной. Пустой строки сверху не остается.
sed ‘/^$/N;/n$/D’ file.txt	Сжать все последовательные пустые строки до одной, но оставить верхнюю пустую строку.
sed ‘/./,$!d’ file.txt	Удалить все начальные пустые строки
sed -e :a -e ‘/^n*$/{$d;N;};/n$/ba’ file.txt	Удалить все замыкающие пустые строки
sed -e :a -e ‘/\$/N; s/\n/ /; ta’ file.txt	Если строка заканчивается обратным сплешем, соединить ее со следующей (полезно для скриптов оболочки)
sed -n ‘/regex/,+5p’ file.txt	Выводит 5 строк после строки содержащей regex
sed ‘1~3d’ file.txt	Удалить каждую третью строку, начиная с первой.
sed -n ‘2~5p’ file.txt	Печатать каждую пятую строку, начиная со второй.
sed ‘s/[Nn]ick/John/g’ report.txt	Другой способ записи некоторых приведенных выше примеров. Вы можете предложить свой?
sed -n ‘/RE/{p;q;}’ file.txt	Печатает строку с первым соответствием RE (регулярного выражения)
sed ‘0,/RE/{//d;}’ file.txt	Удаляет строку с первым соответствием
sed ‘0,/RE/s//to_that/’ file.txt	Изменяет только первое соответствие
sed ‘s/^[^,]*,/9999,/’ file.csv	Заменяет на 9999 все значения в первой колонке CSV-файла
s/^ *(.*[^ ]) *$/|1|/; s/” *, */”|/g; : loop s/| *([^”,|][^,|]*) *, */|1|/g; s/| *, */||/g; t loop s/ *|/|/g; s/| */|/g; s/^|(.*)|$/1/;	Скрипт sed для конвертирования CSV-файла в файл с вертикальной чертой в качестве разделителя (работает только с некоторыми типами CSV, со встроенными кавычками и запятыми).
sed ‘:a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/12,3/g;ta’ file.txt	Меняет формат чисел в file.txt с 1234.56 на 1.234.56
sed -r “s/<(reg|exp)[a-z]+/U&/g”	Переводит любое слово, начинающееся с reg или exp в верхний регистр.
sed ‘1,20 s/Johnson/White/g’ file.txt	Производит замену Johnson на White только в строках 1 – 20.
sed ‘1,20 !s/Johnson/White/g’ file.txt	Предыдущий пример наоборот (заменяет везде, кроме строк 1-20)
sed ‘/from/,/until/ { s//magenta/g; s//cyan/g; }’ file.txt	Заменяет только между “from” и “until”. Если областей “from”-“until” несколько, заменяет в каждой из них.
sed ‘/ENDNOTES:/,$ { s/Schaff/Herzog/g; s/Kraft/Ebbing/g; }’ file.txt	Заменяет только со слова “ENDNOTES:” и до EOF
sed ‘/./{H;$!d;};x;/regex/!d’ file.txt	Печатает абзац только если он содержит regex
sed -e ‘/./{H;$!d;}’ -e ‘x;/RE1/!d;/RE2/!d;/RE3/!d’ file.txt	Печатает абзацы только если они содержат RE1, RE2 и RE3. Порядок RE1, RE2 и RE3 не имеет значения.
sed ‘s/14″/fourteen inches/g’ file.txt	Так вы сможете использовать двойные кавычки
sed ‘s//some/UNIX/path//a/new/path/g’ file.txt	Работа с путями Unix
sed ‘s/[a-g]//g’ file.txt	Удаляет все символы, начиная с a и заканчивая g из файла file.txt
sed ‘s/(.*)foo/1bar/’ file.txt	Заменяет только последнее в строке соответствие foo на bar
sed ‘1!G;h;$!d’	Замена команды tac
sed ‘/n/!G;s/(.)(.*n)/&21/;//D;s/.//’	Замена команды rev
sed 10q file.txt	Замена команды head
sed -e :a -e ‘$q;N;11,$D;ba’ file.txt	Замена команды tail
sed ‘$!N; /^(.*)n1$/!P; D’ file.txt	Замена команды uniq
sed ‘$!N; s/^(.*)n1$/1/;t; D’ file.txt	Обратная команда (что эквивалентно uniq -d)
sed ‘$!N;$!D’ file.txt	Эквивалент tail -n 2
sed -n ‘$p’ file.txt	… tail -n 1 (или tail -1)
sed ‘/regexp/!d’ file.txt	Эквивалент grep
sed -n ‘/regexp/{g;1!p;};h’ file.txt	Печатает строку, находящуюся перед первым соответствием регулярному выражению, но не включающую само соответствие
sed -n ‘/regexp/{n;p;}’ file.txt	Печатает строку, находящуюся после первого соответствия регулярному выражению, но не включающую само соответствие
sed ‘/pattern/d’ file.txt	Удаляет строки, соответствующие шаблону pattern
sed ‘/./!d’ file.txt	Удаляет все пустые строки из файла
sed ‘/^$/N;/n$/N;//D’ file.txt	Сжимает все последовательные пустые строки до двух пустых. Одинарные пустые строки не изменяются.
sed -n ‘/^$/{p;h;};/./{x;/./p;}’ file.txt	Удаляет последнюю строку каждого абзаца
sed ‘/^$/q’	Получает заголовок письма. Другими словами – удаляет все после первой пустой строки.
sed ‘1,/^$/d’	Получает тело письма. Другими словами – удаляет все до первой пустой строки.
sed ‘/^Subject: */!d; s///;q’	Получает тему письма
sed ‘s/^/> /’	Цитирует сообщение, вставляя “> ” перед каждой строкой
sed ‘s/^> //’	Обратная команда (убирает цитирование из сообщения)
sed -e :a -e ‘s/<[^>]*>//g;/	Удаляет HTML-теги
sed ‘/./{H;$!d;};x;s/n/={NL}=/g’ file.txt | sort | sed ‘1s/={NL}=//;s/={NL}=/n/g’	Сортирует абзацы в file.txt в алфавитном порядке
sed ‘s@/usr/bin@&/local@g’ path.txt	Заменяет /usr/bin на /usr/bin/local в path.txt
sed ‘s@^.*$@<&>>>@g’ path.txt	Попробуйте и увидите 🙂
sed ‘s/(/[^:]*).*/1/g’ path.txt	При условии, что path.txt содержит $PATH, выводит только первый путь в каждой строке
sed ‘s/([^:]*).*/1/’ /etc/passwd	Замена awk – показывает только пользователей из файла passwd
echo “Welcome To The Geek Stuff” | sed ‘s/(b[A-Z])/(1)/g’	Понятно без объяснений – (W)elcome (T)o (T)he (G)eek (S)tuff
sed ‘/./{H;$!d;};x;s/n/={NL}=/g’ file.txt | sed ‘/END$/s/hills/mountains/g’ | sed ‘1s/={NL}=//;s/={NL}=/n/g’	Заменяет “hills” на “mountains”, но только в блоках текста, начинающихся с пустой строки и заканчивающихся строкой с тремя символами “END”, включительно.
sed -e ‘/^#/d’ /etc/services | more	Показывает файл services без закомментированных строк
sed ‘$s@([^:]*):([^:]*):([^:]*)@3:2:1:@g’ path.txt	Меняет порядок первых трех элементов в последней строке файла path.txt на обратный
sed ‘/regex/{x;p;x;}’ file.txt	Вставляет новую строку выше каждой строки, соответствующей регулярному выражению
sed ‘/AAA/!d; /BBB/!d; /CCC/!d’ file.txt	Ищет строки содержащие AAA, BBB и CCC в любом порядке
sed ‘/AAA.*BBB.*CCC/!d’ file.txt	Ищет строки содержащие AAA, BBB и CCC в заданном порядке
sed -n ‘/^.{65}/p’ file.txt	Печатает строки длиной 65 символов и более
sed -n ‘/^.{65}/!p’ file.txt	Печатает строки длиной 65 символов и менее
sed ‘/regex/G’ file.txt	Вставляет пустую строку под каждой строкой, содержащей regex
sed ‘/regex/{x;p;x;G;}’ file.txt	Вставляет пустую строку над и под каждой строкой, содержащей regex
sed = file.txt | sed ‘N;s/n/t/’	Нумерует строки в file.txt
sed -e :a -e ‘s/^.{1,78}$/ &/;ta’ file.txt	Выровнять текст по правому краю
sed -e :a -e ‘s/^.{1,77}$/ &/;ta’ -e ‘s/( *)1/1/’ file.txt	Выровнять текст по центру

В окружении UNIX: конвертируем новые строки DOS (CR/LF) в формат Unix.

Предполагаем, что все строки оканчиваются на CR/LF

sed ‘s/.$//’

В bash/tcsh, нажмите Ctrl-V затем Ctrl-M

sed ‘s/^M$//’

Работает на ssed, gsed 3.02.80 или выше

sed ‘s/x0D$//’

В окружении UNIX: конвертируем новые строки Unix (LF) в формат DOS.

Командная строка под ksh

sed “s/$/`echo -e \r`/”

Командная строка под bash

sed ‘s/$'”/`echo \r`/”

Командная строка под zsh

sed “s/$/`echo \r`/”

gsed 3.02.80 или выше

sed ‘s/$/r/’

В окружении DOS: конвертируем новые строки Unix (LF) в формат DOS.

Метод 1

sed “s/$//”

Метод 2

sed -n p

В окружении DOS: конвертировать DOS переводы строк (CR/LF) в формат Unix.

Может быть только сделано с UnxUtils sed, версии 4.0.7 или выше. Версию UnxUtils можно узнать пользовательским свичем “–text”, который появляется когда вы используете свич “–help”. В других случаях изменение перевода строк DOS в перевод строк Unix не может быть выполнено в окружении DOS. Используйте вместо этого “tr”.

UnxUtils sed v4.0.7 или выше

sed “s/r//” infile >outfile

GNU tr версия 1.22 или выше

tr -d r outfile

Удалить пустоту в начале (пробелы, табуляции) от передней части каждой строки выравнивает весь текст по левому краю

sed ‘s/^[ t]*//’

Удаление пустоты (пробелы, табуляции) в конце каждой строки

Удаление пустоты как в начале, так и в конце каждой строки

sed ‘s/^[ t]*//;s/[ t]*$//’

Вставка 5 пробелов в начале каждой строки (сделать отступ страницы)

sed ‘s/^/ /’

Выравнять весь текст заподлицо справа на 79-ом столбце по ширине

sed -e :a -e ‘s/^.{1,78}$/ &/;ta’ # установить в 78 плюс 1 пробел

Центрировать весь текст в середине на 79-ом столбце по ширине

В первом методе пробелы в начале строки имеют значение, и в конце строки добавляются пробелы.

sed -e :a -e ‘s/^.{1,77}$/ & /;ta’

Во втором методе пробелы из начала строки отбрасываются в центрируемой строке, и в конце строки пробелы не добавляются.

sed -e :a -e ‘s/^.{1,77}$/ &/;ta’ -e ‘s/( *)1/1/’

Подстановка (поиск и замена “foo” на “bar” в каждой строке

Заменить только первое вхождение в строке

sed ‘s/foo/bar/’

Заменить только четвёртое вхождение в строке

sed ‘s/foo/bar/4’

Заменить ВСЕ вхождения в строке

sed ‘s/foo/bar/g’

Заменяет следующее-на-последнее вхождение (the next-to-last case)

sed ‘s/(.*)foo(.*foo)/1bar2/’

Поменять только последний случай

sed ‘s/(.*)foo/1bar/’

Поменять “foo” на “bar” ТОЛЬКО для строк, которые содержат “baz”

sed ‘/baz/s/foo/bar/g’

Заменить “foo” на “bar” КРОМЕ строк, которые содержат “baz”

sed ‘/baz/!s/foo/bar/g’

Поменять “scarlet” или “ruby” или “puce” на “red”

Большинство sed

sed ‘s/scarlet/red/g;s/ruby/red/g;s/puce/red/g’

Только GNU sed

gsed ‘s/scarlet|ruby|puce/red/g’

Обратный порядок строк (эмулирует “tac”) баг/фича в HHsed v1.5 приводит к тому, что пустые строки удаляются

Метод первый

sed ‘1!G;h;$!d’

Метод второй

sed -n ‘1!G;h;$p’

Обратный порядок всех символов в строке (эмулирует “rev”)

sed ‘/n/!G;s/(.)(.*n)/&21/;//D;s/.//’

Соединить пары строк (наподобие “paste”)

sed ‘$!N;s/n/ /’

Если строка заканчивается на обратный слэш, прикрепить к ней следующую строку

sed -e :a -e ‘/\$/N; s/\n//; ta’

Если строка начинается со знака равно, прикрепить её к предыдущей строке и заменить “=” на пробел

sed -e :a -e ‘$!N;s/n=/ /;ta’ -e ‘P;D’

Добавить запятые в цифровую строку, замена “1234567” на “1,234,567”

GNU sed

gsed ‘:a;s/B[0-9]{3}>/,&/;ta’

Другие seds

sed -e :a -e ‘s/(.*[0-9])([0-9]{3})/1,2/;ta’

Добавить запятые к номерам, в том числе содержащим десятичные точки и знаки минус (GNU sed)

gsed -r ‘:a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/12,3/g;ta’

Добавить пустую строку каждые 5 строк (после каждых 5, 10, 15, 20 и т. д. строк)

Только GNU sed

gsed ‘0~5G’

Другие sed

sed ‘n;n;n;n;G;’

Выборочная печать конкретных строк:

Напечатать первые 10 строк файла (эмулирует поведение “head”)

sed 10q

Напечатать первую строку файла (эмулирует “head -1″)

sed q

Напечатать последние 10 строк файла (эмулирует “tail”)

sed -e :a -e ‘$q;N;11,$D;ba’

Напечатать последние 2 строки файла (эмулирует “tail -2″)

sed ‘$!N;$!D’

Напечатать последнюю строку файла (эмулирует “tail -1″)

Первый метод

sed ‘$!d’

Второй метод

sed -n ‘$p’

Напечатать строки файла начиная с последней

Для файла в одну строку напечатать пустую строку

sed -e ‘$!{h;d;}’ -e x

Для файла в одну строку, напечатать эту строку:

sed -e ‘1{$q;}’ -e ‘$!{h;d;}’ -e x

Для файла в одну строку ничего не печатать

sed -e ‘1{$d;}’ -e ‘$!{h;d;}’ -e x

Печатать только строки, которые соответствуют регулярному выражению (эмулирует “grep”)

Метод 1

sed -n ‘/regexp/p’

Метод 2

sed ‘/regexp/!d’

Печатать только строки, которые НЕ соответствуют регулярному выражению (эмулирует “grep -v”)

Метод 1, соответствует вышеприведённому

sed -n ‘/regexp/!p’

Метод 2, упрощённый синтаксис

sed ‘/regexp/d’

Печатать строку, которая идёт перед строкой, удовлетворяющей регулярному выражению, но не строку, содержащую регулярное выражение

sed -n ‘/regexp/{g;1!p;};h’

Печатать строку, которая идёт сразу после регулярного выражения, но не строку, содержащую регулярное выражение

sed -n ‘/regexp/{n;p;}’

Печатать по одной строке перед и после регулярного выражения, с номером строки, показывающей где встретилось регулярное выражение (наподобии “grep -A1 -B1″)

sed -n -e ‘/regexp/{=;x;1!p;g;$!N;p;D;}’ -e h

grep для AAA и BBB и CCC (в любом порядке)

sed ‘/AAA/!d; /BBB/!d; /CCC/!d’

grep для AAA и BBB и CCC (в таком порядке)

sed ‘/AAA.*BBB.*CCC/!d’

grep для AAA или BBB или CCC (эмулирует “egrep”)

Большинство sed

sed -e ‘/AAA/b’ -e ‘/BBB/b’ -e ‘/CCC/b’ -e d

Только GNU sed

gsed ‘/AAA|BBB|CCC/!d’

Напечатать параграф, если он содержит AAA (параграфы разделяют пустые строки) HHsed v1.5 должен вставить ‘G;’ после ‘x;’ в следующих трёх скриптах ниже

sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/!d;’

Напечатать параграф, если он содержит AAA и BBB и CCC (в любом порядке)

sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/!d;/BBB/!d;/CCC/!d’

Напечатать параграф, если он содержит AAA или BBB или CCC

sed -e ‘/./{H;$!d;}’ -e ‘x;/AAA/b’ -e ‘/BBB/b’ -e ‘/CCC/b’ -e d

Только GNU sed

gsed ‘/./{H;$!d;};x;/AAA|BBB|CCC/b;d’

Напечатать только строки длинной 65 символов или длиннее

sed -n ‘/^.{65}/p’

Напечатать только строки, которые короче 65 символов

Метод 1, соответствует вышеприведённому

sed -n ‘/^.{65}/!p’

Метод 2, упрощённый синтаксис

sed ‘/^.{65}/d’

Напечатать секцию файла от регулярного выражения до конца файла

sed -n ‘/regexp/,$p’

Напечатать секцию файла, включающую номера строк (строки 8-12, включая и 8 и 12)

Метод 1

sed -n ‘8,12p’

Метод 2

sed ‘8,12!d’

Напечатать строку с номером 52

Способ 1

sed -n ’52p’

Способ 2

sed ’52!d’

Способ 3, эффективен на больших файлах

sed ’52q;d’

Начиная со строки 3, печатать каждую седьмую строку

Только GNU sed

gsed -n ‘3~7p’

Другие sed

sed -n ‘3,${p;n;n;n;n;n;n;}’

Напечатать раздел файла между двумя регулярными выражениями (включая)

sed -n ‘/Iowa/,/Montana/p’ # чувствительно к регистру

Выборочное удаление конкретных строк:

Напечатать весь файл КРОМЕ секции между двумя регулярными выражениями 2

sed ‘/Iowa/,/Montana/d’

Удалить дубликаты последовательных строк файла (эмулирует “uniq”). Первая строка из двух дублирующих сохраняется, остальное удаляется.

sed ‘$!N; /^(.*)n1$/!P; D’

Удалить дубликаты непоследовательных строк из файла. Остерегайтесь переполнения буфера или используйте GNU sed.

sed -n ‘G; s/n/&&/; /^([ -~]*n).*n1/d; s/n//; h; P’

Удалить все строки, кроме дублирующих строк (эмулирует “uniq -d”).

sed ‘$!N; s/^(.*)n1$/1/; t; D’

Удалить первые 10 строк файла

sed ‘1,10d’

Удалить последние строки файла

sed ‘$d’

Удалить последние 2 строки файла

sed ‘N;$!P;$!D;$d’

Удалить последние 10 строк файла

Способ 1

sed -e :a -e ‘$d;N;2,10ba’ -e ‘P;D’

Способ 2

sed -n -e :a -e ‘1,10!{P;N;D;};N;ba’

Удалить каждую восьмую строку файла

Только GNU sed

gsed ‘0~8d’

Другие sed

sed ‘n;n;n;n;n;n;n;d;’

Удалить строки, содержащие паттерн

sed ‘/pattern/d’

Удалить ВСЕ пустые строки из файла (то же самое что и “grep ‘.’ “)

Способ 1

sed ‘/^$/d’

Способ 2

sed ‘/./!d’

Удалить все ПОСЛЕДОВАТЕЛЬНЫЕ пустые строки из файла, кроме первой, также удаляет все пустые строки в начале и в конце файла (эмулирует “cat -s”)

Способ 1, позволяет 0 пустых строк вверху, 1 в EOF

sed ‘/./,/^$/!d’

Способ 2, позволяет 1 пустую строку вверху, 0 в EOF

sed ‘/^$/N;/n$/D’

Удалить все ПОСЛЕДОВАТЕЛЬНЫЕ пустые строки из файла кроме первых двух:

sed ‘/^$/N;/n$/N;//D’

Удалить все первые пустые строки в файле

sed ‘/./,$!d’

Удалить все конечные пустые строки в файле

sed -e :a -e ‘/^n*$/{$d;N;ba’ -e ‘}’ # works on all seds

Удалить последнюю строку каждого параграфа

sed -n ‘/^$/{p;h;};/./{x;/./p;}’

Заключение

Мы рассмотрели основы использования sed. Теперь вы можете быстро редактировать текстовые документы при помощи соответствующих команд sed.

[spoiler title=”Источники”]

• https://losst.ru/komanda-sed-linux
• http://rus-linux.net/MyLDP/consol/sed.html
• https://www.vseprolinux.ru/linux-sed
• https://www.tech-notes.net/sed-examples/
• https://www.AndreyOlegovich.ru/IT/sed/
• https://ITProffi.ru/komanda-sed-v-linux-vyvod-teksta-udalenie-zamena/
• https://ZaLinux.ru/?p=266

[/spoiler]