Основные приёмы обработки строк в bash

Работа со строками в bash осуществляется при помощи встроенных в оболочку команд.

Термины

• Консольные окружения — интерфейсы, в которых работа выполняется в текстовом режиме.
• Интерфейс — механизм взаимодействия пользователя с аппаратной частью компьютера.
• Оператор — элемент, задающий законченное действие над каким-либо объектом операционной системы (файлом, папкой, текстовой строкой и т. д.).
• Текстовые массивы данных — совокупность строк, записанных в переменную или файл.
• Переменная — поименованная область памяти, позволяющая осуществлять запись и чтение данных, которые в нее записываются. Она может принимать любые значения: числовые, строковые и т. д.
• Потоковый текстовый редактор — программа, поддерживающая потоковую обработку текстовой информации в консольном режиме.
• Регулярные выражения — формальный язык поиска части кода или фрагмента текста (в том числе строки) для дальнейших манипуляций над найденными объектами.
• Bash-скрипты — файл с набором инструкций для выполнения каких-либо манипуляций над строкой, текстом или другими объектами операционной системы.

Сравнение строковых переменных

Для выполнения операций сопоставления 2 строк (str1 и str2) в ОС на основе UNIX применяются операторы сравнения.

Основные операторы сравнения

1. Равенство «=»: оператор возвращает значение «истина» («TRUE»), если количество символов в строке соответствует количеству во второй.
2. Сравнение строк на эквивалентность «==»: возвращается «TRUE», если первая строка эквивалентна второй (дом == дом).
3. Неравенство «str1 != str2»: «TRUE», если одна строковая переменная не равна другой по количеству символов.
4. Неэквивалентность «str1 !== str2»: «TRUE», если одна строковая переменная не равна другой по смысловому значению (дерево !== огонь).
5. Первая строка больше второй «str1 > str2»: «TRUE», когда str1 больше str2 по алфавитному порядку. Например, «дерево > огонь», поскольку литера «д» находится ближе к алфавитному ряду, чем «о».
6. Первая строка меньше второй «str1 < str2»: «TRUE», когда str1 меньше str2 по алфавитному порядку. Например, «огонь < дерево», поскольку «о» находится дальше к началу алфавитного ряда, чем «д».
7. Длина строки равна 0 «-z str2»: при выполнении этого условия возвращается «TRUE».
8. Длина строки отлична от нулевого значения «-n str2»: «TRUE», если условие выполняется.

Пример скрипта для сравнения двух строковых переменных

1. Чтобы сравнить две строки, нужно написать bash-скрипт с именем test.
   
2. Далее необходимо открыть терминал и запустить test на выполнение командой:

   ./test

3. Предварительно необходимо дать файлу право на исполнение командой:

   chmod +x test

4. После указания пароля скрипт выдаст сообщение на введение первого и второго слова. Затем требуется нажать клавишу «Enter» для получения результата сравнения.

Создание тестового файла

Обработка строк не является единственной особенностью консольных окружений Ubuntu. В них можно обрабатывать текстовые массивы данных.

1. Для практического изучения команд, с помощью которых выполняется работа с текстом в интерпретаторе bash, необходимо создать текстовый файл txt.
2. После этого нужно наполнить его произвольным текстом, разделив его на строки. Новая строка не должна сливаться с другими элементами.
3. Далее нужно перейти в директорию, в которой находится файл, и запустить терминал с помощью сочетания клавиш — Ctrl+Alt+T.

Основы работы с grep

Поиск строки в файле операционной системы Linux Ubuntu осуществляется посредством специальной утилиты — grep. Она позволяет также отфильтровать вывод информации в консоли. Например, вывести все ошибки из log-файла утилиты ps или найти PID определенного процесса в ее отчете.

Команда grep работает с шаблонами и регулярными выражениями. Кроме того, она применяется с другими командами интерпретатора bash.

Синтаксис команды

Для работы с утилитой grep необходимо придерживаться определенного синтаксиса

1. grep [options] pattern [file_name1 file_name2 file_nameN] (где «options» — дополнительные параметры для указания настроек поиска и вывода результата; «pattern» — шаблон, представляющий строку поиска или регулярное выражение, по которым будет осуществляться поиск; «file_name1 file_name2 file_nameN» — имя одного или нескольких файлов, в которых производится поиск).
2. instruction | grep [options] pattern (где «instruction» — команда интерпретатора bash, «options» — дополнительные параметры для указания настроек поиска и вывода результата, «pattern» — шаблон, представляющий строку поиска или регулярное выражение, по которым будет производиться поиск).

Основные опции

• Отобразить в консоли номер блока перед строкой — -b.
• Число вхождений шаблона строки — -с.
• Не выводить имя файла в результатах поиска — -h.
• Без учета регистра — -i.
• Отобразить только имена файлов с совпадением строки — -l.
• Показать номер строки — -n.
• Игнорировать сообщения об ошибках — -s.
• Инверсия поиска (отображение всех строк, в которых не найден шаблон) — -v.
• Слово, окруженное пробелами, — -w.
• Включить регулярные выражения при поиске — -e.
• Отобразить вхождение и N строк до и после него — -An и -Bn соответственно.
• Показать строки до и после вхождения — -Cn.

Практическое применение grep

Поиск подстроки в строке

В окне терминала выводятся все строки, содержащие подстроку. Найденные совпадения подсвечиваются другим цветом.

• С учетом регистра:

  grep Bourne firstfile.txt

• Без учета регистра:

  grep -i "Bourne"txt

Вывод нескольких строк

• Строка с вхождением и две после нее:

  grep -A2 "Bourne"txt

• Строка с вхождением и три до нее:

  grep -B3 "Bourne"txt

• Строка, содержащая вхождение, и одну до и после нее:

  grep -C1 "Bourne"txt

Чтение строки из файла с использованием регулярных выражений

Регулярные выражения расширяют возможности поиска и позволяют выполнить разбор строки на отдельные элементы. Они активируются при помощи ключа -e.

• Вывод строки, в начале которой встречается слово «Фамилия».
  В регулярных выражения для обозначения начала строки используется специальный символ «^».

  grep "^Фамилия" firstfile.txt

  Чтобы вывести первый символ строки, нужно воспользоваться конструкцией

  grep "^Ф" firstfile.txt

• Конец строки, заканчивающийся словом «оболочка». Для обозначения конца строки используется мета-символ «$».
  grep «оболочка$» firstfile.txt Если требуется вывести символ конца строки, то следует применять конструкцию
  grep «а.$» firstfile.txt. В этом случае будут выведены все строки, заканчивающиеся на литеру «а».
  
• Строки, содержащие числа.
  

  grep -C1 "Bourne"txt

  Если воспользоваться числовыми интервалами, то можно вывести все строки, в которых встречаются числа:

  grep "[0-9]"txt

Рекурсивный режим поиска

• Чтобы найти строку или слово в нескольких файлах, расположенных в одной папке, нужно использовать рекурсивный режим поиска:

  grep -r "оболочка$"

• Если нет необходимости выводить имена файлов, содержащих искомую строку, то можно воспользоваться ключом-параметром деактивации отображения имен:

  grep -h -r "оболочка$"

Точное вхождение

При поиске союза «и» grep будет выводить все строки, в которых он содержится. Чтобы этого избежать, требуется использовать специальный ключ «w»:

grep -w "и" firstfile.txt

Поиск нескольких слов

Утилита «w» позволяет искать не только одно слово, но и несколько одновременно

grep -w "и | но" firstfile.txt

Количество строк в файле

При помощи grep можно определить число вхождений строки или подстроки в текстовом файле и вывести ее номер.

• Число вхождений:

  grep -с "Bourne"txt

• Номера строк с совпадениями:

  grep -n "Bourne"txt

Инверсия

Если в тексте требуется найти определенные строки, которые не содержат какого-либо слова или подстроки, то рекомендуется использовать инверсионный режим поиска.

grep -v "Unix" firstfile.txt

Вывод только имени файла

Чтобы не выводить все строки с совпадением, а вывести только имя файла, нужно воспользоваться конструкцией:

grep -I "Unix" *.txt

Использование sed

Потоковый текстовый редактор «sed» встроен в bash Linux Ubuntu. Он использует построчное чтение, а также позволяет выполнить фильтрацию и преобразование текста.

Синтаксис

Для работы с потоковым текстовым редактором sed используется следующий синтаксис:

sed [options] instructions [file_name] (где «options» — ключи-опции для указания метода обработки текста, «instructions» — команда, совершаемая над найденным фрагментом текста, «file_name» — имя файла, над которым совершаются действия).

Для вывода всех опций потокового текстового редактора нужно воспользоваться командой:

sed --help

Распространенные конструкции с sed

Замена слова

Например, если требуется заменить строку в файле или слово с «команды» на «инструкции». Для этого нужно воспользоваться следующими конструкциями:

• Для первого вхождения:

  sed 's/команды/инструкции/' firstfile.txt

  

• Для всех вхождений (используется параметр инструкции — g):

  sed 's/команды/инструкции/g' firstfile.txt

• Замена подстроки с несколькими условиями (используется ключ — -e):

  sed -e 's/команды/инструкции/g' -e 's/команд/инструкций/g' firstfile.txt

• Заменить часть строки, если она содержит определенный набор символов (например, POSIX):

  sed '/POSIX/s/Bash/оболочка/g' firstfile.txt

• Выполнить замену во всех строках, начинающихся на «Bash»
  

  sed '/^Bash/s/Bash/оболочка/g' firstfile.txt

• Произвести замену только в строках, которые заканчиваются на «Bash»:
  

  sed '/команды/s/Bash/оболочка/g' firstfile.txt

• Заменить слово с пробелом на слово с тире:

  sed 's/Bash\ /оболочка-/g' firstfile.txt

• Заменить символ переноса строки на пробел

  sed 's/\n/ /g' firstfile.txt

• Перенос строки обозначается символом — \n.

Редактирование файла

Чтобы записать строку в файл, нужно указать параметр замены одной строки на другую, воспользовавшись ключом — -i:

sed -i 's/команды/инструкции/' firstfile.txt

После выполнения команды произойдет замена слова «команды» на «инструкции» с последующим сохранением файла.

Удаление строк из файла

• Удалить первую строку из файла:

  sed -i '1d' firstfile.txt

• Удалить строку из файла, содержащую слово «окне»:

  sed '/окне/d' firstfile.txt

  После выполнения команды будет удалена первая строка, поскольку она содержит указанное слово.

• Удалить пустые строки:

  sed '/^$/d' firstfile.txt

• Убрать пробелы в конце строки:

  sed 's/ *$//' firstfile.txt

• Табуляция удаляется при помощи конструкции:

  sed 's/\t*$//' firstfile.txt

• Удалить последний символ в строке:

  sed 's/ ;$//' firstfile.txt

Нумерация строк

Строки в файле будут пронумерованы следующим образом: первая строка — 1, вторая — 2 и т. д.

Следует обратить внимание, что нумерация начинается не с «0», как в языках программирования.

sed = firstfile.txt | sed 'N;s/\n/\t/'

Удаление всех чисел из текста

sed -i 's/\[0-9\] \ [0-9\]//g' firstfile.txt

Замена символов

Чтобы заменить набор символов, нужно воспользоваться инструкцией, содержащей команду «y»:

sed 'y/1978/1977/g' firstfile.txt

Обработка указанной строки

Утилита производит манипуляции не только с текстом, но и со строкой, указанной в правиле шаблона (3 строка):

sed '3s/директорий/папок' firstfile.txt

Работа с диапазоном строк

Для выполнения замены только в 3 и 4 строках нужно использовать конструкцию:

sed '3,4s/директорий/папок' firstfile.txt

Вставка содержимого файла после строки

Иногда требуется вставить содержимое одного файла (input_file.txt) после определенной строки другого (firstfile.txt). Для этой цели используется команда:
sed ‘5r input_file.txt’ firstfile.txt (где «5r» — 5 строка, «input_file.txt» — исходный файл и «firstfile.txt» — файл, в который требуется вставить массив текста).