Проверяем, авторизован ли пользователь на сервере, и есть ли запущенные от него процессы

who
sudo ps -u username

Убиваем процессы пользователя, если они есть

sudo killall -9 -u username

Отключаем все задачи планировщика cron этого пользователя

sudo crontab -r -u username

Собственно удаляем пользователя

Если нужно удалить пользователя, но оставить его домашнюю директорию, то выполняем:

sudo deluser username

Если нужно удалить всё, включая и его домашнюю директорию, то выполняем команду:

sudo deluser --remove-home username

Команда grep

grep является одной из наиболее популярных и мощных утилит для поиска текстовых данных в файлах. Команда grep позволяет указать строку или регулярное выражение для поиска и применяется следующим образом:

grep "ключевое_слово" /путь/к/файлу.txt

Для рекурсивного поиска в каталогах вы можете использовать опцию -r, позволяющую искать вложенные файлы и подкаталоги. Пример:

grep -r "искомый_текст" /путь/к/каталогу

find и xargs совместно

Комбинация команд find и xargs позволяет находить файлы с заданными критериями и передавать их в качестве аргументов для других команд. Пример:

find /путь -type f -exec grep "искомый_текст" {} +

В данном примере find находит все файлы (-type f) в указанном пути и передает их в grep, где производится поиск заданного текста.

find и grep совместно

Комбинирование find и grep позволяет более тонко настраивать поиск. Например, поиск в файлах, измененных за последние 7 дней:

find /путь -type f -mtime -7 -exec grep "искомый_текст" {} +

Поиск в файлах по содержимому в Linux может быть выполнен различными способами, и выбор зависит от конкретной задачи. Описанные инструменты предоставляют гибкость и мощь для проведения поиска в текстовых файлах, а их комбинация может быть использована для достижения оптимальных результатов. Учитывайте особенности каждого инструмента и выбирайте подходящий в зависимости от контекста использования.

Что такое cron?

Cron — это стандартный инструмент в Unix-подобных системах, предназначенный для выполнения задач в установленное время или периодически. Он основан на файлах cron, в которых определены задания и их расписание. Эти файлы хранятся в каталоге /etc/cron.d/ или /var/spool/cron/ и обычно недоступны для редактирования напрямую.

Работа с cron

Создание и редактирование cron-задач

Для создания новой задачи, или редактирования существующих, используется команда:

crontab -e

Она открывает текстовый редактор, в котором можно определить расписание и команду для выполнения. Например, чтобы запустить скрипт “myscript.sh” каждый день в 2 часа ночи, добавьте следующую строку:

0 2 * * * /путь/к/скрипту/myscript.sh

Редактировать команды другого пользователя можно так:

sudo crontab -u username -e

Листинг задач

Список текущих cron-задач можно просмотреть с помощью команды:

crontab -l

Это полезно для проверки текущего расписания и быстрого определения того, что уже настроено.

Вывести задачи другого пользователя можно так:

sudo crontab -u username -l

Удаление задач

Эта команда удаляет все cron-задачи пользователя:

crontab -r

Если необходимо удалить конкретную задачу, используйте:

crontab -l

чтобы увидеть ее номер, а затем:

crontab -r номер

Вывод результата в лог-файл

Для записи результатов выполнения задачи в лог-файл, вы можете использовать перенаправление стандартного вывода и стандартной ошибки в файл прямо внутри команды cron. Вот пример:

* * * * * /путь/к/вашему/скрипту.sh >> /путь/к/лог-файлу.log 2>&1

Здесь >> используется для добавления вывода в конец файла, 2>&1 перенаправляет стандартные ошибки в стандартный вывод, чтобы они также попадали в лог-файл.

Указание времени выполнения задач

В планировщике задач cron в Linux время выполнения задач задается в виде пяти полей, каждый из которых представляет собой определенный аспект времени. Эти поля определяют минуты, часы, дни месяца, месяцы и дни недели. Вот структура этих полей:

* * * * *
- - - - -
| | | | |
| | | | +----- День недели (0 - воскресенье, 1 - понедельник, ..., 6 - суббота)
| | | +------- Месяц (1 - январь, 2 - февраль, ..., 12 - декабрь)
| | +--------- День месяца (1 - 31)
| +----------- Час (0 - 23)
+------------- Минуты (0 - 59)

Каждое поле может принимать определенные значения или диапазоны значений, а также знаки “*” (звездочка) и “/” (косая черта).

• *: Означает “каждый”. Например, если в поле минут стоит “*”, это означает, что задача будет выполняться каждую минуту.
• число: Определенное значение. Например, если в поле часов стоит “3”, задача будет выполняться в 3 часа.
• число-число: Диапазон значений. Например, “1-5” в поле дней недели означает с понедельника по пятницу.
• */число: Каждый определенный интервал. Например, “*/15” в поле минут означает каждые 15 минут.

Примеры:

Запуск задачи каждый день в 3 часа утра:

0 3 * * *

Запуск задачи каждый понедельник и среду в 12:30:

30 12 * * 1,3

Запуск задачи каждый час:

0 * * * *

Запуск задачи каждый день в 5 утра и 8 вечера:

0 5,20 * * *

Таким образом, правильное указание времени выполнения задачи в cron позволяет вам гибко управлять ее расписанием, с учетом требований вашего проекта или системы.

Поиск больших файлов с сортировкой по убыванию, с выводом в терминал только 20 больших файлов,  в указанной папке

find /путь/к/каталогу -type f -size +100M -exec du -h {} + | sort -rh | head -n 20

Эта команда ищет файлы размером более 100 мегабайт в указанном каталоге и его подкаталогах, затем сортирует результаты по размеру в убывающем порядке.

Поиск больших файлов с сортировкой по убыванию в текущей папке

find . -type f -size +500M -exec du -h {} + | sort -rh

Эта команда ищет файлы размером более 500 мегабайт в текущем каталоге и его подкаталогах, затем сортирует результаты по размеру в убывающем порядке.

Поиск больших папок с сортировкой по убыванию и выводом в терминал только 20 самых больших папок

du -h --max-depth=1 /путь/к/каталогу | sort -rh | head -n 20

Эта команда выводит размер каждой папки в указанном каталоге (включая подкаталоги) и сортирует результаты по размеру в убывающем порядке.

Поиск папок, содержащих большое количество файлов, с сортировкой по убыванию, и выводом только 20 таких папок

find /путь/к/каталогу -type d -exec sh -c 'echo -n "{} " && find "{}" -maxdepth 1 -type f | wc -l' \; | sort -k2 -nr | head -n 20

Эта команда ищет все подкаталоги в указанном каталоге, выводит каждый подкаталог вместе с количеством файлов в нем, а затем сортирует результаты по количеству файлов в убывающем порядке.

Для проброса приватного ключа используется SSH Агент. Способ одинаково работает в консоли любых операционных систем Linux, macOS и Windows.

Первым делом проверяем, запущен ли агент, и знает ли он что-то о вашем ключе:

ssh-add -l

Если получаем ответ: Could not open a connection to your authentication agent, запускаем агент командой:

eval 'ssh-agent'

Если ответ: The agent has no identities, значит нужно сообщить ему о вашем приватном ключе, выполнив команду:

ssh-add

Если в ответе команды ssh-add -l вы видите путь к своему приватному ключу, значит всё хорошо, и вы можете подключаться к удалённому серверу по ssh, добавив при подключении опцию -A, то есть вот так:

ssh -A user@host:port

Или можно установить опцию ForwardAgent yes в файле ~/.ssh/config на вашем локальном компьютере:

Host *
  ForwardAgent yes

Для проверки, что всё хорошо и ключ проброшен, на удалённом сервере можно выполнить команду:

echo "$SSH_AUTH_SOCK"

Если всё ок, то она должна вернуть что-то похожее на:

/tmp/ssh-DCIux21917/agent.21917

В сети не мало примеров скриптов, которые копируют бэкапы, созданные Битриксом, или Веб-окружением на удалённый сервер. Но не во всех случаях такой метод уместен, так как, эти бэкапы всё равно создаются и хранятся изначально на самом сервере с сайтом, занимая там место, которого может категорически не хватать.

Можно конечно написать свой собственный скрипт резервного копирования сайта сразу на удалённый FTP, но зачем изобретать велосипед, когда функционал резервного копирования уже есть в Битрикс: Веб-окружении.

Итак, задача: имеем сайт на Битрикс, работающий на VDS под управлением “1С-Битрикс: Веб-окружение”. Сайт большой, свободного места на сервере мало, его не достаточно для создания и хранения даже одной резервной копии. Нужно чтобы бэкапы создавались сразу на удалённый FTP сервер и хранились там же.

Решить эту задачу я предлагаю максимально просто. Используя стандартный механизм резервного копирования “1С-Битрикс: Веб-окружение” в стандартную папку, в которую мы смонтируем удалённый FTP сервер.

Монтируем удалённый ftp сервер, как локальную папку.

Устанавливаем curlftpfs:

yum install curlftpfs

Узнаём id пользователя bitrix в системе. Обычно это 600:

id -u bitrix

В файл /etc/fstab добавляем строку:

curlftpfs#ftp://USER:PASSWORD@SERVER/ /home/bitrix/backup/archive fuse rw,uid=600,allow_other,user 0 1

Где:

• USER:PASSWORD@SERVER – данные удалённого FTP сервера.
• /home/bitrix/backup/archive – стандартная папка, в которую Веб-окружение делает резервные копии.
• 600 – id пользователя bitrix, который мы узнали выше.

Монтируем:

mount -a

Проверяем, что всё примонтировалось корректно:

df -h

На этом этапе, у нас получилось так, что всё, что попадает в папку /home/bitrix/backup/archive хранится уже не на локальном сервере, а на удалённом FTP. И на локальном сервере не занимает абсолютно никакого места. Можете проверить этот момент, загружая в эту папку какие-нибудь файлы на сервере с сайтом. Они должны сразу же быть видны на удалённом FTP сервере. И наоборот.

Настраиваем резервное копирование средствами “1С-Битрикс: Веб-окружение”

Здесь всё просто и стандартно.

В меню “1С-Битрикс: Веб-окружение” выбираем пункт 6. Configure pool sites:

Затем снова пункт 6. Change backup settings on site:

А дальше включаем резервное копирование сайта, настраиваем расписание, и т.д. Всё стандартно и в стандартную папку. Подробнее о настройке резервного копирования можно почитать на сайте Битрикса.

На этом наша задача полностью решена. Теперь “1С-Битрикс: Веб-окружение” будет создавать резервные копии по заданному расписанию, эти резервные копии будут храниться на удалённом FTP сервере, и не будут занимать никакого места на сервере с сайтом.

Аналогично можно настроить резервные копии и любых других систем, которые умеют создавать бэкапы только локально.

Если вы в поисках, где взять удалённый FTP сервер, для хранения резервных копий за адекватную стоимость – обращайтесь, подберу для вас варианты практически любого объёма.

Как использовать команду find

Команда “find” имеет следующий синтаксис:

find [path] [expression]

где “path” – это путь к каталогу, в котором вы хотите искать файлы, а “expression” – это выражение, которое определяет критерии поиска.

Поиск по типу

Параметр -type позволяет искать файлы по типу, которые бывают следующих видов:

• f – простые файлы.
• d – каталоги.
• l – символические ссылки.
• b – блочные устройства (dev).
• c – символьные устройства (dev).
• p – именованные каналы.
• s – сокеты.

Например, вот так, будут найдены только каталоги внутри текущего:

find . -type d

Поиск по имени

Для поиска по имени используется параметр -name. Например, команда для поиска всех файлов с расширением .txt в каталоге /home/ будет выглядеть так:

find /home/ -type f -name "*.txt"

Найти все папки с именем my_folder в текущем каталоге можно так:

find . -type d -name "my_folder"

Поиск по размеру файла

Для поиска по размеру используется параметр -size.

• + – Поиск файлов больше заданного размера
• – – Поиск файлов меньше заданного размера
• Отсутствие знака означает, что размер файлов в поиске должен полностью совпадать.

Единицы измерения указываются так:

• c — Байт
• k — Кбайт
• M — Мбайт
• G — Гбайт

Например, найти все файлы, в каталоге /home/ с размером больше 100 Мбайт можно так:

find /home/ -size +100M

Поиск пустых файлов и каталогов

Для поиска пустых папок и файлов используется параметр -empty. Например, найдём все пустые файлы и папки в каталоге /home/:

find /home/ -empty

Поиск файлов по дате

Доступны следующие параметры:

• -mtime – Время изменения файла. Указывается в днях.
• -mmin – Время изменения в минутах.
• -atime – Время последнего обращения к объекту в днях.
• -amin – Время последнего обращения в минутах.
• -ctime – Последнее изменение владельца или прав на объект в днях.
• -cmin – Последнее изменение владельца или прав в минутах.

Например, найдём все файлы, изменённые в каталоге /home/ за последние 60 минут:

find /home/ -cmin -60

А если мы наоборот, хотим найти все файлы, изменённые раньше, чем час назад, то в команде минус меняем на плюс:

find /home/ -cmin +60

Можно также вывести список файлов с сортировкой по дате модификации.

Например, вот эта команда выведет все файлы из каталога /home/ с сортировкой по дате модификации. Файлы изменённые недавно, окажутся в начале списка:

find /home/ -type f -printf '%TY-%Tm-%Td %TT %p\n' | sort -r

А вот так, мы изменим сортировку, то есть последние изменённые файлы окажутся в конце списка:

find /home/ -type f -printf '%TY-%Tm-%Td %TT %p\n' | sort -n

А так, мы можем ограничить количество выводимых результатов. Например вывести только 50:

find /home/ -type f -printf '%TY-%Tm-%Td %TT %p\n' | sort -n | head -n 50

Поиск по пользователю или группе

Для поиска файлов принадлежащих определённому пользователю, или группе, используются параметры -user и -group. Например, найдём в каталоге /home/ все файлы, принадлежащие пользователю admin:

find /home/ -user admin

Поиск по правам доступа

Для поиска по правам доступа используется параметр -perm. Например, найдём все файлы с правами 777 в каталоге /home/:

find /home/ -perm 777

Поиск с использованием логических операторов

При поиске можно использовать логические операторы:

• -a – Логическое И. Объединяет несколько критериев поиска.
• -o – Логическое ИЛИ. Ищем на основе одного из критериев поиска.
• -not или ! – Логическое НЕ.

Например, найдём в каталоге /home/ все файлы начинающиеся на sess_ или заканчивающиеся на tmp:

find /home/ -type f -name "sess_*" -o -name "*tmp"

Исключить из поиска определённые папки

При поиске с помощью команды find, можно исключать определённые каталоги. Например мы хотим найти все файлы с расширением .php, изменённые за последние 2 дня во всех папках сайта, за исключением папок /bitrix/managed_cache/ и /bitrix/cache/:

find /home/www/ -type f -name "*.php" -mtime -1 -not -path "*/bitrix/managed_cache/*" -not -path "*/bitrix/cache/*"

Как удалить найденные файлы

Для удаления найденных файлов можно использовать параметр -delete, дописав его в конце команды поиска.

Например, удалим из папки /tmp/ все файлы старше 10 дней:

find /tmp/ -type f -mtime +10 -delete

Эта проблема довольно серьёзная, так как ip адрес сервера после такой рассылки обычно попадает в различные “чёрные списки”, из-за чего и легитимную почту с сервера перестают принимать многие почтовые сервисы. И удалить ip из этих “чёрных списков” не всегда просто. К тому же за рассылку спама сервер может быть заблокирован хостером или дата-центром.

Данный метод мониторинга основан на том, что обычно при массовой рассылке почты с сервера, существенно возрастает количество исходящих писем в почтовой очереди exim. Конечно он не совсем сгодится для серверов, на которых размещается множество клиентов виртуального хостинга, где желательно использовать более точные системы мониторинга, анализирующие содержание самих писем. Но для сервера с небольшим количеством сайтов, где их поведение, и рассылки с них заведомо известны, вполне подходит.

Для начала рекомендую посмотреть, сколько в данный момент сообщений в почтовой очереди exim. Сделать это можно командой:

exim -bpc

Если их там много, стоит проанализировать их содержимое, и выявить причину, почему они находятся в почтовой очереди. Команды, которые вам помогут в этом, можно найти в этой статье.

Пишем скрипт мониторинга почтовой очереди exim

В этом примере администратор получит уведомление на почту, если число писем в почтовой очереди больше 100. Если у вас обычно там больше писем, увеличьте это значение. К тому же к письму будет прикреплён файл с выводом последних 50 строк команды, отображающей почтовую очередь

#!/bin/bash

# Проверяем количество писем в очереди
queue_count=$(exim -bpc)

# Если писем больше 100, отправляем уведомление на почту
if [ $queue_count -gt 100 ]; then
    # Получаем список последних писем в очереди
    queue_list=$(exim -bp | tail -n 50)
    
    # Создаем временный файл для сохранения списка писем
    temp_file=$(mktemp)
    echo "$queue_list" > $temp_file
    
    # Отправляем письмо администратору с вложенным файлом
    echo "Количество писем в очереди превышает 100. Проверьте состояние очереди." | mail -s "Важное уведомление: очередь exim" -a $temp_file admin@site.com
    
    # Удаляем временный файл
    rm $temp_file
fi

Сохраняем этот скрипт в файл, например с именем exim-check.sh в папке /opt/, меняем в нём почту администратора, и даём ему права на выполнение:

chmod +x /opt/exim-check.sh

Проверяем работоспособность скрипта

Дальше рекомендую временно изменить в скрипте количество сообщений, при которых произойдёт отправка уведомления, на число, меньшее, чем находится писем в данный момент в почтовой очереди. Так мы сможем проверить работоспособность уведомлений. Для проверки просто выполните этот скрипт в консоли:

/opt/exim-check.sh

Если не получили письмо с уведомлением, возможно на сервере не установлен mailx. Тогда его нужно установить.

Добавляем скрипт в планировщик

Если уведомление успешно получено, добавляем этот скрипт в планировщик cron, например с временем выполнения каждые 15 минут:

*/15 * * * * /opt/exim-check.sh

Теперь, если количество исходящих писем в почтовой очереди exim превысит указанное вами значение, администратор сервера тут же получит уведомление на почту, и сможет проверить почтовую очередь на предмет рассылки спама.

Как создать или распаковать архивы tar, tar.gz, tar.bz2 в консоли Linux

Опции tar:

• c — создание нового архива (сокращение от create)
• v — выдача дополнительных сообщений в процессе работы программы
• f — создание файла на диске.
• z — использовать для сжатия GZip
• j — использовать для сжатия BZip2
• x — распаковать архив

Упаковка в архив файлов или папок

Упаковать файл или папку в архив tar

tar -cvf archive.tar file

С папкой всё аналогично:

tar -cvf archive.tar folder

Можно упаковать сразу несколько папок или файлов:

tar -cvf archive.tar file folder

Можно указать пути к папкам, или файлам, а также путь к файлу архива.

Обратите внимание, что в этом случае нужно добавить опцию -C, а далее слэш / с обоих сторон, отделённый пробелами. При этом путь к папке, которую архивируем, уже указываем без слэша в начале.

Без этой опции тоже будет работать, но tar постоянно будет ругаться вот так: tar: Removing leading `/’ from member names

tar -cvf /home/archive.tar -C / home/folder

При необходимости, можно исключить файлы или папки из архива. Например вот так, в архив не попадут все файлы из папок folder1 и folder3, при этом сами эти папки в архив попадут пустыми:

tar -cvf archive.tar folder --exclude={'*/folder1/*','*/folder2/*'}

А вот так, в архив не попадут и сами папки:

tar -cvf archive.tar folder --exclude={'*/folder1','*/folder2'}

Можно указывать полный путь к папке, которую нужно исключить:

tar -cvf archive.tar folder --exclude='folder/folder1'

Можно –exclude указывать несколько раз:

tar -cvf archive.tar folder --exclude='folder/folder1' --exclude='folder/folder2'

Можно исключить файлы или папки по маске:

tar -cvf archive.tar folder --exclude='sess_*'

Упаковать папку в архив и сразу отправить на удалённый сервер по ssh:

tar -cvf - folder | ssh root@192.168.1.1 "cat > /backup/archive.tar"

Упаковать файл или папку в архив tar.gz

Здесь всё те же команды, что и просто с tar, которые приведены выше, только добавляем в начале опцию z и имя создаваемого архива указываем с расширением .tar.gz:

tar -zcvf archive.tar.gz folder

Упаковать файл или папку в архив tar.bz2

Опять, всё тоже самое, что и в случаях выше, только уже указываем опцию j, и имя создаваемого архива указываем с расширением tar.bz2:

tar -jcvf archive.tar.bz2 folder

Как посмотреть содержимое архива

Всё просто, используем опцию t. Работает и с простыми архивами tar, и со сжатыми в tar.gz или  tar.bz2:

tar -tf archive.tar

Как распаковать архивы tar, tar.gz, tar.bz2

Распаковать архив tar

tar -xvf archive.tar

Распаковать архив tar в определённую папку:

tar -xvf archive.tar -C /home/

Распаковать архив tar.gz

tar -xzvf archive.tar.gz

Распаковать архив tar.gz в определённую папку:

tar -xzvf archive.tar.gz -C /home/

Распаковать архив tar.bz2

tar -xjvf archive.tar.bz2

Распаковать архив tar.bz2 в определённую папку:

tar -xjvf archive.tar.bz2 -C /home/

Как создать или распаковать архивы zip в консоли Linux

Упаковка в архив файлов или папок

Упаковать файл в архив zip

zip archive.zip file

Упаковать папку в архив zip

При архивировании папки нужно добавить опцию -r, иначе в архив не попадут вложенные в папку другие папки и файлы:

zip -r archive.zip folder

Как распаковать архивы zip

unzip archive.zip

Если нужно распаковать архив zip в определённую папку, то нужно добавить опцию -d

unzip -d folder archive.zip

Я, например, люблю текстовый редактор mcedit, который устанавливается вместе с файловым менеджером Midnight Commander (mc).

Когда работаешь в консоли, легко можно вызвать нужный редактор, просто написав его имя перед файлом, который мы хотим отредактировать. Например, если написать в консоли команду

mcedit file

то откроется редактор mcedit, в котором будет содержимое файла file, доступное для редактирования.

Но существуют некоторые команды, когда нет возможности задать редактор для редактирования. Например, мы хотим изменить список заданий планировщика cron. Для этого вводим команду

crontab -e

Откроется файл, редактирования списка заданий планировщика. Но откроется он в редакторе, установленном в системе по умолчанию. Обычно это vim. А я хочу, чтобы он открывался в mcedit

Как изменить текстовый редактор по умолчанию в Debian/Ubuntu.

Посмотреть, какой редактор установлен по умолчанию, можно командой:

ls -l /etc/alternatives/editor

А для изменения редактора по умолчанию в Debian/Ubuntu нужно выполнить команду:

sudo update-alternatives --config editor

Появится список всех редакторов, установленных в системе, под определёнными номерами. Для изменения достаточно просто указать цифру нужного редактора. Выглядит это так:

В этом примере по умолчанию был установлен редактор 0, то есть nano.

Отправив цифру 3, я изменил его на mcedit.

Как изменить текстовый редактор по умолчанию в Centos.

Посмотреть редактор, используемый по умолчанию, можно командой:

echo $EDITOR

Вывод этой команды может быть пустой, или она покажет установленный по умолчанию редактор.

Для изменения редактора по умолчанию, достаточно выполнить команду:

export EDITOR=mcedit

Вместо mcedit можно указать любой другой текстовый редактор, который вам по душе. Главное, чтобы он был установлен в системе.