Linux Команды (Shell Bash, Unix, SSH, PuTTY)

Список популярных Linux команд по категориям, которые нужно знать каждому разработчику.

На Windows для управления Linux сервером, используют бесплатную программу PuTTY - она самая популярная.

Файлы/Папки

Пример записи текста в файл

cat > filename
This is text, perhaps pasted in from some other source.
Or else entered at the keyboard, doesn't matter.
[Ctrl+D]

Использование оператора >> будет добавлять данные в конце файла, а использование > будет перезаписывать содержимое файла, если оно уже существует.

Также важно знать, что по умолчанию echo добавляет символ новой строки в конце. Его можно подавить с помощью флага -n:

echo -n "hello" >> filename

Занимаемое место

Подробнее

Процессы

chmod - права доступа

chown - владелец и группа

chown пользователь опции /путь/к/файлу

Опции:

• -c, --changes - подробный вывод всех выполняемых изменений.
• -f, --silent, --quiet - минимум информации, скрыть сообщения об ошибках.
• --dereference - изменять права для файла к которому ведет символическая ссылка вместо самой ссылки (поведение по умолчанию).
• -h, --no-dereference - изменять права символических ссылок и не трогать файлы, к которым они ведут.
• --from - изменять пользователя только для тех файлов, владельцем которых является указанный пользователь и группа.
• -R, --recursive - рекурсивная обработка всех подкаталогов.
• -H - если передана символическая ссылка на директорию - перейти по ней.
• -L - переходить по всем символическим ссылкам на директории.
• -P - не переходить по символическим ссылкам на директории (по умолчанию).

SSH

.ssh/config

Чтобы постоянно не писать креды, можно создать файл .ssh/config и добавить в него конфиг удаленного подключения:

Host myhost
	HostName 56.30.203.178
	User ubuntu
	Port 22
	IdentityFile ~/.ssh/qa-server.key

Теперь, чтобы подключиться к серверу в консоли используем команду:

$ ssh myhost

Все возможные параметры:

Host {YOUR_HOST_KEY}
  AddressFamily any
  BatchMode no
  CheckHostIP yes
  Cipher 3des
  Ciphers aes128-ctr,aes192-ctr,aes256-ctr,arcfour256,arcfour128,aes128-cbc,3des-cbc
  ConnectTimeout 0
  EscapeChar ~
  ForwardAgent no
  ForwardX11 no
  GSSAPIAuthentication no
  GSSAPIDelegateCredentials no
  HostbasedAuthentication no
  IdentityFile ~/.ssh/id_dsa
  IdentityFile ~/.ssh/id_ecdsa
  IdentityFile ~/.ssh/id_ed25519
  IdentityFile ~/.ssh/id_rsa
  IdentityFile ~/.ssh/identity
  MACs hmac-md5,hmac-sha1,umac-64@openssh.com,hmac-ripemd160
  PasswordAuthentication yes
  PermitLocalCommand no
  Port 22
  Protocol 2
  ProxyCommand ssh -q -W %h:%p gateway.example.com
  RekeyLimit 1G 1h
  RhostsRSAAuthentication no
  RSAAuthentication yes
  StrictHostKeyChecking ask
  Tunnel no
  TunnelDevice any:any
  VisualHostKey no

Поиск файлов/папок/в файлах

find

Мануал: https://www.geeksforgeeks.org/find-command-in-linux-with-examples/

# Найдет все файлы/папки, которые начинаются с "Top" (регистр важен). В текущем каталоге
find . -name 'Top*'

# Найдет все файлы/папки, которые начинаются с 'top' (регистр не важен - Top, top, TOP)
find / -iname 'Top*'

# Найдет все файлы/папки, которые начинаются с 'top', а затем идут 3 любых символа
find / -name 'top???'

# Найдет все файлы/папки с расширением ".tex" (в домашнем каталоге ~)
find ~ -name '*.tex'

# Исключить директорию при поиске.
find . -name '*.js' -not -path '/dir/*'

# Ищет папку с именем начинающимся с "work".
find / -type d -name 'work*'

# Ищет файл заканчивающийся на "work.rb".
find / -type f -name '*work.rb'

# Ищет все svg и png файлы по регулярке.
# Note: -regex паттерн должен совпадаеть с полным именем файла
# относительно указанного каталога, а не с отдельным именем файла.
find / -regex ".*\.\(svg\|png\)$"

# Ищет по вхождению пути.
find ~/ -regex ".*/Docs/Для\ работы/.*"

# Ищет файлы в каталоге /usr/local, размер которых больше 10,000 КБ
$ find /usr/local -size +10000k

# Ищет файлы в домашнем каталоге, размер меньше 300 байт
find ~ -size -300b

# Ищет пустые файлы (размер 0)
find ~ -empty

# вывести все файлы в каталоге /usr/local, модифицированные в течение последних 24 часов.
find /usr/local -mtime -1

# вывести все файлы в домашнем каталоге, модифицированные вчера.
# Опция -daystart определяет отсчет времени с момента начала текущих суток.
find ~ -mtime 1 -daystart

# вывести все файлы в каталоге /usr, модифицированные в течение года:
find /usr -mtime +356 -daystart

# вывести все файлы в домашнем каталоге, модифицированные в период от 2 до 4 дней тому назад:
find ~ -mtime 2 -mtime -4 -daystart

# найти файлы, которые новее указанного файла, введите его имя в качестве аргумента опции -newer.
# вывести все файлы в каталоге /etc, которые новее файла /etc/motd:
find /etc -newer /etc/motd

Еще примеры: https://www.opennet.ru/docs/RUS/linux_base/node149.html

ripgrep

Это отдельный пакет https://github.com/BurntSushi/ripgrep

Установка на убунту:

$ sudo apt-get install ripgrep

// или так (последняя версия)
// Релизы: https://github.com/BurntSushi/ripgrep/releases
$ curl -LO https://github.com/BurntSushi/ripgrep/releases/download/13.0.0/ripgrep_13.0.0_amd64.deb
$ sudo dpkg -i ripgrep_13.0.0_amd64.deb

grep

grep [options] pattern [file...]

Примеры:

# Ищет "слово" в "файле".
grep 'слово' file

# Поиск по регулярке
grep "\<[A-Za-z].*\>" file

# Искать слово hello во всех файлах папки /sys/.
grep -r hello /sys/

# Искать слово text во всех файлах текущей папки. ignore-case (i) line-numbers (n)
grep -inIR "text"

# Case insensitive: match any line in foo.txt
# that contains "bar"
grep -i bar foo.txt

# match any line in bar.txt that contains
# either "foo" or "bar"
grep -E "foo|bar" bar.txt

# Remove all folders in current dir except "foo" and "bar"
ls | grep -v -Ew 'foo|bar' | xargs rm -r

# match anything that resembles a URL in
# foo.txt and only print out the match
grep -oE "https?:\/\/((\w+[_-]?)+\.?)+" foo.txt

# can also be used with pipes:
# match any line that contains "export" in
# .bash_profile, pipe to another grep that
# matches any of the first set of matches
# containing "PATH"
grep "export" .bash_profile | grep "PATH"

# follow the tail of server.log, pipe to grep
# and print out any line that contains "error"
# and include 5 lines of context
tail -f server.log | grep -iC 5 error

# can also be used with pipes:
# match any line that contains "export" in
# .bash_profile, pipe to another grep that
# matches any of the first set of matches
# containing "PATH"
grep "export" .bash_profile | grep "PATH"

Find all files containing specific text (string) on Linux.

# search pattern in all files:
grep -rnw '/path/to/somewhere/' -e 'pattern'

# only search through those files which have .c or .h extensions:
grep --include=\*.{c,h} -rnw '/path/to/somewhere/' -e "pattern"

# exclude searching all the files ending with .o extension:
grep --exclude=\*.o -rnw '/path/to/somewhere/' -e "pattern"

# exclude the dirs dir1/, dir2/ and all of them matching *.dst/:
grep --exclude-dir={dir1,dir2,*.dst} -rnw '/path/to/search/' -e "pattern"

Опции:

# Matching options:

-r, --recursive             # All files recursively
							# follow symlinks only if they are on the command line, but
							# skip symlinks that are found recursively.
-R, --dereference-recursive # All files recursively (follow all symlinks).
-e, --regexp=PATTERN
-f, --file=FILE
-i, --ignore-case     # Forgets about case sensitivity
-v, --invert-match
-w, --word-regexp     # Ищем целое слово (а не подстроку)
-x, --line-regexp
-I                    # Skip binary files

# Pattern options:

-G, --basic-regexp    # basic regular expression (default)
-E, --extended-regexp # extended regular expression
-P, --perl-regexp     # perl compatible regular expression
-F, --fixed-strings   # list of fixed strings

# Output Options:

-n, --line-number     # Show the line numbers of the matches
-c, --count           # print the count of matching lines. suppresses normal output
	--color[=WHEN]    # applies color to the matches. WHEN is never, always, or auto
-m, --max-count=NUM   # stop reading after max count is reached
-o, --only-matching   # only print the matched part of a line
-q, --quiet, --silent
-s, --no-messages     # suppress error messages about nonexistent or unreadable files

Source: https://stackoverflow.com/questions/16956810/how-to-find-all-files-containing-specific-text-string-on-linux

Мануал: https://help.ubuntu.com/community/grep

Шпаргалки: https://devhints.io/grep https://quickref.me/grep

Информация о системе (диски, файлы, размеры)

ln (ссылки)

Ссылки в Linux бывают двух типов:

Символические

Символические ссылка (symbolic или soft link) — это специальный файл, который является ссылкой на другой файл или каталог.

Символическая ссылка не содержит в себе (внутри) копии самого файла, на которую она указывает. Она является всего лишь указателем на файл. Так. если вы удалите исходный файл, мягкая ссылка не будет иметь никакой ценности, поскольку она будет указывать на несуществующий файл.

Связь между символической ссылкой и файлом является «мягкой». Если удалить символическую ссылку, то файл, на который она указывает, не удаляется.

Жёсткие

Жестка ссылка (hard link) - является синонимом для файла. Когда вы создаете жесткую ссылку, создается дополнительный указатель на существующий файл, но не копия файла.

Жесткие ссылки выглядят в файловой структуре как еще один полноценный файл.

Даже если удалить оригинальный файл, жесткая ссылка все равно будет содержать данные оригинального файла. Поскольку жесткая ссылка действует как зеркальная копия исходного файла.

В Linux каждый файл имеет уникальный идентификатор - индексный дескриптор (inode). Это число, которое однозначно идентифицирует файл в файловой системе. Жесткая ссылка и файл, для которой она создавалась имеют одинаковые inode. Поэтому жесткая ссылка имеет те же права доступа, владельца и время последней модификации, что и целевой файл. Различаются только имена файлов. Фактически жесткая ссылка это еще одно имя для файла.

Синтаксис:

ln опции исходный_файл имя_ссылки

Примеры:

«символьная» ссылка (symbolic link)

ln -s /home/pingvinus/myfile.txt mylink

ls -li
792300 -rw-rw-r-- 1 kama kama 13-фев-13 13:07 myfile.txt
787622 lrwxrwxrwx 1 kama kama 13-фев-13 13:08 mylink -> /home/kama/myfile.txt

# ссылка и целевой файл имеют разные inode (792300 и 787622).

«жёсткая» ссылка (hard link)

ln /home/pingvinus/myfile.txt mylink

ls -li
787622 -rw-rw-r-- 2 kama kama 13-фев-13 13:19 myfile.txt
787622 -rw-rw-r-- 2 kama kama 13-фев-13 13:19 mylink

# Видим что оба файла имеют одинаковый inode=787622,
# так как являются фактически разными именами для одного файла (одних данных)
# (inode которого 787622).

Подробнее: https://pingvinus.ru/note/ln

Архивы

tar

# Запаковать файлы текущей папки в архив myfile.tar
tar -cf myfile.tar

# Распаковать myfile.tar
tar -xf myfile.tar

# Сжать с использованием Gzip (особое сжатие на сервере)
tar -czf myfile.tar.gz dir

# Распаковать Gzip-файл
tar -xzf myfile.tar.gz

# Распаковать в папку dest.
tar -xzf myfile.tar.gz -C dest

# Сжать с использованием Gzip
tar -cjf myfile.tar.bz2

# Распаковать Bzip2-файл
tar -xjf myfile.tar.bz2

Пример.

Поместим папки languages, uploads (с файлами), которые находятся в папке www/wp-content/ (относительно текущей папки) в файл архива dev/dump/files.tar.gz (путь относительно текущей папки):

$ tar -cz -f dev/dump/files.tar.gz -C www/wp-content/ languages uploads

Опции:

tar [options] [archive-file] [file or directory to be archived]

Options:
-c : Creates Archive
-x : Extract the archive
-f : creates archive with given filename
-t : displays or lists files in archived file
-u : archives and adds to an existing archive file
-v : Displays Verbose Information
-A : Concatenates the archive files
-z : zip, tells tar command that creates tar file using gzip
-j : filter archive tar file using tbzip
-W : Verify a archive file
-r : update or add file or directory in already existed .tar file
-C dir : change current directory to dir before performing any operations

zip, unzip, gzip, gunzip

zip [options] [file_name.zip] [files_names]

-d : Remove files from the archive
-u : Update files in the archive
-m : Move files into the archive
-r : Recursively zip a directory
-x : Exclude files from the zip (zip -r name.zip -x dirname)
-v : Verbose mode - diagnostic information during compression.

Система, Apache, MySQL и База данных

Копирование

scp (ssh)

Копирование файла с удаленного хоста на локальный хост:

$ scp username@from_host:file.txt /local/directory/

Копирование файла с локального хоста на удаленный хост:

$ scp file.txt username@to_host:/remote/directory/

Копирование каталога с удаленного хоста на локальный хост:

$ scp -r username@from_host:/remote/directory/  /local/directory/

Копирование каталога с локального хоста на удаленный хост:

$ scp -r /local/directory/ username@to_host:/remote/directory/

Копирование файла с удаленного хоста на удаленный хост:

$ scp username@from_host:/remote/directory/file.txt username@to_host:/remote/directory/

Заметки:

• Хост может быть IP или имя домена. После нажатия Enter будет предложено ввести пароль SSH.

• Хотя на этой странице рассматривается SCP Linux, инструкции будут работать и на Mac с помощью "Терминала". Вы также можете использовать WinSCP для выполнения этой задачи на ПК/сервере Windows.

• При копировании исходного файла в целевой файл, который уже существует, SCP заменит содержимое целевого файла. Поэтому будьте осторожны.

rsync

rsync опции источник назначение

Синхронизация папок на локальном компьютере

rsync -azvh /home/user/documents /mnt/backup_dir/

Синхронизация с удаленным сервером

rsync -azv /home/user/documents/ root@123.123.133.133:/home/

Синхронизация файлов по ssh

rsync -avzh -e ssh root@123.123.133.133:/home/ /home/user/documents/
# Или
rsync -avzh --rsh=ssh root@123.123.133.133:/home/ /home/user/documents/

Порт для ssh:

rsync -avzh -e "ssh -p 22" root@123.123.133.133:/home/ /home/user/documents/

Установка прав файлы/папки при копировании (эти права будут у файлов после копирования):

Флаг -a включает --perms параметр (сохранить исходные права). Допустим нам нужно, чтобы после копирования права на файлы/папки отличались от источника. Для этого мы можем использовать параметр --chmod, в котором указать какие права якобы установлены у источника, и они будут скопированы в папку назначения.

Здесь префикс D - directory, F - file.

rsync -avzh --chmod=D777,F666 --rsh=ssh root@1.1.1.1:source/ destination/
# Другой вариант записи
--chmod=777
--chmod=ugo=rwX

Исключение файлов

rsync --exclude 'file1.txt' source/ destination/
rsync --exclude 'file1.txt'  --exclude 'dir1/' source/ destination/

rsync --exclude={file1.txt,dir1/} source/ destination/
rsync --exclude={'file1.txt','dir1/'} source/ destination/

rsync --exclude={'*.txt','dir1/'} source/ destination/

# list.txt here is a file where every exclude rule is on separate line
rsync --exclude-from={'list.txt'} source/ destination/

rsync -r -l -t -p -g -o -D

Подробнее: https://man7.org/linux/man-pages/man1/rsync.1.html

Сеть

Полезные команды

Комбинации клавиш

Менее полезные

Ctrl D / Delete | Удалить один символ после позиции курсора.

Тест скорости интернета

wget --output-document=/dev/null http://speedtest.wdc01.softlayer.com/downloads/test500.zip

Полезные ссылки

• Как запустить две или более команд терминала одновременно в Linux - символы ; ' && ||

Коды ошибок (общепринятый стандарт)

Команда exit в bash принимает целые числа от 0 до 255, в большинстве случаев достаточно 0 и 1, однако существуют и другие зарезервированные коды выхода, которые могут использоваться для более специфических ошибок.

В Linux Documentation Project есть таблица зарезервированных кодов выхода и того, для чего они используются.

Согласно приведенной выше таблице, коды выхода 1 - 2, 126 - 165 и 255 имеют специальные значения, поэтому их следует избегать для пользовательского выхода. Завершение скрипта с кодом exit 127, может, привести к путанице при поиске неисправностей. Во многих сценариях в качестве общего выхода при ошибке используется exit 1. Поскольку код выхода 1 означает разные ошибки, он не особенно полезен при отладке.

Была попытка систематизировать номера статусов выхода, но она предназначена для программистов на языках С и С++. Аналогичный стандарт для скриптинга, возможно, будет уместен. Автор данного документа предлагает ограничить определяемые пользователем коды выхода диапазоном 64 - 113 (в дополнение к 0 - успех), чтобы соответствовать стандарту C/C++. Это позволит ограничиться 50 допустимыми кодами и упростит поиск и устранение неисправностей.

Примечание: Выполнение команды echo $? из командной строки после выхода из сценария дает результат, соответствующий приведенной выше таблице, только в bash или sh. Запуск C-shell или tcsh в некоторых случаях может дать другие значения.

--

Использовал при написании https://ru.hostings.info/schools/komandy-dlya-putty-ssh-unix-i-linux-serverov.html