ubuntu/linux: советы и решения

удаление лишних пробелов в конце строки

2011-12-28T23:40:00.003+04:00

Задача из области написания кода. Часто случается так, что в конце строки образуются лишние пробелы. Как их быстрее всего увидеть и удалить? Приходит на помощь sed.

На первый взгляд, задача тривиальна:

sed -ri 's/\s+$//g' foobar

Но есть в ней одна засада. Если исходный файл foobar имеет переводы строк системы DOS/Windows (т.е. два символа CR-LF), то символ \r в unix системах будет трактован тоже как пробел и соответственно удален. В итоге вместе с пробелами поменяются и переводы строк. Что может быть нежалательно.

Правильнее будет сделать так:

sed -ri 's/ +(\r)?$/\1/g' foobar

В данном случае мы запоминаем, был ли в конце строки символ \r и заменяем последовательность пробелов (именно пробелов, а не вообще пробельных символов) на этот символ (или его отсутствие, если исходный файл с переводами *nix).

Ну и еще пара моментов. Флаг -r, расширенные регулярные выражения, просто чтобы не писать лишние бэкслеши. Флаг -i замена файла in-place, т.е. и поток будет прочитан из файла и записан в него же.

Ну и наконец команда, чтобы выполнить данную операцию для всех файлов директории.

find . -name '*.java' -exec sed -ri 's/ +(\r)?$/\1/g' \{\} \;

смена пароля postgres

2011-11-28T11:08:00.004+04:00

Если забыт пароль рутового пользователя postgres.

1. Редактируется конфиг postgres для входа без пароля.

vim /etc/postgresql/version/main/pg_hba.conf

Должна быть строчка:

local all postgres ident sameuser

2. Перезапускаем сервис:

service postgresql-version restart

3. Логинемся в postgres:

sudo su postgres -c psql template

4. Меняем пароль:

ALTER USER postgres with PASSWORD 'password';

5. Меняем строчку в pg_hba.conf обратно. Например:

local all postgres md5 sameuser

Тестирование скорости записи

2011-11-18T22:33:00.002+04:00

Случайно наткнулся, отличная заметка как узнать скорость записи на диск в linux.

http://romanrm.ru/en/dd-benchmark

"Пул" процессов в bash

2011-07-14T12:05:00.003+04:00

Интересный способ имитации пула процессов найден с помощью команды xargs.

Известно, что эта команда может выполнить некую процедуру для каждого элемента из входного списка (stdin). Оказывается, она способна выполнять процедуру не последовательно для каждого элемента, а поддерживать выполнение заданного количество копий. Т.е. если на входе у нас 1 2 3 4 5 6 7 8 9 10 и мы хотим одновременное выполнение 4 процессов, то xargs сразу же запустит 4 процесса для 1 2 3 4 и как только кто-то из них завершит выполнение запустит новый уже с аргументом 5 и так далее.

Очень удобно, на самом деле, в некоторых случая. В общем, все просто - опция --max-procs.

Создание "разреженного" (sparse) файла

2011-05-05T22:49:00.006+04:00

Для виртуальной машины требуется создать образ диска в файле. Чтобы это быстрее сделать (если образ большой), и файл занимал меньше места на диске, можно создать "разреженный" файл. Делается так:


dd if=/dev/zero of=myimage.img bs=1 count=0 seek=16G

В данном случае размер образа 16G, но пока он не будет использован, на диске места он не займет.

Подсветка типов файлов в mc

2011-05-05T22:45:00.003+04:00

В относительно свежих версия ubuntu, например, в стабильной 10.04 у mc поломана функция раскраски файлов разных типов. Починяется так:


apt-get source mc
sudo cp mc-4.7.0/misc/filehighlight.ini /usr/share/mc

Если не работает apt-get source нужно поставить пакет dpkg-dev

midnight commander и двойной путь

2011-02-21T11:57:00.002+03:00

Midnight Commander дважды выводит путь своей командной строке (та что снизу). Если путь получается длинный - то он начинает занимать всю ширину экрана, а на собственно команду не остается места. Сей глюк проявляется только в терминальный программах (в консоли все отлично).
Решение найдено на убунтовском форуме.

Звук по завершении долгой консольной команды

2010-10-29T12:29:00.006+04:00

Допустим, нужно выполнить в терминале команду, которая выполняется достаточно долго, чтобы ее дожидаться ничем больше не занимаясь. В тоже время, бывает такая потребность, что как только команда выполнится нужно сделать какое-то следующее действие. Ну и вообще, просто чтобы не забыть, что она вообще там выполняется.
Придумано такое решение. Можно в командной строке указать, что после требуемой команды выполнить еще одну, которая ... подаст звуковой сигнал!
В простейшем случае воспроизвести звук из терминала можно командой beep. Чтобы не спутать звук, с обычным сигналом bell из терминала, в параметрах beep можно указать длительность и частоту звука. Звук будет воспроизведен через встроенный динамик (pc speaker).
Пример:


do_time_consuming_task; beep -f 1000 -l 500 -r 3

upd В xterm обнаружилась интересная функция. Называется PopupOnBell, в простейшем случае активируется при запуске с ключом -pob. В таком режиме, если на терминал выводится символ ASCII BELL (код 0x07 или 8-ричный 007), то окно терминала уведомляет менеджер о наличии активности (точно не знаю как назвать), после чего Desktop Manager, например, Gnome отображает кнопку такого окна на панели задач мигающей (примерно так, как если свернутый Instant Messanger получает новое сообщение).
Соответственно, можно, например, чтобы каждый раз, как shell в терминале получает управление (выводит приглашение) терминал сообщал о активности.


PS1="\\007$PS1"
sleep 5

Если выполнить эти команды, а потом свернуть окно xterm, то через 5 секунд оно замигает в панели задач.

upd #2 Аналогичное решение для gnome-terminal.

Длинная командная строка через xargs

2010-10-20T16:46:00.006+04:00

Иногда приходится выполнить команду с таким количеством аргументов, что '*' (звездочка) уже не работает - shell пытается создать слишком длинную командную строку. Выход - разбить список на несколько более мелких и выполнить команду для каждого из них. В том числе и для этого создана команда xargs.
Она получает список из stdin и выполняет переданную ей команду подставляя список в качестве ее аргументов. Для разбития списка на куски есть разные опции (-n или -s).
Но до сего момента я не подозревал, что список аргументов может быть не в самом конце нужной команды, но и в любом месте.
Для примера. Если нужно скопировать кучу файлов и cp * <dest> не работает. Пробуем писать:

ls * | xargs -n 1000 cp /dest

И оно тоже не будет работать, потому как список аргументов от xargs будет подставлен в конец команды cp и в итоге будет выглядеть примерно как:


cp /dest arg1 arg2 ... argn

Как поместить список аргументов в нужное место? А вот это в man'е не совсем очевидно при первом прочтении. А в итоге нужно делать так:


ls * | xargs -n 1000 -I FILES cp FILES dest

Что тут происходит? Опция -I сообщает xargs, что если подстрока 'FILES' встретится где-либо в части исполняемой команды (initial arguments), то именно в это место и нужно раскрыть список аргументов из stdin.

Консольная мышь

2010-10-18T11:39:00.004+04:00

Заимев в пользование IP-KVM, осознал потребность в консольной мыше. Для этой цели в ubuntu наличествует пакет gpm.

apt-get install gpm

Удалить старые файлы и папки в корзину

2010-04-02T16:34:00.003+04:00

Надоело чистить папку downloads руками? Можно добавить в crontab такую строчку:

/usr/bin/find /home/user/downloads/ -maxdepth 1 -ctime +30 -exec trash {} ;

Действует она просто - удаляет в коризну все файлы старше 30 дней из подкаталога downloads домашнего каталога. У меня настроен ее запуск при перезагрузке.

Считать пароль с клавиатуры

2010-02-10T14:23:00.004+03:00

Как считать некий текст с клавиатуры, без его отображения на терминале? Для этого у внутренней bash'евской команды read есть специальный ключ -s (silent). Если в качестве последнего аргумента не указано имя переменной, куда нужно поместить результат, то результат помещается в переменную REPLY.
А нужно это было примерно для такого:


read -s && adduser2custombase.pl newuser $REPLY

После выполнения в терминале этой строчки приглашался пользователь, который задавал свой пароль.

посчитать кол-во некоторого символа в файле

2009-12-10T15:59:00.003+03:00

Допустим, ищем количество запятых (,) в файле. Нашел в интернете несколько решений:

awk '{c+=gsub(s,s)}END{print c}' s=',' input.txt

```
grep -o \, input.txt | wc -l
```

```
tr -dc \, < input.txt | wc -c
```

Обновить список UUID дисков

2009-11-12T08:59:00.005+03:00

Если создать новый раздел на диске, то список UUID известных ядру не обновляется. Т.е. несмотря на то, что UUID уже есть (как посмотреть), раздел не монтируется по идентификатору. Чтобы список UUID обновить нужно выполнить команду:


udevtrigger

Посчитать количество повторяющихся строк

2009-10-26T15:51:00.001+03:00

Например, есть файл с таким содержимым:


A
B
A
C
B
A

Нужно получить такое:


A - 3
B - 2
C - 1

Можно это сделать с помощью awk, но еще проще сделать с помощью утилиты uniq с ключом -c.

сконвертить секунды unix в человеческий формат

2009-10-21T13:49:00.003+04:00

Как, например, преобразовать число 1256118655, являющееся количеством секунд с начала Эпохи в нормальное представление?
Вот такой командой:


date -d @1256118655

Т.е. - отобразить (-d) дату, заданную строкой @1256118655. Здесь именно '@' указывает, что исходное число - unix time. А в man date об этом не сказано. Но зато сказано в info date. В этом отличие команды GNU date от аналогичной в BSD. Там формат исходой даты можно задавать явно, а в линукс команда в большинстве случае догадывается и парсит его сама, за исключением вот таких особых случаев, когда ей нужно явно на это намекнуть.

Рекурсивное назначение прав для директорий

2009-10-06T10:14:00.003+04:00

Если нужно раздать права для всего дерева, но чтобы атрибут "x" прописался только для директорий можно использовать такую команду:


chmod -R +rwX somepath/

Раньше я пользовался для этих целей чуть более сложной конструкцией


find somepath/ -type f -exec chmod +rw \{\} \;
find somepath/ -type d -exec chmod +rwx \{\} \;

32-bit приложения на x64 ubuntu

2009-07-16T10:19:00.003+04:00

Чтобы был возможен запуск старых бинарных 32-битных приложений под 64-битной убунтой нужно доустановить мета-пакет ia32-libs.

самосборные модули ядра

2009-07-15T16:45:00.006+04:00

Пытался поставить ubuntu на сервер с Intel'овской платой (S5500BC), но оказалось, что имеющийся на плате soft-raid не поддерживается даже самой свежей версией ubuntu (не говоря уж о 8.04 LTS, которая не увидела даже DVD-дисковод).
На сайте Intel драйвера только для RedHat/SuSE. Однако, оказалось, что драйвер можно пересобрать и для другого конкретного ядра. Итак, вот такие шаги:

Скачал и распаковал драйвер

Прочитал The Linux Kernel Module Programming Guide откуда понял, что в прилагающемся Makefile не хватает собственно двух строк:
all: make -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules clean: make -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean
С первой попытки компиляция не удалась. Смысл я до конца не понял, но двух словах - версии ядра в убунту в пределах релиза не увеличиваются, хотя фичи в них встраивают новые, от свежих ядер. Нашел в исходниках директивы условной компиляции, где проверялась версия ядра, исправил циферки, чтобы "как бы старое" ядро распознавалось как "как бы новое". После этого все собралось.
Копируем файл в модули (в моем случае /lib/modules/<kversion>/kernel/drivers/scsi/)

Выполняем depmod -a

В-принципе, все. Если бы это был модуль не-дискового устройства. Для дисковых устройств нужно поместить модуль в initramfs. Для этого в /etc/initramfs-tools/initramfs.conf меняем MODULES=most, на MODULES=list, а в файл /etc/initramfs-tools/modules помещаем список все нужных модулей (можно посмотреть на работающей системе через lsmod).
Потом нужно пересобрать initramfs образ командой update-initramfs -u.

Комментарии:

Собирать драйвер можно на уже работющей системе с таким же ядром (к счастью у меня такая машина была)

Понятно, что если корневая система на изначально доступном блочном устройстве, то помещать модуль в initramfs не обязательно, можно просто прописать его загрузку в /etc/modules)

Программное перемещение в корзину

2009-07-07T11:54:00.002+04:00

Нашел такой пакет - trash. Позволяет управлять корзиной из скриптов. Таким образом настроил автоматическое удаление старых файлов из downloads в корзину.

Мониторинг системы 2

2009-05-05T15:27:00.002+04:00

Утилита sar, о которой я уже упоминал собирает довольно большой набор статистики, но результаты доступны для просмотра только в текстовом виде. Удобнее, по крайней мере часть этих данных, отображать в графической форме. Нашел скрипт sar2rrd.
Позволяет создавать на основе текстового вывода команды sar три набора файлов - rrd, xml и png. В png содержаться уже готовые графики. В качестве аргументов указывается диапазон времени, за который будет построен график, интервал агрегации данных ну и собственно по каким подсистемам (процессор, память, сеть) строить графики и какие параметры из доступных с помощью sar на них отображать.

имя файла, путь, расширение

2009-04-21T17:17:00.006+04:00

Полезно при написании скриптов на bash, которые конвертят и/или переносят файлы.
Имеется полное имя файла. Как извлечь разные его компоненты (отдельно путь, имя с раширением, имя без расширения, отдельно расширение)


foo=/tmp/my.dir/filename.tar.gz

path = ${foo%/*}
file = ${foo##*/}
base = ${file%%.*}
ext = ${file#*.}

При этом получается следующее:


path=/tmp/my.dir
file=filename.tar.gz
base=filename
ext=tar.gz

Первые два выражения аналогичны командам dirname и basename соответственно.

источник

кодировки в gedit

2009-03-19T09:43:00.006+03:00

Как упростить работу в gedit с файлами в разных кодировках?

С помощью gconf-editor расширить список кодировок в ветке /apps/gedit-2/preferences/encodings/auto_detected

Установить специальный плагин, позволяющий менять кодировки на лету. Плагин нужно распаковать в ~/.gnome/gedit/plugins и активировать в gedit (Edit --> Preferences --> Plugins --> Encoding)

Подсмотрено здесь:
кодировка в текстовом редакторе Gedit

Документы Excel, OpenOffice и кодировка

2009-03-13T14:42:00.008+03:00

В некоторых кривых Excel'евских документах русские символы при открытии их в OpenOffice Calc отображаются кракозябрами. Решение найдено такое:

Скачивается дополнение CyrTools к OpenOffice

Устанавливается (Сервис->Управление расширениями->Добавить...). Дополнение проявляет себя как новый пункт главного меню (Кириллический документ)

После открытия "кривого" документа в меню выбираем "Кириллический документ->Перекодировка документа->Латиница-1 в кириллицу"

Добавить пользователя в группу

2009-02-12T16:25:00.004+03:00

Как добавить linux-пользователя в существующую группу?

usermod -a -G admin user

Означает, что пользователь user будет добавлен в группу admin.

UPD:Оказывается, данный ключик относительно свежий. На более старом линуксе (не ubuntu) совсем недавно обнаружил его отсутствие у команды usermod. Но во всяком случае, в последнем LTS релизе (8.04.2) данный ключ уже есть.
А если ключ не поддерживается командой usermod, то для добавления в новую группу придется перечислить и все "старые"...

Bluetooth стерео звук (a2dp)

2008-12-16T11:57:00.003+03:00

Потребовалось подключить bluetooth-стерео гарнитуру к linux, чтобы слушать через нее музыку или смотреть фильмы. Долго искал и читал всякое, а оказалось все супер-просто.

Предполагается, что на машине уже установлена поддержка Bluetooth (пакеты gnome-bluetooth, bluez-utils и их зависимости). Служба Bluetooth запущена (по умолчанию она запускается при загрузке, если в это время было найдено Bluetooth карта (usb dongle или что-то подобное).

Если брелок подключается после загрузки нужно запустить службу вручную (/etc/init.d/bluetooth start).

Далее, включаем гарнитуру в режиме сопряжения (pairing mode). Определяем ее MAC-адрес.


hcitool scan

Адрес имет вид AB:CD:EF:GH:IJ:KL

Создаем файл ~/.asoundrc следующего содержимого


pcm.bluetooth {
   type bluetooth
   device AB:CD:EF:GH:IJ:KL
   profile "auto"
}

Адрес, понятное дело, ставим настоящий.

Можно пользоваться! При первом подключении к гарнитуре она автоматически будет сопряжена с компьютером, возможно потребуется ввести PIN-код (по умолчанию обычно 0000).

Как заставить конкретную программу выдавать звук на ALSA-устройство с именем "bluetooth" это уже особенности каждой программы.
В audacious я отредактировал файл ~/.config/audacious/config, параметр pcm_device=bluetooth

Как сделать hex-dump

2008-12-03T09:27:00.003+03:00

Иногда бывает нужно заглянуть внутрь файла на уровне hex-dump. Обычно на помощь приходит mc или другие GUI-утилиты (например - ghex).
А то в же время в почти всех *nix дистрибутивах есть простая консольная утилита xxd. По умолчанию она "дампит" входной поток в выходной. Но самое главное ее свойство - она умеет выполнять обратное преобразование. Т.е. генерить из дампа бинарный файл.

PS: когда-то я именно так спасал стертый MBR... :)

восстановление забытого пароля

2008-11-11T15:42:00.006+03:00

В обычном линуксе есть т.н. single user mode. Загружается добавление параметра single в строку параметров загрузчика. В убунту это загружает Recovery Mode, которые не совсем то.

Самый просто способ сменить пароль - отредактировать параметры загрузки.
В меню grub нажимае 'e', открывается редактор, стираем ro quiet splash, вместо этого добавляем rw init=/bin/bash. Потом Enter, для сохранения изменений и 'b' для загрузки.

После старта ядра будет смонтирована корневая система на запись и запустится bash. Ну а далее все как обычно:

passwd user

UPD: Раньше (или сейчас, но для других дистрибутивов) прокатывал параметр single в параметрах загрузки. Но для новых версий убунты его недостаточно.

Версия ubuntu

2008-10-29T17:10:00.007+03:00

Содержится обычно в файле /etc/issue. На самом деле этот файл предназначен для сообщения некой информации пользователям перед в входом в систему. Ну а ubuntu как раз обычно и выводит в качестве такого сообщения номер версии.
Кстати, а для вывода информации пользователям после входа в систему есть файл - /etc/motd. Иногда это симлинк на другой файл, периодически обновляемый, таким образом можно организовать отображение меняющихся "полезных советов".
UPD: В комментариях подсказали команду lsb_release (print distribution-specific information). С ключом -a выводит и версию и кодовое название дистрибутива.


lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 8.04.2
Release: 8.04
Codename: hardy

Определить uuid диска

2008-10-15T16:20:00.007+04:00

Нашел два способа.
Первый:

vol_id --uuid /dev/sda1

Второй:

ls -l /dev/disk/by-uuid

Во втором случае выводятся все известные uuid, ссылающиеся на реальные блочные устройства.

Перенумерация сетевых интерфейсов

2008-10-14T17:15:00.002+04:00

Если порядок именования интерфейсов (что eth0, а что eth1 и так далее) не устраивает, то исправить ситуацию можно редактированием файла /etc/udev/rules.d/70-persistent-net.rules. Там идет привязка MAC адреса к имени устройства.

Язык интерфейса и локаль

2008-10-14T17:07:00.003+04:00

Я уже писал про разницу между локалью и языком интерфейса, а недавно самому пришлось вспоминать куда чего прописывать.
Итак, свежеустановленная ubuntu 8.04.1. Требуется иметь английский интерфейс для меню и программ, но русскую локаль. Так как я один пользователь, то прописываю настройки глобально, в /etc/environment


LANG=ru_RU.utf8
LANGUAGE=en_US.utf8

После перезагрузки выясняется, что не работает - язык интерфейса по-прежнему русский. Переменная LANGUAGE вообще не определена. После долгих копаний обнаруживается, что это дело рук gdm. Уже не знаю почему, но он сравнивает значение LANGUAGE и GDM_LANG и, если они не совпадают, сбрасывает LANGUAGE. GDM_LANG же берется или из ~/.dmrc или из LANG или можно выбрать в меню экрана входа.
Т.е. пришлось искать место, где сделать установку LANGUAGE в рамках пользователя, после gdm, но до остальных гномовских приложений. К счастью, старые правила еще работают. Таким местом стало ~/.gnomerc

Модули ядра

2008-07-08T16:26:00.004+04:00

Загрузить модуль:

modprobe <название модуля>

Выгрузить модуль:

modprobe -r <название модуля>

Список всех модулей:

modprobe -l

Список загруженных модулей:

lsmod

Получить краткую информацию о конкретном модуле:

modinfo <название модуля>

Также список модулей можно получить командой find, если в критериях задать поиск в /lib/modules/версия ядра/ файлов с шаблоном *.ko

Кошерный способ апгрейда ubuntu из CLI

2008-06-25T16:50:00.007+04:00

Как правильно проапгрейдить ubuntu, если она установлена на сервере, где никаких XWindow нет и в помине? Хард-корное ручное решение - пропатчить sources.list и выполнить последовательно:


apt-get update
apt-get dist-upgrade

Однако, вот более "правильный" способ:


apt-get install update-manager-core
do-release-upgrade

Если для общения с сервером используется ssh менеджер предупредит о небезопасности такого способа и сообщит, что на всякий случай повесит еще один ssh-демон на нестандартный порт 9004.

перемещение окна

2008-06-23T08:18:00.003+04:00

Если вдруг у вас установлено низкое разрешение экрана (например, вы пользуетесь EEE PC), а окно с настройками настолько велико, что часть элементов управление, в том числе кнопка "ОК" скрыты за пределами видимой области, то напрашивается решение переместить окно. По умолчанию в GNOME таскать окна выше его заголовка нельзя, но если удерживать клавишу Alt, то можно. При этом тащить окно можно за любое его место, а не только за заголовок, который может быть и скрыт.

Найти процесс открывший сетевое соединение

2008-06-07T10:38:00.004+04:00

Задача: нужно выяснить, что за процесс "висит" на неком известном tcp/udp порту.
Решение: Известно как минимум 3 способа.

lsof с ключом -i. Например:
```
lsof -i tcp:80
```

netstat с ключом -p. Пример:
```
netstat -nlp | grep 80
```

fuser. Пример:
```
sudo fuser -v 80/tcp
```

UPD:Утилиты lsof и fuser можно использовать для тех же целей, но применительно к файлам. Например, чтобы перезагрузить модуль ядра ALSA нужно завершить апплет микшера и может быть другие процессы, которые не всегда очевидны (в данной случае файлом выступает специальное устройство из /dev/snd/*)

Мониторинг параметров работы системы

2008-05-23T16:00:00.005+04:00

Речь пойдет о серверном применении Linux. Потребовалось отследить, чем же занимается компьютер глубокой ночью, когда в определенный промежуток времени наблюдались заметные тормоза. После недолго поиска был найден замечательный пакет sysstat, а именно демон сбора информации sadc и утилита последующего ее анализа - sar.
Позволяет с любым периодом считывать десятки параметров (загрузка процессора, дисковой системы, памяти и сети).
sar же позволяет потом за любой промежуток времени вывести нужные параметры в табличной форме, вычисляет средние значения. Очень удобно, мне понравилось.
Рекомендую на серверах включить демон sadc (по умолчанию выключен)


vim /etc/default/sysstat
...
ENABLED="true"
...

Файлы со статистикой собираются по умолчанию в /var/log/sysstat.

Перечитать таблицу разделов

2008-04-02T14:04:00.002+04:00

Делаем, например, так:


blockdev --rereadpt /dev/sda

Зачем это нужно? Чтобы без перезагрузки заставить линукс обновить информацию о разделах из MBR. Это в свою очередь нужно после операций изменения размеров или кол-ва разделов винчестера.

Генераторы случайных паролей

2008-03-24T10:33:00.002+03:00

Понадобилось вот. С ходу нашел makepasswd

Из недостатков. Не генерит "произносимые пароли", вместо нежелательных символов позволяет задавать наоборот, набор желательнный.

Буду искать другие генераторы.

RAM-диск

2008-03-18T10:44:00.002+03:00

Потребовалось для тестирования узких мест провести эксперимент с RAM-диском (чтобы убедится, насколько винты тормозят операции). Делается диск так:


mount -t ramfs -omaxsize=256M none /ramdisk

"Mount - and you have it. Unmount - and it's gone" from man mount :)

"скриншот" из командной строки

2008-03-17T18:46:00.001+03:00

Как?
Воспользуйтесь утилитой scrot (SCReen shOT)

Размер всех файлов в директории

2008-02-25T00:49:00.005+03:00

Задача: просуммировать размер всех файлов в директории. Первое, что приходит на ум - использовать команду du.


du -hs

Но она показывает размер, занимаемый файлами (и под-директориями!) на диске. А часто нужно посчитать именно кол-во байтов во всех файлах. Тогда можно сделать так:


find . -type f -exec ls -l \{\} \; | awk '{s+=$5} END {print s}'

Так как find весьма мощная утилита, то изменяя ее параметры можно подсчитать суммарный объем данных в файлах, удовлетворяющих заданным условиям.

Как правильно подсказали в комментариях, есть еще более короткое и правильное решение:


find . -type f -printf '%s\n' | awk '{SUM+=$1} END {print SUM}'

информация об оборудовании

2008-02-08T12:08:00.001+03:00

Потребовалось узнать, в каких слотах памяти какие планки стоят (на работающей машине, естественно). По этому поводу была обнаружена архи-полезная утилита lshw.
Не на всех системах степень детализации информации одинаковая, это понятно, но на более новых все видно.
Tip: с ключом -html программа генерит отчет в соответствующем формате, после чего его можно комфортно изучить в любимом браузере.

Для тех кто не знал - из той же серии есть еще 2 утилиты:
lsusb - информация о устройствах подключенных к шине USB;
lspci - тоже самое для PCI.

А еще есть утилита hwinfo, но с данной конкретной задачей она не справилась. Просто показал сколько всего памяти и все. Зато она выводит много всякого другого.

Управление параметрами Ethernet-карты

2008-01-22T16:27:00.000+03:00

Как посмотреть режим работы сетевой карты и/или изменить его? (Имеется ввиду такие параметры, как скорость - 10/100/1000, дуплекс - Full/Half и прочее). Существует утилита ethtool в одноименном пакете. В ubuntu ставится по-умолчанию.
Просмотр параметров:


sudo ethtool eth0

добавление локали в ubuntu

2008-01-10T15:00:00.000+03:00

Иногда требуется использовать одну или несколько дополнительных локалей (например, ru_RU.KOI8-R, ru_RU.CP1251). Как добавить? В новых версиях ubuntu процедура немного отличается от старых. Все поддерживаемые локали находятся в файлах, расположенных в каталоге /var/lib/locales/supported.d/
В частности там есть файл local. Добавляем строчки с названиями нужных локалей.


ru_RU.CP1251 CP1251
ru_RU.KOI8-R KOI8-R

А потом выполняем команду locale-gen

"Гладкое" (билинейное) масштабирование видео в totem

2007-12-01T21:45:00.000+03:00

Для просмотра видео я почти всегда использую totem. Почему? It just works! :) Единственное что мне не нравилось, что при полноэкранном просмотре картинка масштабируется некрасиво. Видимо, по принципу "ближайший сосед" (nearest neighbour), и, таким образом, присутствует эффект "пикселизации" изображения. Меня это обстоятельство перестало устраивать, и я начал копать.
Оказалось, что несмотря на то, что "движок" GStreamer поддерживает "гладкое" масштабирование, включить его не так-то просто. В-принципе, можно сформировать конвеер комманд напрямую:


gst-launch-0.10 filesrc location=video.avi ! avidemux !
xviddec ! ffmpegcolorspace ! videoscale method=1 ! ximagesink

(это пример для Xvid-фильмов)
Тогда все работает. Но вот как объяснить totem'у, что он должен передать в конвеер videoscale method=1? Вроде бы можно переопределить подсистему вывода видео, прописав там тоже конвеер комманд. Т.е. запускаем gstreamer-properties, выбираем в модуле вывода видео "Другой" и пишем в строке "Канал"

videoscale method=1 ! ximagesink

Но у меня это почему-то не заработало.
Все это я нашел на launchpad'е.

Есть еще один способ, использовать для вывода видео xvimagesink (настраивается в тех же gstreamer-properties). Тогда задействуется аппаратный overlay и масштабирует картинку уже видеокарточка. Но, оказалось, что этот оверлей еще надо и включить.
Проверить включен этот режим или нет можно командой:

xvinfo

У меня был выключен. Чтобы включить нужно в секцию Device файла конфигурации xorg (/etc/X11/xorg.conf) прописать строчку:

Option          "VideoOverlay" "on"

Ну и перезапустить X'ы. Наверное, не все карточки/драйверы такое поддерживают, но у меня ATI и все заработало. Картинка стала гладкой.

сравнить две директории

2007-11-12T17:07:00.000+03:00

Иногда хочется узнать, какие файлы есть в одной директории, но которых нет в другой (или наоборот). Самой простой способ - команда diff


diff -q dir1 dir2

Если хочется программной обработки, то можно вот таким способом (показывает какие из файлов в dir1 отсутствуют в dir2):


for i in dir1/*; do
  if [ -f $i -and \( ! -e dir2/`basename $i` \) ]; then
    # do something
    echo $i
  fi;
done

Модификация установочных дисков

2007-11-07T22:19:00.000+03:00

Тут есть два варианта - либо хочется изменить livecd окружение (как правило добавить недостающий пакет), либо изменить install-cd. Во втором случае можно помимо добавления пакетов отредактировать так называемый preseed-файл (файл ответов для автоматизации установки).

Инстуркции для первого случая:
https://help.ubuntu.com/community/LiveCDCustomization

Для второго:
https://help.ubuntu.com/community/InstallCDCustomization

Комбинации клавиш клавиатуры

2007-11-05T17:13:00.000+03:00

Привык на Windows пользоваться сочетанием клавиш Windows-D для свертывания всех окон и отображения рабочего стола и заинтересовался как выполнить данную функцию в GNOME. Залез в настройки сочетаний клавиш и выделил для себя следующие:

Ctrl+Alt+L - заблокировать компьютер. У меня значок апплета есть и на панели, но нажать комбинацию проще и быстрее;

Ctrl+Alt+D - скрыть все окна и активировать рабочий стол (то что искалось);

Alt+F10 - развернуть окно на весь экран

Еще я под себя назначил две комбинации:

Ctrl-Alt-T - запустить терминал

Ctrl-Alt-C - запустить калькулятор

вырезать строки из середины файла

2007-11-01T12:48:00.000+03:00

Вопрос: Как вырезать строки с номерами с x по y из текстового файла? Например, есть файл:

Хочется получить

3
4

Ответ: как всегда на помощь приходит sed


sed -n '3,4p' test.txt

оптимизация энергопотребления ноутбуков

2007-11-01T08:21:00.000+03:00

Открыл для себя программу powertop (авторство принадлежит инженерам Intel). Увы, на моем celeron-M мало что можно оптимизировать (я уменьшения потребляемой мощности не заметил). Но тем не менее многие советы напрямую не связаны с возможностями процессора и оборудования, а больше касаются особенностей конкретного софта. Некоторые товарищи утверждают, что увеличили время автономной работы в 1.5-2 раза.

Среди изученного запомнилось, например, что firefox недружественен к энергосбережению :) И хотя в bugzille говорят, что пофиксили у меня в powertop он на первых строчках.

про падение azureus

2007-10-31T09:25:00.000+03:00

Падение azureus'а решается очень просто - переходом на другой torrent-клиент. Например, deluge. Его интерфейс сильно похож на интерфейс uTorrent, так что мигрантам с windows должно понравится. Есть еще один GTK+ клиент, попроще, transmission. Кстати, его обещают сделать используемым по умолчанию в 8.04.

download сортировщик

2007-10-27T22:03:00.000+04:00

Хорошо было бы, если загружаемые файлы не образовывали кучу-мала в каталоге downloads, а, например, в зависимости от расширений автоматически раскидывались по разным подкаталогам.

Решение для firefox в виде plugin'а найдено!

конвертирование ape во flac

2007-10-27T15:07:00.001+04:00

Мне не очень понятно, зачем народ грабит аудио-диски в "обезъяний" формат. Надеюсь ситуация изменится, в связи с распространением flac в плеерах, а пока приходится делать следующее.
Первый шаг: собственно конвертация. Описание
Второй шаг: (на основне заметки)
Теперь нужно разделить единый flac-файл на треки. Понадобятся пакеты:


sudo apt-get install cuetools shntool flac

Собственно разбиваем по трекам:


cuebreakpoints input.cue | shnsplit -o flac input.flac

Получаем файлы с именами split-track001.flac, split-track002.flac и так далее.
Восстанавливаем тэги:


cuetag input.cue split-track*.flac

UPD: Толи cuetools старые, толи flac новый, но в общем в программе metaflac уже по-другому ключи называются и cuetag не работает. Чтобы заработало нужно исправить строчку в исходники cuetag (это shell-скрипт). В самом начале там должно быть:


METAFLAC="metaflac --remove-all-tags --import-tags-from=-"

А не то, что там есть изначально.

запуск и останов сервисов (служб)

2007-10-27T14:48:00.000+04:00

В redhat-подобных системах есть полезная команда service, которая по сути позволяется не писать /etc/init.d/. В debian и деривиатах для этого есть invoke-rc.d. Команада имеет и ряд дополнительных параметров, например, --quiet (не выводить на экран сообщений об ошибках).

переименовать группу файлов

2007-10-27T14:41:00.000+04:00

Предыстория. Чтобы читать электронные книжки на портативном устройстве я распаковываю chm в html (пакет libchm-dev, команда extract_chmLib). Часто получаемые HTML файлы имеют извращенческий префикс в имени, вида _12345ABCDE_toc.html. Меня это не устраивает и поэтому перед копированием в КПК я делаю так:


rename 's/_12345ABCDE_//g' *.html

А потом и меняю ссылки внутри файлов:


sed -i 's/_12345ABCDE_//g' *.html

UPD: Увидел на одной сайте целый скрипт на шелле, выполняющий единственную функцию - преобразующий имена всех файлов текущей директории в нижний регистр. Я подумал, что наверняка rename это уже умеет. Я оказался прав - вот решение:


rename 'y/[A-Z]/[a-z]/' *

Юзается команда "трансляции" (y), которую в том числе поддерживает и sed.

upgrade на gutsy

2007-10-22T15:54:00.000+04:00

Вчера перешел на gutsy на ноутбуке. Все прошло пучком.
Сегодня запустил процедуру на рабочем десктопе и вылезли проблемы.
Во-первых, из-за поддержки шифрования ФС (видимо) новое ядро не смогло смонтировать /var и /tmp (они у меня отдельно). При загрузке на консоль выдавались многочисленные dm_linear: Device lookup failed. Решение нашлось в форумах быстро - удалить пакет evms.
Мне правда пришлось это делать немного извращенческим способом. Я сразу после апгрейда удалил старые ядра, ну и /var у меня был недоступен в single user mode - в итоге удалить по-нормальному evms было нельзя. Что я сделал: загрузился с live-cd, смонтировал корень как /mnt и var как /mnt/var и сделал chroot на /mnt. А оттуда, как будто бы из под моей системы запустил apt-get remove evms. Помогло :) От туда же на всякий случай доставил старое ядро.
Вторая проблема, это какие-то тормоза графики связанные с compiz'ом на мой машине с i865 чипсетом. Так как мне этот компиз нафиг не нужен, я решил его удалить. Удалил все, что в названии имело compiz, но не помогло. Оказывается (и это видно было в top'е) тормозил сам Xgl (пакет xserver-glx). Удалил его - сразу полегчало.
Остальное вроде работает, сижу радуюсь новому, более красивому сглаживанию шрифтов :)
UPD: С fgrlx не работает ни hibernate, ни sleep. :( С ati вроде работает...

Как удалить старые неиспользуемые ядра

2007-10-21T23:00:00.000+04:00

Проще всего - через Synaptic Package Manager. Ищем по linux-image, отмечаем, удалям.

перекодировка текста

2007-06-28T09:28:00.000+04:00

До сих пор часто требуется перекодировать файл из одной кодировки в другую. Например, если он попал на машину с системы Windows, для которой родной 8-битной является Windows-1251.
До сего дня не знал, что в большинстве nix-систем есть маленькая программка iconv, которая перекодирует стандартный поток ввода и направляет результат в стандартный поток вывода.
Формат использования самоочевидно прост:


iconv -f <from_encoding> -t <to_encoding>

Также можно посмотреть список поддерживаемых кодировок:


iconv -l

Сама функция iconv предоставляется glibc, так что действительно программа вездесуща.

запретить очистку /tmp

2007-06-25T09:15:00.000+04:00

Вопрос: Как запретить чистку /tmp при перезагрузке системы?
Ответ: Создать в /tmp (или любом его подкаталоге) файл .clean (можно пустой). Тогда содержимое этого каталога при загрузке останется нетронутым.

заменить текст в группе файлов

2007-06-19T20:35:00.000+04:00

Для тех из вас, кто достаточно искушен в стандартных утилитах unix есть такой совет:


find *.py -print0 | xargs sed -i 's/old/new/g'

В данном простом случае можно обойтись и без find:


sed -i 's/old/new/g' *.py

ubuntu и VLAN

2007-06-18T10:55:00.000+04:00

Давеча пришлось настроить на сервере с убунтой VLAN-интерфейсы. Оказалось все проще простого.
Шаг 1. Ставим пакет vlan
Шаг 2. Загружаем модуль 8021q и прописываем его постоянную загрузку в /etc/modules
Шаг 3. Создаем в /etc/network/interfaces новый интерфейс. Если определенным образом обозвать интерфейса (варианты vlanX и eth0.X допустимы), то он будет рассмотрен как VLAN-интерфейс.
Т.е. можно сделать примерно так:


interface eth0.1 inet static
  address 10.0.0.1
  netmask 255.255.255.0
  ...

Правая кнока - "Создать..."

2007-06-11T21:23:00.001+04:00

Вопрос: как добавить свои пункты в меню Правая кнопка -> Создать -> ... среды GNOME?
Ответ: создать в домашнем каталоге подкаталог Templates и там разместить шаблоны файлов. Например, создать пустой файл "Текстовый документ.txt" или сохранить из OO-writer'а пустой файл с именем "Документ OO-writer.odt"

русский в текстовой консоли

2007-05-31T20:13:00.000+04:00

Когда я пользовался debian я ставил пакет console-cyrillic. Он загружал нужные шрифты и настраивал сочетания клавиш для переключения между раскладками.

Теперь (по крайней мере в 7.04) эти же функции возложены на console-setup. Т.е. выполняем


sudo dpkg-reconfigure console-setup

и выбираем нужные параметры.

Кстати говоря, console-cyrillic, которым я таки до сего дня пользовался не нравился мне тем, что при старте во время загрузки портил splash-screen какими-то своими артефактами. Теперь я его удалил и все исчезло. Я доволен.

русскоязычные тэги в mp3

2007-05-26T20:30:00.000+04:00

MP3 появился значительно раньше его свободного аналога OGG Vorbis, поэтому о unicode и национальных символах в момент его создания особенно не заметились.
Первая версия MP3-тэгов ID3v1 вообще не было ориентирована на многобайтные кодировки и на кодировки отличные от ISO8859-1. Но, надо было как-то хранить русские названия и их стали хранить, подразумевая, что они представлены в кодировке windows-1251. В системах, отличных от оффтопика это стало вызывать проблемы. Появились плагины, конвертирующие on-line кодировку в понятную системе, и это частично решало проблему.

С появлением ID3v2 стала доступна возможность использовать многобайтные кодировки. Но и тут было не всего гладко, подверсии ID3v2 поддерживали кодирование метаинформации по-разному, а некоторые плееры не считали нужным отличать, скажем, ID3v2.3 и ID3v2.4.

И тем не менее, на данные момент самым правильным способом хранения русских тэгов является использование Unicode внутри ID3v2 тэгов. Большинство современных программных плееров, а в последнее время и аппаратные плееры ориентируются именно 2-ую версию.

Если у вас есть коллекция песен в старом формате можно неспеша сконвертить ее в новый, использую замечательную программку EasyTag. Она умеет читать тэги из ID3v1 (в любой кодировке, это настраивается) и соотвественно записывать в "правильном" современном формате. Какая разновидность unicode (UTF-8, UTF-16) будет использована также настраивается.

swap и hibernate

2007-05-25T16:30:00.000+04:00

Недавно случайно обнаружил, что при переходе в режим hibernate линукс сохраняет состояние памяти на swap-раздел. Т.е. если swap меньше размера памяти (или свободного места), то хибернация не удасться. А я-то думал, зачем, например, своп на гиг и тем более 2, если скорость общения с винчестером не позволяет за доли секунды перекидывать такие объемы, а следовательно если своп использован на несколько сот мегабайт, то получаем сильные тормоза.

К счастью, размер свопа, чтобы hibernate срабатывал всегда, можно увеличить, ну хотя бы добавив еще один раздел, ведь всего swap'ов может быть несколько :)

Внешние субтитры в totem

2007-05-21T23:47:00.000+04:00

Наверное, немногие из опытных linux-гуру пользуются такой достаточной простой программкой для воспроизведения видео, но по умолчанию в ubuntu применяется именно она.
На самом деле totem не так уж и прост, он максимально облегчен для пользователя и в этом его особенность. Так вот, речь о субтитрах. Если они находятся внутри самого файла, то проблем нет, включение-отключение производится через меню. Если же субтитры находятся в отдельном srt или sub файле, то есть два способа:

totem автоматически подгружает субтитры из файла с одноименным именем, но другим расширением, расположенным рядом с видео-файлов. Т.е. если у вас есть film.avi и film.srt в одном каталоге, то при открытии фильма будут загружены субтитры и управлением ими будет также доступно через меню, как если бы они были встроены в файл;

указать файл субтитров в командной строке. Формат таков:
```
totem file:///path/to/video.avi#subtitle=video.srt
```

программа для работы с CD-audio

2007-05-11T10:08:00.000+04:00

Сграбить диск, скопировать, посмотреть содержимое, установить название через CDDB - cdrdao

Список установленных пакетов

2007-05-11T09:35:00.000+04:00

Вопрос: как посмотреть список пакетов установленных в системе?
Ответ:


dpkg --list

или


dpkg --list 'foobar*'

язык интерфейса и локализация

2007-05-07T22:21:00.000+04:00

Иногда хочется использовать англоязычный интерфейс для программ, сохраняя при этом национальные настройки локали (дата, время, валюта и т.д.). Языковые настройки устанавливаются в linux через переменные окружения:

LANG. Определяет собственно локаль (национальные особенности в представлении определенного вида данных). Пользуется наименьшим приоритетом, может быть переопределена другими переменными (см. далле);

LANGUAGE. Предпочитаемые языки интерфейса программ в порядке убывания. Не входит в POSIX стандарт, поддерживается программами, использующими GNU gettext;

Группа переменных LC_*. Позволяет установить раздельные языковые предпочтения для каждого типа локализуемой информации. Отдельно стоит обратить внимание на переменную LC_ALL. Если она определена, то она перекрывает все остальные настройки, т.е. имеет наивысший приоритет. Обычно, эту переменную используют в целях отладки, когда нужно быстро (временно) переключить все настройки локали на другой язык.

Таким образом, чтобы иметь русскую дату/время и английский интерфейс нужно установить две переменные окружения:


LANG=ru_RU.UTF-8
LANGUAGE=en_GB:en

Но не все программы "реагируют" на LANGUAGE. В частности firefox и thunderbird в таком случае продолжают использовать LC_MESSAGES или LANG (в указанном приоритете).
Т.е. более правильно будет сделать даже так:


LANG=ru_RU.UTF-8
LC_MESSAGES=en_GB

Мне пока неизвестны программы, которые "не понимают" LC_MESSAGES, но понимают LANGUAGE.

медиа-плеер

2007-05-07T12:10:00.000+04:00

Только недавно узнал о хорошей программке аудио-плеере - audacious, сделанной по мотивам винамповского интерфейса. Не, ну сама она является форком другого плеера, beep-media-player, но мне она прежде всего напоминает xmms и винамп. От xmms прежде всего отличается работой под современной версией gtk.
Понимает winamp'овские скины - поставил классическую от 2-ой версии :)

Иконки на рабочем столе

2007-05-05T13:52:00.000+04:00

Пользователи Windows привыкли видеть значки "Мой компьютер", "Корзина" на рабочем столе. Но в ubuntu среда GNOME настроена по умолчанию их не показывать. Исправить ситуацию можно с помощью gconf-editor.

/apps/nautilus/desktop/computer_icon_visible - отображать значок "Компьютер"
/apps/nautilus/desktop/home_icon_visible - отображать значок домашнего каталога
/apps/nautilus/desktop/trash_icon_visible - отображать значок корзины.
/apps/nautilus/desktop/network_icon_visible - отображать значок "Сеть".

gnome-help

2007-05-03T23:50:00.000+04:00

В KDE konqueror понимает множество псевдо-протоколов в URL, например, man, с помощью которого порой удобно просматривать страницы документации. В GNOME это тоже работает, но браузеру придется вызывать внешнее приложение, которое называется yelp. Это - справочная система, способная в числе прочего форматировать и man-страницы.

переменные окружения

2007-05-01T17:18:00.000+04:00

Почти в любой подстраиваемой под себя системе возникает необходимость определить новые переменные окружения или изменить существующие. Возникает вопрос: в какое место нужно прописать нужные строчки, чтобы после перезагрузки воссоздавалась "правильная" среда?

Существует несколько мест, в зависимости от того, является ли переменная общей для всех пользователей и используется ли на машине GUI вход в систему (xdm, gdm, kdm).

Файл /etc/environment - общие переменные среды для всех пользователей. Читается системой стартовых скриптов, поэтому переменные видны всегда и для всех. Однако, важно отметить, что данный файл не является куском bash-скрипта, поэтому определить переменную через значения других не получится;

"Профиль" интерпретатора команда. Для linux это обычно bash и соответственно ~/.bash_profile. Тут можно определить переменные специфичные для пользователя, но выполнен этот файл будет при запуске интерпретатора с ключом -l, а это обычно происходит, когда bash запускается процессом login. Другими словами, при локальном входе в систему через X данный файл прочитан не будет. Равно как не будет прочитан и при последующем запуске bash уже из "иксов";

Стартовые скрипты среды окружения пользователя. Пока остановимся на GNOME, являющейся "родной" средой в ubuntu. Тут все просто: есть файлик ~/.gnomerc, исполняемый при входе в систему;

Общие переменные можно также прописать в общем профиле интерпретатора команд. Для bourne-шеллов это etc/profile. Опять же, файл будет обработан только при входе в систему через процесс login.

ZIP и интернациональные символы в именах файлов архива

2007-04-30T19:02:00.000+04:00

Программа zip не очень правильно работает с национальными символами в именах файлов. Чтобы потом распаковать архив, созданный, например, под Windows, нужно сделать следующее:


unzip <archive>
convmv -f iso8859-1 -t cp850 -r --notest --nosmart <arch_dir>
convmv -f cp866 -t utf8 -r --notest --nosmart <arch_dir>

Это при условии, что локаль utf8. Если koi8-r, то в последней команде это нужно отразить.

Собственно основную работу выполняет утилитка convmv, предназначенная для преобразования кодировок в именах файлов. Находится она в одноименном пакете.

маленькие, но полезные утилитки

2007-04-28T10:04:00.000+04:00

flip - перекодирует текст из unix в dos формат и наоборот, т.е. по сути убирает или добавляетсимволы с кодом 13 в окончанию строк. Знаю о утилите еще со времен сидения под Debian.

recode - перекодирует текст из одной кодировку в другую. Пользоваться примерно так:

recode cp1251..utf8 mydocument.txt

запись номер 1

2007-04-28T09:49:00.000+04:00

Итак, первый маленький совет, но очень актуальный, ибо этого мне и в самом деле не хватало в убунте. Речь идет о индикаторе текущей раскладки клавиатуры не в виде аббревиатуры страны, а в виде флага.

Настроить эту возможность через меню самого апплета не представляется возможным. Но задействовать эту функцию можно через gconf-editor
Ставим флажок


/desktop/gnome/peripherals/keyboard/indicator/showFlags

и помещаем файлики с картинками флажков в ~/.icons/flags

Работает :)

Спасибо товарищам из списка рассылки ubuntu-ru, которые постепенным приближением к истине откопали решение.