Bash-скрипты

Представляю вашему вниманию мой простой скрипт для одной единственной цели, сбора адресов мыл с всем известного mail.ru. С их сервиса ответы. Старо, как мир=)

#!/usr/bin/bash

zapros() {
wget "https://otvet.mail.ru/question/$1" -o /dev/null -O - --user-agent='Мозилла/5.0 (X11; U; FreeBSD i386; ru-RU; rv:1.9.1.10) 20100625 Firefox/3.5.10' | egrep '[a-zA-Z0-9_-]*@[a-z]*.ru' -o
}

new() {
wget "https://otvet.mail.ru" -o /dev/null -O - --user-agent='Мозилла/5.0 (X11; U; FreeBSD i386; ru-RU; rv:1.9.1.10) 20100625 Firefox/3.5.10' | grep "question/[0-9]*" -o -m 1 | grep "[0-9]*" -o
}
 
if [ "$1" == "-d" ]                                         
then                                    
    di1=$(echo $2 | grep "[0-9]*" -o | head -n 1)
    di2=$(echo $2 | grep "[0-9]*" -o | tail -n 1)
    for i in $(seq $di1 $di2)
    do
	zapros $i    
    done
else
    if [ "$1" == "-n" ]
	then
	new
    else
	zapros $1
    fi
fi

Примеры использования:
./mail.sh -d 169820000-169832004 (Собирает мыла с страниц в данном диапозоне)
./mail.sh -n (Посмотреть номер самой последней страницы для сбора свежих адресов)

Для сохранения в файл перенаправляем вывод.. Может кому пригодится=)

Также предлагаю в этой теме выкладывать различные bash-скрипты, написанные лично вами..

Идея хорошая, реализация хромает.
Сходу:
- Парсить в один поток? Серьезно?
- Как обрабатываются ошибки и таймауты?

Нужно больше ООП, функций и экспшенов.

Так ООП в bash что-то не видал) А насчет задержек вроде как есть опция --timeout, можно её использовать, тогда хотя бы будет пропускать слишком долгие запросы.. А что насчет потоков в bash имеется?

Намек был на ЯП, bash - инструмент некошерный.

Ни у кого нет своих скриптов? или все под виндой?)) выкладываем, если есть что..

Простенький backup в cron на убунту, на удалённом сервере всё зашифровано (если вы выбрали шифровать домашнюю папку при установке)

#!/bin/bash
rsync -avzh --delete --progress /home/.ecryptfs backup@remotededic:~/.b/

Для продвинутого способа можно пользоваться инкрементальными бекапами duplicity с gpg шифрованием

Про безопасный интернет. Скрипт для отключения интернета от хромиума (с privoxy) во время отсутствия, для предотвращения тайминг атак и атак конфирмации трафика.
Скрипт включается, когда блокируется экран паролем (задаётся в системе). Это сделано для того, чтобы когда у вас 4 окна с открытыми onion вкладками и рабочими ссылками, в ваше отсутствие не ломились всякими аяксовыми запросами к себе или гуглу. Когда скринсейвер выключается, доступ автоматически восстанавливается. Особенно полезно тогда, когда комп у вас всегда включён.
Первый скрипт блокирует доступ к privoxy порту (или к отдельному сокс порту тора) через iptables. Для его работы, нужно добавить строчку в /etc/sudoers (userlogin ALL=NOPASSWD: /home/userlogin/bin/chrinet)

#!/bin/bash
if [ "$1" == "b" ]; then
        if ! (iptables -L -n | grep -q 8118); then
        echo "no rule - adding";
        iptables -I INPUT -p t***** --dport 8118 -j REJECT #или 9050
        else
        echo "rule already exists"
        fi
else
        if (iptables -L -n | grep -q 8118); then
        echo "deleting existing rule"
        iptables -D INPUT -p t***** --dport 8118 -j REJECT #или 9050
        else
        echo "no rule to delete"
        fi
fi

Второй следит за скринсейвером

#!/usr/bin/perl

#kde
my $cmd = "dbus-monitor --session \"type='signal',interface='org.freedesktop.ScreenSaver',member='ActiveChanged'\"";
open (IN, "$cmd |");

#gnome
#my $cmd = "dbus-monitor --session \"type='signal',interface='org.gnome.ScreenSaver',member='SessionIdleChanged'\"";

while (<IN>) {
if (m/^\s+boolean true/) {
#when screensaver activates, run the following commands
system("echo \"--------------------------------------------------------------------\" >> /tmp/swatcher");
system("sudo /home/userlogin/bin/chrinet b");
system("echo \"started:\" >> /tmp/swatcher");
system("date >> /tmp/swatcher");
system("echo \"--------------------------------------------------------------------\" >> /tmp/swatcher");
} elsif (m/^\s+boolean false/) {
#when screensaver deactivates, run the following commands
system("echo \"--------------------------------------------------------------------\" >> /tmp/swatcher");
system("sudo /home/userlogin/bin/chrinet a");
system("echo \"stopped:\" >> /tmp/swatcher");
system("date >> /tmp/swatcher");
system("echo \"--------------------------------------------------------------------\" >> /tmp/swatcher");
}
}
~  

Запускается так:
nohup ~/bin/swatcher &
лучше добавить в автозагрузку

Я очень люблю chromium, и использую его также для TOR и I2P. Он ИМХО гораздо быстрее (благодаря V8), стабильнее, имеется куча уникальных плагинов, которых нет в firefox. Поэтому у меня есть ещё инфа и скрипты для его безопасности.
Запускаю так:

#!/bin/bash
chromium-browser --user-data-dir="/home/user/.chromium/tor" (для разных профилей) --proxy-server="127.0.0.1:8118" (или socks5://127.0.0.1:9050) --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE myproxy" --allow-running-insecure-content --user-agent="(если надо сменить)" $@

Как настроить хром на безопасную работу

И как отключить автообновление плагинов:

#!/bin/bash
for i in `ls -1 .chromium`; do #у меня все профили в этой папке, у других ~/.config/chromium
file="/home/user/.chromium/$i/Default/Preferences"
echo $file
sed -i 's/https:\/\/clients2.google.com\/service\/update2\/crx/http:\/\/127.0.0.1/g' $file
done

можно добавить в дневной крон

Редактировался gerc (2014-10-25 11 ч.)

Как быстро сделать сокс прокси из вдски, и безопасно к ней подключаться.

apt-get install dante-server
или
yum install sockd

в конфиг /etc/danted.conf \ /etc/sockd.conf забиваем:

logoutput: stderr
internal: 127.0.0.1 port = 51080
external: eth0
method: none #rfc931
clientmethod: none
user.privileged: proxy
user.notprivileged: nobody
user.libwrap: nobody
client pass {
        from: 0.0.0.0/0 to: 0.0.0.0/0
}
pass { 
        from: 0.0.0.0/0 to: 0.0.0.0/0
        command: bind connect udpassociate
        log: connect error
}
pass {
       from: 0.0.0.0/0 to: 0.0.0.0/0
       command: bindreply udpreply
       log: error # connect disconnect iooperation
}

и в крон на каждые 5 минут:

*/5 * * * * ~/bin/vds

Кидаем скрипт

#!/bin/bash
createTunnel() {
    ssh -p22 -f -N -L51080:127.0.0.1:51080 -L51021:127.0.0.1:22 root@vds
    if [[ $? -eq 0 ]]; then
        echo Tunnel to hostb created successfully
    else
        echo An error occurred creating a tunnel to hostb RC was $?
    fi
}
## Run the 'ls' command remotely.  If it returns non-zero, then create a new connection
ssh -p 51021 root@localhost ls
if [[ $? -ne 0 ]]; then
    echo Creating new tunnel connection
    createTunnel
fi

первый раз команду надо вручную включить (~/bin/vds).
Таким образом имеем шифрованный удалённый прокси, который закрыт от мира, и он всегда поддерживает коннект. На него можно настроить отдельный профиль браузера (см выше)

Мягко говоря - зря, учитывая как жестко команда Tor патчит Firefox в своем Tor Broswer.

Я чего-то не понял. Берем ip сервера и логин, пишем в консоль:

ssh -24xND 12345  [email protected]

Вбиваем пароль, все. Теперь у нас шифрованный туннель до сервера на 127.0.0.1:12345, используем как SOCKS-прокси 

Почему зря? Патчат они в основном TorButton, и ставят плагины с мозилы типа NoScript и Self-Destructing Cookies.
А когда у меня весь трафик по умолчанию через последний TOR, то пофиг на уязвимости и другую херню.
Я описал как настроить этот браузер, который также будет безопасен, как TBB или Firefox

Я просто привык делать всё на сокс-сервере, потому что в нём удобно можно ограничить доступ на ненужные адреса, ограничить канал и т.д., поэтому выложил. А второй скрипт просто поддерживает коннект, если он отваливается и работает в фоне, потому что я часто покупаю впс именно для этого. Таким образом у меня запущено 5-8 подключений, или некоторые включаются по требованию.
Также везде использую OpenSSH с патчами hpa, он поживее работает, он многопоточнее.

Ты ошибаешься.

То ли я перестал понимать русский язык, то ли я прочитал какой-то полный п.здец 

Целая команда трудится полный рабочий день, получая за это неплохие деньги, а тут, оказывается, всего-то надо на хромиум пару расширений поставить.

Я говорю, что у меня весь трафик идёт по цепочке Tor -> OpenVPN+ -> Tor, и пох на всякие уязвимости, как нашли в TBB и Firefox, которые деанонимизируют IP.

Целая команда трудится над самим Tor, протоколом и следят за сетью, а не только над TBB.
Я не говорю, что TBB это плохо, они молодцы, но там большая часть патчей, специфичных к firefox, которые лучше изолируют что-то, убирают идентификацию...
Хромиум был переписан почти с начала (V8) и там хорошо всё засандбоксено, а настроив все параметры идентификации на стандартные, и проверив себя на panoliptick, всё будет безопасно, но только при наличии всех тех плагинов, особенно httpswitchboard. Но всёравно браузеры лучше запускать от отдельного юзера.

Просто мне нравится хромиум, вот я и кинул инструкции, если кому надо. А больше я на нём из-за тех плагинов, что есть только для него. Я ковырял его WireShark'ом, ковырялся в сурцах, смотрел что куда лезет, заблокировал обновление плагинов...

Каждому своё. Не думаю, что уместно сейчас сравнивать TBB и Chromium, TBB это готовый продукт, а Chromium без плагинов и допилки это базовый браузер. И это не Google Chrome, который включает аналитику на сайтах, на которых она даже не установлена.

Ты в курсе, что помимо ip есть еще вагон деанонимизирующей информации?

Конечно не уместно, с TBB хоть какая-то уверенность есть, что разработчики думают о безопасности и приватности.

Конечно в курсе, есть куча материала по этому поводу, а также можно проверить себя на panopticlick.eff.org
Ну и конечно отключать реферер, спуфить user-agent, блокировать трекинг и рекламу... куки нахер и т.п.

Ваш внешний айпи

wget -q -O - https://formyip.com | awk '/The/{print $5}'

Поиск в Гугл с помощью bash.

#!/usr/bin/bash
param=$2
param2="0"
while [[ $param -ge 0 ]] 
do 
wget "https://www.google.com/search?q=$1&start=$param2&sa=N" -o /dev/null -O - --user-agent='Мозилла/5.0 (X11; U; FreeBSD i386; ru-RU; rv:1.9.1.10) Gecko/20100625 Firefox/3.5.10' | egrep "https://[^<>\"&#;\^)( ]*" -o | egrep "youtube" -v | egrep "webcache" -v | egrep "google" -v | egrep "schema" -v | sed -r 's/&amp.+//' | uniq
let 'param2+=10'
let 'param-=10'
done

Собирает ссылки соответствующие определенному запросу.
Пример:

./google.sh "Music" 10

Лол. А если через какую-нибудь уязвимость в TBB забэкдорят систему? Тоже пох?

У меня весь трафик по-умолчанию идёт через Tor+OpenVPN+Tor, с полной июзоляцией хостов/портов

Да вы не с той стороны на это смотрите. Вот скажем вы пользуете систему не только для ракования на хидденчане и серфинга руниона, а еще и делаете какие-то дела в ней. Вполне ожидаемо, что для этих дел вы будете пользоваться файловой системой - создавать файлы и т.п. И вот эту инфу и могут слить. Даже несмотря на то, что не будут знать вашего реального IP. Весьму ху#вая перпектива, как по мне.

BillieJean, имхо такое развитие событий исключать не стоит. Лучше не храни скан своего паспорта на рабочей машине.