Вопросы по логам Squid

Конфигурирование прокси-сервера (Установка, настройка SQUID)
Ответить
alex2ndr
Сообщения: 5
Зарегистрирован: 28 июл 2009, 16:37

Вопросы по логам Squid

Сообщение alex2ndr » 28 июл 2009, 16:49

Здравствуйте,
Я собираюсь написать свою систему учета трафика (на основе squid и netflow ), но у меня есть некоторые вопросы. Не хочу повторяться и набивать это все заново поэтому оставляю ссылку на мой пост на linuxforum.ru
http://linuxforum.ru/index.php?showtopic=97126
Можете мне пояснить этот момент? Возможно вы с ним уже сталкивались.

И еще один момент - я нигде не нашел описания функционала вашей системы(SQUID+MySQL+Apache) - везде одни инструкции :) Можете в 2-х словах пояснить что она может?

Спасибо за внимание.

Аватара пользователя
Роман Торопов
Администратор
Сообщения: 134
Зарегистрирован: 24 мар 2008, 10:49
Откуда: г. Пермь
Контактная информация:

Re: Вопросы по логам Squid

Сообщение Роман Торопов » 28 июл 2009, 21:29

alex2ndr писал(а):я нигде не нашел описания функционала вашей системы(SQUID+MySQL+Apache) - везде одни инструкции :)
1. Squid авторизирует пользователей, через программу auth, и оставляет свой лог
2. Программа auth - передаёт squid-у "разрешить/запретить" доступ к кэшу (в интернет). Т.е. читает, из своей таблице из базы данных MySQL, не превысил ли этот пользователь своего лимата трафика.
3. Скрипт сбора (baza.pl) - читает лог squid-а и помещает в соответствующую таблицу в базе данных. Запускается по времени (ежёминутно) в crontab-е
4. Apache - интерфейсы управления (админка) и пользовательские интерфейсы просмотра своей статистики посещений в интернете, с различной детализацией, интерфейс самостоятельной смены пароля доступа к кэшу (squid). Читает и управляет данными в базе данных MySQL.

Ну вот примерно так :P

alex2ndr
Сообщения: 5
Зарегистрирован: 28 июл 2009, 16:37

Re: Вопросы по логам Squid

Сообщение alex2ndr » 28 июл 2009, 22:55

Спасибо за уделенное мне время
К своему сожалению не нашел в вашей системе нужного мне функционала (точнее искомого решения). Изучил ваш файл 2.pl (продравшись через горы if :) ) и пришел к выводу что у вас считается суммарный трафик по пользователю (т е берется sum(size) ... group by ... ). Я же хотел бы отделять входящий трафик от исходящего. Это хорошо если провайдер оценивает суммарный трафик (как например в grps) - а вот когда оценивается только входящий(есть такие провайдеры) или входящий и исходящий оцениваються по разным тарифам(мой случай - спутниковый канал - исходящий трафик через gprs и очень дорогой, входящий же приходит на тарелку и примерно в 6 раз дешевле - и платить за тот и другой разным конторам) то такой вариант не подходит.

Извиняюсь за беспокойство

Аватара пользователя
Роман Торопов
Администратор
Сообщения: 134
Зарегистрирован: 24 мар 2008, 10:49
Откуда: г. Пермь
Контактная информация:

Re: Вопросы по логам Squid

Сообщение Роман Торопов » 28 июл 2009, 23:13

Ну во-первых у меня считается только входящий трафик.
Во-вторых вы плохо разобрались файл 2.pl это не тот файл, который стоило смотреть.
На самом деле скрип посчета трафика юзера происходит в baza.pl ;) при переносе лога squid-а в MySQL
В системе ведётся две таблицы в MySQL, одна полная статистика (вась лог squid-а), вторая - логины/пароли/лимит/счет использованного трафика. Так вот, во вторую таблицу счет трафика идет из скрипта baza.pl, а так же из этой же таблицы идет авторизация пользователей программой auth которая сравнивает лимит и израсходованный трафик и разрешает или запрещает пользователю доступ.

alex2ndr
Сообщения: 5
Зарегистрирован: 28 июл 2009, 16:37

Re: Вопросы по логам Squid

Сообщение alex2ndr » 28 июл 2009, 23:39

Конечно я с налету не могу разобраться в том что вы явно не один день писали ;) Не судите меня строго - к тому же я не знаю perl.
Изучил baza.pl - как я понял это скрипт который парсит access.log и перекладывает его содердимое в mysql. Вот только идею выборки я не до конца понял - if (($type=~/MISS/) && ($size>10) && ($type!~/304/) ) - т е если результирующий код содержал слово MISS (TCP_MISS, TCP_REFRESH_MISS и тд) и р переданный размер больше 10 байт и статус код не содержит ошибки 304 ( 304 - Not Modified ). Может пояснить чем был обоснован такой выбор?
Вы использовали какую-либо литературу или дошли опытным путем?

Аватара пользователя
Роман Торопов
Администратор
Сообщения: 134
Зарегистрирован: 24 мар 2008, 10:49
Откуда: г. Пермь
Контактная информация:

Re: Вопросы по логам Squid

Сообщение Роман Торопов » 28 июл 2009, 23:49

alex2ndr писал(а):Конечно я с налету не могу разобраться в том что вы явно не один день писали ;) Не судите меня строго - к тому же я не знаю perl.
Изучил baza.pl - как я понял это скрипт который парсит access.log и перекладывает его содердимое в mysql.?
Там идёт одновременная передача, построчно, в две таблицы, одна таблица весь входящий лог squid-а, во вторую ведётся счет входящего трафика по каждому пользователю.
У вас нет необходимых прав для просмотра вложений в этом сообщении.

alex2ndr
Сообщения: 5
Зарегистрирован: 28 июл 2009, 16:37

Re: Вопросы по логам Squid

Сообщение alex2ndr » 29 июл 2009, 00:01

Роман Торопов писал(а):
alex2ndr писал(а):Конечно я с налету не могу разобраться в том что вы явно не один день писали ;) Не судите меня строго - к тому же я не знаю perl.
Изучил baza.pl - как я понял это скрипт который парсит access.log и перекладывает его содердимое в mysql.?
Там идёт одновременная передача, построчно, в две таблицы, одна таблица весь входящий лог squid-а, во вторую ведётся счет входящего трафика по каждому пользователю.
Примерно разобрался - сначала парсим лог и заполняем 1-ю таблицу (log вроде) потом делаем из нее выборку и заполняем (точнее update`им ) вторую таблицу (auth). Причем в 1-ю таблицу приходит входящий трафик - вот только критерии того что он входящий пока мне не ясны.

Еще раз извиняюсь за беспокойство.

Аватара пользователя
Роман Торопов
Администратор
Сообщения: 134
Зарегистрирован: 24 мар 2008, 10:49
Откуда: г. Пермь
Контактная информация:

Re: Вопросы по логам Squid

Сообщение Роман Торопов » 29 июл 2009, 00:05

alex2ndr писал(а): вот только критерии того что он входящий пока мне не ясны.

Еще раз извиняюсь за беспокойство.
Пишится по статусу трафика из лога squid-а (type)

alex2ndr
Сообщения: 5
Зарегистрирован: 28 июл 2009, 16:37

Re: Вопросы по логам Squid

Сообщение alex2ndr » 29 июл 2009, 11:27

Как я понял от выкуривания ftp://ftp.isi.edu/in-notes/rfc2616.txt мне никуда не деться. А жаль - так хотелось готовый алгоритм :(

Спасибо за пояснения - о результатах изысканий сообщу.

Ответить