Zentyal Forum, Linux Small Business Server

International => Russian => Topic started by: Ready on September 16, 2014, 03:43:51 pm

Title: Раздача интернета работает ужасно!
Post by: Ready on September 16, 2014, 03:43:51 pm
Остановил свой выбор на данном продукте Zentual 3.3 для организации доступа в сеть, порадовал веб интерфейс и то что можно изменять настройки давольно быстро и удобно.
Задача стояла поднять прокси сервер для разграничения хождения пользователей в интернет и ограничения скорости доступа, плюс статистика по каждому пользователю.
Поднял три интерфейса, один смотрит в локаль и два от разных провайдеров.
Сервак не заводил в домен, дабы не к чему, просто добавил пользователей для доступа в интернет. Настроил прокси с кешем в 2000 Мб, не прозрачный. Выделил пользователей по подсетям, настроил правила скорости загрузки на максималке 10 Мб трафика, потом падает до 128 Кб/с., настроены еще и фильтры для блокировки сайтов. Тех пользователей которые должны ходить мимо прокси так же выделил в отдельный Объект и настроил соответствующие правила в Фаерволе и в балансировке трафика, что вот эти из списка ходят на второго провайдера, не мешая основной массе.
На данный момент накопилось порядко 200 пользователей в день которые пользуются интернетом, одновременно примерно 120. Так вот проблема в том что сайты через проксю открываются просто ужасно! Время открытия сайта до минуты и более, а иногда просто вываливает в браузере ошибка "Невозможно загрузить страницу". Начал мониторить и разбираться, очень большое время уходит на построение запроса к сайту, потом построения тунеля прокси, потом получение ответа.
Пробовал решать вопрос убирал файл подкачки до минимально допустимого 10 Мб, отключал фильтры, убирал ограничения на пользователей по полосе пропускания, не помогает...
Причем проблема даже у тех кто пользует доступ через этот сервер шлюзом, сайты либо долго открываются либо выскакивает "Веб-страница не доступна"
Помогите разобраться в чем может быть причина такой ужасной работы интернета через сервак.
Потерь при пинге нет, пинг сайтов хороший, трассировка тоже.
Железка Xeon X3430 2,4, ОЗУ 16 Гб, винты SATA WD RE собраны в RAID 1 программный самой системой при установке, каналы связи от провайдеров 30 и 100 Мбит/с.
Кроме как раздачей интернета этот сервер больше никакими задачами не нагружен.
Title: Re: Раздача интернета работает ужасно!
Post by: logdog on September 16, 2014, 06:33:40 pm
Дайте вывод ethtool -i eth0 и ifconfig eth0 (всех 3-ех интерфейсов)
Title: Re: Раздача интернета работает ужасно!
Post by: ds on September 17, 2014, 06:17:24 am
да.. с ролью раздачи интернета (просто прокси на порту 3128 с вышестоящим каскадом) зентиал справляется из ряда вон плохо (а если еще и фильтры какие нить имеюцца)
перевел сервер на ipfire (веб морда есть) скорость интернета - небо и земля
Title: Re: Раздача интернета работает ужасно!
Post by: logdog on September 17, 2014, 06:40:47 am
с ролью раздачи интернета (просто прокси на порту 3128 с вышестоящим каскадом) зентиал справляется из ряда вон плохо (а если еще и фильтры какие нить имеюцца)
Вы причину не стали искать?
Title: Re: Раздача интернета работает ужасно!
Post by: ds on September 17, 2014, 07:26:10 am
когда на нескольких Z в разных филиалах на разных системниках типа "хлам-сервер"
при установке с нуля
при одинаковой настройке прокси и шлюза
наблюдаются одинаковые симптомы
то причина, для меня, очевидна
---------------------------------------------------
причем в точто такой-же "искаропки" ipfire летает
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on September 17, 2014, 10:16:42 am
ifconfig для интерфейсов
Code: [Select]
eth2      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          inet addr:10.1.1.xxx  Bcast:10.1.127.255  Mask:255.255.128.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5132817 errors:0 dropped:12426 overruns:0 frame:0
          TX packets:4983963 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:829369779 (829.3 MB)  TX bytes:4809777097 (4.8 GB)
          Memory:ddfc0000-ddfe0000

eth3      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          inet addr:79.xxx.xxx.xxx  Bcast:79.xxx.xxx.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:530464 errors:0 dropped:0 overruns:0 frame:0
          TX packets:429859 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:398278735 (398.2 MB)  TX bytes:152356937 (152.3 MB)
          Memory:ddfe0000-de000000

eth4      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          inet addr:91.xxx.xxx.xxx  Bcast:91.xxx.xxx.255  Mask:255.255.255.192
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2291043 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1832000 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1716862375 (1.7 GB)  TX bytes:439592325 (439.5 MB)
          Memory:dd3c0000-dd3e0000

а вот команда ethtool -i eth2 и т.д. не отрабатывает
Code: [Select]
:~$ ethtool -i eth2
-bash: ethtool: command not found

Title: Re: Раздача интернета работает ужасно!
Post by: logdog on September 17, 2014, 12:15:51 pm
 
типа "хлам-сервер"

то причина, для меня, очевидна

Если причина в этом.... то это не проблема прогеров (по-моему мнению).

2Ready
RX packets:5132817 errors:0 dropped:12426 overruns:0 frame:0

дропы не нравятся, но это "допустимо"...

apt-get install ethtool

У меня, просто 10 человек, и максимум 3-4 сидят одновременно сидят через проксю...я, к сожалению, не могу подтвердить с таким ничтожно малым количеством юзеров проблему прокси... у меня никто не жаловался.

А оперативка свободна?
free -m
ps -eo user,pcpu,pmem,pid,cmd | sort -r -n -k3 | head -10
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on September 17, 2014, 01:17:08 pm
2Ready
RX packets:5132817 errors:0 dropped:12426 overruns:0 frame:0

дропы не нравятся, но это "допустимо"...
apt-get install ethtool
дропы я так полагаю из-за правила в фаерволе шлюз дропнут всем кроме списка десятка ip. на рабочих станция шлюз вообще не указан, только прокся, даже если кто и укажет - не пройдет.

Code: [Select]
:~$ ethtool -i eth2
driver: igb
version: 4.1.2-k
firmware-version: 1.32, 0xfc6d0000
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes

:~$ ethtool -i eth3
driver: igb
version: 4.1.2-k
firmware-version: 1.32, 0xfc6d0000
bus-info: 0000:03:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes

:~$ ethtool -i eth4
driver: igb
version: 4.1.2-k
firmware-version: 1.32, 0xfc6f0000
bus-info: 0000:04:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes

У меня, просто 10 человек, и максимум 3-4 сидят одновременно сидят через проксю...я, к сожалению, не могу подтвердить с таким ничтожно малым количеством юзеров проблему прокси... у меня никто не жаловался.

А оперативка свободна?
free -m
ps -eo user,pcpu,pmem,pid,cmd | sort -r -n -k3 | head -10

Code: [Select]
:~$ free -m
             total       used       free     shared    buffers     cached
Mem:          7973       4788       3184          0        167       3408
-/+ buffers/cache:       1213       6760
Swap:         7623          0       7623
Code: [Select]
:~$ ps -eo user,pcpu,pmem,pid,cmd | sort -r -n -k3 | head -10
proxy     1.1  2.4  3896 /usr/sbin/squid3 -N -YC -f /etc/squid3/squid-external.c                               onf
ebox      0.3  2.5 26552 /usr/sbin/apache2 -d /var/lib/zentyal/conf/ -k restart
ebox      0.6  1.9 14789 /usr/bin/perl /usr/share/zentyal/loggerd
ebox      0.1  1.5  1517 /usr/bin/perl /usr/share/perl5/EBox/EventDaemon.pm
ebox      0.0  1.2  1545 /usr/bin/perl /usr/share/perl5/EBox/EventDaemon.pm
www-data  0.0  0.0  3425 /usr/sbin/apache2 -k start
www-data  0.0  0.0  3424 /usr/sbin/apache2 -k start
www-data  0.0  0.0  3423 /usr/sbin/apache2 -k start
www-data  0.0  0.0  3422 /usr/sbin/apache2 -k start
www-data  0.0  0.0  3421 /usr/sbin/apache2 -k start
Title: Re: Раздача интернета работает ужасно!
Post by: logdog on September 17, 2014, 02:54:28 pm
Драйвер конечно не последний... но тут явно не в нем дело.

Даже не знаю что посоветовать..я бы попробовал сначала без фильтров проверить работу (останутся ли тормоза и долгое открытие), а потом уже смотрел в сторону отключения ограничения скорости загрузки для тестирования...
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on September 17, 2014, 09:18:15 pm
Драйвер конечно не последний... но тут явно не в нем дело.

Даже не знаю что посоветовать..я бы попробовал сначала без фильтров проверить работу (останутся ли тормоза и долгое открытие), а потом уже смотрел в сторону отключения ограничения скорости загрузки для тестирования...

Я писал, уже проделывал это
Quote
Пробовал решать вопрос убирал файл подкачки до минимально допустимого 10 Мб, отключал фильтры, убирал ограничения на пользователей по полосе пропускания, не помогает...
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on September 18, 2014, 07:00:36 am
Причем вот самое странное, что затык начинается именно при отправке запроса:
Открываю mail.ru браузер пишет в строке состояния Ожидание от mail.ru, затем Отправка запроса mail.ru,  Ожидание от mail.ru, Построение туннеля прокси...,  Ожидание от mail.ru, Загрузка mail.ru.
И сайт загружается не быстро, а вот так с каждым отдельным элементом (банер, скрипт, картинка и т.д.), если он лежит не на самом сайте который открываю.
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on September 24, 2014, 08:10:53 am
Вот до кучи еще странная вещь что когда пользователи с утра логинятся для работы в проксе на первом ядре в Монитор вот такая ситуация и продолжается до тех пор пока не рестартану модуль Прокси в ручном режиме через веб морду.
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on December 11, 2014, 02:34:46 pm
Проблема с интернетом и проксей была решена!
Установил Ubuntu 10.04 + SQUID + SAMS 1.5  8)
Title: Re: Раздача интернета работает ужасно!
Post by: tomcat71 on December 12, 2014, 02:10:41 am
Поскольку тема уже закрыта, вопрос в догонку  к топик-стартеру: DNS-запросы к провайдерскому серверу были? Допустим, как проходил пинг вида ping mail.ru и ping ip-адрес mail"a?
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on December 12, 2014, 12:16:48 pm
DNS сначала был прописан провайдера, но потом начитался, что в ряде случаев проблема скорости открытия сайтов кроется в разрешении имен в сквиде и зачастую убогость DNS провайдера приводит к таким проблемам, поменял на гугловские и результата не дало никакого (прописывал как в настройках Z, ток и непосредственно задавал принудительно в самом сквиде), с самого Z интернет ходит хорошо, но вот сквозь его проксю просто кошмарно.
Кстати, опытным путем выявил что ложиться прокся из за большого количества запросов через нее к внешним ресурсам и она тупо залипает, начинает работать еле-еле. Пока не перешел на Ubuntu решал вопрос в заданиях указывал рестарт службы прокси через каждые пол часа и это спасало, но негатив в том что рвалось соединение интернета у пользователей.
Что касается пинга по имени и по адресу пинг ходит одинаково нормально (10-14мс без потерь), а вот все сайты грузятся ну просто кашмар.
В общем оставил Z пока работает как роутер для перенаправления портов, закрытия доступа из и в сеть, а также раздает конфиги для тонких клиентов по веб интерфейсу и фтп, но планирую и этого удовольствия его лишить, итог моего знакомства с Z - все что касается работы с сетью, лучше его не пользовать, пусть существует как альтернатива АД и эксча (это я на нем не тестил, поэтому тоже не могу судить, может и для этого он "не годен")
Пробовал на IPFire настроить, оптимизация для работы с сетью там конечно на высоте, но вот функционал самой прокси именно того что для меня было важно, не удалось реализовать (отключение пользователей после превышения лимита разрешенного трафика в день).
Title: Re: Раздача интернета работает ужасно!
Post by: corwin-mg on December 15, 2014, 07:01:51 pm
Снёс нафик Zentyal проксёвый. Поставил просто Ubuntu + SquidGuard + Webmin. Небо и земля по сравнению с тем что было : ) Блэклисты  с того же шалалист подходят.
Title: Re: Раздача интернета работает ужасно!
Post by: Ready on December 16, 2014, 07:40:03 am
блэклисты не составляет труда и в SAMS перенести, достаточно разархивировать листы и подгрузить через веб-интерфейс.
что касается Webmin там тоже нет настройки установки лимита по трафику на пользователя, поэтому не стал реализовывать таким образом.