В один прекрасный момент появилась задача сделать файловый сервер для перенаправленных папок и перемещаемых профилей (порядка 2 000) для терминальной фермы.
Что было сделано:
- Поднят отказоустойчивый кластер на 2 виртуальных машинах с 2 линками по гигабиту.
- Операционная система Windows Server 2008 R2, все критичные обновления стоят.
- По ISCSI подцеплен диск, расположенный на СХД HP Lefthand 4500
- Созданы папки, настроено перенаправление и т.д.
По итогу все замечательно заработало, работало достаточно долго (более года).
При росте количества пользователей до примерно 4 000 начали наблюдаться недетские тормоза. Очень долгое применение политики, низкая скорость доступа. Вход в каталог, содержащий порядка 2 000 папок, занимал 10-15 секунд. Наращивание мощности виртаулок эффекта не дало. СХД загружено порядка на 30% от максиума, в моменты тормозов нагрузка на СХД падала...
Одну из нод кластера заменили на железный HP DL 380(толстый, модный. пара процов, 98 памяти), воткнули в него сетевые 10G. Нормальная работа продолжилась примерно до нарастания количества пользователей до 6 000, далее опять тормоза.
Разделили перенаправленные папки и перемещаемые профили. Профили положили на отдельный сервер с DAS на SSD. Приммерно до 8 000 пользователей все работало. Потом опять тормоза. Разделили и перенаправленные папки по обкатанной схеме, вынесли aplication data на отдельный сервер с DAS на SSD. Некоторое время проработало, сейчас пользователей перевалило за 9 000. На серваке с SSD опять начались тормоза.
В момент тормозов нагрузка проца 50-60% (время ядра). Память не обязательно занята вся (хотя чаще всего вся занята кэшем). Нагрузка сетевой 1-2% Активное время винта - до 10. Глубина очереди до 0.5 Перезагрузка сервера помогает на пару-тройку часов.
Из-за тормозов на файловом доступе вход на терминальную ферму может занимать 10-15 минут, сохранение екселевского файла на 100 метров - минут 5.
Разбивать aplication data еще на 2 сервера - попахивает маразмом. Делать децентрализацию - вызывает еще больший ворох проблем.
Куда дальше копать - нет ни малейших идей. Сменить операционку - лучше не предлагать, ибо спецов нет, и при проблемах в работе никто упавший линукс не поднимет... Специализированная железка в планах, но до нее надо дожить. Есть впечатление, что ложится на определенном количестве активных коннектов.
Может у уважаемого сообщества есть хоть какие-то идеи в каком направлении можно покопать для решения проблемы? Заранее благодарен.
2008 R2 - Падает производительность файлового сервера
-
El Scorpio
Re: 2008 R2 - Падает производительность файлового сервера
Цитата shaikov:
Разбивать aplication data еще на 2 сервера - попахивает маразмом. Делать децентрализацию - вызывает еще больший ворох проблем.
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах.
Цитата shaikov:
Сменить операционку - лучше не предлагать, ибо спецов нет, и при проблемах в работе никто упавший линукс не поднимет
Over 9000 офисных работников в фирме, и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
Цитата shaikov:
Есть впечатление, что ложится на определенном количестве активных коннектов.
Возможно.
Попробуйте явно задать ограничение сессий на уровне файлового сервера для наиболее активно используемых сетевых папок.
Разбивать aplication data еще на 2 сервера - попахивает маразмом. Делать децентрализацию - вызывает еще больший ворох проблем.
2008 R2 - Падает производительность файлового сервера
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах.
Цитата shaikov:
Сменить операционку - лучше не предлагать, ибо спецов нет, и при проблемах в работе никто упавший линукс не поднимет
2008 R2 - Падает производительность файлового сервера
Over 9000 офисных работников в фирме, и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
Цитата shaikov:
Есть впечатление, что ложится на определенном количестве активных коннектов.
2008 R2 - Падает производительность файлового сервера
Возможно.
Попробуйте явно задать ограничение сессий на уровне файлового сервера для наиболее активно используемых сетевых папок.
-
El Scorpio
Re: 2008 R2 - Падает производительность файлового сервера
shaikov,
настоятельно рекомендую вам обратиться к интеграторам.
задача в данном случае относительно простая и запрощенный результат может быть оценён оперативно.
просто для информации - 9к пользователей на ферме из двух терминальных серверов?
настоятельно рекомендую вам обратиться к интеграторам.
задача в данном случае относительно простая и запрощенный результат может быть оценён оперативно.
просто для информации - 9к пользователей на ферме из двух терминальных серверов?
-
El Scorpio
Re: 2008 R2 - Падает производительность файлового сервера
cameron, терминальников более 50.
Системные интеграторы пока разводят руками. Обещают посмотреть бест практикс, подумать над вопросом, но результата пока ноль. Да никто и браться особо не хочет. Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье." Но по внутренним причинам с бюджетом большая напряженка и выбить деньги во вменяемые сроки надежды особой нет.
Цитата El Scorpio:
Попробуйте явно задать ограничение сессий на уровне файлового сервера для наиболее активно используемых сетевых папок.
Это перенаправленные папки и перемещаемые профили. На что мне задать ограничение? Что скажет терминальник пользователю, когда тупо его не пустит за профилем?
Цитата El Scorpio:
Over 9000 офисных работников в фирме, и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
Придется поверить. Используется только продукция Microsoft. Политику компании можно обсуждать, но выполнять все равно придется.
Цитата El Scorpio:
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах.
Маразм - в смысле что при дальнейшем росте нечего уже будет разбивать. Вполне возможна ситуация, когда один сервер содержит рабочие столы, второй - папку мои документы, третий - application data, четвертый - профили, пятый - мелочи вроди избранного, меню пуска и прочего. И в один прекрасный момент серверов не хватит.
С другой стороны проблема - на чем это все хранить. Если LeftHand - это отказоустойчивый сетевой RAID 10 (в частном случае RAID 1), то хранение на DAS - это временное решение (очень надеюсь) от невозможности решить проблему. Что виновато в низкой производительности и в "затупах" - бог его знает. Есть подозрение на сервер, но доказать не могу. При децентрализации мест хранения - надо не только обеспечить достойную СХД в "подкладку", но и обеспечить хранение синхронной копии, бакапов и т.д. Оборудования нет
Да и явных ограничений от Microsofta на количество сессий с сервером тоже не нашел. Если есть мощная не нагруженная железка, причем узкого места не видно, то почему она не работает как надо?
Системные интеграторы пока разводят руками. Обещают посмотреть бест практикс, подумать над вопросом, но результата пока ноль. Да никто и браться особо не хочет. Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье." Но по внутренним причинам с бюджетом большая напряженка и выбить деньги во вменяемые сроки надежды особой нет.
Цитата El Scorpio:
Попробуйте явно задать ограничение сессий на уровне файлового сервера для наиболее активно используемых сетевых папок.
2008 R2 - Падает производительность файлового сервера
Это перенаправленные папки и перемещаемые профили. На что мне задать ограничение? Что скажет терминальник пользователю, когда тупо его не пустит за профилем?
Цитата El Scorpio:
Over 9000 офисных работников в фирме, и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
2008 R2 - Падает производительность файлового сервера
Придется поверить. Используется только продукция Microsoft. Политику компании можно обсуждать, но выполнять все равно придется.
Цитата El Scorpio:
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах.
2008 R2 - Падает производительность файлового сервера
Маразм - в смысле что при дальнейшем росте нечего уже будет разбивать. Вполне возможна ситуация, когда один сервер содержит рабочие столы, второй - папку мои документы, третий - application data, четвертый - профили, пятый - мелочи вроди избранного, меню пуска и прочего. И в один прекрасный момент серверов не хватит.
С другой стороны проблема - на чем это все хранить. Если LeftHand - это отказоустойчивый сетевой RAID 10 (в частном случае RAID 1), то хранение на DAS - это временное решение (очень надеюсь) от невозможности решить проблему. Что виновато в низкой производительности и в "затупах" - бог его знает. Есть подозрение на сервер, но доказать не могу. При децентрализации мест хранения - надо не только обеспечить достойную СХД в "подкладку", но и обеспечить хранение синхронной копии, бакапов и т.д. Оборудования нет
Да и явных ограничений от Microsofta на количество сессий с сервером тоже не нашел. Если есть мощная не нагруженная железка, причем узкого места не видно, то почему она не работает как надо?
-
cameron
Re: 2008 R2 - Падает производительность файлового сервера
Цитата shaikov:
Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье."
а что, в данном случае, подразумевается под "нормальной железякой"?
Цитата El Scorpio:
и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
а чем в данном случае поможет линукс-решение?
Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье."
2008 R2 - Падает производительность файлового сервера
а что, в данном случае, подразумевается под "нормальной железякой"?
Цитата El Scorpio:
и ни одного системного администратора с достаточным уровнем знания Linux в отделе IT? Не верю.
2008 R2 - Падает производительность файлового сервера
а чем в данном случае поможет линукс-решение?
-
shaikov
Re: 2008 R2 - Падает производительность файлового сервера
Цитата cameron:
а что, в данном случае, подразумевается под "нормальной железякой"?
Hitachi NAS Platform в планах.
P.S. Забыл сказать, местоположение - Беларусь.
а что, в данном случае, подразумевается под "нормальной железякой"?
2008 R2 - Падает производительность файлового сервера
Hitachi NAS Platform в планах.
P.S. Забыл сказать, местоположение - Беларусь.
-
cameron
Re: 2008 R2 - Падает производительность файлового сервера
Цитата shaikov:
Hitachi NAS Platform в планах.
я бы посоветовала поглядеть на Storwize или Equallogic с NAS-шлюзами.
Цитата shaikov:
P.S. Забыл сказать, местоположение - Беларусь.
не могу ничего подсказать про интеграторов РБ, в РФ есть i-teco, которые в своё время показали заоблачные компетенции (надеюсь, что это не сочтут за рекламу).
Hitachi NAS Platform в планах.
2008 R2 - Падает производительность файлового сервера
я бы посоветовала поглядеть на Storwize или Equallogic с NAS-шлюзами.
Цитата shaikov:
P.S. Забыл сказать, местоположение - Беларусь.
2008 R2 - Падает производительность файлового сервера
не могу ничего подсказать про интеграторов РБ, в РФ есть i-teco, которые в своё время показали заоблачные компетенции (надеюсь, что это не сочтут за рекламу).
-
shaikov
Re: 2008 R2 - Падает производительность файлового сервера
СХД hitachi уже едет, буквально через неделю в руках будет. Так что выбор уже сделан. Но NAS Platform к ней пока не едет
А самое главное - я не могу никому объяснить, чегож мне не хватает в существующем решении.
А самое главное - я не могу никому объяснить, чегож мне не хватает в существующем решении.
-
cameron
Re: 2008 R2 - Падает производительность файлового сервера
Цитата shaikov:
Цитата El Scorpio:
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах. »
Маразм - в смысле что при дальнейшем росте нечего уже будет разбивать. Вполне возможна ситуация, когда один сервер содержит рабочие столы, второй - папку мои документы, третий - application data, четвертый - профили, пятый - мелочи вроди избранного, меню пуска и прочего. И в один прекрасный момент серверов не хватит.
Вы совсем не поняли меня.
Вы размещаете на разных серверах не "разные папки", а папки разных подразделений. Например:
Профили отдела продаж располагаются в DFS по адресу "\\domain\пользовательские\перенаправленные папки\отдел продаж\", который соответствует сетевой папке "\\server1\roamed_prodazhi$"
Профили отдела закупок располагаются в DFS по адресу "\\domain\пользовательские\перенаправленные папки\отдел закупок\", который соответствует сетевой папке "\\server2\roamed_zakupki$"
И так далее по списку.
Благо разным подразделениям можно назначить разные групповые политики с разными путями перенаправленных папок. Также можно назначить разным подразделениям разные пути к перемещаемым профилям пользователей.
Таким образом нагрузка распределяется между несколькими серверами.
Ну а вы в свою очередь через оснастку DFS в любой момент для равномерного распределения нагрузки (по количеству одновременно работающих пользователей и/или объёму файлов) можете произвести изменение реальной сетевой папки таким образом, что пользователи ничего не заметят.
Цитата shaikov:
При децентрализации мест хранения - надо не только обеспечить достойную СХД в "подкладку", но и обеспечить хранение синхронной копии, бакапов и т.д.
Не вполне понял мысль.
Децентрализация вышеописанным способом вроде бы как не требует "подкладки".
DFS - это просто структура папок (на одном или нескольких дублирующих серверах) с "ярлычками" на реальные сетевые ресурсы.
При использовании двух и более ярлычков для одного раздела DFS репликация реальных сетевых папок производится встроенными средствами Windows Server.
P.S.
Цитата shaikov:
Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье." Но по внутренним причинам с бюджетом большая напряженка и выбить деньги во вменяемые сроки надежды особой нет.
"10-15 минут" на "9000 пользователей" даёт общее время простоя порядка полутора тысяч человеко-часов ежедневно
При средней стоимости человеко-часа даже в 150 руб получаем порядка 225 тысяч прямого убытка ежедневно.
Представьте себе, какую шайтан-машину для серверной можно было бы купить даже за одну рабочую неделю.
Даже если деньги в бюджете расписаны по разным кодам, и конкретно по вашему коду "денег нет и не предвидится", то составленная подобным образом служебная записка позволит существенно ускорить процесс выделения.
Цитата El Scorpio:
В смысле "маразм" и "ворох проблем"?
Если у вас так много клиентских профилей, значит у вас очень много подразделений.
Сделайте через групповые политики для разных подразделений разные пути к перенаправленным папкам, и размещайте эти папки на разных файловых серверах. »
Маразм - в смысле что при дальнейшем росте нечего уже будет разбивать. Вполне возможна ситуация, когда один сервер содержит рабочие столы, второй - папку мои документы, третий - application data, четвертый - профили, пятый - мелочи вроди избранного, меню пуска и прочего. И в один прекрасный момент серверов не хватит.
2008 R2 - Падает производительность файлового сервера
Вы совсем не поняли меня.
Вы размещаете на разных серверах не "разные папки", а папки разных подразделений. Например:
Профили отдела продаж располагаются в DFS по адресу "\\domain\пользовательские\перенаправленные папки\отдел продаж\", который соответствует сетевой папке "\\server1\roamed_prodazhi$"
Профили отдела закупок располагаются в DFS по адресу "\\domain\пользовательские\перенаправленные папки\отдел закупок\", который соответствует сетевой папке "\\server2\roamed_zakupki$"
И так далее по списку.
Благо разным подразделениям можно назначить разные групповые политики с разными путями перенаправленных папок. Также можно назначить разным подразделениям разные пути к перемещаемым профилям пользователей.
Таким образом нагрузка распределяется между несколькими серверами.
Ну а вы в свою очередь через оснастку DFS в любой момент для равномерного распределения нагрузки (по количеству одновременно работающих пользователей и/или объёму файлов) можете произвести изменение реальной сетевой папки таким образом, что пользователи ничего не заметят.
Цитата shaikov:
При децентрализации мест хранения - надо не только обеспечить достойную СХД в "подкладку", но и обеспечить хранение синхронной копии, бакапов и т.д.
2008 R2 - Падает производительность файлового сервера
Не вполне понял мысль.
Децентрализация вышеописанным способом вроде бы как не требует "подкладки".
DFS - это просто структура папок (на одном или нескольких дублирующих серверах) с "ярлычками" на реальные сетевые ресурсы.
При использовании двух и более ярлычков для одного раздела DFS репликация реальных сетевых папок производится встроенными средствами Windows Server.
P.S.
Цитата shaikov:
Абсолютно верно говорят:"Купите нормальную железку и будет вам счастье." Но по внутренним причинам с бюджетом большая напряженка и выбить деньги во вменяемые сроки надежды особой нет.
2008 R2 - Падает производительность файлового сервера
"10-15 минут" на "9000 пользователей" даёт общее время простоя порядка полутора тысяч человеко-часов ежедневно
При средней стоимости человеко-часа даже в 150 руб получаем порядка 225 тысяч прямого убытка ежедневно.
Представьте себе, какую шайтан-машину для серверной можно было бы купить даже за одну рабочую неделю.
Даже если деньги в бюджете расписаны по разным кодам, и конкретно по вашему коду "денег нет и не предвидится", то составленная подобным образом служебная записка позволит существенно ускорить процесс выделения.
-
shaikov
Re: 2008 R2 - Падает производительность файлового сервера
Нагрузку по нодам DFS уже делить некдуа, нужно вводить в эксплутацию ещё одну. Исходя из фразы
Цитата shaikov:
Одну из нод кластера заменили на железный HP DL 380(толстый, модный. пара процов, 98 памяти), воткнули в него сетевые 10G. Нормальная работа продолжилась примерно до нарастания количества пользователей до 6 000, далее опять тормоза
Проблема именно в мощностях сервера.
З.ы. Я правильно понимаю, что при первоначальной схеме у вас единая точка отказа в виде СХД?
Цитата shaikov:
Одну из нод кластера заменили на железный HP DL 380(толстый, модный. пара процов, 98 памяти), воткнули в него сетевые 10G. Нормальная работа продолжилась примерно до нарастания количества пользователей до 6 000, далее опять тормоза
2008 R2 - Падает производительность файлового сервера
Проблема именно в мощностях сервера.
З.ы. Я правильно понимаю, что при первоначальной схеме у вас единая точка отказа в виде СХД?