Windows Dfs

Есть ли у кого-то положительный или наоборот опыт
 
+
-
edit
 

stas27

эксперт
★★☆
Собственно вот на работе надо думать об этой самой Dfs - количество хранимой информации растёт не по дням, а куда быстрее (нынешние оценки - где-то на 70-100 ТБ в год). Добавлять бесконечные новые дисковые массивы, и потом думать о том, что именно и где хранить, и в какой момент переключать записи информации с диска на диск становится труднее и труднее. И совсем непроизводительные для нас затраты времени. Наш компьютерный отдел аки львы бьются за сохранение Винюковой основы - работать с Windows Server 2008 им привычно и удобно. В принципе и бог бы с ним, если винюковая Dfs не зарекомендовала себя уж очень плохо. Так что отсюда и вопрос. Если у кого-то есть хороший/печальный личный опыт (или полезные ссылки, которые неочевидны в гугле), поделитесь, пожалуйста.
С уважением, Стас.  10.0.210.0.2
+
-
edit
 

Balancer

администратор
★★★★★
stas27> и в какой момент переключать записи информации с диска на диск становится труднее и труднее

А нормального аналога LVM в Windows так и нет? :) Там же были какие-то динамические тома и прочее?
 
+
-
edit
 

Полл

литератор
★★★★☆
stas27> Собственно вот на работе надо думать об этой самой Dfs
Я правильно понял - библиотеку ваш бюджет не тянет?
При таких объемах хранимой информации, да если ее нужно не просто хранить, но еще и работать с ней - специализированная система очень желательна.
 
+
-
edit
 

stas27

эксперт
★★☆
stas27>> и в какой момент переключать записи информации с диска на диск становится труднее и труднее
Balancer> А нормального аналога LVM в Windows так и нет? :) Там же были какие-то динамические тома и прочее?
Так What are basic and dynamic disks?, как я понимаю, однако. Но масштабы не те, что мне нужно.
З.ы. Сам не пробовал пока, хотя вижу что для домашней машины уже ясны применения...
С уважением, Стас.  
+
-
edit
 

stas27

эксперт
★★☆
stas27>> Собственно вот на работе надо думать об этой самой Dfs
Полл> Я правильно понял - библиотеку ваш бюджет не тянет?
А что такое "библиотека" в этом контексте?
Полл> При таких объемах хранимой информации, да если ее нужно не просто хранить, но еще и работать с ней - специализированная система очень желательна.
Ну так мы на них смотрели - isilon говорит, что он популярен в кругах биологов. Но суть там такая, о какой я и думаю - в конечном счете своя распределения файловая система, бегающая на их оттюнингованном в конечном счете железe. А наши компьютерщики закупили уже кучу (под 100 тб в raid5 and raid10) железа, которую очень хочется использовать, а не за менять на другого производителя. Вот я и чешу в затылке, ибо был назначен обще надзирающим за процессом, как главный пользователь...
С уважением, Стас.  

TbMA

опытный

stas27> З.ы. Сам не пробовал пока, хотя вижу что для домашней машины уже ясны применения...

Не знаю, какие именно массивы вы используете. Но на Netapp очень давно есть прозрачное увеличение, Хитачи тоже. Нетапп вообще имитирует виндозные тома с рождения, они купили код у Микрософта.
И все процессы роста - миграции/репликации довольно просты и прозрачны.
 10.0.210.0.2
+
-
edit
 

Balancer

администратор
★★★★★
stas27> Так What are basic and dynamic disks?, как я понимаю, однако.

Ну, фиг его знает, с Windows-вариантом не разбирался.

stas27> З.ы. Сам не пробовал пока, хотя вижу что для домашней машины уже ясны применения...

У меня расширение дискового пространства выглядит так. Если винт добавляется к массиву:
1. Выключаем комп и подсоединяем винт
2. Включаем и загружаемся в систему обычно
3. Разбиваем новый винт, создавая физический том LVM
4. Вводим новый том в имеющуюся группу томов.
5. Профит

Потом, когда нужно добавить место для какого-то раздела, то:
1. Увеличиваем размер логического тома до нужного размера или на нужную величину
2. Расширяем файловую систему на новый размер

Всё без размонтирования, на лету, на работающей системе :) Очень удобно...

Если новый винт вставляется вместо старого, то добавляются два действия:
4.1 Даём команду переместить данные с выводимого из системы тома (понятно, что свободен только один новый диск, на его том всё и пойдёт)
4.2 Дожидаемся окончания процесса (в это время можно работать), выводим старый том из группы томов
4.3 Выключаем комп и выдёргиваем старый винт.

Потом ещё старый винт можно воткнуть в LVM другой машины, минуя пункт 3 :)
 
US Спокойный_Тип #13.03.2012 11:13  @stas27#13.03.2012 04:32
+
-
edit
 
US Floyd #13.03.2012 12:09  @спокойный тип#13.03.2012 11:13
+
-
edit
 

Floyd

аксакал

Спокойный_Тип> HP LeftHand ?

Упси боже

Хотя, я несколько категоричен. В качестве entry-level масштабируемого решения он не плох.
На самом деле все эти рекомендации от балды, нужно четко представлять что необходимо заказчику (бизнесу).
 17.0.963.6617.0.963.66
Это сообщение редактировалось 13.03.2012 в 14:04

Floyd

аксакал

stas27> Собственно вот на работе надо думать об этой самой Dfs - количество хранимой информации растёт не по дням, а куда быстрее (нынешние оценки - где-то на 70-100 ТБ в год).

Вы храните медиа контент?
 17.0.963.6617.0.963.66
RU arkhnchul #13.03.2012 14:01  @Balancer#13.03.2012 10:33
+
-
edit
 

arkhnchul

втянувшийся

Balancer> 1. Выключаем комп и подсоединяем винт
Balancer> ...
Balancer> 4.3 Выключаем комп и выдёргиваем старый винт.

Часто и без этого обойтись можно. Мне все больше встречаются обычные бытовые материнки/контроллеры, в которые и на ходу можно винты втыкать/вытыкать и система это нормально воспринимает.
 
RU Balancer #13.03.2012 14:49  @arkhnchul#13.03.2012 14:01
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> 1. Выключаем комп и подсоединяем винт
arkhnchul> Часто и без этого обойтись можно.

Ну, да. Но у меня железо ещё насковзь старое :) Хотя в совсем уже старые времена у меня вовсю использовался Mobile Rack с горячим подключением/отключением. До сих пор валяется где-то. Но он только PATA, так что уже не актуален :)
 
+
-
edit
 

Полл

литератор
★★★★☆
stas27> А что такое "библиотека" в этом контексте?

Google

Поиск информации в интернете: веб страницы, картинки, видео и многое другое.

// www.google.ru
 



stas27> Ну так мы на них смотрели - isilon говорит, что он популярен в кругах биологов. Но суть там такая, о какой я и думаю - в конечном счете своя распределения файловая система, бегающая на их оттюнингованном в конечном счете железe. А наши компьютерщики закупили уже кучу (под 100 тб в raid5 and raid10) железа, которую очень хочется использовать, а не за менять на другого производителя. Вот я и чешу в затылке, ибо был назначен обще надзирающим за процессом, как главный пользователь...
Если честно - воспоминания неприятные. Сильно растет нагрузка на сервера домена, с маршрутами на свитчах постоянный головняк. Плюс работа с дисками по сети во всей ее красе.
В общем, я рекомендую специализированное хардварное решение. К нему сразу же систему бэкапа берите.
 
+
-
edit
 

stas27

эксперт
★★☆
stas27>> А что такое "библиотека" в этом контексте?
Полл> Google
Ясно - если это чисто ленты, то нам не годится - данные должны быть доступны для повторных анализирования.
stas27>> Ну так мы на них смотрели - isilon говорит, что он популярен в кругах биологов. ...
Полл> Если честно - воспоминания неприятные. ...
Полл> В общем, я рекомендую специализированное хардварное решение. К нему сразу же систему бэкапа берите.

Ясно, спасибо, Полл!
С уважением, Стас.  10.0.210.0.2

stas27

эксперт
★★☆
stas27>> Собственно вот на работе надо думать об этой самой Dfs - количество хранимой информации растёт не по дням, а куда быстрее (нынешние оценки - где-то на 70-100 ТБ в год).
Floyd> Вы храните медиа контент?

Нет, это результаты секвенирования ДНК и РНК раков.

Вот вкратце что мы делаем, что имеем, и что хочутим иметь:

[/IMG]



Это из небольшой презентации, которую я приготовил для IBM. Мы б-м завязаны на них - они делают большие скидки для канадской науки, если пользоваться одним из механизмов финансирования (специфически канадским).

Я, конечно, понимаю, что на коленке на форуме этот вопрос не решишь, конкретный вопрос, который у меня был, вынесен в заголовок и исходный пост. Полл вон советует интегрированное хардверное решение в стиле Isilon, как я понял, но тут встаёт вопрос о том, что на имеющуюся музыку комплектацию уже потратили под лимон канадских, трудно будет пробить через дирекцию мысль о том, что всё надо похерить, и начинать с нуля...
С уважением, Стас.  10.0.210.0.2
+
+1
-
edit
 

Floyd

аксакал

stas27> Я, конечно, понимаю, что на коленке на форуме этот вопрос не решишь, конкретный вопрос, который у меня был, вынесен в заголовок и исходный пост. Полл вон советует интегрированное хардверное решение в стиле Isilon, как я понял, но тут встаёт вопрос о том, что на имеющуюся музыку комплектацию уже потратили под лимон канадских, трудно будет пробить через дирекцию мысль о том, что всё надо похерить, и начинать с нуля...



ИМХО: DFS может просто загнуться на репликации, объемы данных и оценка их роста впечатляют.

Помимо того возникают сложности с резервным копированием. Вам необходим механизм snapshot'ов для возможности снятия целостной резервной копии на какой-то момент времени, а это уже возможности оборудования уровня midrange и hi-end.

Тут самый правильный вариант, как вы и сделали, обратиться к вендору или интегратору, возможно вы найдете какое-то решение.

PS:
Вообще, как я понял, вам необходим High Perfomance Cluster с большой (не могу сказать о производительности по интенсивности I/O) системой хранения данных с возможностью snapshot'ов и бекапа на библиотеку (реальную или виртуальную).
 17.0.963.6617.0.963.66

TbMA

опытный

Floyd> Вообще, как я понял, вам необходим High Perfomance Cluster с большой (не могу сказать о производительности по интенсивности I/O) системой хранения данных с возможностью snapshot'ов и бекапа на библиотеку (реальную или виртуальную).

Что, кстати, сразу ставит вопрос о разумности применения DFS (да и любого "файлового" хранилища) в данной архитектуре.
 10.0.210.0.2

Floyd

аксакал

TbMA> Что, кстати, сразу ставит вопрос о разумности применения DFS (да и любого "файлового" хранилища) в данной архитектуре.

В плане удачного решения или не очень?
 17.0.963.6617.0.963.66
RU Спокойный_Тип #14.03.2012 11:42  @Floyd#13.03.2012 12:09
+
+2
-
edit
 
совершенно согласен, нужно сайзинг делать , йопсы посчитать и тп ))
однако применимость DFS в любом виде очень для сомнительна , если это не "тупой" файловый архив

не стал вот так с ходу трипары и евы предлагать :-D но может что-то в таком роде и нужно
у того же IBM было что-то аналогичное, если они спонсируют то могут ченить бесплатно подкинуть

если сугубо ИМХО - то нужно рассмотреть вариант как существующие ёмкости интегрировать в кластеризованную систему, что-то типа LeftHand VSA , у EMC были похожие вещи...

делается отдельный сегмент сети на 10gbit на top on the rack свитчах, в него заворачивается весь SAN трафик, ёмкости напрямую на блочном уровне монтируются в линукс
 10.0.210.0.2
Это сообщение редактировалось 14.03.2012 в 11:57
+
-
edit
 

Полл

литератор
★★★★☆
stas27> Ясно - если это чисто ленты, то нам не годится - данные должны быть доступны для повторных анализирования.
Данные на лентах доступны для считывания. Проблема только в скорости доступа. Но если вы пишите большие файлы, в несколько гигабайт - то для вас это оптимальное решение.
Но вообще сейчас "библиотеками" называют все системы хранения данных. Может быть, это неправильно, спорить не буду.
 
+
-
edit
 

Jerard

аксакал

Полл> Но вообще сейчас "библиотеками" называют все системы хранения данных. Может быть, это неправильно, спорить не буду.

Есть еще на оптических дисках. Суммарная емкость в районе петабайт. Стоимость что-то около лимона деревянных, без софта.
"Остановите Землю — я сойду" (С) Лесли Брикасс, Энтони Ньюли  10.0.210.0.2

TbMA

опытный

Floyd> В плане удачного решения или не очень?

В смысле не очень. Я вообще поклонник большого числа (относительно) дешевых серверов. Сделал бы шардинг, побил бы все на небольших размеров кластеры.
И надежность лучше, и бэкапить легче. И т.д.

Скорость на них сделать тоже значительно легче. И масштабировать можно далеко.
 10.0.210.0.2
Это сообщение редактировалось 14.03.2012 в 19:29
+
+2
-
edit
 

stas27

эксперт
★★☆
Спасибо всем за высказанные мнения, будем думать. Похоже, не у меня одного Dfs вызывает сомнения. Я ещё тут нарыл, что к Линуксу в режиме read-write её якобы не подключишь (в смысле подключить можно только отдельные компоненты), если это так, то придётся окончательно насиловать наших ITшников на альтернативные решения.

А главная проблема, на которую как мне показалось неявно указывают многие ответы здесь - это то, что такую систему у нас в натуре пытаются собрать на коленке и бесплатно. Просто зло берёт - когда только планировали, я получил от наших соседей (центра, где собственно секвенируют наши образцы) оценки и описания их системы на пару петабайт (и с каким-то разумным количеством процов). Стоила она около 2 лимонов. Конечно, меня высмеяли, дескать у нас таких денег нет и не будет. А теперь узнаю, что на нынешний апгрейд потратили около 2 лимона (ну, правда, ещё обновили почти все ПК на рабочих местах у народа), и изыскали ещё примерно полтора за счёт отказа от покупки никому не нужного оборудования. Если бы сразу подумали о масштабировании в будущее, то не пришлось бы сейчас на коленке лепить :mad:. Как всегда - глухой скупец платит трижды :mad:.
С уважением, Стас.  10.0.210.0.2

Floyd

аксакал

Floyd>> В плане удачного решения или не очень?
TbMA> В смысле не очень. Я вообще поклонник большого числа (относительно) дешевых серверов.

Сорри, не сразу сообразил в каком контексте употребилось выражение.

Кластеризация дешевых серверов платформ многим нравиться. Нафига держать дорогущие hi-end сервера, если приемлемую для бизнеса надежность можно получить на большой куче относительно дешевого железа. Сдох сервер, просто заменил на новый из ЗИПа и вуаля.
 17.0.963.7917.0.963.79
+
-
edit
 

Полл

литератор
★★★★☆
Если надежность приемлемая, а ЗИП устраивает своей ценой - то почему бы и да?
 

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru