Сверхбыстрые винчестеры

SSD RAID
 
1 2 3 4 5 6 7
+
-
edit
 

Mishka

модератор
★★★
Balancer> Пофиг :) Всё равно кеширование на запись будет работать. А если запись идёт непрерывно на много мегабайт в секунду - это уже не для БД задача. И это очень экзотическая ситуация.

Это как — не для БД? То же обновление тарифов — в день было до 10,000 обновлений. И это не одна запись, а много записей в БД. Или тот же Валмарт — у него операций покупки совершается в напряжённые дни только в одном центре свободно 3 в секунду. А таких центров более 2,000. Это только покупатели. Или банк возьми. До фига таких задач.
 6.06.0
+
-
edit
 

Mishka

модератор
★★★
Balancer> Совершенно не будет. Я же сказал про кеширование ОС.

Какое кеширование, если инфы на запись поступает сотни тысяч записей в секунду.
 6.06.0
RU Серокой #06.04.2009 21:30  @Wyvern-2#06.04.2009 20:06
+
-
edit
 

Серокой

координатор
★★★★
Wyvern-2> "Скорость записи 45Мб/сек" :)

потому что для HD-Карточки не важна скорость стирания, которая и есть самая тормозная характеристика. Стирание не требуется на фотоаппаратах и камерах, но в общем нужно на винчестерах.
Больше не раскалятся ваши колосники. Мамонты пятилеток сбили свои клыки. ©  
+
-
edit
 

Balancer

администратор
★★★★★
Mishka> Это как — не для БД? То же обновление тарифов — в день было до 10,000 обновлений.

Всего-то? На Авиабазе - нынче 14500 update в час. И 2500 insert'ов в час происходит :)

Mishka> И это не одна запись, а много записей в БД. Или тот же Валмарт — у него операций покупки совершается в напряжённые дни только в одном центре свободно 3 в секунду.

Это мелочи. Я помню, когда до перевода на статику, Авиабаза осуществляла более 60 млн. запросов в сутки. 700 в секунду в среднем, а о пиковой загрузке только догадываться можно было :) Из них процентов 40 - на обновление. Даже отписывался когда-то :) - Ping? Pong!

И это всё на двух древних Xeon-1800 с винтами без всякого RAID и 2.5Гб оперативки :)

Сейчас, правда, загрузка сильно снизилась.

Mishka> А таких центров более 2,000. Это только покупатели. Или банк возьми. До фига таких задач.

А, вообще, никто про SSD в этих условиях и не говорит. Смысла нет :) Изначально речь шла о SSD на десктопе, всё же.
 
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> Совершенно не будет. Я же сказал про кеширование ОС.
Mishka> Какое кеширование, если инфы на запись поступает сотни тысяч записей в секунду.

Так зависит не от числа записей, а только от их объёма. Кроме того, не дам себя увести в сторону, на десктопе таких задач нету ;)
 
RU Balancer #06.04.2009 23:25  @Серокой#06.04.2009 21:30
+
-
edit
 

Balancer

администратор
★★★★★
Серокой> Стирание не требуется на фотоаппаратах и камерах, но в общем нужно на винчестерах.

Крайне редко. Скажем, XFS - прекрасная файловая система во всех смыслах кроме удаления. По скорости удаления - она выходит одной из самых медленных. Тем не менее, она сейчас у меня основная практически на всех каталогах, кроме временных. Где памяти побольше, временные в tmpfs, т.е. в оперативке. Где поменьше - под reiser4. Дело в том, что реальные тесты показывают заметное преимущество XFS над другими FS (кроме reiser4 - но у него свои тараканы). В реальной практике удаление - весьма редкое явление. И ему, опять же, здорово помогает кеширование... Кстати, если в случае XFS тут какая-то заморочка, то, скажем, ext4 способна вообще удалять чуть ли не терабайтами в секунду. Драйвер ФС мгновенно отвечает операционке и через неё приложению об удалении. И занимается им потом понемногу в фоне.
 
+
-
edit
 

HolyBoy

аксакал

Balancer> Крайне редко. Скажем, XFS - прекрасная файловая система во всех смыслах кроме удаления.

Ты ж писал, вроде, что при сбоях питания она «весело» себя ведёт. Кроме того, как у неё с отключением журналирования и прочего, что может помешать (интересно в контексте работы с разделом на XFS какой-нибудь программы СУБД) прямой и немедленной записи на диск?
 
RU Серокой #07.04.2009 01:41  @Balancer#06.04.2009 23:25
+
-
edit
 

Серокой

координатор
★★★★
Balancer> Крайне редко.
А я и не говорил, что часто. Но крайне - тоже не то слово. ;) Например, удаление временных файлов при работе компилятора ли, установщика ли. Или перемещение на другой логический диск.
Просто в случае твердотельного диска это не просто пометить в FAT-таблице, что файлы стёрты, а таки загнать заряд под плавающий затвор флеши. Понятно, что фоновое выполнение - наше всё, но это своеобразная маскировка. Или, ежели угодно, совмещение времени.
Больше не раскалятся ваши колосники. Мамонты пятилеток сбили свои клыки. ©  
+
-
edit
 

Mishka

модератор
★★★
Balancer> Всего-то? На Авиабазе - нынче 14500 update в час. И 2500 insert'ов в час происходит :)

Рома, один тариф — это не один SQL. Это порядка бывает до 100,000 SQL-й. :) Тариф — это документ, состоящий из описания перевозимого (comoditties), точек конечных и промежуточных, наборы правил для вычисления цен, правило соденинения комодитти и точек перевоза, условия перевоза (включая типы и размеры контейнеров, температуры и т.д.). Т.е. один тариф может содержать описания товаров на 2,000 позиций. Поэтому тут Авиабаза не канает. :)

Balancer> Это мелочи. Я помню, когда до перевода на статику, Авиабаза осуществляла более 60 млн. запросов в сутки. 700 в секунду в среднем, а о пиковой загрузке только догадываться можно было :) Из них процентов 40 - на обновление. Даже отписывался когда-то :) - Ping? Pong!

Ага, мелочи. Вот только на их базах проводят всякие тесты OLAP и прочее. У них суммарно, если говорить, 50,000 операций в секунды — это мелко. Не надо Авиабазу с Волмартом сравнивать. Там петабайтные базы.

Balancer> И это всё на двух древних Xeon-1800 с винтами без всякого RAID и 2.5Гб оперативки :)

Ну, Ром, это фигня. Вот у меня приходит инфа со скоростью до 1,000,000 потоков в секунду. Оракл просто помирает. :) Переписываем сейчас всё на просто файлы и минимальное хранение (в районе 5 минут) с аггрегацией потом на час.

Они, кстати, про SSD вполне себе говорят. Правда, для них и цены в 100,000 уе нормальные.
 6.06.0
+
-
edit
 

Mishka

модератор
★★★
Balancer> Так зависит не от числа записей, а только от их объёма. Кроме того, не дам себя увести в сторону, на десктопе таких задач нету ;)

У тебя Авиабаза на десктопе? :) Ну и на десктопе сейчас до фига задач, которые диск держит. То же редактирование фотографий. Или монтирование кино. Да даже компилирование больших систем на дисках в памяти идёт намного быстрее. :P
 6.06.0
+
-
edit
 

Balancer

администратор
★★★★★
HolyBoy> Ты ж писал, вроде, что при сбоях питания она «весело» себя ведёт.

А ИБП на что? :)

HolyBoy> Кроме того, как у неё с отключением журналирования и прочего, что может помешать (интересно в контексте работы с разделом на XFS какой-нибудь программы СУБД) прямой и немедленной записи на диск?

Без понятия. А зачем отключать кеширование записи СУБД? Чтобы сразу немерянно тормозить начала? :)
 
RU Balancer #07.04.2009 02:27  @Серокой#07.04.2009 01:41
+
-
edit
 

Balancer

администратор
★★★★★
Серокой> Например, удаление временных файлов при работе компилятора ли

Плохой пример. Прямо измерение времени компиляции зависимости от ФС практически не даёт :) Всё кешируется средствами ОС практически независимо от ФС. Разница в пределах погрешности измерений.

Серокой> установщика ли.

Вот тут XFS и проигрывает Reiser4. Поэтому на /var/tmp/portage у меня reiser4 и стоит (там, где на tmpfs памяти мало).

Серокой> Или перемещение на другой логический диск.

Редкое явление :) Но - да, тут XFS тоже будет в проигрыше. Правда, если тащить тонну мелочи. Время удаления крупных файлов становится пренебрежимым на фоне времени трансфера.

Серокой> Просто в случае твердотельного диска это не просто пометить в FAT-таблице, что файлы стёрты, а таки загнать заряд под плавающий затвор флеши.

Ни в одной массовой ФС при удалении файла место под ними не стирается :) Ставится только пометка. В случае флеша физическое стирание происходит при записи данных.

Серокой> Понятно, что фоновое выполнение - наше всё, но это своеобразная маскировка. Или, ежели угодно, совмещение времени.

Ну да. Системы-то, слава Богу, современные многозадачны :)
 
+
-
edit
 

Balancer

администратор
★★★★★
Mishka> У тебя Авиабаза на десктопе? :)

Нет, это ты разговор не в ту степь увёл :)

Mishka> То же редактирование фотографий.

Не катит. Целиком кладётся в кеш. Или ты о свопе? Ну так своп на SSD глупо класть :)

Mishka> Или монтирование кино.

упоминал.

Mishka> Да даже компилирование больших систем на дисках в памяти идёт намного быстрее. :P

Сборка Linux-ядра в tmpfs по сравнению с другими ФС выигрыша не даёт :) Выигрыш можно получить только на установке.
 
+
-
edit
 

HolyBoy

аксакал

Balancer> А ИБП на что? :)

Ситуации разные бывают. Иногда сервер приходится перезагружать (о, ужас!) резко и внезапно.

Balancer> Без понятия. А зачем отключать кеширование записи СУБД? Чтобы сразу немерянно тормозить начала? :)

Как будето сама СУБД не кеширует ничего. :)
 
+
-
edit
 

Balancer

администратор
★★★★★
Balancer>> А ИБП на что? :)
HolyBoy> Ситуации разные бывают.

Бывают, согласен. Ну да у меня XFS стоит на одной машине с ИБП и на одной без ИБП. Года полтора назад без ИБП были обе. На что-то около 6-7 отключений света раза 3 потерял opera.win - файл сессий Оперы. С тех пор больше не терял ничего ни разу. Не очень приятно, я в то время за это на XFS очень сильно матерился, но с тех пор времени много прошло и, то ли в драйвере что-то на эту тему улучшили, то ли я как-то приспособился пользоваться :)

HolyBoy> Иногда сервер приходится перезагружать (о, ужас!) резко и внезапно.

А это ещё зачем? Это в любом случае приведёт к тем же сбоям в СУБД. Хоть ты её на ext3 держи, хоть на ntfs :)

HolyBoy> Как будето сама СУБД не кеширует ничего. :)

Она в иной плоскости кеширует. Например, результаты запросов. А обновления - ей сказали обновить, она это сделает. Дальше, уже забота ОС. Иначе бы рушилось всё очень уж сильно при отказах :)
 
+
-
edit
 

HolyBoy

аксакал

Balancer> А это ещё зачем? Это в любом случае приведёт к тем же сбоям в СУБД. Хоть ты её на ext3 держи, хоть на ntfs :)

Ну как зачем? Очень редко, но бывает, что зависает плотно компьютер. Ни по сети, ни с терминала нет доступа. Остаётся только волшебная кнопка.

Balancer> Она в иной плоскости кеширует. Например, результаты запросов. А обновления - ей сказали обновить, она это сделает. Дальше, уже забота ОС. Иначе бы рушилось всё очень уж сильно при отказах :)

Мы, кажется, о разном. Про кеширование чтения средствами ОС я ничего не скажу плохого, а вот отложенная запись — зло. Особенно, в вышеописанных ситуациях. :) Разумеется, это к СУБД относится.
 
+
-
edit
 

Wyvern-2

координатор
★★★★★

Balancer>> А это ещё зачем? Это в любом случае приведёт к тем же сбоям в СУБД. Хоть ты её на ext3 держи, хоть на ntfs :)
....
HolyBoy> Мы, кажется, о разном. Про кеширование чтения средствами ОС я ничего не скажу плохого, а вот отложенная запись — зло. Особенно, в вышеописанных ситуациях. :) Разумеется, это к СУБД относится.

Вот развели... :F Я на офисный комп хочу сие вставить :) Домашний у меня все одно ноут - люблю я, пАнимАешь, на диване лежать. А хочу я всего то от тормозов загрузок избавиться - от загрузки самой Винды, до загрузки Вордовских/Экселевский/Поверпоинтовских файлов. И всё ;)
А то, что карточки могут вылетать - то и фиг с ними. Купил (можно заранеев шкаф пару положить) новую, и загрузил образ с обычного винта, минутное дело то.
Жизнь коротка, путь искусства долог, удобный случай мимолетен, опыт обманчив.... Ἱπποκράτης  3.0.83.0.8
Это сообщение редактировалось 07.04.2009 в 12:07
+
-
edit
 

Jerard

аксакал

Wyvern-2> Вот развели... :F Я на офисный комп хочу сие вставить :)

Так проще и лучше обычный РАИД поставить. Результат аналогичный. Тока надо дисков 10-15 напихать :)
"Остановите Землю — я сойду" (С) Лесли Брикасс, Энтони Ньюли  3.0.83.0.8
+
-
edit
 

Balancer

администратор
★★★★★
HolyBoy> Очень редко, но бывает, что зависает плотно компьютер. Ни по сети, ни с терминала нет доступа. Остаётся только волшебная кнопка.

В этом случае надо железо править. На исправном железе на такое ни разу не натыкался. Либо ssh, либо, в особо запущенных случаях, Alt-SysRq-EISUB :)

HolyBoy> Мы, кажется, о разном. Про кеширование чтения средствами ОС я ничего не скажу плохого, а вот отложенная запись — зло.

Нет.

Без неё СУБД будет сильно тормозить. Вспомни, как систему тормозил Firefox, когда в него засунули sync на каждый чих ради борьбы с какими-то багами связки sqlite + ext3 :)

Нормальная СУБД вообще ничего не знает про файловую систему. Она говорит ОС писать данные, та - пишет. Механизм записи от СУБД скрыт. Может быть это будет мгновеная некешируемая запись. А может - вообще промежуточный слой в tmpfs :) Или, вообще, БД может быть в tmpfs развёрнута ;)
 
+
-
edit
 

Balancer

администратор
★★★★★
Jerard> Так проще и лучше обычный РАИД поставить. Результат аналогичный. Тока надо дисков 10-15 напихать :)

RAID повысит трансфер, но не улучшит принципиально время доступа. А тормозит быстрый запуск именно оно.
 
+
-
edit
 

Wyvern-2

координатор
★★★★★

Wyvern-2>> Вот развели... :F Я на офисный комп хочу сие вставить :)
Jerard> Так проще и лучше обычный РАИД поставить. Результат аналогичный. Тока надо дисков 10-15 напихать :)

Ага - купить файл-сервер с РЭИД 10 за пару штук баксов :F
Жизнь коротка, путь искусства долог, удобный случай мимолетен, опыт обманчив.... Ἱπποκράτης  3.0.83.0.8
+
-
edit
 

Jerard

аксакал

Balancer> RAID повысит трансфер, но не улучшит принципиально время доступа. А тормозит быстрый запуск именно оно.

Ну к первому файлу да, а вот остальные-то уже нормально пойдут. Если РАИД нормальный он распараллелит запросы, да и очередь команд у него приличной длины будет.
"Остановите Землю — я сойду" (С) Лесли Брикасс, Энтони Ньюли  3.0.83.0.8
+
-
edit
 

Jerard

аксакал

Wyvern-2> Ага - купить файл-сервер с РЭИД 10 за пару штук баксов :F

Можно и без сервера, и вместе с дисками в 400 тыр., примерно, уложитсья... :)
"Остановите Землю — я сойду" (С) Лесли Брикасс, Энтони Ньюли  3.0.83.0.8
+
-
edit
 

pokos

аксакал

HolyBoy>> Мы, кажется, о разном. Про кеширование чтения средствами ОС я ничего не скажу плохого, а вот отложенная запись — зло.
Balancer> Нет.
Оба неправы. Отложенная запись зло только тогда, когда она неправильно завершается. Мелка Мякоть настоятельно советует отключать отложенную запись при MS SQL именно потому, что далеко не все контроллеры (и винты!) могут правильно завершить запись блока в случае песца питахе.

Если железо и ОС нормальные, серверные, отложенную запись можно смело включить.

Balancer> Без неё СУБД будет сильно тормозить.
Да щас. Это торможение можно заметить, только если специально мерить. По крайней мере для MS SQL и Oracle. Мишка не даст соврать.
 6.06.0
+
-
edit
 

Wyvern-2

координатор
★★★★★

Кстати, это жжжж неспроста -я видимо отвечаю категории: "Офицер хорошо ориентируется в оперативной обстановке" :F

Intel выпустит самые дешевые SSD - PCNEWS.RU

Все компьютерные новости на PCNews.ru. Вся новая информация, о компьютерах и информационных технологиях. Синдикация новостей, статей, пресс-релизов со всех сайтов компьютерной (ИТ или IT) тематики.

// pcnews.ru
 

$25*8=$200!

Дешевые SSD от Samsung подстегнут производство нетбуков

Samsung объявила о запуске производства дешевых SSD с низкой плотностью хранения данных.

// itnews.com.ua
 
Жизнь коротка, путь искусства долог, удобный случай мимолетен, опыт обманчив.... Ἱπποκράτης  3.0.83.0.8
1 2 3 4 5 6 7

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru