Вопрос о правильном размере кластеров в NTFS

 

Alek

опытный
Прикупил тут еще один диск, который собираюсь использовать только для видеозахвата.
Обычно я диски когда форматирую оставляю размер кластера "по умолчанию", но где-то я слышал что для видеозахвата надо сделать их максимально большого размера в связи с большим размером файлов. Правильно ли это? И вообще как выбирать размер правильно?
 3.0.13.0.1
Это сообщение редактировалось 18.12.2008 в 00:49

Mishka

модератор
★★★

Alek> Прикупил тут еще один диск, который собираюсь использовать только для видеозахвата.
Alek> Обычно я диски когда форматирую оставляю размер кластера "по умолчанию", но где-то я слышал что для видеозахвата надо сделать их максимально большого размера в связи с большим размером файлов. Правильно ли это? И вообще как выбирать размер правильно?

Кластер — совокупность секторов, выступающая как единица обмена и единица выделения дисковой памяти с точки зрения файловой системы. Все сектора лежат подряд, поэтому обмен идёт быстрее. Но для файла в 1 байт будет изъято из доступной памяти ровно один кластер. Если ты его сделал 64 КБ, то файл длиной от 1 до 64КБ будет занимать один кластер. Отступление для умных — пока не говорим о возможности начального размещения файла в элементе MTF. Если файл длиной 64КБ+1, то он уже берёт два кластера. Т.е. у тебя будет достаточно большие издержки на файлах при большом размере кластера. Если файлов много, то издержек тоже. Для очень больших файлов — гиг или около того, 64КБ выглядят небольшим куском. Для документов в 100-200КБ — это будет значительным куском. В среднем можно считать, что при размере 64КБ у тебя будут потери в 32КБ на файл. Дальше выбирай сам. Соответственно, если сбойнул кластер, то потери инфы зависят от его размера.
 6.06.0

Vale

Сальсолёт

"- Ватсон, это был математик..." ;)

... Alek, если на логическом диске будет лежать только видео - можно кластер делать максимального размера. Видеофайлы как правило большие.
"Не следуй за большинством на зло, и не решай тяжбы, отступая по большинству от правды" (Исх. 23:2)  
RU Алдан-3 #18.12.2008 04:20  @Vale#18.12.2008 01:39
+
-
edit
 

Алдан-3

аксакал
★★☆
Vale> ... Alek, если на логическом диске будет лежать только видео - можно кластер делать максимального размера. Видеофайлы как правило большие.

Э... справедливости ради, топикстартер говорил о видео*захвате*.

Что приводит нас к вопросу ЧЕМ он будет делать захват и какими "порциями" его грабилка будет складывать на диск добытое.

"Кажется так" (ц)
Особенно его раздражало то, что его постоянно спрашивали, чем он так раздражен.  2.0.0.142.0.0.14
GB Vale #18.12.2008 04:32  @Алдан-3#18.12.2008 04:20
+
-
edit
 

Vale

Сальсолёт

Думаю, какими бы кусками не складывала, все равно доступ к диску - буферизуется. А количество служебной информации на диске и операций с ней с ростом кластера - уменьшается.
"Не следуй за большинством на зло, и не решай тяжбы, отступая по большинству от правды" (Исх. 23:2)  

Mishka

модератор
★★★

Vale> "- Ватсон, это был математик..." ;)

Там достаточно инфы для решения. :P

Vale> ... Alek, если на логическом диске будет лежать только видео - можно кластер делать максимального размера. Видеофайлы как правило большие.

Диск для захвата должен быть максимально пустым и захватывать файл надо в рутовскую директорию, тогда не надо будет много кэшировать. Кроме того, надо помнить, что большие кластеры — большие буфера. Если памяти не хватит (оперативной), то можно поиметь цимес.
 3.0.53.0.5

Alek

опытный
Памяти у меня пока 2Гига но думаю добавить еще 2
Захватываю видео TV-тюнером и прогой к нему FLY200TV
Я наверно попробую опытным путем какой размер лучше.
Собственно меня интересует если сделать большие кластеры возрастет ли производительность?

И еще какая нормальная температура дляя диска?
У меня греется до 40 градусов.
 3.0.13.0.1

MIKLE

старожил
★☆
Alek> У меня греется до 40 градусов.

греется, да...

товарищи, человек издевается :)
Модифицированым комплексам модифицированые танки. (С) VooDoo ХАЧУУУ МАТАЦИКЛ!!!!!!  2.0.0.192.0.0.19
+
-
edit
 

Kernel3

аксакал

Я таки ещё добавлю, что на NTFS размер "служебной информации" для файла зависит именно от степени его фрагментированности, а не размера.
Broken Windows® cures my ills and makes me feel alright... ©  

Alek

опытный
Сравнил вариант 4К (по умолчанию) и 64К и оказалось что 64 все таки лучше!
При 4К я могу нормально захватывать кадр 576х432 а если увеличить до 640х480 начинают появляться дропы. При 768х576 дропов становится неприемлемо много. А при размере кластера 64 никаких дропов ни на каком разрешении не наблюдается. Кстати размер диска не изменился никак при переходе на 64К. После часа работы в режиме захвата диск разогрелся до 45 градусов :( Все таки меня это беспокоит, может доп. вентилятор прикрутить?
 3.0.13.0.1

Mishka

модератор
★★★

Alek> Кстати размер диска не изменился никак при переходе на 64К.

А почему он должен меняться? Аналогия — вот выдали тебе ЗП не рублями, а тысячами — сумма-то останется та же. Разница в том, что придёт ребёнок и скажет: "Пап, дай денюжку — одной бумажкой!" Вот десятками ты ему будешь долго давать, а тысячами закончишь быстрее в 100 раз.
 6.06.0

MIKLE

старожил
★☆
Alek> Сравнил вариант 4К (по умолчанию) и 64К и оказалось что 64 все таки лучше!

а то...

Alek> После часа работы в режиме захвата диск разогрелся до 45 градусов :( Все таки меня это беспокоит, может доп. вентилятор прикрутить?

а корпус какой и сколько каких штатно стоит?

просто от доп вентиляторов при плохом корпусе только пыли может прибавится...
Модифицированым комплексам модифицированые танки. (С) VooDoo ХАЧУУУ МАТАЦИКЛ!!!!!!  2.0.0.192.0.0.19

Alek

опытный
Корпус обычный минитовер, причем узкий.
Есть два низкооборотных вентилятора один на морде вдувает другой сзади выдувает.
Пыль конечно попадает но я ее регулярно выметаю кисточкой.
Отсеков под диск четыре. Дисков теперь три. И два получается стоят рядом, с зазором пара ммметров :(

Вот я и думаю может прикрутить снизу хд'дешный вентилятор?
Хотя пишут что 45 это практически нормально.
 3.0.13.0.1

DSB

втянувшийся

Mishka> ...и захватывать файл надо в рутовскую директорию, тогда не надо будет много кэшировать.

Тебе жалко несколько сотен байт ? ) Мне кажется, это уже перебор...
 7.07.0
RU Dem_anywhere #21.12.2008 23:29  @Alek#19.12.2008 20:32
+
-
edit
 

Dem_anywhere

аксакал
★☆

Alek> Отсеков под диск четыре. Дисков теперь три. И два получается стоят рядом, с зазором пара ммметров :(

Можно через переходник в пятидюймовый отсек запихнуть. Или вообще допкорзину прикрутить
 3.0.53.0.5

Mishka

модератор
★★★

DSB> Тебе жалко несколько сотен байт ? ) Мне кажется, это уже перебор...

Э, Ты представляешь о чём ты говоришь? Это, потенциально, один или два обращения к диску. При захвате буфера ставят большие, значит у систему памяти на кэширование остаётся мало. Значит каждый раз по диску лазить. Человек не хочет терять фреймы. Причина проста — потерял опорный фрейм, все остальные дельты к нему можешь выбрасывать тоже (это в случае сжатия на карточке). А чистый захват сырого потока — посчитай (если NTSС) 30*640*480*3=24,192,000 байт в секунду. Для PAL будет, ЕМНИП, 25*720*580*3=31,320,000 байт в секунду. Т.е., если отвести буфера на 30 секунд, то уже гиг почти надо будет. Поэтому и советуют при сыром захвате применять кодеки для сжатия без потерь. Мощи хороших пней хватает, чтобы на лету сжимать, а поток сразу в двое (обынчо) уменьшается. Если будет вместо одно доступа два или три (и это будет с полётами головки), то скорость записи упадёт примерно в два раза. Тем более, что сбрасывать придётся на диск не только системную область, но ещё и директорию для обновления данных о файле. В этом смысле главная директория требует намного меньше записей и обращений.
 3.0.53.0.5

pokos

аксакал

При сыром захвате используют обычно MJPEG. Минимум гемора и минимум места.
 6.06.0

Mishka

модератор
★★★

pokos> При сыром захвате используют обычно MJPEG. Минимум гемора и минимум места.

Всё же он с потерей.
 3.0.53.0.5

Alek

опытный
Я захватываю в несжатый AVI
Поэтому и прикупил отдельный большой диск только для захвата.
Сейчас у меня система на одном диске, файл подкачки на другом и третий исключительно для несжатых AVI.
Ну а после я неспешно обрабатываю их виртуалдубом :)
 3.0.13.0.1

DSB

втянувшийся

DSB>> Тебе жалко несколько сотен байт ? ) Мне кажется, это уже перебор...
Mishka> Э, Ты представляешь о чём ты говоришь? Это, потенциально, один или два обращения к диску. При захвате буфера ставят большие, значит у систему памяти на кэширование остаётся мало. Значит каждый раз по диску лазить. Человек не хочет терять фреймы. Причина проста — потерял опорный фрейм, все остальные дельты к нему можешь выбрасывать тоже (это в случае сжатия на карточке). А чистый захват сырого потока — посчитай (если NTSС) 30*640*480*3=24,192,000 байт в секунду. Для PAL будет, ЕМНИП, 25*720*580*3=31,320,000 байт в секунду. Т.е., если отвести буфера на 30 секунд, то уже гиг почти надо будет. Поэтому и советуют при сыром захвате применять кодеки для сжатия без потерь. Мощи хороших пней хватает, чтобы на лету сжимать, а поток сразу в двое (обынчо) уменьшается. Если будет вместо одно доступа два или три (и это будет с полётами головки), то скорость записи упадёт примерно в два раза. Тем более, что сбрасывать придётся на диск не только системную область, но ещё и директорию для обновления данных о файле. В этом смысле главная директория требует намного меньше записей и обращений.

Да хватит смеяться то )))) Во-1, память на кэширование структур используемых папок будет всегда, иначе и выделение буферов под преобразование видео не гарантировано. Ты же знаешь принцип работы кэша. Во-2, рутовая это папка или в глубине фаловой структуры, с т.з. кэша - пофигу, кэшировать придётся одинаковое количество данных. Во-3, если мы уж занимаемся такой "тонкой" настройкой, то не забывай, что ОС постоянно пишет то в реестр, то на диск и ей пофигу, какие приложения и что в это время делают.
 7.07.0

Alek

опытный
DSB>>> ОС постоянно пишет то в реестр, то на диск и ей пофигу, какие приложения и что в это время делают.


Вот именно из-за этого я разделил по разным дискам (физическим) систему, файл подкачки и захватываемое видео. И остался весьма этим доволен :) А только что по совету данному выше переставил один диск в 5-ти дюймовый отсек через самодельный переходник, который за пару часов слепил из старой корзины и части корпуса сгоревшего CD-рома, скрепленных между собой винтами. Буду наблюдать рост температуры. Думаю должна стать ниже.
Прикреплённые файлы:
 
 3.0.13.0.1

Mishka

модератор
★★★

DSB> Да хватит смеяться то )))) Во-1, память на кэширование структур используемых папок будет всегда, иначе и выделение буферов под преобразование видео не гарантировано. Ты же знаешь принцип работы кэша.

Ложное утверждение. Выделение буферов — нормальная операция. Кэширование — использование свободной памяти, которая может быть отобрана операцией выделения памяти. И говорю именно потому, что знаю, как это работает. :)

Во-2, рутовая это папка или в глубине фаловой структуры, с т.з. кэша - пофигу, кэшировать придётся одинаковое количество данных.

Ложное утверждение. Директория — тот же файл, которые приходится держать открытым или кэшировать. Т.е. данных больше. Насколько — зависит от того, сколько файлов в директории.

Во-3, если мы уж занимаемся такой "тонкой" настройкой, то не забывай, что ОС постоянно пишет то в реестр, то на диск и ей пофигу, какие приложения и что в это время делают.

Ей не пофигу. В частности, поставь работу с не removable устройствами и ОС будет туда писать намного меньше. И с реестром можно разобраться. В частности запретить (если разрешены) performance counters. Ну и, если работать не из под администратора, а из под обычного пользователя, то и записи в реестр сократятся. Можно запретить и logging многих событий, тоже уменьшиться.
 3.0.53.0.5

Mishka

модератор
★★★

Alek> Вот именно из-за этого я разделил по разным дискам (физическим) систему, файл подкачки и захватываемое видео. И остался весьма этим доволен :) А только что по совету данному выше переставил один диск в 5-ти дюймовый отсек через самодельный переходник, который за пару часов слепил из старой корзины и части корпуса сгоревшего CD-рома, скрепленных между собой винтами. Буду наблюдать рост температуры. Думаю должна стать ниже.

Надо было посадить ХДД, на который пишешь на другой контроллер. Совсем на другой, чтобы там не было ни ОС диска, ни свопа. Потому как контроллер может поддерживать два диска, но всегда притормаживает операции на диске, если есть обращения ко второму на том же контроллере. Этим SCSI выгодно отличается от IDE.
 3.0.53.0.5

pokos

аксакал

Mishka> ...Этим SCSI выгодно отличается от IDE.
Да. Однако, не многие знают, что IDE позволяет синхронизировать шпиндели накопителей. Раньше, когда сектора на диске занимали фиксированные места, это бывало полезно.
 6.06.0

Alek

опытный
Mishka> Надо было посадить ХДД, на который пишешь на другой контроллер. Совсем на другой, чтобы там не было ни ОС диска, ни свопа. Потому как контроллер может поддерживать два диска, но всегда притормаживает операции на диске, если есть обращения ко второму на том же контроллере. Этим SCSI выгодно отличается от IDE.

Дык а у меня все эти три диска - SATA. Насколько я понимаю каждый на отдельном контроллере?
Температура упала на три градуса.
 3.0.13.0.1

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru