Оптимизация файловой системы FFS

[Алексей Лукин]

Здравствуйте, не подскажите, куда копать...., (не просто man -k ffs :))

На OpenBSD поднят transmission -- торрен клиент.

Им качаю файлы, более 4 Гб.

При копировании такого файла на другой HDD или по сети скорость
считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
винт и снова залить на исходный, скорость чтения нормализуется. Немного
понимаю что это связано с фрагментацией, но как это испраить.......

Пробовал применять ключи оптимизации при создании FFS, не помогает.
Спасибо.

[Титов Станислав]

Доброго времени суток!

А, вообще можно ли как-нибудь увеличить скорость работы дисковой
подсистемы в "опёнке", или мне не повезло с выбором контроллера (NVIDIA
nForce4 SATA)?

router:~ [12:57:58]# dd if=/dev/wd0c of=/dev/null count=1000000
1000000+0 records in
1000000+0 records out
512000000 bytes transferred in 17.994 secs (28452376 bytes/sec) -
маловато будет, т.к. в оффтопике 75,1 MB/c.



Алексей Лукин пишет:

> Здравствуйте, не подскажите, куда копать...., (не просто man -k ffs :))
>
> На OpenBSD поднят transmission -- торрен клиент.
>
> Им качаю файлы, более 4 Гб.
>
> При копировании такого файла на другой HDD или по сети скорость
> считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> винт и снова залить на исходный, скорость чтения нормализуется. Немного
> понимаю что это связано с фрагментацией, но как это испраить.......
>
> Пробовал применять ключи оптимизации при создании FFS, не помогает.
> Спасибо.
>
>
>

--
С уважением,
Титов Станислав Юрьевич
Инженер отдела сетевых технологий
HeliosNet Сибирь
Тел.: [phone], 407-407
Факс: [phone]
<www.helios-net.ru>www.helios-net.ru

[Igor A. Valcov]

> При копировании такого файла на другой HDD или по сети скорость
> считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> винт и снова залить на исходный, скорость чтения нормализуется. Немного
> понимаю что это связано с фрагментацией, но как это испраить.......

Вряд ли как то это можно исправить на уровне самой ФС. Лучше сделать
предварительное резервирование места торрент-клиентом. Многие это
умеют. В этом случае, новые файлы сначала, перед загрузкой, забиваются
нулями - что приводит к более менее сплошному расположению блоков
файла. А затем уже заполняется реальными данными. Если этого не
сделать, то в силу особенностей загрузки данных по сети bittorent,
блоки данных приходят практически в случайном порядке и при этом
распологать их рядом для более комфортного последовательного чтения
файловая система не старается, да и не может.


--
Igor A. Valcov

[Алексей Лукин]

Igor A. Valcov пишет:

>> При копировании такого файла на другой HDD или по сети скорость
>> считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
>> винт и снова залить на исходный, скорость чтения нормализуется. Немного
>> понимаю что это связано с фрагментацией, но как это испраить.......
>>    
>
> Вряд ли как то это можно исправить на уровне самой ФС. Лучше сделать
> предварительное резервирование места торрент-клиентом. Многие это
> умеют. В этом случае, новые файлы сначала, перед загрузкой, забиваются
> нулями - что приводит к более менее сплошному расположению блоков
> файла. А затем уже заполняется реальными данными. Если этого не
> сделать, то в силу особенностей загрузки данных по сети bittorent,
> блоки данных приходят практически в случайном порядке и при этом
> распологать их рядом для более комфортного последовательного чтения
> файловая система не старается, да и не может.
>
>
>  

А существуют ли какие-то средства дефрагментации?
Если нет, получается эта проблема не решаема....

[Dinar Talypov]

> >
> >
> >  
>
> А существуют ли какие-то средства дефрагментации?
> Если нет, получается эта проблема не решаема....
>
>
>
ffs сама по себе дефрагментируется

--
Динар Талыпов

[Gregory Edigarov-2]

On Tue, 03 Nov 2009 14:09:40 +0500
Алексей Лукин <alex@...> wrote:

> Igor A. Valcov пишет:
> >> При копировании такого файла на другой HDD или по сети скорость
> >> считывании очень низкая 2-3 Мегабита. Если этот же файл слить на
> >> другой винт и снова залить на исходный, скорость чтения
> >> нормализуется. Немного понимаю что это связано с фрагментацией, но
> >> как это испраить.......
> >
> > Вряд ли как то это можно исправить на уровне самой ФС. Лучше сделать
> > предварительное резервирование места торрент-клиентом. Многие это
> > умеют. В этом случае, новые файлы сначала, перед загрузкой,
> > забиваются нулями - что приводит к более менее сплошному
> > расположению блоков файла. А затем уже заполняется реальными
> > данными. Если этого не сделать, то в силу особенностей загрузки
> > данных по сети bittorent, блоки данных приходят практически в
> > случайном порядке и при этом распологать их рядом для более
> > комфортного последовательного чтения файловая система не старается,
> > да и не может.
> >
> >
> >  
>
> А существуют ли какие-то средства дефрагментации?
> Если нет, получается эта проблема не решаема....

full dump, newfs, full restore.


--
With best regards,
        Gregory Edigarov

[Anton Maksimenkov-2]

> На OpenBSD поднят transmission -- торрен клиент.
> Им качаю файлы, более 4 Гб.
> При копировании такого файла на другой HDD или по сети скорость
> считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> винт и снова залить на исходный, скорость чтения нормализуется.

Странно. Я качал с торентов (сейчас btpd; был и rtorrent, но он uvm
убивает, пришлось отказаться) разные, в том числе и очень большие
файлы. Тормозов не наблюдалось (сливал по ФТП из локалки).
--
antonvm

[Mike Belopuhov]

On Tue, Nov 03, 2009 at 13:02 +0800, Титов Станислав wrote:
> Доброго времени суток!
>
> А, вообще можно ли как-нибудь увеличить скорость работы дисковой
> подсистемы в "опёнке", или мне не повезло с выбором контроллера (NVIDIA
> nForce4 SATA)?
>

dmesg что на него говорит?
много nvidia sata контроллеров не умеют DMA если драйвер pciide.
перевод в режим AHCI и (если необходимо) добавление id'шника в
ahci.c решает проблему.

а в принципе про торренты мне кажется ffs себя ведет лучше чем например
xfs. xfs так жестко фрагментируется (напомню что в линухе максимальный
block size на файлухе равен размеру физ. странице памяти, что в случае
i386 означает 4k) что скорость чтения падает в неск. десятков раз.

а вообще что должно помочь -- большой blocksize, большой fragment size
и, я повторю сказаное другими -- выделение места под файл торрент
клиентом в момент начала закачки (это самое важное).

> router:~ [12:57:58]# dd if=/dev/wd0c of=/dev/null count=1000000
> 1000000+0 records in
> 1000000+0 records out
> 512000000 bytes transferred in 17.994 secs (28452376 bytes/sec) -
> маловато будет, т.к. в оффтопике 75,1 MB/c.
>
>
>
> Алексей Лукин пишет:
> > Здравствуйте, не подскажите, куда копать...., (не просто man -k ffs :))
> >
> > На OpenBSD поднят transmission -- торрен клиент.
> >
> > Им качаю файлы, более 4 Гб.
> >
> > При копировании такого файла на другой HDD или по сети скорость
> > считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> > винт и снова залить на исходный, скорость чтения нормализуется. Немного
> > понимаю что это связано с фрагментацией, но как это испраить.......
> >
> > Пробовал применять ключи оптимизации при создании FFS, не помогает.
> > Спасибо.
> >
> >
> >
>
>
> --
> С уважением,
> Титов Станислав Юрьевич
> Инженер отдела сетевых технологий
> HeliosNet Сибирь
> Тел.: [phone], 407-407
> Факс: [phone]
> <www.helios-net.ru>www.helios-net.ru
>
>

[Mike Belopuhov]

On Tue, Nov 03, 2009 at 15:49 +0500, Anton Maksimenkov wrote:
> > На OpenBSD поднят transmission -- торрен клиент.
> > Им качаю файлы, более 4 Гб.
> > При копировании такого файла на другой HDD или по сети скорость
> > считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> > винт и снова залить на исходный, скорость чтения нормализуется.
>
> Странно. Я качал с торентов (сейчас btpd; был и rtorrent, но он uvm
> убивает, пришлось отказаться) разные, в том числе и очень большие

на Intel T8100 и 2Gb мозга с AerieBSD (фактически 4.4 без vfs_biomem)
ничего не убивает (:  biomem кака.

> файлы. Тормозов не наблюдалось (сливал по ФТП из локалки).
> --
> antonvm

[Stans Sataa]

Вот так мой dmesg выглядит:

"NVIDIA nForce4 DDR" rev 0xa4 at pci0 dev 0 function 0 not
configured                                                                                

pcib0 at pci0 dev 1 function 0 "NVIDIA nForce4 ISA" rev
0xf1                                                                                        

nviic0 at pci0 dev 1 function 1 "NVIDIA nForce4 SMBus" rev
0xa2                                                                                      

iic0 at
nviic0                                                                                                                                      

spdmem0 at iic0 addr 0x53: 512MB DDR2 SDRAM non-parity
PC2-5300CL5                                                                                  

iic1 at
nviic0                                                                                                                                      

pciide0 at pci0 dev 6 function 0 "NVIDIA nForce4 IDE" rev 0xf3: DMA,
channel 0 configured to compatibility, channel 1 configured to
compatibility  
pciide0: channel 0 disabled (no
drives)                                                                                                              

atapiscsi0 at pciide0 channel 1 drive
0                                                                                                              

scsibus0 at atapiscsi0: 2
targets                                                                                                                    

cd0 at scsibus0 targ 0 lun 0: <_NEC, DV-5700A, 1.91> ATAPI 5/cdrom
removable                                                                        

cd0(pciide0:1:0): using PIO mode 4, Ultra-DMA mode
2                                                                                                

pciide1 at pci0 dev 8 function 0 "NVIDIA nForce4 SATA" rev 0xf3:
DMA                                                                                

pciide1: using apic 2 int 20 (irq 5) for native-PCI
interrupt                                                                                        

wd0 at pciide1 channel 0 drive 0: <WDC
WD2500AAJS-60M0A0>                                                                                            

wd0: 16-sector PIO, LBA48, 238475MB, 488397168
sectors                                                                                              

wd0(pciide1:0:0): using PIO mode 4, Ultra-DMA mode
5                                                                                                

ppb0 at pci0 dev 9 function 0 "NVIDIA nForce4 PCI-PCI" rev
0xf2                                                                                      

pci1 at ppb0 bus
1                                                                                                                                  


Драйвер действительно pciide. Как перевести в AHCI?


Mike Belopuhov пишет:
> dmesg что на него говорит?
> много nvidia sata контроллеров не умеют DMA если драйвер pciide.
> перевод в режим AHCI и (если необходимо) добавление id'шника в
> ahci.c решает проблему.
>
>  
--

Best regards,                     icq : 53530661
 Stans                            xmpp: sinsane@...
         

[Kirill Bychkov-2]

On Tue, November 3, 2009 14:27, Stans Sataa wrote:
> Драйвер действительно pciide. Как перевести в AHCI?
>
в биосе контроллера/материнки.
учтите, у вас диск может переброситься с wd на sd.

>
> Mike Belopuhov пишет:
>> dmesg что на него говорит?
>> много nvidia sata контроллеров не умеют DMA если драйвер pciide.
>> перевод в режим AHCI и (если необходимо) добавление id'шника в
>> ahci.c решает проблему.
>>
>>
> --
>
> Best regards,                     icq : 53530661
>  Stans                            xmpp: sinsane@...
>
>
>
>

[Stans Sataa]

В данном конкретном биосе нет переключения между ATA и AHCI. Можно лишь
включить или выключить DMA. Конец?

Kirill Bychkov пишет:
> On Tue, November 3, 2009 14:27, Stans Sataa wrote:
>  
>> Драйвер действительно pciide. Как перевести в AHCI?
>>
>>    
> в биосе контроллера/материнки.
> учтите, у вас диск может переброситься с wd на sd.
>
>  
--
Best regards,                     icq : 53530661
 Stans                            xmpp: sinsane@...
         

[Alexander Yurchenko-3]

On Tue, Nov 03, 2009 at 01:02:25PM +0800, Титов Станислав wrote:
> Доброго времени суток!
>
> А, вообще можно ли как-нибудь увеличить скорость работы дисковой
> подсистемы в "опёнке", или мне не повезло с выбором контроллера (NVIDIA
> nForce4 SATA)?
>
> router:~ [12:57:58]# dd if=/dev/wd0c of=/dev/null count=1000000

bs=64k попробуйте.

> 1000000+0 records in
> 1000000+0 records out
> 512000000 bytes transferred in 17.994 secs (28452376 bytes/sec) -
> маловато будет, т.к. в оффтопике 75,1 MB/c.
>
>
>
> Алексей Лукин пишет:
> > Здравствуйте, не подскажите, куда копать...., (не просто man -k ffs :))
> >
> > На OpenBSD поднят transmission -- торрен клиент.
> >
> > Им качаю файлы, более 4 Гб.
> >
> > При копировании такого файла на другой HDD или по сети скорость
> > считывании очень низкая 2-3 Мегабита. Если этот же файл слить на другой
> > винт и снова залить на исходный, скорость чтения нормализуется. Немного
> > понимаю что это связано с фрагментацией, но как это испраить.......
> >
> > Пробовал применять ключи оптимизации при создании FFS, не помогает.
> > Спасибо.
> >
> >
> >
>
>
> --
> С уважением,
> Титов Станислав Юрьевич
> Инженер отдела сетевых технологий
> HeliosNet Сибирь
> Тел.: [phone], 407-407
> Факс: [phone]
> <www.helios-net.ru>www.helios-net.ru
>

--
Alexander Yurchenko

[Igor A. Valcov]

3 ноября 2009 г. 12:18 пользователь Dinar Talypov <dinar@...> написал:
> ffs сама по себе дефрагментируется
>
Это миф :) Старается, конечно, более плотно класть блоки, поменьше
разбрасывая их по диску. Но это когда файл образуется в результате
сохранения потока данных на диск хорошо получается, а в
рассматриваемом случае неприменимо.

--
Igor A. Valcov

[Igor A. Valcov]

> Странно. Я качал с торентов (сейчас btpd; был и rtorrent, но он uvm
> убивает, пришлось отказаться) разные, в том числе и очень большие
> файлы. Тормозов не наблюдалось (сливал по ФТП из локалки).
>

По локалке если - не так заметно, видимо. Вот если локально с одного
винта на другой - тут более в глаза бросается. А вообще, конечно, от
многого зависит: от того, какой диск - как велико у него время поиска
дорожки при непоследовательном чтении, или вообще RAID может быть -
там это не так заметно, на SSD если - то вообще по барабану как эти
блоки на диске располагаются, и т.д.

--
Igor A. Valcov

[Anton Maksimenkov-2]

>> Странно. Я качал с торентов (сейчас btpd; был и rtorrent, но он uvm
>> убивает, пришлось отказаться) разные, в том числе и очень большие
> на Intel T8100 и 2Gb мозга с AerieBSD (фактически 4.4 без vfs_biomem)
> ничего не убивает (:  biomem кака.

God Lord... Ты rtorrent гонял, именно в позе гигантских файлов?
Вообще, наскоко я понинял на основе этого биомема был выточен какой-то
ниипически хороший вариант буферкэша (я смотрел видео Боба на
ютубе/бсдконференцес) и типа "наконецто". Может попутно там какие-то
баги решили удалить. Тока я пока проверять не хочу :-))
--
antonvm