У меня есть Ubuntu 16.04 Backup Server с жестким диском 8x10 ТБ через объединительную плату SATA 3.0. 8 жестких дисков собраны на RAID6, используется файловая система EXT4. Эта файловая система хранит огромное количество небольших файлов с очень большим количеством операций SEEK, но низкой пропускной способностью ввода-вывода. На самом деле существует множество небольших файлов с разных серверов, которые каждый день получают снимки snappshot с помощью rsnapshot (несколько INODES направляются к одним и тем же файлам. У меня очень низкая производительность, поскольку файловая система (60 ТБ) превысила 50%. В настоящее время использование на 75% и
du -sch /backup-root/
занимает несколько дней (!). Машина имеет 8 ядер и 16 ГБ оперативной памяти. ОЗУ полностью используется кэшем файловой системы ОС, из-за IOWAIT 7 из 8 ядер постоянно простаивают.
Filesystem volume name: <none>
Last mounted on: /
Filesystem UUID: 5af205b0-d622-41dd-990e-b4d660c12bd9
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 912203776
Block count: 14595257856
Reserved block count: 0
Free blocks: 4916228709
Free inodes: 793935052
First block: 0
Block size: 4096
Fragment size: 4096
Group descriptor size: 64
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 2048
Inode blocks per group: 128
RAID stride: 128
RAID stripe width: 768
Flex block group size: 16
Filesystem created: Wed May 31 21:47:22 2017
Last mount time: Sat Apr 14 18:48:25 2018
Last write time: Sat Apr 14 18:48:18 2018
Mount count: 9
Maximum mount count: -1
Last checked: Wed May 31 21:47:22 2017
Check interval: 0 (<none>)
Lifetime writes: 152 TB
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
First orphan inode: 513933330
Default directory hash: half_md4
Directory Hash Seed: 5e822939-cb86-40b2-85bf-bf5844f82922
Journal backup: inode blocks
Journal features: journal_incompat_revoke journal_64bit
Journal size: 128M
Journal length: 32768
Journal sequence: 0x00c0b9d5
Journal start: 30179
Мне не хватает опыта работы с такого рода файловой системой. Какие варианты я должен настроить это. Какая файловая система будет работать лучше в этом сценарии? Есть ли варианты задействовать ОЗУ для других вариантов кэширования, кроме встроенной ОС?
Как вы обрабатываете очень большие объемы небольших файлов на больших сборках RAID?
Спасибо Себастьян