Улучшения производительности S3fs или альтернатива?

11

Я пытался использовать s3fs на сервере EC2, но это очень медленно. Последние 5 часов я потратил на загрузку 100 МБ небольших файлов.

Что я могу сделать, чтобы улучшить производительность, или это связано с S3fs? Если нет, то какую альтернативу я мог бы использовать?

amazon-ec2 s3fs

— MB.
источник

определить небольшие файлы, 1K? 500bytes? 1 МБ?

— худой

около ~ 200К ...

— МБ.

В зависимости от ваших потребностей в хранении, вы можете просто использовать EBS, если только вам не нужен доступ из других систем одновременно, и в этом случае настройка виртуального nas с EBS все еще может быть лучшим вариантом.

— Tracker1

7

S3FS может быть не лучшим выбором для большого количества файлов меньшего размера. Накладные расходы с S3FS также довольно высоки. Я бы предложил использовать что-то вроде S3Curl

Вы можете даже получить параллельные передачи. Просто помните, что это никогда не будет быстрым, как EBS / локальное хранилище.

Если вам нужно, чтобы он был «монтируемым» хранилищем, единственные известные мне альтернативы S3FS - это S3Backer или s3ql.

— тонкий лед
источник

1

Я ищу что-то, что я могу смонтировать как файловую систему.

— МБ.

Есть мысли s3ql?

— Ewwhite

Я попробую S3Backer и S3Sql. Спасибо.

— МБ.

5 часов - это очень медленно для ~ 500, 200 КБ файлов, даже с S3FS. Что-то еще может быть связано с этим, я не знаю ни одной настраиваемой S3FS, которая бы помогла

— тонко

6

Я просто протестировал riofs по сравнению с s3fs. Мой тестовый пример был относительно простым bash-скриптом, который запускал pngquant для каждого найденного файла .png. На тестовом пакете с ~ 70 изображениями, из которых ~ 20, где png (распространяется на множество подкаталогов, что, вероятно, замедляет работу), результаты где:

s3fs: 3m54
riofs: 15.9s

Так что для этого теста riofs в ~ 15 раз быстрее! Настройка также была очень простой, хотя документы несколько краткие.

Что касается того факта, что сценарий все еще занимал 15.9 с: он не очень эффективен, также на самом деле запуск pngquant на png - это процесс, интенсивно использующий процессор.

— Мило де Врис
источник

К сожалению riofs не удается сAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

Просто добавление айфонов в смесь. Пока я не видел ни одного эталона, но есть проблема / запрос, который может сделать любой.

— f01
источник

2

Я только что выпустил v0.0.1 из https://github.com/kahing/goofys, который был частично мотивирован проблемами с производительностью в s3fs. Ускорение создания файла составляет 3-6x, а время до первого байта - 58x. Обратная связь приветствуется!

— KHC
источник

2

Начиная с 2019 года, рекомендуется использовать Goofys. Riotfs давно не обновлялся.

— timofey.com

1

Я использовал [1], и это очень хорошо. Это много команд и делает доступ к aws и s3 намного проще.

http://timkay.com/aws/

— Amit
источник

1

Добро пожаловать в сбой сервера! Хотя это может теоретически ответить на вопрос, было бы предпочтительным включить сюда основные части ответа и предоставить ссылку для справки.

— Скотт Пак

1

Я сравнил s3fs с riofs и почти переключился из-за заметно лучшей производительности. Проблема в том, что riofs до сих пор не обновлен до сигнатур v4, что означает, что он не будет работать с корзинами s3 во Франкфурте или Китае. По словам владельца, обновление уже в пути. Если вы не используете Франкфурт или Китай, riofs - лучший вариант.

— Стив
источник

Также не работает с eu-central-1

— lrkwz

1

Это доброе старое, но может помочь, кто здесь.

Я использую AWS Cli и работает очень хорошо (3 Мбит / с)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
источник