Вопросы с тегом «performance»

Мы хотели бы хранить миллионы текстовых файлов в файловой системе Linux, чтобы иметь возможность архивировать и обслуживать произвольную коллекцию в качестве службы. Мы пробовали другие решения, такие как база данных ключ / значение, но наши требования к параллелизму и параллелизму делают использование собственной файловой системы лучшим выбором. Самый простой способ …

15 files  filesystems  performance  ext4 

Я выполняю некоторые тяжелые процессы ввода-вывода на своей рабочей станции и недавно установлен iotopдля их мониторинга. Вот недавний скриншот: Я немного запутался по поводу показаний в IO>колонке. Это указывает на то, что на моем диске около 1500% активности ввода / вывода. Это вообще возможно? Как рассчитать максимально возможный ввод / …

15 performance  io  disk  top 

Мне нужно дедуплицировать большой список слов. Я попробовал несколько команд и провел некоторое исследование здесь и здесь, где они объясняют, что самый быстрый способ дедупликации списка слов, кажется, использует awk. awk -> O (n)? сортировать -> O (n log n)? Однако я обнаружил, что это, похоже, не соответствует действительности. Вот …

14 bash  awk  performance  sort 

Я запускаю тысячи фоновых процессов curl параллельно в следующем скрипте bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done У меня 49Gb Corei7-920 выделенный сервер (не виртуальный). Я отслеживаю потребление памяти и процессора …

14 linux  performance  bash  curl  wget 

Мои системы Debian Wheezy используют deadlineпланировщик. Я привык использовать ioniceперепланирование приоритета ввода / вывода для работ с большим количеством дисков в загруженное время, и, по-видимому, это помогает (но у меня нет никаких веских доказательств). Страница ioniceруководства , документация по ядру и этот документ OpenSUSE предполагают, что только cfqпланировщик принимает во …

13 linux  performance 

Например, bzipесть pbzip , параллельная версия bzip. Есть ли такие инструменты распараллеливания для sortповышения производительности?

13 performance  sort 

У меня есть каталог с около 26 000 файлов, и мне нужно grep во всех этих файлах. Проблема в том, что мне это нужно как можно быстрее, поэтому не идеально делать скрипт, в котором grep будет брать имя одного файла из команды поиска и записывать совпадения в файл. Прежде чем …

13 files  grep  performance 

Страница руководства говорит о barrierопции для ext4: Барьеры записи обеспечивают правильное упорядочение записей в журнале на диске, делая безопасными использование кэшей записи на диск при некотором снижении производительности. Если ваши диски так или иначе питаются от батареи , отключение барьеров может безопасно повысить производительность. Считается ли ноутбук с батареей (и …

13 hard-disk  performance  ext4  laptop  cache 

Я заметил, что когда я пишу тяжелые приложения, вся система тормозит. Чтобы проверить это дальше, я запустил это для выполнения (относительно) низкой загрузки процессора, высокой активности диска: john -incremental > file_on_SSD Это выкачивает десятки тысяч строк в секунду в файл на моем системном диске. При этом мышь зависает, TTY перестают …

13 kernel  performance  io  ssd 

У меня установлены две двухъядерные системы Linux с использованием Linux cgroups с относительно недавними ядрами; один работает под Debian Squeeze, другой - Ubuntu 11.04 Natty Narwhal. Я получил балансировку нагрузки процессора с помощью cgroups, работающей немного лучше в системе Debian, несмотря на более старое ядро. Но это не подходит для …

13 linux  performance  cgroups 

Когда я запускаю команду TOP, процесс показывает 1208% использования процессора, а общее время загрузки процессора составляет 81,7% при включенном режиме IRIX. Когда я переключаюсь в режим IRIX, процесс показывает 99% использования процессора, а общее время процессора пользователя составляет 43%. Есть идеи, что может происходить? Обновление. Может ли виртуальная машина быть …

13 performance  cpu  top 

Похоже, я установил logcheck как задание cron, и всякий раз, когда он запускается grep, logcheckзанимает около ¼ моего процессора. Теперь у меня есть определенное время, в течение которого мне нужна полная загрузка процессора, и чтобы моя система занимала как можно меньше ресурсов, за исключением определенных процессов / процессов (которые я, …

12 debian  cron  performance  cpu  laptop 

Могучий straceподвел меня. Как это возможно? time fooпоказывает, что fooдля запуска требуется несколько секунд («реальный»), но используется незначительное время процессора, как в пользовательском пространстве («пользователь»), так и в ядре («sys»). Для любопытных fooопределяется ниже. Поэтому он проводит большую часть своего времени в ожидании чего-то другого, а не выполнения инструкций процессора. …

11 performance  time  strace 

Параметр swappiness контролирует стремление ядра перемещать процессы из физической памяти на диск подкачки. Что такое настройка по умолчанию и как ее настроить для улучшения общей производительности ?

11 linux  performance  swap 

Я использую тестирование Debian без проблем в течение ~ 6 лет (я просто регулярно его обновляю), но недавно он начал демонстрировать случайное поведение, которое можно обобщить как «Низкая производительность ввода-вывода, которая сохраняется до перезагрузки». Проблема в том, что внезапно все операции чтения и записи на диске замедляются до ~ 5 …

11 linux  performance  io