Как запустить тестовую базу данных Django только в памяти?

Мои модульные тесты Django выполняются долго, поэтому я ищу способы ускорить это. Я подумываю об установке SSD , но знаю, что у него есть и недостатки. Конечно, со своим кодом я могу кое-что сделать, но я ищу структурное исправление. Даже запуск одного теста выполняется медленно, поскольку базу данных необходимо каждый раз перестраивать / переносить на юг. Итак, вот моя идея ...

Поскольку я знаю, что тестовая база данных всегда будет довольно маленькой, почему я не могу просто настроить систему, чтобы всегда хранить всю тестовую базу данных в ОЗУ? Ни в коем случае не трогайте диск. Как мне настроить это в Django? Я бы предпочел продолжать использовать MySQL, поскольку это то, что я использую в производстве, но если SQLite  3 или что-то еще упрощает это, я бы пошел по этому пути.

Есть ли у SQLite или MySQL возможность работать полностью в памяти? Должна быть возможность настроить RAM-диск, а затем настроить тестовую базу данных для хранения своих данных там, но я не уверен, как указать Django / MySQL использовать другой каталог данных для определенной базы данных, тем более, что он продолжает стираться и воссоздавал каждый прогон. (Я использую Mac FWIW.)

Если вы установите ядро ​​базы данных на sqlite3 при запуске тестов, Django будет использовать базу данных в памяти .

Я использую такой код в моем, settings.pyчтобы настроить двигатель на sqlite при запуске моих тестов:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Или в Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

И, наконец, в Django 1.3 и 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Полный путь к бэкэнду не является строго обязательным для Django 1.3, но обеспечивает прямую совместимость настроек.)

Вы также можете добавить следующую строку, если у вас возникли проблемы с миграцией на юг:

    SOUTH_TESTS_MIGRATE = False

Я обычно создаю отдельный файл настроек для тестов и использую его в тестовой команде, например

python manage.py test --settings=mysite.test_settings myapp

У этого есть два преимущества:

1. Вам не нужно проверять какое- testлибо волшебное слово в sys.argv, test_settings.pyможно просто

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}
   

   Или вы можете дополнительно настроить его под свои нужды, четко отделив тестовые настройки от производственных.

2. Еще одно преимущество заключается в том, что вы можете запускать тест с движком производственной базы данных вместо sqlite3, избегая тонких ошибок, поэтому при разработке используйте

   python manage.py test --settings=mysite.test_settings myapp

   и перед фиксацией кода запустить один раз

   python manage.py test myapp

   просто чтобы убедиться, что все тесты действительно проходят.

MySQL поддерживает механизм хранения под названием «MEMORY», который вы можете настроить в своей базе данных config ( settings.py) как таковой:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Обратите внимание, что механизм хранения MEMORY не поддерживает столбцы blob / text, поэтому, если вы используете его, django.db.models.TextFieldэто не сработает для вас.

Я не могу ответить на ваш главный вопрос, но есть несколько вещей, которые вы можете сделать, чтобы ускорить процесс.

Во-первых, убедитесь, что ваша база данных MySQL настроена для использования InnoDB. Затем он может использовать транзакции для отката состояния базы данных перед каждым тестом, что, по моему опыту, привело к значительному ускорению. Вы можете передать команду инициализации базы данных в файле settings.py (синтаксис Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Во-вторых, вам не нужно каждый раз запускать миграции на юг. Задайте его SOUTH_TESTS_MIGRATE = Falseв файле settings.py, и база данных будет создана с помощью обычного syncdb, что будет намного быстрее, чем выполнение всех предыдущих миграций.

Вы можете сделать двойную настройку:

• использовать транзакционные таблицы: начальное состояние фикстур будет установлено с помощью отката базы данных после каждого TestCase.
• поместите каталог данных вашей базы данных на ramdisk: вы выиграете много в том, что касается создания базы данных, а также выполнение теста будет быстрее.

Я использую обе уловки и вполне доволен.

Как настроить его для MySQL в Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Осторожно, это просто для тестирования, после перезагрузки ваша база данных из памяти теряется!

Другой подход: другой экземпляр MySQL работает в tempfs, который использует RAM Disk. Инструкции в этом сообщении в блоге: Ускорение MySQL для тестирования в Django .

Преимущества:

• Вы используете ту же базу данных, что и ваш производственный сервер.
• нет необходимости изменять конфигурацию mysql по умолчанию

Расширяя ответ Anurag, я упростил процесс, создав те же настройки test_settings и добавив следующее в manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

кажется более чистым, поскольку sys уже импортирован, а manage.py используется только через командную строку, поэтому не нужно загромождать настройки

Используйте ниже в своем setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'