Проблема заключается в самом дистрибутиве VirtualBox, в котором сейчас отсутствуют необходимые модули.
Если вы заглянули в модуль VBoxHeadless.cpp , вы увидите, что для его функционирования должны быть выполнены следующие условия:
- VBOX_FFMPEG должен быть определен
- Общая библиотека VBoxFFmpegFB должна быть доступна с точкой входа VBoxRegisterFFmpegFB
В ветке VBoxHeadless «Не удалось загрузить расширение захвата видео» с 2009 года кто-то по имени xantus попытался создать необходимые условия, изменив соответствующие источники, но это не сработало.
Я полагаю, что правильный способ сделать это - обратиться к разработчикам на форумах VirtualBox и убедить их снова заставить его работать, хотя, похоже, этот вариант был заброшен по крайней мере с 2009 года.