Моя проблема была такой же, у меня были запросы IPV6, сделанные до IPV4, и они тратили ресурсы впустую, поэтому я изменил свой файл /etc/gai.conf, так как freddyb опубликовал, но мой сценарий немного отличается, мой сервер Natted, поэтому IPv4 не будет иметь приоритет над IPv6 только с этой строкой. Решение также закомментирует другие строки на gai.conf, так что это будет выглядеть так
#For sites which prefer IPv4 connections change the last line to
precedence ::ffff:0:0/96 100
...
# For sites which use site-local IPv4 addresses behind NAT there is
# the problem that even if IPv4 addresses are preferred they do not
# have the same scope and are therefore not sorted first. To change
# this use only these rules:
#
scopev4 ::ffff:169.254.0.0/112 2
scopev4 ::ffff:127.0.0.0/104 2
scopev4 ::ffff:0.0.0.0/96 14
Таким образом, ваш сервер попробует сначала ipv4, даже если вы Natted!