Vivid apt-get update огромных файлов пакета в / var / lib / apt / lists / part

ls -Ssh /var/lib/apt/lists/partial | head

total 88G
 46G security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2
 42G us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2

Я попробовал бунзиппинг и получил конечный мусор:

bunzip2: us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2: trailing garbage after EOF ignored

Похоже, что распакованный файл только 88K:

 du -hs us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages
88K

Создание шестнадцатеричного дампа конца файла, кажется, показывает добавляемый список каталогов:

tail -c 200 security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2 | hexdump -C
00000000  30 38 64 66 37 20 20 20  20 20 20 20 20 20 20 20  |08df7           |
00000010  20 20 34 38 31 39 20 75  6e 69 76 65 72 73 65 2f  |  4819 universe/|
00000020  69 31 38 6e 2f 54 72 61  6e 73 6c 61 74 69 6f 6e  |i18n/Translation|
00000030  2d 65 6e 2e 62 7a 32 0a  20 31 30 66 64 62 31 61  |-en.bz2. 10fdb1a|
00000040  37 34 61 62 34 34 33 36  64 39 37 62 33 33 66 65  |74ab4436d97b33fe|
00000050  62 30 38 38 36 66 35 63  38 61 63 63 64 36 34 34  |b0886f5c8accd644|
00000060  33 62 36 34 36 37 61 30  64 63 39 61 63 39 64 31  |3b6467a0dc9ac9d1|
00000070  66 64 33 39 61 36 31 63  62 20 20 20 20 20 20 20  |fd39a61cb       |
00000080  20 20 20 20 20 20 31 35  38 31 20 75 6e 69 76 65  |      1581 unive|
00000090  72 73 65 2f 73 6f 75 72  63 65 2f 53 6f 75 72 63  |rse/source/Sourc|
000000a0  65 73 2e 62 7a 32 0a 20  61 64 66 35 31 32 30 66  |es.bz2. adf5120f|
000000b0  65 63 61 37 38 66 34 65  37 36 66 34 31 36 66 38  |eca78f4e76f416f8|
000000c0  31 30 32 31 36 62 33 30                           |10216b30|

Трубопровод хвоста, хотя строки и greping для файла показывает один и тот же файл, перечисленный снова и снова:

 tail -c 500K security.ubuntu.com_ubuntu_dists_vivid-security_main_binary-amd64_Packages.bz2 | strings  | grep -i multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2
 64a543afbb5f4bf728636bdcbbe7a2ed0804adc2               14 multiverse/i18n/Translation-en.bz2
 d3dda84eb03b9738d118eb2be78e246106900493c0ae07819ad60815134a8058               14 multiverse/i18n/Translation-en.bz2

Кто-нибудь сталкивался с этим раньше?

apt updates

— user402751
источник

Я нашел обходной путь к этой проблеме: rm -rf / var / lib / apt / lists / частичный / *, а затем повторно запустил apt-get update.

— user402751

Я столкнулся с этим снова, после новой установки с DVD, я изначально обновился с 14.10. {{392G us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2}}} Подпись немного отличается, повторяются ошибки http. {{tail -c 500K us.archive.ubuntu.com_ubuntu_dists_vivid-updates_main_binary-i386_Packages.bz2 | струны | grep "HTTP / 1.1 416 Запрошенный диапазон не удовлетворяется" HTTP / 1.1 416 Запрошенный диапазон не удовлетворяется HTTP / 1.1 416 Запрашиваемый диапазон не удовлетворяется HTTP / 1.1 416 Запрашиваемый диапазон не удовлетворяется HTTP / 1.1 416 Запрашиваемый диапазон не удовлетворяется}}

— user402751

Хм, похоже у меня тоже есть эта проблема. Очень назойливый. Я прихожу на работу утром, и все виды вещей рухнули, потому что диск заполнен. Вы случайно нашли решение?

— Фроде

Решение нет. Я только что использовал обходной путь удаления всех файлов в / var / lib / apt / lists / part / * до «обновления apt-get»

— user402751

Это ошибка. askubuntu.com/a/633235/43246

— aleung

Звучит как проблема с прокси. Однажды у меня была проблема с maven, что прокси заменил jar на html-страницу, содержащую предупреждение о вирусе. HTML-файл был сохранен как .jar, но, поскольку он был сломан, ничего больше не работало.

В любом случае: безопасно удалить все из каталога /var/lib/apt/lists/partial/(а также из /var/cache/apt/archives/partial/).

Для устранения неполадок я рекомендую следующие шаги:

Попробуйте другое зеркало, например. http://de.archive.ubuntu.com/ubuntu/ вместо http://ch.archive.ubuntu.com/ubuntu/ или даже главного архива http://archive.ubuntu.com/ubuntu/
Попробуйте другой протокол: ftp: // вместо http: // - остальная часть пути остается для зеркал по умолчанию
Попробуйте проанализировать передачу с помощью wireshark (используйте опцию контекстного меню «Follow TCP stream»). Интересны как заголовки HTTP, так и контент. Если вы получаете ответы с HTTP-кодом состояния 200 (что означает «хорошо»), но с удобочитаемым контентом, значит что-то не так на вашем прокси. Обычный файл bzip2 не должен содержать текст, читаемый человеком.
Используйте wgetили curlдля проверки того, что вы получаете с сервера при загрузке без apt-get.

— Даниэль Алдер
источник

Интересно, я на самом деле за прокси. @ user402751, ты тоже?

— Фроде

Да, я тоже за прокси, что, вероятно, объясняет, почему не все сталкиваются с этой проблемой. Тем не менее, здесь есть довольно серьезная ошибка, поскольку она просто записывает диск до полного заполнения.

— user402751

Поддержка прокси как таковая не нарушена, но, вероятно, некоторые серверы работают неправильно. Вы когда-нибудь использовали Wireshark для анализа того, что транспортируется во время загрузки (опция «Следить за потоком TCP)? Интересны как заголовки HTTP, так и контент. Обычно файл bzip2 не должен содержать никаких полезных выходных данных при передаче по stringкоманде. Просто чтобы убедиться: вы используете http или ftp серверы?

— Даниэль Олдер

Мне любопытно? Этот ответ помог кому-нибудь? Пользователь 402751 или @Frode пробовали выполнить шаги?

— Даниэль Олдер

@DanielAlder Я больше не занимался проблемой (пока). По крайней мере, полезно знать, что это, вероятно, проблема с прокси.

— Frode