Скачать файл на сервер с URL

341

Ну, этот кажется довольно простым, и это так. Все, что вам нужно сделать, чтобы загрузить файл на ваш сервер:

file_put_contents("Tmpfile.zip", file_get_contents("http://someurl/file.zip"));

Только есть одна проблема. Что делать, если у вас есть большой файл, например, 100 МБ. Тогда вам не хватит памяти, и вы не сможете загрузить файл.

То, что я хочу, - это способ записи файла на диск во время его загрузки. Таким образом, я могу загружать большие файлы без проблем с памятью.

php  http  stream  download 
— xaav
источник
4
Это настроено в конфигурации вашего сервера, насколько я знаю, PHP не может обойти его (за исключением прямого редактирования .ini)
— Бен

Ответы:

494

Начиная с PHP 5.1.0, file_put_contents()поддерживается запись по частям путем передачи дескриптора потока в качестве $dataпараметра:

file_put_contents("Tmpfile.zip", fopen("http://someurl/file.zip", 'r'));

Из руководства:

Если данные [это второй аргумент] является ресурсом потока, оставшийся буфер этого потока будет скопирован в указанный файл. Это похоже на использование stream_copy_to_stream().

(Спасибо Хакре .)

— Алекс
источник
4
Это не будет моим первым выбором. Если allow_fopen_url Offустановлен в php.ini (хорошая идея для безопасности), ваш скрипт будет сломан.
— Пожалуйста, встаньте
4
@idealmachine Я думаю, file_get_contents()что не будет работать, если бы это было так (см. OP).
— alex
10
@geoff Я был конкретным, я упомянул функцию, которую вы хотели. Возможно, вы хотели, чтобы кто-то написал код для вас, но я уверен, что вы узнали что-то, делая это самостоятельно. Кроме того , если мы будем комментарии друг на друга так взаимодействий - пожалуйста , примите еще некоторые ответы :)
— Алекс
@alex: Пожалуйста, смотрите изменения, не стесняйтесь включать. дайте мне знать, когда я смогу удалить этот комментарий здесь.
— Хакре
4
Флаг 'b' также должен использоваться в большинстве случаев с fopen; предотвращает неблагоприятные воздействия на изображения и другие не простые текстовые файлы.
— Уэйн Вейбель
132 
private function downloadFile($url, $path)
{
    $newfname = $path;
    $file = fopen ($url, 'rb');
    if ($file) {
        $newf = fopen ($newfname, 'wb');
        if ($newf) {
            while(!feof($file)) {
                fwrite($newf, fread($file, 1024 * 8), 1024 * 8);
            }
        }
    }
    if ($file) {
        fclose($file);
    }
    if ($newf) {
        fclose($newf);
    }
}
— xaav
источник
1
спасибо за ваш фрагмент, но не могли бы вы объяснить свой код @xaav? Я не совсем блестящий в php. Для чего нужно 1024 * 8? Еще раз спасибо.
— vvMINOvv
@wMINOw Длина линии.
— Дэвид Беланджер
2
В частности, это означает чтение до 8 КБ за раз (1024 байта на КБ * 8), поскольку параметр находится в байтах. Пока строка <= 8 КБ, она будет читать всю строку сразу.
— Доктор J
1
Почему это не лучший ответ?
— GunJack
1
Как вы справляетесь с ошибками при таком подходе? Что, если возвращается 404 или соединение прерывается или время ожидания истекло?
— Адам Суинден
67

Попробуйте использовать cURL

set_time_limit(0); // unlimited max execution time
$options = array(
  CURLOPT_FILE    => '/path/to/download/the/file/to.zip',
  CURLOPT_TIMEOUT =>  28800, // set this to 8 hours so we dont timeout on big files
  CURLOPT_URL     => 'http://remoteserver.com/path/to/big/file.zip',
);

$ch = curl_init();
curl_setopt_array($ch, $options);
curl_exec($ch);
curl_close($ch);

Я не уверен, но я верю с CURLOPT_FILEопцией, которую он пишет, поскольку это тянет данные, т.е. не буферизируется

— prodigitalson
источник
2
Обычно это было бы хорошо, но у меня есть этот код в веб-приложении, поэтому я не могу быть уверен, что у пользователей будет установлен cURL. Однако я проголосовал за это.
— xaav
@Geoff это распределенное веб-приложение? Потому что если вы контролируете хостинг, то это не имеет значения для ваших пользователей (cURL - это библиотека на вашем сервере).
— Алекс
Я не контролирую хостинг. Это распределенное веб-приложение, которое может иметь каждый.
— xaav
3
Керл может отсутствовать. Но почти во всех хостинговых компаниях по умолчанию установлен CURL. Я имею в виду, я не видел тот, который не делает.
— Мангирдас Скрипка
19
Начиная с моих тестов, вы не можете назначить CURLOPT_FILE путь к файлу напрямую. Это должен быть обработчик файла. Сначала откройте файл с помощью $fh = fopen('/path/to/download/the/file/to.zip', 'w');и закройте с помощью fclose($fh);after curl_close($ch);. И установитьCURLOPT_FILE => $fh
— Густаво
22

prodigitalson в ответ не работает для меня. Я получил missing fopen in CURLOPT_FILE больше деталей .

Это сработало для меня, включая местные URL:

function downloadUrlToFile($url, $outFileName)
{   
    if(is_file($url)) {
        copy($url, $outFileName); 
    } else {
        $options = array(
          CURLOPT_FILE    => fopen($outFileName, 'w'),
          CURLOPT_TIMEOUT =>  28800, // set this to 8 hours so we dont timeout on big files
          CURLOPT_URL     => $url
        );

        $ch = curl_init();
        curl_setopt_array($ch, $options);
        curl_exec($ch);
        curl_close($ch);
    }
}
— Камил Келчевски
источник
19
  1. Создайте папку с именем «загрузки» на целевом сервере
  2. Сохраните [этот код] в .phpфайл и запустите на целевом сервере

Загрузчик:

<html>
<form method="post">
<input name="url" size="50" />
<input name="submit" type="submit" />
</form>
<?php
    // maximum execution time in seconds
    set_time_limit (24 * 60 * 60);

    if (!isset($_POST['submit'])) die();

    // folder to save downloaded files to. must end with slash
    $destination_folder = 'downloads/';

    $url = $_POST['url'];
    $newfname = $destination_folder . basename($url);

    $file = fopen ($url, "rb");
    if ($file) {
      $newf = fopen ($newfname, "wb");

      if ($newf)
      while(!feof($file)) {
        fwrite($newf, fread($file, 1024 * 8 ), 1024 * 8 );
      }
    }

    if ($file) {
      fclose($file);
    }

    if ($newf) {
      fclose($newf);
    }
?>
</html>
— stra8edge
источник
Это предполагает, что пользователю нужен автономный сценарий, а не решение, которое будет работать в существующем приложении PHP, и я считаю, что последнее - это то, что ищет OP и большинство других. Объяснение также будет полезно для людей, которые хотят понять подход.
— Шон Боб
1
всякий раз, когда я пытаюсь это сделать всегда, мой размер переданного файла составляет 50816, но размер моего файла больше, чем этот .. 120 МБ .. Есть идеи, почему это так?
— Riffaz Starr
set_time_limit (24 * 60 * 60);должен быть помещен в петлю. Это не имеет никакого эффекта в начале сценария.
— Виктор Жорас
16 
set_time_limit(0); 
$file = file_get_contents('path of your file');
file_put_contents('file.ext', $file);
— Dimmy
источник
Ваш ответ очень прост и хорошо работает, помог мне, где cURL не удалось получить файл, это сработало. Спасибо :)
— Tommix
2
Возможно, вы захотите объяснить, что это на самом деле делает.
— Алекс
6
Это не решает проблему ОП превышения лимита памяти PHP.
— user9645
Это довольно просто и понятно. Весьма полезно для более простых случаев, когда файлы небольшие или среда является локальной разработкой.
— Валентин Ши
есть идеи для файлов .xlsx? Он хранит пустой файл с 0-байтовой памятью.
— Дхрув Таккар
8

Используйте простой метод в php copy() 

copy($source_url, $local_path_with_file_name);

Примечание: если файл назначения уже существует, он будет перезаписан

PHP copy () Функция

Примечание. Необходимо установить разрешение 777 для папки назначения. Используйте этот метод при загрузке на локальный компьютер.

Специальное примечание: 777 - это разрешение в системе на основе Unix с полным разрешением на чтение / запись / выполнение для владельца, группы и всех остальных. В целом, мы даем это разрешение активам, которые не так важны, чтобы их можно было скрыть от общественности на веб-сервере. Пример: папка с изображениями.

— Прадип Кумар Прабахаран
источник
1
Я никогда не буду устанавливать 777 в качестве разрешений на веб-сервере, и я начну с любого веб-разработчика, у которого есть плохая идея сделать это. Каждый раз, везде. Будь осторожен ! Вы не можете сделать это ! Подумай о безопасности. Следовать правилам OWASP недостаточно. Хорошее мышление о простых вещах имеет значение.
— ThierryB
@ThierryB. Примечание: я указал локальный путь. & это может быть использовано во внутренних приложениях. Хорошее чтение и понимание вопросов и ответов. Подумайте разные сценарии. И это не принято / лучший ответ. Каждый вопрос имеет разные ответы с плюсами и минусами. Пример, который вы должны понять: даже у Фибоначчи есть несколько уникальных решений, из которых только одно будет лучшим. Другие будут использоваться в разных сценариях.
— Прадип Кумар Прабахаран
Хорошо, но если подумать о лучших практиках и внедрить их в безопасных местах, у вас будет лучшее понимание концепций, которые вы должны реализовать. Может быть, если злоумышленник находится внутри вашего ($) дома, если вы будете делать какие-то ловушки или строить вещи наилучшим образом, то у него начнутся головные боли;)
— ThierryB
5

Я использую это, чтобы загрузить файл

function cURLcheckBasicFunctions()
{
  if( !function_exists("curl_init") &&
      !function_exists("curl_setopt") &&
      !function_exists("curl_exec") &&
      !function_exists("curl_close") ) return false;
  else return true;
}

/*
 * Returns string status information.
 * Can be changed to int or bool return types.
 */
function cURLdownload($url, $file)
{
  if( !cURLcheckBasicFunctions() ) return "UNAVAILABLE: cURL Basic Functions";
  $ch = curl_init();
  if($ch)
  {

    $fp = fopen($file, "w");
    if($fp)
    {
      if( !curl_setopt($ch, CURLOPT_URL, $url) )
      {
        fclose($fp); // to match fopen()
        curl_close($ch); // to match curl_init()
        return "FAIL: curl_setopt(CURLOPT_URL)";
      }
      if ((!ini_get('open_basedir') && !ini_get('safe_mode')) || $redirects < 1) {
        curl_setopt($ch, CURLOPT_USERAGENT, '"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.11) Gecko/20071204 Ubuntu/7.10 (gutsy) Firefox/2.0.0.11');
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        //curl_setopt($ch, CURLOPT_REFERER, 'http://domain.com/');
        if( !curl_setopt($ch, CURLOPT_HEADER, $curlopt_header)) return "FAIL: curl_setopt(CURLOPT_HEADER)";
        if( !curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $redirects > 0)) return "FAIL: curl_setopt(CURLOPT_FOLLOWLOCATION)";
        if( !curl_setopt($ch, CURLOPT_FILE, $fp) ) return "FAIL: curl_setopt(CURLOPT_FILE)";
        if( !curl_setopt($ch, CURLOPT_MAXREDIRS, $redirects) ) return "FAIL: curl_setopt(CURLOPT_MAXREDIRS)";

        return curl_exec($ch);
    } else {
        curl_setopt($ch, CURLOPT_USERAGENT, '"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.11) Gecko/20071204 Ubuntu/7.10 (gutsy) Firefox/2.0.0.11');
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        //curl_setopt($ch, CURLOPT_REFERER, 'http://domain.com/');
        if( !curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false)) return "FAIL: curl_setopt(CURLOPT_FOLLOWLOCATION)";
        if( !curl_setopt($ch, CURLOPT_FILE, $fp) ) return "FAIL: curl_setopt(CURLOPT_FILE)";
        if( !curl_setopt($ch, CURLOPT_HEADER, true)) return "FAIL: curl_setopt(CURLOPT_HEADER)";
        if( !curl_setopt($ch, CURLOPT_RETURNTRANSFER, true)) return "FAIL: curl_setopt(CURLOPT_RETURNTRANSFER)";
        if( !curl_setopt($ch, CURLOPT_FORBID_REUSE, false)) return "FAIL: curl_setopt(CURLOPT_FORBID_REUSE)";
        curl_setopt($ch, CURLOPT_USERAGENT, '"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.11) Gecko/20071204 Ubuntu/7.10 (gutsy) Firefox/2.0.0.11');
    }
      // if( !curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true) ) return "FAIL: curl_setopt(CURLOPT_FOLLOWLOCATION)";
      // if( !curl_setopt($ch, CURLOPT_FILE, $fp) ) return "FAIL: curl_setopt(CURLOPT_FILE)";
      // if( !curl_setopt($ch, CURLOPT_HEADER, 0) ) return "FAIL: curl_setopt(CURLOPT_HEADER)";
      if( !curl_exec($ch) ) return "FAIL: curl_exec()";
      curl_close($ch);
      fclose($fp);
      return "SUCCESS: $file [$url]";
    }
    else return "FAIL: fopen()";
  }
  else return "FAIL: curl_init()";
}
— Hoàng Vũ Tgtt
источник
4

Решение PHP 4 & 5:

readfile () сам по себе не создает проблем с памятью, даже при отправке больших файлов. URL-адрес может использоваться в качестве имени файла с этой функцией, если включены обертки fopen.

http://php.net/manual/en/function.readfile.php

— Эрик Леруа
источник
1
Это не отвечает на вопрос, потому что речь идет о записи на диск, а не в выходной буфер.
— Лоренц Мейер
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.