Как построчно обработать файл в PowerShell как поток

Я работаю с некоторыми текстовыми файлами размером несколько гигабайт и хочу обработать их потоком с помощью PowerShell. Это просто: нужно просто проанализировать каждую строку и извлечь некоторые данные, а затем сохранить их в базе данных.

К сожалению, get-content | %{ whatever($_) }похоже, что на этом этапе конвейера в памяти сохраняется весь набор строк. К тому же это на удивление медленно, ведь на то, чтобы все это прочитать, уходит очень много времени.

Итак, мой вопрос состоит из двух частей:

1. Как я могу заставить его обрабатывать поток построчно и не хранить все в буфере в памяти? Я бы не хотел использовать для этого несколько гигабайт оперативной памяти.
2. Как заставить его работать быстрее? PowerShell, перебирающий a, get-contentоказывается в 100 раз медленнее, чем сценарий C #.

Я надеюсь, что я здесь что-то делаю глупо, например, упустил -LineBufferSizeпараметр или что-то в этом роде ...

Если вы действительно собираетесь работать с текстовыми файлами размером в несколько гигабайт, не используйте PowerShell. Даже если вы найдете способ прочитать его, более быстрая обработка огромного количества строк в PowerShell все равно будет медленной, и вы не сможете этого избежать. Даже простые циклы дороги, скажем, для 10 миллионов итераций (вполне реально в вашем случае) у нас есть:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

ОБНОВЛЕНИЕ: если вам все еще не страшно, попробуйте использовать .NET reader:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

ОБНОВЛЕНИЕ 2

Есть комментарии по поводу возможно лучшего / более короткого кода. В исходном коде нет ничего плохого, forи это не псевдокод. Но более короткий (самый короткий?) Вариант цикла чтения - это

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()идеально подходит для этого сценария. Он возвращает все строки файла, но позволяет сразу же начать итерацию строк, что означает, что ему не нужно сохранять все содержимое в памяти.

Требуется .NET 4.0 или выше.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Если вы хотите использовать обычный PowerShell, ознакомьтесь с приведенным ниже кодом.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}