Я хочу использовать Streamдля распараллеливания обработки разнородного набора JSON-файлов с удаленным хранением неизвестного числа (количество файлов не известно заранее). Размер файлов может варьироваться от 1 записи JSON на файл до 100 000 записей в некоторых других файлах. Запись JSON в этом случае означает автономный объект JSON, представленный одной строкой в файле.
Я действительно хочу использовать Streams для этого, и поэтому я реализовал это Spliterator:
public abstract class JsonStreamSpliterator<METADATA, RECORD> extends AbstractSpliterator<RECORD> {
abstract protected JsonStreamSupport<METADATA> openInputStream(String path);
abstract protected RECORD parse(METADATA metadata, Map<String, Object> json);
private static final int ADDITIONAL_CHARACTERISTICS = Spliterator.IMMUTABLE | Spliterator.DISTINCT | Spliterator.NONNULL;
private static final int MAX_BUFFER = 100;
private final Iterator<String> paths;
private JsonStreamSupport<METADATA> reader = null;
public JsonStreamSpliterator(Iterator<String> paths) {
this(Long.MAX_VALUE, ADDITIONAL_CHARACTERISTICS, paths);
}
private JsonStreamSpliterator(long est, int additionalCharacteristics, Iterator<String> paths) {
super(est, additionalCharacteristics);
this.paths = paths;
}
private JsonStreamSpliterator(long est, int additionalCharacteristics, Iterator<String> paths, String nextPath) {
this(est, additionalCharacteristics, paths);
open(nextPath);
}
@Override
public boolean tryAdvance(Consumer<? super RECORD> action) {
if(reader == null) {
String path = takeNextPath();
if(path != null) {
open(path);
}
else {
return false;
}
}
Map<String, Object> json = reader.readJsonLine();
if(json != null) {
RECORD item = parse(reader.getMetadata(), json);
action.accept(item);
return true;
}
else {
reader.close();
reader = null;
return tryAdvance(action);
}
}
private void open(String path) {
reader = openInputStream(path);
}
private String takeNextPath() {
synchronized(paths) {
if(paths.hasNext()) {
return paths.next();
}
}
return null;
}
@Override
public Spliterator<RECORD> trySplit() {
String nextPath = takeNextPath();
if(nextPath != null) {
return new JsonStreamSpliterator<METADATA,RECORD>(Long.MAX_VALUE, ADDITIONAL_CHARACTERISTICS, paths, nextPath) {
@Override
protected JsonStreamSupport<METADATA> openInputStream(String path) {
return JsonStreamSpliterator.this.openInputStream(path);
}
@Override
protected RECORD parse(METADATA metaData, Map<String,Object> json) {
return JsonStreamSpliterator.this.parse(metaData, json);
}
};
}
else {
List<RECORD> records = new ArrayList<RECORD>();
while(tryAdvance(records::add) && records.size() < MAX_BUFFER) {
// loop
}
if(records.size() != 0) {
return records.spliterator();
}
else {
return null;
}
}
}
}Проблема, с которой я столкнулся, заключается в том, что, хотя Stream сначала прекрасно распараллеливается, в конечном итоге самый большой файл остается обработанным в одном потоке. Я полагаю, что проксимальная причина хорошо задокументирована: сплитератор "несбалансирован".
Более конкретно, кажется, что trySplitметод не вызывается после определенной точки Stream.forEachжизненного цикла, поэтому дополнительная логика для распределения небольших пакетов в конце trySplitредко выполняется.
Обратите внимание, что все сплитераторы, возвращаемые из trySplit, используют один и тот же pathsитератор. Я думал, что это действительно умный способ сбалансировать работу всех сплитераторов, но этого было недостаточно для достижения полного параллелизма.
Я хотел бы, чтобы параллельная обработка сначала выполнялась для файлов, а затем, когда несколько больших файлов все еще остаются сплитерирующими, я хочу распараллелить фрагменты оставшихся файлов. Это было намерение elseблока в конце trySplit.
Есть ли простой / простой / канонический способ обойти эту проблему?
Long.MAX_VALUEвызывает чрезмерное и ненужное расщепление, в то время как любая другая оценка, кроме того, Long.MAX_VALUEчто останавливает дальнейшее расщепление, убивает параллелизм. Возвращение набора точных оценок, по-видимому, не приводит к какой-либо разумной оптимизации.
AbstractSpliteratorно переопределяете, trySplit()что является плохой комбинацией для чего-либо кроме Long.MAX_VALUE, поскольку вы не адаптируете оценку размера в trySplit(). После trySplit()этого оценка размера должна быть уменьшена на количество разделенных элементов.