ruby 1.9: неверная последовательность байтов в UTF-8

Я пишу краулер на Ruby (1.9), который потребляет много HTML с множества случайных сайтов.
При попытке извлечь ссылки я решил просто использовать .scan(/href="(.*?)"/i)вместо nokogiri / hpricot (значительное ускорение). Проблема в том, что теперь я получаю много " invalid byte sequence in UTF-8" ошибок.
Насколько я понял, в net/httpбиблиотеке нет каких-либо конкретных параметров кодирования, и все, что входит, в основном не помечено должным образом.
Как лучше всего работать с этими входящими данными? Я попытался .encodeустановить замену и неверные параметры, но пока безуспешно ...

В Ruby 1.9.3 можно использовать String.encode, чтобы «игнорировать» недопустимые последовательности UTF-8. Вот фрагмент, который будет работать как в 1.8 ( iconv ), так и в 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

или если у вас действительно неприятный ввод, вы можете выполнить двойное преобразование из UTF-8 в UTF-16 и обратно в UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Принятый ответ или другой ответ у меня работают. Я нашел этот пост, в котором предлагалось

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Это устранило проблему для меня.

Мое текущее решение - запустить:

my_string.unpack("C*").pack("U*")

Это как минимум избавит от исключений, которые были моей основной проблемой.

Попробуй это:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Я рекомендую вам использовать парсер HTML. Просто найдите самый быстрый.

Разобрать HTML не так просто, как может показаться.

Браузеры анализируют недопустимые последовательности UTF-8 в HTML-документах UTF-8, просто помещая символ « ». Итак, как только недопустимая последовательность UTF-8 в HTML будет проанализирована, результирующий текст станет допустимой строкой.

Даже внутри значений атрибутов вам нужно декодировать объекты HTML, такие как amp

Вот отличный вопрос, который подводит итог, почему нельзя надежно анализировать HTML с помощью регулярного выражения: RegEx сопоставляет открытые теги, за исключением автономных тегов XHTML.

Кажется, это работает:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Я столкнулся со строкой, в которой были смешаны английский, русский и некоторые другие алфавиты, что вызвало исключение. Мне нужен только русский и английский, и сейчас это работает для меня:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Хотя решение Nakilon работает, по крайней мере, в том, что касается обхода ошибки, в моем случае у меня был этот странный персонаж из Microsoft Excel, преобразованный в CSV, который регистрировался в рубине как (получить) кириллицу K, которая в ruby был выделен жирным шрифтом K. Чтобы исправить это, я использовал iso-8859-1, а именно. CSV.parse(f, :encoding => "iso-8859-1"), который превратил мою причудливую кириллицу K в более управляемую /\xCA/, которую я мог затем удалить с помощьюstring.gsub!(/\xCA/, '')

Перед использованием scanубедитесь, что запрошенная страница имеет Content-Typeзаголовок text/html, поскольку могут быть ссылки на такие вещи, как изображения, которые не закодированы в UTF-8. Страница также может быть не HTML, если вы выбрали hrefчто-то вроде <link>элемента. Как это проверить, зависит от того, какую HTTP-библиотеку вы используете. Затем убедитесь, что результатом является только ascii с String#ascii_only?(не UTF-8, потому что HTML должен использовать только ascii, в противном случае можно использовать объекты). Если оба эти теста пройдут успешно, пользоваться им безопасно scan.

Если вас не «заботят» данные, вы можете просто сделать что-то вроде:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Я просто valid_encoding?проходил мимо. У меня поле поиска, и я снова и снова обнаруживал одну и ту же странность, поэтому использовал что-то вроде: просто чтобы система не сломалась. Поскольку я не контролирую пользовательский интерфейс для автоматической проверки перед отправкой этой информации (например, автоматическая обратная связь, чтобы сказать «пустышка!»), Я могу просто взять ее, вырезать и вернуть пустые результаты.