Вопросы с тегом «urlopen»

Я пытаюсь разработать простой веб-скребок. Я хочу извлечь текст без кода HTML. На самом деле я достиг этой цели, но я видел, что на некоторых страницах, где загружен JavaScript, я не добился хороших результатов. Например, если какой-то код JavaScript добавляет текст, я не вижу его, потому что когда я звоню …

178 python  web-scraping  python-2.x  urlopen 

В Python 3 я запрашиваю документ json с URL. response = urllib.request.urlopen(request) responseОбъект представляет собой файл-подобный объект с readи readlineметоды. Обычно объект JSON можно создать с помощью файла, открытого в текстовом режиме. obj = json.load(fp) Что я хотел бы сделать, это: obj = json.load(response) Это, однако, не работает, так как …

177 python  json  python-3.x  encoding  urlopen