Как получить твиты из командной строки?

Есть ли простой способ получить чьи-то твиты из командной строки?

Учетная запись будет общедоступной, а команда - или сценарий, если необходимо - будет извлекать все или указанное количество самых последних твитов в текстовый файл, по одному твиту на строку, без метаданных, самых новых в первой строке.

Без использования API только bash.

Начиная с ближайшей даты, Twitter не позволит вам войти в их API, не имея ключа OAuth. Но в качестве обходного пути вы можете использовать Search API. Это RESTful, так что вы можете использовать curlдля получения результатов поиска в формате JSON. Например, если вы хотите получить твиты @ java и сохранить их в файл ~/.tweets, можно использовать следующую строку кода:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

И вы можете проанализировать файл, используя любой анализатор JSON.

Есть инструменты для анализа JSON из интерфейса командной строки. Хотя я никогда не использовал его, я добавлю несколько ссылок на некоторые ресурсы, чтобы помочь вам найти наиболее подходящий инструмент:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

И, как небольшое примечание, быстрее использовать некоторые Python или Ruby (или другие).

Если вы не хотите использовать API Twitter, вы можете получить RSS-канал профиля Twitter, используя скрипт bash, а затем приступить к его форматированию.

• /programming/8632233/read-rss-feed-using-a-shell-script

Поскольку Twitter API устарел RSS-канал, вы можете обойти это, создав RSS-канал с использованием результатов поиска.

Вот RSS-лента моих твитов .

Вы должны были бы собрать необходимый скрипт bash. От загрузки RSS-канала до форматирования твитов в соответствии с вашими требованиями.

Это мой скрипт для использования с заставкой

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Я сделал инструмент, который должен делать почти в точности то, что вы описали: twitter-screen-scrape . По умолчанию он будет выводиться в формате JSON с метаданными, но тривиально передать данные через что-то вроде underscore-cli, чтобы удалить все, что вам не нужно.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Вы могли бы пойти по пути python + tweepy:

1. Создание собственного приложения Twitter (для получения ключей API)
2. Создайте токены доступа для своего аккаунта в твиттере
3. Используйте такой скрипт вместе с вашими учетными данными: https://gist.github.com/yanofsky/5436496

Я только что проверил это, и он прекрасно работает. Однако есть пользователи, которые защищают свои твиты, поэтому он может не позволить вам загрузить все. Но это особенность твиттера.

Ограничение по-прежнему составляет 3200, и вы получите файл CSV.

Вы можете использовать, twarcчтобы привести пример, если вы хотите архивировать твиты Нассима Николаса Талеба, которые вы используете.

twarc timeline nntaleb --format csv> taleb.csv 

Вы также можете использовать другие форматы: --format {json,csv,csv-excel}

Как настроить twarc: Единственный способ получить полные твиты - это, APIк сожалению, даже если приложение прозрачное, вам необходимо выполнить начальную настройку и настройку, вам также необходимо подать заявку на API(

По состоянию на июль 2018 года вы должны подать заявку на учетную запись разработчика Twitter и получить одобрение, прежде чем создавать новые приложения.

)

Получив ключи приложения, вы можете сказать, twarcчто это такое, с помощью команды configure.

twarc configure

Это будет хранить учетные данные в файле с именем .twarcв вашем домашнем каталоге , поэтому вам не придется вводить их снова . Если вы предпочли бы снабжать их непосредственно вы можете установить их в окружающей среде ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) или с помощью параметров командной строки ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).