Twitter Scraper でTweetAPIを使わずにツイートを収集

[Twitter Scraper]TwitterAPI不要ツイート集める方法

こんばんは、エンジニアの眠れない夜です。

ツイートを集めてデータ解析をしたり機械学習の素材集めに利用したい!!

と、思っている方は多いのではないでしょうか?

しかし、TwitterAPIの規制が厳しくなったり、わざわざAPIを取得するのが面倒…

という方におすすめしたいのが Twitter Scraper です。

Twitter Scraper を使うとツイートをTwitterAPI無しで簡単に集めることができるようになります。

APIが不要なので準備も不要!ということで、今回もまたGoogleColaboでサクッと実行してみましょう!

Twitter Scraper を使ってみる

twitter-scraper を使ってTwitterAPIを使わずにTweetの取得を行います。

まずはTwitter Scraperのインストールを行います。

!pip install twitter_scraper

インストールができたのでスクレイピングをしてみましょう。

Python
from twitter_scraper import get_tweets
con = 0
for tweet in get_tweets('TwitterBizJP', pages=1):
print("- - {} - -".format(con))
print(tweet['text'])
con = con + 1​

get_tweets(アカウントID,ページ数) を引数に実行すればツイートがリストで返ってきます。
後はそれをprint()しているだけです。
1ページあたり20件のツイートが返ってきます。

– – 0 – –
ツイートにハッシュタグをたくさんつけていませんか?ハッシュタグだらけでメッセージが伝わらない!なんてことがないように、140文字を有効に。ツイートにURLを含む場合はURLのクリック率を下げてしまう可能性があるので特に注意が必要です。
– – 1 – –
【Twitter活用事例】商品の情報発信やお客様窓口としてTwitterを活用し、ECでの売り上げUPにも成功した、福岡で食品の製造・販売を手がける「博多久松 @hakatahisamatsu 」の事例をご紹介します。
– – 2 – –
Twitter広告では、自社に関連したビジネスやメディアのフォロワーに広告を配信できます。例えばアパレル通販サイトの宣伝をするなら、他の通販サイトやファッション雑誌のフォロワーに配信、といった具合です。
– – 3 – –
みなさん、もう投票カードは使ってみましたか?ツイート作成画面の下部にある横3本線をクリックして簡単に作成することができます。反応数をあげるコツは、誰でも答えられる簡単な質問を設定することです。
– – 4 – –
Twitter広告の利用金額の上限を引き上げたい時
セルフサービスTwitter広告ではご利用頂ける金額に一定の上限が設定されています。一時的に上限を引き上げたい場合は当アカウントのダイレクトメッセージでお問い合わせください。審査によりご希望に添えない場合もございます。#Twitter広告サポート
– – 5 – –
ツイートを見られた数や、クリックされた数を分析できる「Twitterアナリティクス」の使い方についてまとめました(PDF)。 #Twitterビジネス資料 https://cards.twitter.com/cards/18ce53xjseg/4usbo …
– – 6 – –
Twitterでも検索連動広告を実施できます。例えばTwitterで「●●線 遅延」と検索したときに、その結果画面に電車検索アプリの広告を表示できます。ツイートした言葉に連動させることもできます。
– – 7 – –
「他の広告主の入札額」より高くしないと広告が出ない?!

Twitter広告のクリック単価(エンゲージメント単価)の上限設定欄に表示される「他の広告主の入札額」は気にせず設定されてください。どういった業種、ゴールでも80円くらいから始めて頂くと失敗が少ないようです。 #Twitter広告サポート
– – 8 – –
Twitter広告を掲載中のみなさま、来月の各キャンペーンの継続設定はお済みですか?いまのうちにスケジュールの変更をしておきましょう。#Twitter広告サポート
– – 9 – –
【オートプロモートの疑問】どんなレポートが見れる?

どのくらい広告として配信されたか、広告によってどのくらいリーチが増えたか等がご確認いただけます。
詳しくはこちら #Twitter広告サポート #オートプロモート https://cards.twitter.com/cards/18ce53xjseg/53juj …
– – 10 – –
Twitter広告は、クリックされた時に数円〜100円程度の広告料金が発生します。クリックあたりの上限価格や、全体の予算はご自身で指定して頂けますので、どのようなビジネスゴールにも対応しやすくできています。
– – 11 – –
「うちの商品はTwitterに合うのでしょうか?」

Twitterは様々な企業さまにビジネスでご活用いただいています。他社の活用事例をヒントに、ぜひ御社にぴったりの活用法を見つけてみてください。ご不明点はダイレクトメッセージからお問い合わせください。 https://cards.twitter.com/cards/18ce53xjseg/5g90r …
– – 12 – –
広告費用には上限予算の設定が可能ですので、予算を使い過ぎるリスクはありません。#Twitter広告サポート https://cards.twitter.com/cards/18ce53xjseg/4usbh …
– – 13 – –
Twitter広告にまつわる詳細な資料をご覧になりたい方はこちらでご確認いただけます https://cards.twitter.com/cards/18ce53xjseg/4us78 …
– – 14 – –
Twitter広告で「クリック単価が高い…」と思ったら

単価の上限はご自身で設定可能です(未設定の場合、高めに出ます)。管理画面の予算設定で「詳細オプション」をクリック→目標コストで80円くらいから始めて頂くと失敗が少ないです。 #Twitter広告サポート
– – 15 – –
ユーザーが検索したキーワードに連動した広告、もうお試しいただいていますか?詳しくはこちらです。 https://cards.twitter.com/cards/18ce53xjseg/4usba …
– – 16 – –
商品やサービスを紹介する際のツイートの作り方についてまとめました(PDF)。 #Twitterビジネス資料 https://cards.twitter.com/cards/18ce53xjseg/4usaq …
– – 17 – –
『Twitter広告やりたいけど、会社のルールでクレジットカードは使えないよぅ』という方!Twitterセルフサーブ広告は、請求書でのお支払いもご利用いただけるようになりました。詳しくはこちら https://cards.twitter.com/cards/18ce53xjseg/5ln88 …
– – 18 – –
ツイートを毎日考えるのって大変ですよね…1ヶ月分のツイートをまとめて作っておくのはいかがでしょうか? TweetDeckでツイートを予約投稿することもできます。最新情報があれば手動でツイートを加えていきます。 https://cards.twitter.com/cards/18ce53xjseg/4usaf …
– – 19 – –
広告のインプレッション数が急に増減した場合
外部要因による場合があります。同じターゲティングを行っている競合広告主が出現/消滅した、もしくは入札額が大きく変更された Twitterの広告配信アルゴリズムに変更があった、などです。#Twitter広告サポート

最大何件取得ができるのか試してみたところ約815件で私はエラーが出ました。このあたりがTwitter Scraper の限界ですかね…?

他にも関数がないのかGithub内のtwitter_scraper.py を確認しましたが、他の関数はありませんでした。

まとめ

今回はTwitter Scraper の紹介でした。

ツイートを一瞬で集めることができるようになるのでとても便利ですね!

できること

  • TwitterIDからツイートを約800件を一瞬で取得できる。

できないこと

  • ツイートをした時間、リツイート数、お気に入りなどは取得できない。
  • アカウントのフォロワーやフォロー数なども取得できない。

データ分析をするには少し弱い気もしますが、純粋にツイートを集めたいときには Twitter Scraper が活躍しそうです。

今回のファイルは twitter_scraper_001 に置いてあります。

ぜひ皆さんもいろんなツイートを集めてデータ分析に役立ててみてください^^​

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.