Yahoo!リアルタイム検索を使ってX（旧Twitter）をスクレイピングする方法！🚀

Yahoo!リアルタイム検索を使ってX（旧Twitter）をスクレイピングする方法！🚀

こんにちは！
現在、Xではユーザーの最新の投稿を見るにはログインが必要な状態となっています。
ですが、Yahoo!リアルタイム検索を使用するとログインなしで最新の投稿を確認することができます！✨
今回は、Yahoo!リアルタイム検索 を活用して、X（旧Twitter）の投稿を取得するPythonスクリプトを紹介します！🐍✨

🔹 Yahoo!リアルタイム検索とは？

Yahoo!リアルタイム検索とは、LINEヤフー株式会社が提供するX(旧Twitter)のポストをリアルタイムでまとめて検索できるサービスです。
無料で、アカウントがなくても利用できます。

🛠 必要なライブラリ

まずはGithubからCloneしましょう。

git clone https://github.com/timelis/Yahoo-Realtime-Search-Scraper.git

このコード内で使用するパッケージをインストールしましょう。

pip install requirements.txt

📝 コードの説明

以下のコードで、Yahoo!リアルタイム検索を使ってXの投稿を取得できます。

    yahoo_realtime_search = YahooRealtimeSearch()
    timeline = yahoo_realtime_search.search('Python')
    print(timeline)

🔍 使い方

1. YahooRealtimeSearch クラス を作成し、search メソッドを呼び出します。
2. キーワードを渡すことで、検索結果のタイムラインが取得できます。
3. Timeline クラスをイテレーターとして使用し、next() を呼ぶことで次のページのデータも取得可能です。

上記の内容がコードになったファイルを、example.pyとしてGithubに公開しています！ぜひクローンした後は実行してみてください👀

🎯 実行結果

実行すると、以下のようにXの投稿が取得できます！

{
    "entry": [
        {
            "id": "ツイートID",
            "url": "Xに遷移するツイートURL",
            "detailUrl": "Yahoo!リアルタイム検索内のツイート表示URL",
            "detailQuoteUrl": "Yahoo!リアルタイム検索内のツイート表示URL",
            "badge": {
                "show": false,
                "type": "none",
                "color": ""
            },
            "displayText": "テキスト",
            "displayTextBody": "テキスト",
            "displayTextFragments": "テキスト",
            "displayTextEntities": "",
            "urls": [],
            "hashtags": [],
            "hashtagUrls": {},
            "mentions": [],
            "mentionUrls": {},
            "replyMentions": [],
            "replyMentionUrls": {},
            "createdAt": "投稿日",
            "replyCount": 0,
            "replyUrl": "返信用URL",
            "rtCount": 0,
            "rtUrl": "リツイート欄URL",
            "qtCount": 0,
            "likesCount": 0,
            "likesUrl": "いいね欄URL",
            "userId": "ユーザーID",
            "userUrl": "ユーザーのプロフィールにアクセスするURL",
            "name": "サンプルネーム",
            "screenName": "サンプルスクリーンネーム",
            "profileImage": "プロフィール画像",
            "mediaType": [],
            "media": [],
            "possiblySensitive": false,
            "tweetThemeNormal": [],
            "userThemeNormal": [],
            "twitterContextID": [],
            "videoClassifyId": [],
            "inReplyTo": ""
        },
        ...
    ]
}

⚠️ 注意点

• リクエストの頻度を抑える ことをおすすめします。
• 長時間の利用や過度なスクレイピングは IP制限を受ける可能性 があります。

🎉 まとめ

Yahoo!リアルタイム検索を活用すれば、Xの投稿を簡単に取得できます！

✅ X APIキー不要！
✅ ログイン不要！
✅ キーワードやアカウントを指定可能！

みなさんもぜひ試してみてくださいね！😊

最後まで読んでいただき、ありがとうございました！
少しでも いいね！ と思った際はこの記事にいいねをお願いします！
また、今回Githubに投稿したコードを使用していただけた場合は スター ✨を押してもらえるととても励みになります！

---

📌 GitHubリポジトリ