すぐ出来る！Web上のデータ収集をTwitterから学ぼう

元記事：https://www.octoparse.jp/blog/a-beginner-s-guide-extract-data-for-meaningful-marketing-insights/

1. ソーシャルメディア時代の登場

ソーシャルメディアの台頭に伴い、我々の生活に大きなな変化をもたらした。ビジネスの場合も、ソーシャルメディアの登場により、企業と消費者の関係も変わってきました。なぜというと、従来のマスメディア時代においては、情報の発信はマスメディアが不特定多数への一方向の情報発信です。その場合で情報の発信は企業はテレビや新聞などのメディアを通じて、商品の広報を消費者に発信するという形です。しかし、ソーシャルメディア時代においては、状況が根本的に変わりました。Facebook、line、Twitterなどのソーシャルメディアを使って誰でも発信することができ、情報の発信もマスメディア時代の一方向の形からソーシャルメディア時代の双方向の形になりました。それだけでなく、ソーシャルメディアのもう一つの特性は、人と人の「つながり」をベースにコミュニケーションがとれることです。その「つながり」は一般的に興味、関心、社会関係などのことを基に形成された「コンミュニティ」です。情報は以前に比べて、より速く、より広い伝達していきました。情報発信様式の変化により、マーケティングにも大きな影響を及ぼした。

2.ソーシャルメディア時代のマーケティング

総務省の『令和元年　情報通信メディアの利用時間と情報行動に関する報告書』のデータによると、主なソーシャルメディア系サービス／アプリの全年代の利用率で見ると、lineが最も高く86.9％、Twitterが38.7%、Instagramの37.8%、Facebookの32.7%です。その前のデータからみると、ソーシャルメディアの利用者と利用時間が年々増加傾向にあります。今後もさらに増加していく見込みです。この状況において、ソーシャルメディア時代のマーケティングのあり方はどのようにかえたのか？という疑問に対して、まずはメディアがもたらしたコミュニケーション様式の変化からみましょう。

毎日、膨大な情報がソーシャルメディアで発信されている。一方、情報技術の発展により、消費者側がだれでも能動的にコンテンツを発信することができるようになりました。一方、企業側がそのような消費者からの情報を活用し、企業の商品・サービスの改善に大きく役割を果たせることです。従来の企業が一方向の形で消費者に情報を伝えることが変わりました。現在では、企業から消費者へ、消費者から企業へという双方向のコミュニケーションが可能になりました。ただ、消費者側の商品に関する発信は各々のソーシャルメディアでバラバラですので、どのように消費者の情報を収集するのか、企業の商品、サービスの改善に役立ちますか、現代企業のマーケティングにとって重要な課題になってきた。膨大な情報に対して、各々のソーシャルメディアでデータあるいは情報を収集すると、結構時間がかかります。または、各々のソーシャルメディアでアクセスできる情報は有限で、手動的な情報収集は決して最善な方法とは言えません。では、どうすればいいのか。

3.ソーシャルメディアのデータ活用

この問題を答える前に、まずは、ネット上のデータを抽出するために、よく使えるWebスクレイピングツールのoctoparseから説明しましょう。
 
Webスクレイピングとは：
Web上の非構造化のデータあるいは情報を抽出し、それをデータベースやスプレッドシートに格納・分析可能な構造化データへ変換します。簡単にいうと、Webサイトでの情報の収集はあるソフトウェア技術を使って、自動的にデータ収集することが可能です。その技術はWebスクレイピングといいます。この技術はよくEコマース、ネットでの価格比較、見込み客の獲得、ブランド管理などの分野で使われています。
Octoparseとは：
Octoparseは代表的なWebスクレイピングツールです。プログラミング知識が要らず、誰でも簡単に使える情報収集ツールです。これは、無料なWebスクレイピングツールです。
 
では、以上のことを理解した上で、ソーシャルメディアでの最善な情報収集のやり方を身につけましょう。本記事では、主にTwitterでの情報を例として、説明していきたいと思います。具体的な流れが三つのステップがあります。
 
①ステップ１　twitterデータの抽出
Twitterからのデータを収集する前に、まずはoctoparseをダウンロードしてください。Octoparseにはハンドル、ツイート、いいね、共有、コメントなどを含む即時の結果を得ることができるスクレイピングテンプレートツールです。自分が欲しいデータを入手するために、どんな関連語やキーワードを入力すればいいのか、をよく考えてください。次に、Octoparseで関連語やキーワードを入力し、自動なデータをスクレイピングが完了することを待ちます。結果を取得したら、すぐにExcel形式にエクスポートし、結果を次のように示します。
 

この図で示したように、octoparseを通じて、Twitterのデータを抽出することができます。しかし、データというもの自体が意味を持つことではありません。解読や分析によって、意義が生じます。
 
②ステップ２　Twitterデータの分析
Octoparseはすでに構造化された形式でデータを取得しました。この図を見てみると、おそらく数字の降順で簡単なに結論を出すことができるでしょう。誰か最も多くの「いいね！」とリツイートを得て、誰か最も多くのコメントを得たっていうことをすぐにわかるでしょう。単なる数字の降順から分かった結論は極めて表面的な結論で、ある事物を明らかにするために、もっと深く、徹底的な分析を行う必要があります。
 
データを分析する際に Pivot Tableをやってみよう。Pivotはexcelシートに実装されたSQLのようなもので、大量のデータを集計することができます。分析したいデータを選択して、そして、メニューバーから「挿入」をクリックし、「Pivot Table」を選択します。

ボタンをクリックすると、何も入っていないグリッドが表示されますが、心配しないでください。最終的な結果を得るには、いくつかの調整が必要です。
 
右側にPivot Table builderが表示され、レポートに追加するフィールドを選択する必要があります。日付で値を測定しますので、「Rows（行）」領域にpublish_dateを追加する必要があります。次に、コンテンツ、コメント、リツイート、いいねを「Values（値）」領域にドラッグします。
   
                                                 
その図には、日付ごとのツイート、返信、リツイート、いいねの数が表示されるようになりました。これが終わった後に、次のような新しいPivot Table が表示されます。
 

ここまで、短い時間で数多くのデータを整理・統計することをできました。そして、測定したい指標に応じて、データの組み合わせによって、様々な結果を得ることができます。これらの数字の連携により、いろんな洞察力のある情報を生成することが素晴らしいことでしょう。では、もっと簡単に理解できるようにデータを視覚化してみましょう。
 

③ステップ３　マーケティングへの活用
これらのデータを意味のあるマーケティングの洞察に変えることができます。たとえば、Twitterのデータ抽出の場合は、ツイートの日付け、ツイートコンテンツ、ハンドル、ビデオと画像のURL、ツイート数、コメントの数、いいねの数などそれぞれの指標でデータ収集することができます。これらのデータから分かった情報を商品の広報、見込み客の獲得、サービスの改善などのマーケティングに役に立ちましょう。具体的なデータマーケティング活用実例は本ブログの関連記事をチェックしましょう。
 
関連記事
ビッグデータ活用事例からビジネス価値を生む仕組みについて
スタートアップの成長におけるビッグデータの活用
【マーケティング実戦】競合他社調査から引き出す価格と品揃え戦略