Closed3

Stack Exchange (Overflow等) のデータセットを使う

PlatPlat

Stack Exchange

Stack Exchange は Stack Overflow などの QA サイトを運営してるところで、Stack Overflow をはじめとして様々な話題についての質問をすることができるサイトが複数存在する。

そして、これらのサイトの投稿をデータセットとして利用することが可能である。(なので自前でスクレイピングとかしないように...)

https://archive.org/download/stackexchange

ここから 7z のリンクをクリックするとダウンロードができる。(サイズは大きくなくてもかなり時間がかかるので待つ)

投稿に関するライセンスについては以下で説明されている。

https://ja.stackoverflow.com/help/licensing

基本的に Creative Commons Attribution-ShareAlike となる。

PlatPlat

データ構造

それぞれのサイトのデータ構造は同じだと思われる。

今回は日本語版 Stack Overflow である、スタック・オーバーフロー (ja.stackoverflow.com) のデータをつかう。

7z を解凍するとこのようになっている。

今回は、質問と回答とそれらの評価データが欲しかったので、Posts.xml と Votes.xml を利用した。

PlatPlat

Posts.xml

中身の例。

posts.xml
<?xml version="1.0" encoding="utf-8"?>
<posts>
  <row Id="69" PostTypeId="1" AcceptedAnswerId="70" CreationDate="2014-09-29T20:06:18.613" Score="9" ViewCount="5960" Body="&lt;p&gt;要素として文字列と数字が混在している配列があります。&#xA;これをすべて数字順に並べ替えたいのですが、どうしたらよいでしょうか？&lt;/p&gt;&#xA;&#xA;&lt;p&gt;たとえば、以下のような配列があったとします。&lt;/p&gt;&#xA;&#xA;&lt;pre&gt;&lt;code&gt;[&quot;123&quot;, 200, &quot;12&quot;, 85]&#xA;&lt;/code&gt;&lt;/pre&gt;&#xA;&#xA;&lt;p&gt;これを次のように並び替えたいです。&lt;/p&gt;&#xA;&#xA;&lt;pre&gt;&lt;code&gt;[&quot;12&quot;, 85, &quot;123&quot;, 200]&#xA;&lt;/code&gt;&lt;/pre&gt;&#xA;" OwnerUserId="85" LastEditorUserId="30" LastEditDate="2014-10-02T01:17:50.717" LastActivityDate="2015-01-25T20:33:15.580" Title="Rubyで文字列と数字が混在している配列をソートする方法を教えてください" Tags="&lt;ruby&gt;" AnswerCount="3" CommentCount="0" ContentLicense="CC BY-SA 3.0" />
  <row Id="70" PostTypeId="2" ParentId="69" CreationDate="2014-09-29T20:10:36.950" Score="13" Body="&lt;p&gt;&lt;code&gt;sort_by&lt;/code&gt;メソッドを使えばソートできますよ。&lt;/p&gt;&#xA;&#xA;&lt;pre&gt;&lt;code&gt;[&quot;123&quot;, 200, &quot;12&quot;, 85].sort_by{|item| item.to_i} #=&amp;gt; [&quot;12&quot;, 85, &quot;123&quot;, 200]&#xA;&lt;/code&gt;&lt;/pre&gt;&#xA;&#xA;&lt;p&gt;次のように書いても同じです。&lt;/p&gt;&#xA;&#xA;&lt;pre&gt;&lt;code&gt;[&quot;123&quot;, 200, &quot;12&quot;, 85].sort_by(&amp;amp;:to_i) #=&amp;gt; [&quot;12&quot;, 85, &quot;123&quot;, 200]&#xA;&lt;/code&gt;&lt;/pre&gt;&#xA;" OwnerUserId="85" LastActivityDate="2014-09-29T20:10:36.950" CommentCount="3" ContentLicense="CC BY-SA 3.0" />
...

属性の説明は少し探しても見つからなかったが Copilot が教えてくれた内容や傾向から推測すると以下

  • Id: 投稿ID
  • PostType: 投稿タイプ
    • 1: 質問
    • 2: 回答
    • 3: 不明 (Wiki?)
    • 4: タグの説明 (詳細?)
    • 5: タグの説明
    • 6: モデレーター推薦？
    • 7: Wikiプレースホルダー
  • AcceptedAnswerId: 質問者が選んだ回答のID (質問投稿のみ)
  • ParentId: 親投稿のID (回答のみ)
  • CreationDate: 作成日時
  • Score: スコア
  • ViewCount: 閲覧数
  • Body: 本文の HTML
  • OwnerUserId: 投稿者のID
  • LastEditorUserId: 最後に編集した人のID
  • LastEditDate: 最終編集日
  • LastActivityDate: 最終アクティビティ日? (コメントなど？)
  • Title: 投稿のタイトル (質問投稿のみ)
  • Tags: 投稿時に選択したタグ
  • AnswerCount: ついた回答数
  • CommentCount: ついたコメント数
  • ContentLicense: ライセンス
このスクラップは2023/09/25にクローズされました