Hadoop/Dunkhead用にデータを漁った際のPublic Data Setsメモ

Dunkheadでいろんな種類のデータの可視化を試すために、パブリックになっている面白そうなデータを漁った際のメモ。

Dunkheadは『タイムスタンプ付きの』データのみが対象になるのだが、意外とこれが見あたらない。特に、Apacheのログみたいなのはたくさんあるかと思ったのだが、殆ど手に入れることができなかった。

CAIDA Data – Overview of Datasets, Monitors, and Reports

CodeRedワームのデータが手に入るのがここ。誰でも自由にダウンロード可能なデータと、そうでないもの(アメリカの学生とか向け?)があるみたい。

Publicly available PCAP files

パブリックなPCAP(パケットダンプ)のデータへのリンク集。ここには猛烈に助けられた。
CTF系のパケットはDefcon以外についても色々と公開されている。

Web Traces and Logs

HadoopとDunkheadでNASAのウェブサーバのアクセスログを解析・可視化するで使ったアクセスログを見つけたリンク集。少し古いデータが中心。

Quora

public data setsを探す質問にいろいろ回答が寄せられている。

まだまだ探せばあるとは思うのだが、今回は予想外にデータにたどり着けなかった感じ。

Advertisements


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s