Scrapyでスクレイピングやクローリングをしてみたので大事そうなとこをまとめた
「あのサイトのこのデータ、欲しいなぁ」
「データはこんだけあるがもう少し情報があれば分析できるのになぁ。あのサイトには情報乗っかってるけど」
「ああ、私にスクレイピングの技術があれば…」
みたいな事ってありませんか？ありますよね？（迫真）
なんでもいいです。
例えば価格.c○mで価格推移を拾ってきたいとか、DMM.c○mで動画の情報を拾ってきたいとかなどなど…。
今回はそんな時のために備えて、僕がスクレイピング改め、クローラを作った時になかなかネットを調べても出てこなかった内容を中心にまとめていければと思います。
取り扱うこと
- スクレイピングやクローリングについて
- どのライブラリ・機能を使うべきか
- Scrapy(CrawlSpider)で大事そうなこと
取り扱わない事
- ライブラリのインストール方法
- HTML要素の抽出方法
などの基礎事項。ソースコードは少なめです。
続きを読むはじめましてと自己紹介と。
みなさんはじめまして。hiro.i2と言います。読み方はcore i3みたいな感じで「ひろあいつー」と読んで貰えればいいです。口に出して言うときは「ひろあいつーさん」と発音するとちょっと面倒なので「ひろさん」と発音すれば楽かもしれません。
ところで、HNに記号を入れるのはあまりよろしくないですね。数々のアカウントで記号が弾かれ、こちらのはてなIDもなくなくハイフンに変換させていただきました。
このブログは駆け出しデータサイエンティストが、駆け出すまでに至った過程を飽く迄一例としてとりあげたり、お仕事を通じて得たことや学んだこと、野球の話などなどを記録していければと思い開設してみました。誤字脱字に定評がありますので「ふふっ」と思いながらみていただければ幸いです。技術的なこともお話しすると思います。もし間違ってたらやさし〜〜〜〜〜く教えてもらえればとても嬉しいです。
今までどんなことしてたの？
大学卒業後、建設コンサルタント→自宅警備員→フロントエンジニア→データサイエンティストと職を渡り歩いてきました。なかなかの異色さを誇るなと自分でもそう思います。*1自宅警備員時代、データサイエンティストという仕事を知り、幼い頃にプロ野球選手名鑑にこまごまと書かれたデータを穴があくほど眺めていた背景と重ね合わせ、「この仕事をしたい！」という一心でデータサイエンティストを目指しました。おうちだいすき。今日も自宅の平和を守りつつ、表やグラフを絵画のように眺める生活を送ります。
なぜこのブログを？
昨今のデータ分析ブーム*2を受け、自分をはじめとした多くの方がデータサイエンティストという職種に興味をお持ちかと思います。このブログはそんな方々を主に対象とした、「こんな勉強してきました！」的なことをあくまで一例としてお話ししてみたり、「いまこんなことやってます！（チャレンジしてます！）」「こんなこと知りました！*3」などなど、これからデータサイエンティストを目指す方に何か１つでも参考になれるような情報を発信していければと思い、始めてみました。
私とプログラミング
そもそも自分はプログラミングが大嫌いでした。*4学生時代にC言語を学び、卒業研究ではこの世で最もクソな言語の１つとして名を馳せる研究者たちがこよなく愛するMATLABを触ったことから物の見事にプログラミングアレルギーを患いました。
しかしとあるオンライン学習講座でJavaScriptを学んだことからプログラミングとわかりあえるようになり、今となってはお休みの日に私の、私による、私のためのChrome拡張機能を作ったりとある程度思ったものを作れるくらいまでには成長できました。やっぱり小学生JSは最高だぜ！*5お仕事ではAngularJSを使用していたこともありました。
JS含め、Pythonの方もまだまだ未熟なのでプログラミングで困ったことをまとめる記事も挙げていければと思います。
〆
このブログは私個人の見解を述べているにしかすぎず、所属とは一切ごにょごにょ……よろしくお願いします！！！！！
失礼しました。何が言いたいかと言うとぺーぺーの自称データサイエンティストがドヤってるだけですので生暖かい目で見て貰えれば幸いということでした。これから是非よろしくお願いします。
