headless Chrome with puppeteer

 引き続きスクレイピング案件。pythonで原始的にrequests使ってやるつもりだったけど、対象サイトがjavascriptゴリゴリだったりするので、旬のネタというのもあってheadless Chromeを使う方向で行ってみることに。

github.com

 nodeJSでスクレイピングといえば前まではCasperJS使ってたけど、使用感的にはほとんど変わらず使えそうで好感触。ライブラリ外の話だけど今ならasync/awaitがそのまま使える環境が整ったので、かなりスッキリ記述出来るのも良い。

blue1st.hateblo.jp

 もうちょっと使い慣れたら上のネタの更新版作ってみようかな?(でもhontoはポイントとか色々しょっぱくなっちゃったからもうほとんど使ってないんだよね。モチベーション的に微妙。)