scraperjsを使ってみたよ

January 11, 2016

ただ、使ってみたというだけの話です。JavaScriptで簡単に指定したサイトの中から欲しい情報を取得することができるライブラリのようです。JavaScriptあまり詳しくないのでちょっと調べてよさそうなので使ってみました。

ruipgil/scraperjs

使い方

$ npm install scraperjs

して、利用する際には、

var scraperjs = require(‘scraperjs’);

するだけです。

var scraperjs = require(‘scraperjs’); scraperjs.StaticScraper.create(’https://news.ycombinator.com/’) .scrape(function($) { return $(“.title a”).map(function() { return $(this).text(); }).get(); }) .then(function(news) { console.log(news); })

とういサンプルがあるので、これをもとに変更を加えて行って目的を達成することができました。AWS Lambdaで実際に動かしています。他にもRouterとか便利なメソッドがあるようなのでそのうち使っていきたい。