楽天市場から製品情報をスクレイピングする

インターネット上の仮想商店街「楽天市場」を営む日本最大のネットサービス企業。本屋、食品スーパー、ファッション店、パソコンショップなどの3万事業者が楽天市場に仮想商店をつくっており、6千万人が利用している。客はネットを通じて商品を注文し、クレジットカードなどで決済する。商品は宅配便などを通じて届けられる仕組み。楽天は仮想商店の販売促進や集客を進め、事業者は楽天に出店料や手数料を払う。

スクレイピングツールの概要

ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のWebサイトのスクレイピングを満たします。

抽出されたデータは下記のようにご覧ください。

Excel 2007へのエクスポート:

f:id:satoshihirai1:20200212160820p:plain

1.タスクを新規作成する

(1)URLをコピーする

目標商品のキーワードを楽天市場に入力して、その検索結果ページのURLをコピーしてください。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200212160857p:plain

(2)スマートモードタスクを新規作成する

ソフトウェアのホムページ画面に新規作成できます。持っているタスクをインポートすることもできます。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200212164541p:plain

f:id:satoshihirai1:20200212164558p:plain

2.タスクを構成する

(1)自動識別

ソフトウェアは自動的にリスト要素とページボタンを識別できます。たまに識別できないの場合、手動で選択することもできます。

ページボタンの設定詳細には下記のチュートリアルをご参照ください。

ページ分けの設定

f:id:satoshihirai1:20200212164618p:plain

(2)フィールドの追加と編集

フィールドの追加をクリックして、必要な情報を選択すると、情報がソフトウェアの表に追加します。また、必要に応じてフィールドの名前の変更または削除、結合できます。

フィールドの設定の詳細には下記のチュートリアルをご参照ください。

抽出されたフィールドを配置する方法

f:id:satoshihirai1:20200212164641p:plain

(3)フィールドの再識別

Webサイトのデザインによって、偶に要素の識別が混乱になるかもしれないが、手動で直すこともできます。

f:id:satoshihirai1:20200212164718p:plain

3.タスクの設定と起動

(1)起動の設定

ソフトウェアは数多くの機能を提供します。必要に応じて、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、スピードブーストを設定できます。

スクレイピングタスクを配置する方法については、下記のチュートリアルをご参照ください。

スクレイピングタスクを配置する方法

f:id:satoshihirai1:20200212164742p:plain

(2)しばらくすると、実行画面にデータのスクレイピングが見えます。

f:id:satoshihirai1:20200212164802p:plain

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードします。

f:id:satoshihirai1:20200212164823p:plain

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出結果のエクスポート方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータのエクスポート方法

f:id:satoshihirai1:20200212164902p:plain