楽天市場から商品最安価格をスクレイピングする

インターネット上の仮想商店街「楽天市場」を営む日本最大のネットサービス企業。本屋、食品スーパー、ファッション店、パソコンショップなどの3万事業者が楽天市場に仮想商店をつくっており、6千万人が利用している。客はネットを通じて商品を注文し、クレジットカードなどで決済する。商品は宅配便などを通じて届けられる仕組み。楽天は仮想商店の販売促進や集客を進め、事業者は楽天に出店料や手数料を払う。

スクレイピングツールの概要

ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のWebサイトのスクレイピングを満たします。

抽出されたデータは下記のようにご覧ください。

Excel 2007へのエクスポート:

f:id:satoshihirai1:20200211194250p:plain
1.タスクを新規作成する

(1)URLをコピーする

目標商品の検索結果ページのURLをコピーしてください。詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200211195006p:plain

(2)スマートモードタスクを新規作成する

スマートモードタスクの新規作成には三つの方法があります、画像のようにご参照ください。

注意:②に一つだけのURLを入力できます。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200211195027p:plain

f:id:satoshihirai1:20200211195044p:plain

2.タスクを構成する

(1)フィールドの追加と編集

必要に応じてフィールドの名前の変更または削除、結合できます。また、フィールドの追加をクリックして、必要な情報を選択すると、情報がソフトウェアの表に追加します。今回は「最安ショップを見る」を選択して、プロンプトの「OK」をクリックすると、リンクが抽出されました。

フィールドの設定の詳細には下記のチュートリアルをご参照ください。

抽出されたフィールドを配置する方法

f:id:satoshihirai1:20200211195101p:plain

f:id:satoshihirai1:20200211195119p:plain

(2)詳細ページに行く

商品詳細ページで各ショップの価格を比較できます。「詳細ページに行く」ボタンをクリックして、商品詳細ページに移動します。

詳細ページのスクレイピング詳細は下記のチュートリアルをご参照ください。

詳細ページのスクレイピング方法

f:id:satoshihirai1:20200211195137p:plain

(3)リスト要素の識別

手動で最安ショップのリスト要素を選択してください。ページタイプの設定詳細は下記のチュートリアルをご参照ください。

ページタイプの設定

f:id:satoshihirai1:20200211195154p:plain

(4)ページボタンの識別

詳細ページのページボタンは自動識別できませんのようで、手動で選択してください。ページ分けの設定詳細は下記のチュートリアルをご参照ください。

ページ分けの設定

f:id:satoshihirai1:20200211195223p:plain

3.タスクの設定と起動

(1)起動の設定

ソフトウェアは数多くの機能を提供します。必要に応じて、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、スピードブーストを設定できます。今回は重複排除機能を利用してください。

スクレイピングタスクを配置する方法については、下記のチュートリアルをご参照ください。

スクレイピングタスクを配置する方法

f:id:satoshihirai1:20200211195240p:plain

(2)しばらくすると、実行画面にデータのスクレイピングが見えます。

f:id:satoshihirai1:20200211195256p:plain

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードします。

f:id:satoshihirai1:20200211195312p:plain

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出結果を表示し、抽出されたデータを消去する方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータの表示と消去する方法

抽出結果のエクスポート方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータのエクスポート方法

f:id:satoshihirai1:20200211195329p:plain