Amazonの商品レビューをスクレイピングする

Amazonとは?

Amazonは世界最大のWeb通販サービスとして、E‐コマースビジネスの人々がデータを収集する必要がある最も人気のあるWebサイトです。ScrapeStormを使用すると、商品のレビューを収集でき、購入者のアドバスから、商品をより詳しく了解します。

スクレイピングツールの概要

ScrapeStormとは、人工知能に基づき、強い機能を持っているWebスクレイピングツールです。プログラミングが必要なく、ほとんどのWebサイトからデータをスクレイピングします。URLを入力するだけで、自動的にWebサイト内容と次のページボタンを識別できます。1-ClickでWebサイトからデータを自動的に抽出します。Excel、HTML、Txt、CSVなどのさまざまな形式でデータを出力、保存できます。さらに、データベースやウェブサイトにデータをエクスポートできます。

抽出されたデータは下記のようにご覧ください。

f:id:satoshihirai1:20200210201845p:plain

1.タスクを新規作成する

(1)AmazonのURLをコピーする

Amazonのレビューの収集するため、商品詳細ページのURLをコピーしてください。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200210201906p:plain

(2)スマートモードタスクを新規作成する

スマートモードタスクを新規作成には、ソフトウェアのホムページで作成できます。また、必要に応じて、持っているタスクをインポートすることもできます。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200210201926p:plain

f:id:satoshihirai1:20200210202018p:plain

2.タスクを構成する

(1)事前操作

Amazonの商品詳細ページに10件だけのレビューを表示します。より多くのレビューを表示させるため、事前操作機能を利用して、「すべてのカスタマーレビューを見る」ボタンをクリック必要になります。

事前操作のコンポーネント設定方法は下記フローチャートモードのチュートリアルをご参照ください。

行動コンポーネントとは

f:id:satoshihirai1:20200210202037p:plain

f:id:satoshihirai1:20200210202057p:plain

(2)ページボタンの設定

事前操作が完了すると、商品のレビューはリストに表示されます。通常、ソフトウェアは自動的にページボタンを識別できますが、Amazon.jpのWebサイトにはXpathを修正する必要があります。Xpath:/html/body//li[contains(concat(' ', normalize-space(@class), ' '),' a-last ')]/a 手順は画像のようにご覧ください。

ページタイプとページ分けの設定詳細は下記のチュートリアルをご参照ください。

ページタイプの設定

ページ分けの設定

f:id:satoshihirai1:20200210202115p:plain

f:id:satoshihirai1:20200210202130p:plain

(3)フィールドの編集と追加

必要に応じてフィールドの名前の変更または削除、結合できます。

フィールドの追加には、「フィールドを追加」ボタンをクリックして、画面に抽出する要素を選択、データが自動的に抽出されます。

フィールドの設定の詳細には下記のチュートリアルをご参照ください。

抽出されたフィールドを配置する方法

f:id:satoshihirai1:20200210202158p:plain

3.タスクの設定と起動

(1)起動の設定

ソフトウェアには色々な機能を提供しますので、必要に応じて、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、スピードブーストなどを設定できます。

スクレイピングタスクを配置する方法については、下記のチュートリアルをご参照ください。

スクレイピングタスクを配置する方法

f:id:satoshihirai1:20200210202258p:plain

(2)しばらくすると、データがスクレイピングされる。

f:id:satoshihirai1:20200210202316p:plain

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードする

f:id:satoshihirai1:20200210202332p:plain

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出結果を表示し、抽出されたデータを消去する方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータの表示と消去する方法

抽出結果のエクスポート方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータのエクスポート方法

f:id:satoshihirai1:20200210202347p:plain