価格の検索結果をスクレイピングする

主力事業であるパソコンやAV機器を中心とした電気製品の価格比較ウェブサイト「価格.com」は、電気製品の価格比較以外にも、商品(自動車やペットなどパソコン関連やAV機器以外もある)に関連する多数の電子掲示板群やショッピングモールを持つ。売れ筋ランキングは実際に売れた数ではなく、独自のデータを元にした推定であるので、未発売の機種でもランキング上位に来ることがある。実売ベースのBCNランキングとの乖離も激しく「売れ筋」としての参考にはならない。(Wikiからの概要)

スクレイピングツールの概要

ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のWebサイトのスクレイピングを満たします。

抽出されたデータは下記のようにご覧ください。

Excel 2007へのエクスポート:

f:id:satoshihirai1:20200213153503p:plain

1.タスクを新規作成する

(1)価格のURLをコピーする

価格のWebサイトでスクレイピングする商品を入力して、検索結果のリストページのURLをコピーしてください。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200213153652p:plain

(2)スマートモードタスクを新規作成する

ソフトウェアのホムページ画面に新規作成できます。持っているタスクをインポートすることもできます。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200213153755p:plain

f:id:satoshihirai1:20200213153930p:plain

2.タスクを構成する

(1)ページボタンの識別

通常、ソフトウェアは自動的にページボタンを識別できます。特殊のページボタンには手動で選択か、Xpathを編集することもできます。

ページボタンの設定詳細には下記のチュートリアルをご参照ください。

ページ分けの設定

f:id:satoshihirai1:20200213154050p:plain

(2)詳細ページに行く

リストページに一部のデータが完全に表示されないので、詳細ページにフィールドを追加します。フィールドの追加には、「フィールドを追加」ボタンをクリックして、画面に抽出するデータを選択、データが自動的に抽出されます。また、必要に応じてフィールドの名前の変更または削除、結合できます。

具体的な設定には下記のチュートリアルをご参照ください。

抽出されたフィールドを配置する方法

詳細ページのスクレイピング方法

f:id:satoshihirai1:20200213154129p:plain

f:id:satoshihirai1:20200213154412p:plain

f:id:satoshihirai1:20200213154550p:plain

3.タスクの設定と起動

(1)起動の設定

ソフトウェアは数多くの機能を提供します。必要に応じて、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、スピードブーストを設定できます。

スクレイピングタスクを配置する方法については、下記のチュートリアルをご参照ください。

スクレイピングタスクを配置する方法

f:id:satoshihirai1:20200213154645p:plain

(2)しばらくすると、データがスクレイピングされます。

f:id:satoshihirai1:20200213154823p:plain

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードしする

f:id:satoshihirai1:20200213155127p:plain

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出結果を表示し、抽出されたデータを消去する方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータの表示と消去する方法

抽出結果のエクスポート方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータのエクスポート方法

f:id:satoshihirai1:20200213155202p:plain

他のE-コマスサイトのスクレイピングには下記のチュートリアルをご参照ください。

Amazonの商品売り上げランキングをスクレイピング

Amazonの商品レビューをスクレイピングする

価格の検索結果をスクレイピングする

ebayから製品情報をスクレイピングする