Yahoo!ショッピングの検索結果をスクレイピングする

Yahoo!ショッピングは、簡単かつ安全にインターネットショッピングを楽しめるショッピングモールです。多彩なストア(店舗)が販売する商品を、いつでも気軽に選んで、その場で注文できます。
おすすめ情報やオリジナル商品も数多く取りそろえていますので、商品を見て回っても楽しめます。

スクレイピングツールの概要

ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いやすく人工知能Webスクレイピングツールです。違う基盤のユーザーに二つのスクレイピングモードを提供し、1-Clickで99%のWebサイトのスクレイピングを満たします。

抽出されたデータは下記のようにご覧ください。

Excel 2007へのエクスポート:

f:id:satoshihirai1:20200210212600p:plain

1.タスクを新規作成する

(1)Yahoo!ショッピングのURLをコピーする

Yahoo!ショッピングの公式サイトURLをコピーしてください。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200210212621p:plain

(2)スマートモードタスクを新規作成する

ソフトウェアのホムページ画面に新規作成できます。持っているタスクをインポートすることもできます。

詳細には下記のチュートリアルをご参照ください。

URLを正しく入力する方法

f:id:satoshihirai1:20200210212638p:plain

f:id:satoshihirai1:20200210212654p:plain

2.タスクを構成する

(1)事前操作

コピーされたURLはYahoo!ショッピングの公式サイトから、事前操作機能を利用して、検索するキーワードを入力する必要があります。手順は画像のようにご覧ください。

事前操作のコンポーネント設定方法は下記フローチャートモードのチュートリアルをご参照ください。

行動コンポーネントとは

(2)Xpathの編集

Yahoo!ショッピングのリストがちょっと識別しにくいので、今回はリストを識別用のXpathを提供します。Xpath:【//ul/li[contains(@class,'LoopList__item')]】手順は画像のようにご覧ください。

f:id:satoshihirai1:20200210212855p:plain

f:id:satoshihirai1:20200210212940p:plain

(3)フィールドの編集と追加

必要に応じてフィールドの名前の変更または削除、結合できます。

フィールドの追加には、「フィールドを追加」ボタンをクリックして、画面に抽出するデータを選択、データが自動的に抽出されます。

フィールドの設定の詳細には下記のチュートリアルをご参照ください。

抽出されたフィールドを配置する方法

f:id:satoshihirai1:20200210213002p:plain

3.タスクの設定と起動

(1)起動の設定

ソフトウェアは数多くの機能を提供します。必要に応じて、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、スピードブーストを設定できます。

スクレイピングタスクを配置する方法については、下記のチュートリアルをご参照ください。

スクレイピングタスクを配置する方法

f:id:satoshihirai1:20200210213018p:plain

(2)しばらくすると、データがスクレイピングされます。

f:id:satoshihirai1:20200210213038p:plain

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードしする

f:id:satoshihirai1:20200210213052p:plain

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出結果を表示し、抽出されたデータを消去する方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータの表示と消去する方法

抽出結果のエクスポート方法の詳細には下記のチュートリアルをご参照ください。

抽出されたデータのエクスポート方法

f:id:satoshihirai1:20200210213109p:plain

他のE-コマスサイトのスクレイピングには下記のチュートリアルをご参照ください。

Amazonの商品売り上げランキングをスクレイピング

Amazonの商品レビューをスクレイピングする

価格の検索結果をスクレイピングする

ebayから製品情報をスクレイピングする