EC サイトのスクレイピングとは？

久保祐人

2021年09月09日

2020年4月に始まった緊急事態宣言からもうじき1年半が経過しようとしています。COVID-19 で働き方改革が進み、私も気づけばほとんど自宅で仕事をしており、プライベートの買い物も自宅からオンラインでする割合が増えました。市場調査レポートによれば、eコマース市場は生活必需品を中心に消費が大きく増えたと言われています。
さて、本日はこの eコマースサイト（ECサイト）に対するスクレイピングのリスクについての記事になります。

EC サイトのリスクは買い占め、価格スクレイピングが大きい

EC サイトの事業者リスクとして顧客情報やクレジットカード情報の漏えい被害がありますが、ほかにはスクレイピングがあります。スクレイピング行為は、ボットと呼ばれる人間が行う行為を自動化したプログラムを使用して行われます。スクレイピングの被害を2つほど見ていきます。

チケット買い占め

1つめは買い占めです。チケットや物品を転売目的で買い占める悪質な購入者がいます。こうした買い占めは、一般ユーザーでは利用できないチケットボットと呼ばれるチケットを大量購入するために自動化されたプログラムを使って行われます。

価格スクレイピング

2つめが競合 EC サイト運用者による価格情報の窃取です。競合である他社は、あなたの EC サイトよりも安い金額設定をします。さらには SEO 対策や未公開の情報まで調査される場合があります。これは EC サイトの売上に直結する被害になるため大きな影響があります。例えば、不動産価格や航空券などがあり得ます。

スクレイピング行為は違法か

価格や情報のスクレイピングが違法かどうかは記事執筆時点では日本国内／海外ともにグレーゾーンです。北米では公正な競争の範囲なので合法とする判例もある一方で、Facebook 社が大規模な訴訟を起こしたりしています。国内では約款に違反している場合は訴訟になっているケースもあるため、判例の増加が待たれるところです。
現状はチケット購入自動化といったキーワードで Web 検索すると、たくさんの日本語のツールや受託開発の Web サイトがヒットするため、やはりグレーゾーンなのでしょう。

対応策1：約款で対応してみる

こうしたスクレイピング行為への対策はどんなものがあるでしょうか。もっとも一般的な対策は、約款で禁止するということです。そうすれば、スクレイピングを行った人物をインターネットサービスプロバイダー（ISP）に開示請求して特定することで訴訟を起こすことができます。しかし、不特定多数のアクセス元からスクレイピングを受けている場合は、その手続きだけで膨大な工数がかかります。

対応策2：アクセス制限や CAPCHA

では、同一 IP アドレスからのアクセス回数の制限や CAPCHA はどうでしょうか。これも最近のスクレイピングツールは IP アドレスやユーザーエージェントを動的に変更したりして回数による制限を回避するようになってきています。また、高度なツールだと事前に認証を行い CAPCHA が出現しないようにしたり、当該地域のプロキシ経由でアクセスし、正規の通信と区別することを難しくしており、いたちごっこの様相を呈しています。

こうしたスクレイピング行為への対応は相手が自動化されたプログラムのため、手動での対応はきりがありませんし、そもそもこれでは被害にあってしまった後の対応にしかなりません。

被害にあわないためには専用ツールがあります

もしスクレイピングの被害が大きい場合はツールを使った対策があります。安くはありませんが、プログラムにはプログラムで対策するのが一番です。具体的には Advanced Bot Protection（以下、ABP）と呼ばれるカテゴリーのセキュリティ対策で、AI（機械学習）やブラウザの種類、デバイスのフィンガープリント、アクセス元の挙動などからボットか人間かを特定してスクレイピングからブロックします。

日本国内では何社かソリューションを出していますが、当社では Imperva 社の Cloud WAF に統合されている ABP をおすすめしています。

「Imperva SecureSphere Web Application Firewall（WAF）」詳細はこちら