Spam Double Funnel:
サイトにアクセスした時、あるいは広告をクリックした時のデータの流れを探り、そこからスパム活動の傾向を知ろうという研究。米国のサイトを対象とした研究だから分かりにくかった。具体例のサイトとか知らないし。まあともあれこんな内容です。元も論文はこれ→http://www.cs.ucdavis.edu/~hchen/paper/www07.pdf
Abstract
検索エンジンの最適化技術(SEO)を駆使し、Webページの検索結果を上位に上げる事が広く行われている。我々は広く普及したスパム手法である“リダイレクトスパム”に焦点を当てる。リダイレクトスパムはスパムページがトラフィックを第三者のドメインにリダイレクトしていることにより見つけることができる。（リダイレクトスパムは、ユーザがあるスパムページを訪れるとすぐさま広告主である他のページにユーザを飛ばすという手法のスパムであると思ったがどうもこの論文では違うらしい。ググッたところリダイレクトとはプログラムの入力元や出力先を通常とは違うものに変更することとあった。つまりあるページにアクセスあるいはリンクをクリックするとそれが様々なドメインを経由してそのドメインから得た情報をページの一部として表示したり、アクセス情報を記録したりいろいろするらしい。）我々は５層２じょうごモデルをリダイレクトスパムを表現するために用い、層を解析する方法論を提示し、２つの広告キーワードの集合を用いてスパムと思われるドメインを発見する。２つの広告キーワードの一つはスパマーに狙われるキーワードを対象としており、もう一つは広告主に向けて入札額が高いキーワードを対象としている。我々の提案と結果はサーチエンジンがスパムに対して頑健性を増し、サイトの管理人がスパムのドアウェイページを取り除き、広告主がスパムページに広告を載せるような悪い宣伝主を発見するのに有用だろう。
１．Introduction
サーチスパマーとはクオリティの低いページをＳＥＯ技術を用いて検索結果上位に引き上げようとする輩を言う。一般的なSEOのテクニックとしてはキーワードの詰め込み、リンクファーム（例えば過度の相互リンク）、Webクローラーとユーザに異なったページを見せる手法（英語でCrawler-browser cloakingという、これはSEOが施されたページをクローラーに見せ、ユーザにはSEOは施されていないが見栄えが良いサイトを見せるという手法。例えばフラッシュで作られたサイトは検索エンジンとの相性が悪いためしばしばこの手法が用いられる。現在でもこの手法が蔓延っているのか分からないが・・・（もう古いテクニックでは？））などがある。最近の手法としては、スパム調査員から逃れるための手法として、click throuth cloakingというものがある。直接ＵＲＬを入れて入力してきた人に対して偽のコンテンツを見せるというものである。（お気に入りから直接来た人はどうするんだと思ったが、スパムページだとお気に入りに登録する人などいないはずだから良いのだろう）
我々はブラウザーに有名なスパマーによって制御された第３者ドメインを訪れるようにリダイレクトするリダイレクトスパムを扱う。多くのリダイレクトスパムページはシンジケーションを使っており、そこでスパムページの管理者はPay-Per-Clickプログラムに参加し、広告のポータルページを表示する。
この論文では、我々はシンジケート（アフィリエイト会社やアドセンスのようにPay-per-Clickを行っている仲介業者）が絡んでいるスパムに特に注目して、リダイレクションスパムの活動を総括的に解析する。そして我々は５層２じょうごモデルを提案し、広告をスパムページに表示する流れと広告をクリックした時のトラフィックの流れを表現する。２つの異なった広告の検索用語のベンチマークを構築しStrider Search Ranger system[２１]を何万ものスパムリンクを解析するために使い、我々は５層のそれぞれに存在する主要なドメインとドメインの特徴を発見する。
以下２章でSearch Ranger systemを概観し、ダブルファンネルモデルを説明する。３章ではスパマーを対象とした（リダイレクションスパムで良く狙われるターゲットで）検索ベンチマークを作る（スパム対象となる検索語を上から順にピックアップする）。４章ではスパム密度とダブルファンネルを３章で作成したベンチマークを用いて解析する。（どのカテゴリがスパムが多いか、スパム先のサイトはどのサイトが多いかなど）５章では広告主をターゲットとしたベンチマークを作り（入札キーワード額が高い順で検索語をピックアップ）、解析結果を４章の結果と比べる。（広告主が低いクオリティのサイトにリンクをはられて損をしないためにこのような調査も必要？）６章ではリダイレクトのないスパムであるがダブルファンネルモデルと関係するスパムについて討論する。７章では関連研究を述べ、８章では結論を述べる。
２．REDIRECTION SPAM
2.1 Definitions:Search Spam and Redirection
リダイレクトスパムは多くのドアウェイページと一つのリダイレクションドメインを結びつけるために大規模なスパマーによって広く使われている。またサーチスパムの中でもRedirectionのスパムはスパムであると決めやすい部類に入るということが書かれている。例えばクローキングや掲示板への大量の書き込みなどを行っている。スパムと適正なSEOとの区別が難しいがドアウェイページはスパムと断定しやすい要素が多くあり扱い易い。
リダイレクトにはアドセンスのようにセカンドドメインから広告を取ってくる形式のものとセカンドドメインそのものにURLごとページを移動するものの２種類がある。本研究ではその両方を扱う。
2.2 Strider Search Ranger System
Strider Search Ranger Systemは以下のような３つの特徴を持ったスパムを自動で発見するシステムである。
Web Patrol with Search Monkeys[19]
clawler-browser cloakingテクニック（人とクローラーに異なるページを見せるテクニック）を使うスパマーに対してはクライアントサイドも含め全てのスクリプトを実行することによりこれを見破り、click through cloaking テクニック（直接のURL入力に対して異なったページを見せるテクニック、サーチエンジンから来たユーザのみにスパムページを見せる）に対しても、サーチエンジンをクリックしたと見せかけるテクニックによりこれを見破る。
Follow the money through Redirection Tracking
全てのリダイレクトのURLをStrider URL Tracer[20]により盗み出す。
Similarity-based Grouping for Identifying Large-scale Spam
人気のあるクエリから高いスパム密度(high spam density)を得たURLを収集し、その収集したページの類似度（表記はないが恐らくhtmlの構造の類似度）を調べる。調べると、類似度の高いものが同じリダイレクトドメインに繋がっていることが多い。そしてこのように検出されたスパマーは大々的にスパムを行っている場合が多い。次にリダイレクトドメインがスパムコンテンツに対して責任があると確認したのち、そのリダイレクトドメインをシードとして“backward propagation of distrust”[13]を使い他の類似度の高いページを洗い出す。
Search Ranger のスパム発見プロセス
ステップ１:
検索語をサーチエンジンに投げ、Search Monkeyがそれぞれの検索語に対して上位N番目の結果を取り出す。そしてそれぞれのURLをスキャンし全てのURLリダイレクションを記録するＸＭＬファイルを生成する。
ステップ２：
スキャン後、SearchRangerはリダイレクション解析を行う。そして有名なスパマーのリダイレクションドメインにリダイレクトしているURLをスパムと見なす。
ステップ３：
Search Rangerが分類されなかったURL（すなわち有名なスパマーのリダイレクションドメインにリダイレクトしていないURL）を、リダイレクトのトラフィックを受け取った第３者ドメインによってグループ化する。
ステップ４：
Search RangerがサンプルURL（どの辺がサンプルなのか不明？？）をそれぞれのグループからスパム検証器に送る、そして検証器はスパムとなりえる要素がないかを調べる。（cloakingや掲示板への大量書き込みなどをチェック）
ステップ５
Search Rangerが分類されなかったＵＲＬのグループを出力（この時点でスパムとなり得る要素の値やグループの大きさが一緒に送られる）、人間によってスパムかどうか審査される。スパムだとしたら有名なスパムドメインの集合にそのリダイレクションドメインを加える。
2.3 Spam Double-Funnel
典型的な広告シンジケートビジネスは３つの層からできている。ウェブサイトに魅力的なコンテンツを乗せて集客するサイトオーナー、ウェブサイトに乗せる広告を配信する広告主、広告主とサイトオーナーを繋ぐインフラを提供するシンジケーターである。グーグルアドセンスはシンジケーターの例である。疑わしい広告ビジネスにおいて、スパマーはサイトオーナーの役割と見なす、彼らはクオリティの低いコンテンツを用意し、好ましくないSEOテクニックを使い集客する。スパムが発見されるのを防ぐために、多くのスパマーはオペレーションを２つの層に分断する。最初の層がドアウェイページであり、ドアウェイページのURLはスパマーが検索エンジンの上位に組み込むように努力する。ユーザがドアウェイページへ入ると、ブラウザがスパムコンテンツをリダイレクションドメイン（第２層目）から取ってくるように指示する。スパマーとの結びつきを求めない賢明な広告主のため、多くのシンジケーターは彼らのオペレーションを２つかそれ以上の層に分けている。層は複数のリダイレクトによって結びつけられていて、広告主とスパマーの関係を分かりにくくする。（シンジケーターが広告主を騙す）これらのシンジケーターは大抵小さい会社なので、彼らはしばしば十分なトラフィックのプロバイダーと広告主をひきつけるためにトラフィックアグリゲーションを通じて協力する。
私たちはこのスパムビジネスを図１のようにモデル化した。広告主はシンジケーターにお金を払い、シンジケーターはアグリゲーターにお金を払いトラフィックを集める。アグリゲーターはシンジケーターと広告主をスパムページから隔離するために仲介役となってトラフィックをスパマーから購入する。スパマーは数百から数千のリダイレクトドメインをセットし何百万ものドアウェイページを設置する。ドアウェイページはリダイレクトドメインから広告を取ってくる。またスパマーは掲示板にドアウェイページのＵＲＬを書き込む。
SPAMMER-TARGETED KEYWORDS
リダイレクトスパムで共通の特徴を掴むために、リダイレクトスパムでよく狙われるキーワードとカテゴリを調べた。その結果ほとんどが薬と着メロとギャンブルに関するものであった。以下カテゴリ別にキーワードを示す。
Drugs:phentermine,Viagra,cialis,tramadol,xanax,etc.
Adult:porn,adult dating,sex,etc.
Gambling:casino,poker,roulette,texas holdem,etc.
Ringtone:verizon ringtones,free polyphonic ringtones.etc.
Money:car insurance,debt consolidation,mortgage,etc
・・・残り５カテゴリ
各カテゴリから上位１００キーワードをとり１０００個のスパマーに狙われる検索語をピックアップした。
４．Redirection-spam analysis
1000個のキーワードでクエリを主要３検索エンジンに投げ、それぞれトップ５０のサイトを収集し、リダイレクトスパムを摘出したところ１１．６％がスパムであった。我々は最初にカテゴリ別のスパム割合を調べ、その次にダブルファンネルモデルの解析を行う。
４．１ Spam Density Analysis
カテゴリ別のスパムの割合は図２のようになった。薬と、着メロでスパムが多かった。
４．２ Double-Funnel Analysis
我々はダブルファンネルモデルの５層を解析し、それぞれの層にどのようなドメインが関係しているのかを調べ、サーチスパムの傾向を捉えた。
4.2.1 Layer #1 Doorway Domain
図３はドアウェイページへのリンクがどれだけ発見されたかのを表している。また図４は図３のドメインの中でどれくらいの割合でスパムリンクが含まれていたかの割合を示す。
Spam Pages on .gov and .edu Domains
.govや.eduのような商業用でないトップレベルドメインは顕著にスパマーに狙われていた。
図５は.gov/.eduドメインの中で最もスパムの多いURLを持ったドメインを示している。これらは３つの種類に分けられる。それらはUniversal redirectors,Unproteted upload area,Home page-like directoriesである。（ハッキングして何かやってるんだろうが技術的な事はわからない）
4.2.2 Layer #2 Redirection Domains
図６はリダイレクトドメインをドアウェイページにリダイレクトしている数によって上から１５個並べた図である。そのうち１２個はシンジケートベースであり、テキストベースの広告のポータルページを配信している。２個はポルノ広告を、１個は商業のウェブサイトを配信している。またこれらのドメインの所有者は同じである場合が多く、一握りの主要なスパマーグループが複数のリダイレクトドメインを保持していることがわかった。
4.2.3 The Bottom Three Layers
次に我々はads portalサイト（広告だけをやたらと配信したサイト）のスパムページに焦点を置き12635個のスパムページから5172個のads portalサイトが見つかった。３層と５層に対して、我々はターゲットとなる広告主のURLをads portalサイトから抽出して解析した。４層では、我々はそれぞれのads portalページから一つをランダムに選んで訪問してみて、リダイレクトのトラフィックを記録した。これはシンジケーターのドメイン名が広告ページのコンテンツに現れていないので必要である。
Layer #3 Aggregators
図７はスパムページで広告がクリックされた時、そのトラフィックを受け取るドメインを受け取る広告の数に応じて上から順に並べたものである。
するとトラフィックを受け取るドメインは64.111.のドメインと64.230のドメインの２つでほとんどを占めていることがわかった。
Layer #5: Advertisers(Page analysis)
広告主のドメインネームはしばしばアンカーテキストかマウスオーバーで見ることができる。そのようなドメイン名をads-portalページから取り出し、登場回数順に１５位まで並べたところ図８のようになった。ebay.com,orbitz.com等の有名なサイトも見られた。
Layer #4: シンジケーター(click-through analysis)
クリックの解析において、一握りのシンジケーターがリダイレクトの連鎖に含まれている。
Findwhat.com/looksmart.com/7search.comで全体の５９％を占めた。彼らはスパムトラフィックアグリゲータと広告主の主要な仲介役のようである。
５．ADVERTISER-TARGETED KEYWORDS
４章では最もスパムの多いキーワード群をベースに５層の解析を行った。しかし、検索する側のユーザや広告主にとって最も関心が高い事は、検索結果にスパムがどれだけ悪影響を及ぼしているかであろう。スパムの多いキーワードであってもあまりユーザや広告主が重視しないようなキーワードであれば問題がない、そこで最も広告の入札額が高い１０００個のキーワードについて同様に実験を行った。
5.1 Benchmark of 1000 Most-Spammed Advertiser-Targeted Keyword
入札額上位５０００番までのキーワードに対して主要３検索エンジンにクエリをなげスパムの多かった１０００キーワードを選択した。するとドラッグやアダルト、ギャンブルの広告が少なくなり他の様々なカテゴリが上がってきた。
5.2 Spam Density Analysis
全体で95753のURLに対して6153個のスパムを発見し、スパム率は５．８％であった。これは前回の実験の半分である。これはスパム率が高いカテゴリが少なかった（ドラッグやアダルトのジャンルのキーワードが少ないのでスパム率が下がるのは当たり前）のと、前回の実験の２週間後に実験を行っており、主要３検索エンジンがスパム除去に乗り出したことが原因として考えられる。（これは微妙だとは思うが）
5.3 Double-Funnel Analysis
我々は５層を解析して、最初のベンチマークと比べた。全ての図で最初のベンチマークで出てきたものと同じものはグレーで表現している。
5.3.1 Layer #1:Doorway Domains
図９はドアウェイページのドメインの上位１５個である。スパムが多いキーワードで行った前回の実験（図３参照）との違いは、.infoドメインが増えているという事である。テーブル１から.infoがスパムである確率が.comに比べて異常に高いことが分かる
5.3.2 Layer#2: Redirection Domains
図１０は上位１５位までのリダイレクションドメインを表している。全てシンジケーションベースとなっていた。ドラッグやアダルトのスパマーがお金に関するサイト（car insurance,mortgage等）のスパマーに入れ替わったのが大きな違いであった。
5.3.3 The Bottom Three Layers
6153のスパムURLのうち2995個の広告のポータルページを抽出した。
Layer #3 Aggregators(Page analysis)
図１１は相変わらず66.230と64.111のＩＰがスパム広告のクリックを受信していた。合計で6153のスパムURLのうち6041個がこのＩＰを経由していた。
Layer#5
図１２は上位１５位までのスパム先からたどり着く広告主であり、これは図８のものとかなり違っていた。よく知られたショッピングサイトが多くランキングされるようになった。ここから広告主がターゲットとするキーワードは、スパマーがターゲットとするキーワードよりもショッピングのWebサイトにマッチしているという事が言える。
Layer #4 Syndicators
上位３位のシンジケーターはlooksmart.com、findwhat.com,7search.comであり全体の６８％を占めていた。これらのシンジケーターは検索スパム産業に広く深く関わっていることが分かった。
６．OTHER COMMON SPAM
6.1 BLOG FARMS
同じサイトのフォーマット（具体的には良く分からない）で同じブログファームに属しているが、ターゲットとなるキーワードが違うページを発見。
6.2 PARASITE ADS-PORTAL FARMS
既存のサイトに寄生してスパムを逃れる手法。http://(既存のサイトのURL)/(寄生URL)
としてページのアドレスを決定することでスパムを逃れる。
７．RELATED WORK
クローキングに関連する研究
クローキングとリダイレクションを,スパムを隠す戦略であると見なした（Garcia-Molina[8]）
クローキングとリダイレクションのWeb検索結果での割合を調べ実態を調査した。また分類機を作成する事でクローキングを発見する方法を提案した。
(Wu and Davison[23],[25])
我々のSearch Monkeysは機械が検索ユーザに成りすますことで、新しいクリッククローキング手法（検索結果以外のクリックに対して他のページを見せるクローキング手法）にも対応できる。
お金とスパムの関係の研究
お金はスパマーにとっての最も大きいインセンティブである。
Jansenはクリック詐欺の問題にも関わらず、スポンサードサーチがスパムの総量を減らすことができたことを観察した。[9]（意味不明）
Sarukkaiは検索語の値段（キーワード代の目安のことだと思う）の定量化の手法を提案した。[17]
ChellapillaとChickeringは検索語の上位５０００と、キーワード代の高い順の５０００を比べ、キーワード代の高いもののサイトの方がスパムが多いという経済的な側面を発見した[5]
リンク関連の研究
スパムをリンクの観点から減らす研究として、不信頼性に基づいたものがある。
スパムサイトのシードからリンクをたどりスパムの度合いを求めていくAnti-Trust Rank(Krishnan and Raj)[12]、似たようなものとして[13],リンクファームについての研究[24]等がある。その他相互リンクに着目した研究[4],[6]、既存のリンク解析技術をスパムの観点から比べた研究[3]等がある。我々の研究ではリンク解析はスパムURLの掲示板への書き込みを解析する事しか行っておらず、リダイレクションの解析に依存してスパム発見を行っている。
コンテンツ関連の研究
ページ内容をアンカーテキストやメタタグから解析して分類器を作りスパムを判定するもの[11],またURL構造や更新期間などからスパムを解析する手法[7],タイトルで使われている言葉や、目に見える割合(恐らくJavascriptなどのプログラムの部分を除いている)に着目したもの[16]、HTML構造の類似性からページ製作者を特定するもの[18],ブログとそれに対するコメントの言語モデルを比較するもの[14](恐らくコメントがスパムなのかそうでないのかを比較する)などがある。
1
と定義する。
の減衰曲線からすべての場所での広告のクリック率を推定することができる。
は広告の
は特徴の学習した重みである。
の生成された特徴と、
を加えた。１を加えた理由は最低の値を０にするためである、我々は特徴をゼロ平均になり、単位標準偏差を持つように正規化した。異常値を持つ特徴もあったので、偏差値５５以上のものは５５、偏差値４５以下のものは４５となるように調整した。これらの調整により制度の向上が見られた。
はある入札語を与えている広告主の数で
はそれらの広告の平均の
はすべてのトレーニングセットの平均の
（
を考える、広告の入札語を
と表し、
と表し、
で与えられる。ここでこれらの集合の
で置き換えて同様の計算をしたところさらに６％の精度の向上が見られた。