stockedge / netkeiba-scraper

netkeiba.comをスクレイピングして、競馬予測の素性を作成する。

#使い方 以下のコマンドを上から順に実行していけば最後に素性が作成される。

sbt "run collecturl"

レース結果が載っているURLを収集して「race_list.txt」に保存する。

sbt "run scrapehtml"

レース結果のHTMLをスクレイピングしてhtmlフォルダに保存する。HTMLをまるごとスクレイピングするので結構時間がかかる。

sbt "run extract"

HTMLからレース結果を抜き出しSQLiteに保存する。

sbt "run genfeature"

レース結果を元にして素性を作りSQLiteに保存する。

netkeiba-scraper's Issues

str2clsMapに当てはまらないrace_classが存在している件への対処

sbt "run genfeature"を実行する際
str2clsMapに当たらないものがあった場合(現状見つけたのは、"500万下"、"1000万下"が含まれていない場合)、str2clsの中でエラーになるようになっていると思います。エラーにすると元データを直さなければならずスケールしません。
下記でもスケールはしませんが、暫定的に下記のようにするというのはいかがでしょうか。

def str2cls(s: String): Int = {
    str2clsMap.foreach{ case (a, b) =>
      if (failcls2safe(s).contains(a)) return b }
    sys.error("class not found:"+failcls2safe(s))
  }

def failcls2safe(s: String): String = {
  s match {
     case s if s.contains("3歳以上1勝クラス") => s + "500万下"
     case s if s.contains("2歳1勝クラス") => s + "500万下"
     case s if s.contains("3歳以上2勝クラス") => s + "1000万下"
     case _ => s
   }
 }