netkeibaスクレイピングスクリプト
- Digital5,000 JPY
Seleniumを使用してnetkeiba.comからデータをスクレイピングするPython製のスクリプトです。取得したデータはSQLiteデータベースに保存され、様々なプログラミング言語から簡単にアクセスできます。
主な特徴
- 前身となるスクリプトは5年以上の使用実績があります。 - 様々なデータを取得できます。出馬表/結果ページの内容はほとんど網羅しています。馬の詳細情報や騎手リーディング情報も取得可能です。今後も取得可能なデータを増やしていく予定です。 - スクレイピングを行うための便利なGUIが付属します。スクレイピングするだけならプログラミングは一切不要です。 - 取得したデータはSQLiteに保存されます。プログラミング言語問わず簡単にアクセスできます。PythonユーザーはORMクラスを使用することで、バリバリ補完を効かせながら快適にデータにアクセスできます。 - 簡易的なデータベース閲覧GUIが付属します。これを改造して、オリジナルの出馬表を作成することも可能です(PythonとPyQt5の知識が必要です)
取得可能なデータ
https://www.dropbox.com/scl/fi/et22axon0ywv4sqrcmor3/.md?rlkey=twgt6oy33ssh93h9512j4voik&st=tn24xjhw&dl=0 上記のリンクからご確認いただけます。メンバ変数をそのまま貼り付けただけなので見づらいと思いますが、ご容赦ください。
サポート
ご質問やご不明な点がありましたら、下記のメールアドレスまでお問い合わせください。 - ushisoft@outlook.jp
動作環境
- Windows 11: Python製ですので、OS関係なく動作しますが、動作確認しているのはWindows 11のみです。 - Brave: 安定してスクレイピングを行うために必要です。
利用規約
- 本スクリプトの再配布および再販売を禁止します。改変したものについても同様です。 - 本スクリプトを使用してダウンロードしたnetkeibaのデータは、個人使用の範囲でお使いください。配布、販売はnetkeibaの規約で禁じられています。 - 本スクリプトを使用して生じた損害について、UshiSoftは一切の責任を負いません。
注意事項
スクレイピングは節度を持って行いましょう。netkeibaの規約ではスクレイピングは禁止されていませんが、サービスに支障をきたすと判断された場合、予告なく通信制限をかける、と明記されています。基準は不明ですが、安全のため10秒以上の間隔を空けてスクレイピングを行うことを推奨します。