robots.txt を守る価格モニタリングキット|Python で収集 → Excel ダッシュボード
- ダウンロード商品¥ 1,980

公開されている商品ページの価格を毎日集めて、Excel のダッシュボードにするための Python キットです。 ■ 入っているもの ・収集スクリプト:設定ファイル(YAML)に URL と CSS セレクタを書くだけで動きます ・ダッシュボード作成スクリプト:CSV から、前回比・期間の最安/最高・要確認の判定・推移グラフ入りの Excel を作ります。値はすべて数式です ・取得前の確認スクリプト:robots.txt、利用規約にある禁止の言葉、ログインの要否を調べて、読むべき箇所を出します ・Windows のタスクスケジューラで毎日動かす設定を作るスクリプト(WSL 用) ・手元だけで試せるデモショップと、30日分の架空データ ■ 守るように作ってあること ・アクセスの間隔は1秒未満に設定できません(コードで1秒に直します) ・robots.txt で禁止されているページは取りに行きません ・取得が0件のときは正常終了しません。サイトの作りが変わったことに気づけます ■ 動作環境 Python 3.14、Linux(WSL2)で動作を確認しています。それより古い Python、macOS、Windows の Python では確認していません。 JavaScript で中身を表示するサイト、ログインが必要なサイトには使えません。 ■ ご注意 ・収集してよいかはサイトごとに違います。利用規約はご自身で読み、禁止されているサイトには使わないでください ・大手通販サイトや SNS の多くは、規約で自動の取得を禁止しています ・価格のデータはすべて架空です
もっと見る
