公開Web調査やCSV整理で「重複」「URL不正」「差分の見落とし」「失敗行が消える」を減らすための小型実務キットです。 【買ったら最初にやる3手】 1. sample.csv で csv_cleaner.py を実行 2. clean.csv / issues.json / SHA256 を確認 3. 自分のCSVへ置換。公開ページ監視が必要なら public_change_monitor.py を使う 【BEFORE → AFTER】 ・目視で重複確認 → 指定列をキーに重複排除 ・URL不正を見落とす → URL形式を確認してissue化 ・除外理由が消える → issues.jsonへ記録 ・ファイルが同じか不明 → SHA256を残す ・ページ変化を感覚で見る → 可読テキストhashを比較 ・危険なURLも取りに行く → localhost / private networkを拒否 【入っているもの】 ・csv_cleaner.py 文字列正規化 / 指定列で重複排除 / URL形式確認 / issues.json / SHA256 ・public_change_monitor.py 公開HTTP/HTTPSページのみ / private・localhost拒否 / 2MB上限 / 可読テキストSHA256差分 ・PROMPT_10PACK.md SNS / 提案文 / サービス出品 / 要件整理 / 記事構成など10テンプレ ・sample.csv ・README.md ・LICENSE.txt 【10用途例】 営業リスト整理 / 提携候補URL検証 / 料金ページ変更確認 / 採用ページ更新確認 / 官公庁・自治体公開ページ差分 / 競合公開ページ確認 / 記事一覧整理 / RAG投入前URL整理 / AI調査issues記録 / 納品前hash確認 【向いている人】 ・CSVの目視確認を毎回している ・公開ページの変更を後から説明したい ・AI調査の出力に出典・issue・hashを残したい 【動作環境】 Python 3.11+推奨。外部Pythonパッケージ不要。 【非対応】 CAPTCHA回避、ログイン突破、アクセス制限回避、private/local networkへの取得、個人情報の不正収集、高頻度・高負荷取得、規約違反の収集、成果保証。 「速く集める」だけでなく、「なぜこの結果になったか」を後から確認しやすくするためのKitです。