日本語RAGつまずきテスト集 架空の資料群をRAGへ取り込み、古い版・例外・似た名前で回答がどう変わるかを、根拠と並べて確かめる日本語テスト集です。 資料検索AI（RAG）を作っていると、正常な資料と問いだけでは、資料のどこで回答が崩れるか分かりません。自分で資料、問い、正解、根拠をそろえる手間を減らしたい個人開発者向けに、架空の複合施設を一つの資料群として収録しました。 できること モデルへ渡す資料・質問と、照合用の正解を別フォルダにしています。旧版と新版、例外条件、似た名前、表、複数資料、基準日、否定条件、根拠不足、同順位の資料の矛盾を試せます。 PythonのCLIで資料の整合性を確認し、自分の回答をJSONLで渡すと、キーファクト、罠の値、出典IDを照合します。HTMLでは問い、回答、正解例、根拠引用、判定理由を並べて読めます。人の判定は別に記録できます。 収録物 有料版は、架空のトユレハ交流館に関する30文書、100問、10分類。本文合計27,154文字は、共通の案内段落・メタデータ・表・改行を含みます。共通段落の重複分7,464文字を除くと19,690文字です。Markdownの表は11点です。 正解例・理由・許容する表現差は全100問に付きます。キーファクトは回答する86問、典型の罠の値は該当する74問、原文の根拠引用は97問に付けています。根拠不足8問のうち5問には不記載を明示した箇所を引用し、残る3問は引用の代わりに全文書での不記載の理由を示します。矛盾6問は3つの食い違いを各2通りで問います。根拠不足・矛盾の14問はキーファクトが空で、最終判定は人が行います。引用は原文に一度だけ一致することを機械検証しました。 資料検証、モデル入力の書出し、回答照合、HTML、人の判定の雛形、模擬回答のデモを実行するCLIとPythonライブラリ、日本語の導入・CLI・API・制約・FAQを含みます。RAGを接続する雛形も収録しています。 質問 無料版 0円：10問・10分類 有料版 1,980円：無料版の10問を含む100問・10分類 資料 無料版 0円：関係文書と罠を残す12文書 有料版 1,980円：全30文書 正解と根拠 無料版 0円：10問分 有料版 1,980円：100問分 ライブラリとCLI 無料版 0円：同じ 有料版 1,980円：同じ 無料版だけで資料検証とデモを実行できます。旧版、夜間延長、解消できない運営記録の矛盾も残しています。 動作環境 確認済みはWindows 11、Python 3.12.14です。ZIPを展開したフォルダで python -m ragtrap_ja を使います。ランタイムはPython標準ライブラリのみで、実行時に外部通信しません。Python本体の取得には通信が必要です。任意の pip install . はビルドツール取得で通信する場合があります。 できないこと RAGシステム、モデル本体、モデル導入、GPU設定、PDF解析、OCR、本番データ接続、LLMによる採点、モデル別の成績表は含みません。 照合は文字列と出典IDの確認です。数字の境界と登録表現を確かめますが、回答の意味、否定、引用の妥当性は判断しません。言い換えによる未一致や、否定した罠の値への警告があり、誤った回答でも登録表現を含めば一致することがあります。最後は人が根拠を読んで確認します。機械照合の集計は回答品質の正答率ではありません。画像のレポートは同梱の模擬回答によるもので、実モデルの出力ではありません。 利用条件 個人または1法人の個人・商用利用、改変、自作品や納品物への組み込みができ、クレジットは不要です。自分・自社・顧客のRAG検証に使え、検証結果を公開・販売できます。 本品をそのまま、改変して、または同種のデータ集として再配布・再販売・公開できません。無料版の紹介は商品ページのURLで行ってください。問題・正解・資料の引用は説明に必要な範囲で、全体の1割未満を目安とします。一覧での再配布はできません。モデルの学習への使用は禁止しませんが、評価用としての意味が失われます。 記載機能が記載環境で動くことを目標に制作・確認し、再現できる不具合は修正に努めます。特定用途への適合、利用者が選ぶモデルの振る舞い、利用結果は保証しません。法令によって制限できない責任、故意・重過失の責任を除き、賠償の上限は購入代金とします。法令が優先します。詳しい条件は同梱LICENSE_JA.mdにあります。 サポート TAMA LABのBOOTHメッセージで、ファイルの破損、記載機能の再現可能な不具合、説明の誤りを受け付けます。ショップの「ショップへのお問い合わせ」から連絡でき、BOOTHへのログインが必要です。購入者は注文詳細のメッセージ導線も使えます。 個別のPC設定、利用者のコード修正、用途ごとの運用保証は含みません。確認でき次第返信し、返信期限は設けていません。問い合わせテンプレートを同梱しています。機密資料、個人情報、認証情報、実際の業務データを送らないでください。 ダウンロード商品の性質上、購入後の返品は原則受けていません。ファイル破損や記載機能の不具合に修正版を提供できない場合は個別に対応します。BOOTHの規約と法令が優先します。 版とSHA-256 版：1.0.1。 ragtrap-ja-full-v1.0.1.zip 0e1dbfad41f6b300f3a5af2c35b88718bd5295ff86c6823c758925669ce3f1f0 ragtrap-ja-free-v1.0.1.zip c44cd017e344ac751885b64d84e21fec38f76afd753203a8fb0f68a31c8ea661 AIの使用 AIモデルで制作し、自動テストと作問担当とは別のAIセッションによる点検を行っています。初版の全100問の独立解答を基礎に、変更した入力の差分を再確認する手順です。自動テストと別モデルによる全100問の独立審査で確認した版だけを、BOOTHへ登録・配布します。登録前に最終審査のPASSと対象版・両ZIPのSHA-256の一致を照合します。人が全件を確認したとは表示していません。 本品はPythonやモデル提供者、RAGサービスの公式製品ではありません。モデル重み、第三者の有料教材、画像、フォントを同梱しません。