docs(data): add 21-question evaluation dataset for benchmarking

Why:
- Need standardized questions to evaluate chunking strategies
- Questions cover easy/medium/hard difficulty levels
- Golden answers enable automated scoring

Changes:
- 21 questions about engineering insurance (بیمه‌های مهندسی)
- 7 easy, 7 medium, 7 hard questions
- Categories: factual, procedural, comparative, complex
- Each question includes golden answer and expected keywords

files/questions.json

@@ -0,0 +1,179 @@
+{
+  "metadata": {
+    "document": "چت بات-مهندسی.doc",
+    "description": "Questions for evaluating chunking strategies on engineering insurance document (بیمه‌های مهندسی)",
+    "version": "1.0",
+    "created_at": "2026-07-26",
+    "author": "RAG Benchmarker"
+  },
+  "questions": [
+    {
+      "id": "q1",
+      "question": "این سند در مورد چیست؟",
+      "expected_keywords": ["بیمه", "مهندسی", "اطلاعات", "مدیریت"],
+      "expected_answer": "این سند شامل اطلاعات مدیریت بیمه‌های مهندسی به منظور استفاده در سامانه هوشمند فناوری اطلاعات (چت بات) است و تعاریف، اصطلاحات و مفاهیم بیمه‌های مهندسی را پوشش می‌دهد.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q2",
+      "question": "سند از چه بخش‌هایی تشکیل شده است؟",
+      "expected_keywords": ["بخش اول", "بخش دوم", "بخش سوم", "بخش چهارم", "بخش پنجم"],
+      "expected_answer": "سند از پنج بخش تشکیل شده: کلیات و مفاهیم بیمه‌های مهندسی، اصطلاحات و تعاریف عمومی، دست‌اندرکاران اجرای پروژه، اجزای تشکیل‌دهنده بیمه، و توضیح اصطلاحات فنی.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q3",
+      "question": "اولین بیمه مهندسی در ایران در چه سالی صادر شد؟",
+      "expected_keywords": ["1342", "سال", "اولین"],
+      "expected_answer": "اولین بیمه مهندسی در ایران در سال 1342 صادر گردید.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q4",
+      "question": "شرکت بیمه دیگ بخار در چه سالی تأسیس شد؟",
+      "expected_keywords": ["1858", "شرکت", "بیمه", "دیگ بخار"],
+      "expected_answer": "شرکت بیمه دیگ بخار در سال 1858 میلادی تأسیس شد که نخستین شرکت بیمه در زمینه بیمه‌های مهندسی بود.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q5",
+      "question": "بیمه‌های مهندسی به چه سه دسته کلی تقسیم می‌شوند؟",
+      "expected_keywords": ["در حال احداث", "در حال بهره‌برداری", "خاص"],
+      "expected_answer": "بیمه‌های مهندسی به سه دسته کلی تقسیم می‌شوند: بیمه‌نامه‌های در حال احداث (Construction)، بیمه‌نامه‌های در حال بهره‌برداری (Operation)، و بیمه‌نامه‌های خاص.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q6",
+      "question": "چه خطراتی در بیمه‌های مهندسی تحت پوشش طبیعی هستند؟",
+      "expected_keywords": ["سیل", "زلزله", "طوفان", "طبیعی"],
+      "expected_answer": "خطرات طبیعی شامل سیل، زلزله، طوفان، طغیان آب، باران، برف، آتشفشان و مواردی است که انسان در به وجود آمدن آن نقشی ندارد.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q7",
+      "question": "نام سازمانی که در سال 1854 در منچستر تأسیس شد چیست؟",
+      "expected_keywords": ["سازمان", "استفاده‌کنندگان", "دیگ بخار", "منچستر"],
+      "expected_answer": "سازمان استفاده‌کنندگان از دیگ‌های بخار در سال 1854 در شهر منچستر انگلیس تأسیس شد.",
+      "category": "factual",
+      "difficulty": "easy"
+    },
+    {
+      "id": "q8",
+      "question": "تفاوت قراردادهای EPC و PC در پروژه‌های مهندسی چیست؟",
+      "expected_keywords": ["طراحی", "تهیه", "احداث", "کلیدگردان"],
+      "expected_answer": "در قرارداد PC پیمانکار علاوه بر ساخت، تهیه و خریداری مصالح را نیز بر عهده دارد، اما در قرارداد EPC پیمانکار کلیه کارهای طراحی، تدارکات و ساخت را اجرا می‌کند و پروژه کاملاً آماده بهره‌برداری تحویل می‌دهد. اصطلاحاً EPC را کلیدگردان نیز می‌نامند.",
+      "category": "comparative",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q9",
+      "question": "ماده 21 شرایط عمومی پیمان شامل چه مواردی است؟",
+      "expected_keywords": ["حفاظت", "شخص ثالث", "بیمه کار", "مراقبت"],
+      "expected_answer": "ماده 21 شامل حفاظت از کار و شخص ثالث، بیمه کار، و مراقبت‌های لازم است. پیمانکار از روز تحویل کارگاه تا روز تحویل موقت مسئول حفظ و نگهداری مصالح، تجهیزات، ماشین‌آلات و کارها در مقابل عوامل جوی، سرقت، حریق و مانند آن است.",
+      "category": "procedural",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q10",
+      "question": "پوشش‌های بیمه CAR شامل چه مواردی است؟",
+      "expected_keywords": ["فیزیکی", "ناگهانی", "غیرقابل پیش‌بینی", "تمام خطر"],
+      "expected_answer": "پوشش‌های بیمه CAR شامل کلیه خطرات و حوادثی است که دارای سه مشخصه فیزیکی، ناگهانی و غیرقابل پیش‌بینی باشند، به جزء آنچه صراحتاً در بیمه‌نامه مستثنی شده است. این پوشش‌ها شامل صاعقه، انفجار، آتش‌سوزی، زلزله، سرقت و موارد دیگر است.",
+      "category": "factual",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q11",
+      "question": "فرانشیز بیمه CAR چگونه محاسبه می‌شود؟",
+      "expected_keywords": ["درصد", "حداقل", "10 تا 20", "طبیعی", "سایر"],
+      "expected_answer": "فرانشیز معمولاً از دو قسمت درصد و حداقل تشکیل شده است. درصد فرانشیز بسته به ارزیابی بیمه‌گر از ریسک بین 10 تا 20 درصد متغیر بوده و حداقل فرانشیز معمولاً بین 1 تا 2 درصد سرمایه مورد بیمه است. در بیمه‌های دوره احداث فرانشیز به دو دسته فرانشیز خطرات طبیعی و فرانشیز سایر خطرات تقسیم می‌گردد.",
+      "category": "procedural",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q12",
+      "question": "استثنائات بیمه CAR به چه سه قسمت تقسیم می‌شوند؟",
+      "expected_keywords": ["عمومی", "ویژه بخش یک", "ویژه بخش دو"],
+      "expected_answer": "استثنائات بیمه CAR به سه قسمت استثنائات عمومی، استثنائات ویژه بخش یک (خسارات مادی)، و استثنائات ویژه بخش دو (مسئولیت مدنی کارفرما در قبال اشخاص ثالث) تقسیم می‌گردد.",
+      "category": "factual",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q13",
+      "question": "بیمه CPM چه تفاوتی با بیمه اتومبیل دارد؟",
+      "expected_keywords": ["پلاک انتظامی", "متحرک", "ثابت", "پیمانکاری"],
+      "expected_answer": "بیمه CPM برای پوشش بدنه ماشین‌آلات و تجهیزات ثابت یا متحرک فاقد پلاک انتظامی طراحی شده است. ماشین‌آلات متحرک دارای پلاک انتظامی تحت پوشش بیمه‌های اتومبیل هستند و از مبحث بیمه‌های مهندسی خارج می‌باشند.",
+      "category": "comparative",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q14",
+      "question": "مدارک مورد نیاز جهت صدور بیمه‌نامه تمام خطر مقاطعه‌کاری شامل چه مواردی است؟",
+      "expected_keywords": ["پرسشنامه", "قرارداد", "نقشه", "صورت ریز"],
+      "expected_answer": "مدارک مورد نیاز شامل: 1) پرسشنامه تکمیل شده، 2) کپی قرارداد یا پیمان، 3) نقشه کلی کار، 4) صورت ریز اقلام و مصالح، 5) جدول زمان‌بندی کار است.",
+      "category": "procedural",
+      "difficulty": "medium"
+    },
+    {
+      "id": "q15",
+      "question": "الحاقیه‌ها به چه سه گروه تقسیم می‌شوند و هر کدام چه زمانی صادر می‌شوند؟",
+      "expected_keywords": ["اضافی", "برگشتی", "اصلاحی", "افزایش", "کاهش", "تغییر"],
+      "expected_answer": "الحاقیه‌ها به سه گروه تقسیم می‌شوند: 1) الحاقیه‌های اضافی - وقتی تغییرات موجب افزایش حق بیمه شود (مثل افزایش سرمایه)، 2) الحاقیه‌های برگشتی - وقتی تغییرات موجب کاهش حق بیمه شود (مثل کاهش سرمایه یا فسخ)، 3) الحاقیه‌های اصلاحی - وقتی تغییرات بدون تأثیر بر حق بیمه باشد (مثل تغییر نام).",
+      "category": "procedural",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q16",
+      "question": "در صورت توقف پروژه، بیمه‌گزار چه اقداماتی باید انجام دهد و چه پوشش‌هایی قابل ارائه است؟",
+      "expected_keywords": ["توقف", "الحاقیه", "تعلیق", "ریسک‌های خاموش", "آتش‌سوزی", "سرقت"],
+      "expected_answer": "در صورت توقف پروژه، بیمه‌گزار باید بلافاصله به بیمه‌گر اطلاع دهد. بیمه‌گر با صدور الحاقیه تعلیق، پوشش بیمه‌ای را متوقف کرده یا ریسک‌های خاموش (Silent Risks) شامل پوشش‌های محدود مانند آتش‌سوزی، سرقت و حوادث طبیعی را با حق بیمه جداگانه ارائه می‌دهد. پس از اتمام توقف نیز باید الحاقیه دیگری برای ادامه پوشش تمام خطر صادر شود.",
+      "category": "complex",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q17",
+      "question": "تفاوت بیمه‌نامه‌های تمام خطر و بیمه‌نامه‌های خطرات معین (Named Perils) چیست و هر کدام چه مزایایی دارند؟",
+      "expected_keywords": ["تمام خطر", "استثنائات", "危险ات معین", "پوشش", "محدود"],
+      "expected_answer": "در بیمه تمام خطر تمامی خطرات تحت پوشش است به جز استثنائاتی که در بیمه‌نامه ذکر شده و فقط استثنائات ذکر می‌شوند. در بیمه خطرات معین، خطرات تحت پوشش در بیمه‌نامه قید می‌گردد. مزیت تمام خطر پوشش گسترده‌تر و نیاز به خرید بیمه‌نامه‌های متعدد نیست، اما خطرات معین ممکن است حق بیمه کمتری داشته باشد.",
+      "category": "complex",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q18",
+      "question": "محاسبه خسارت در بیمه ماشین‌آلات پیمانکاری (CPM) در حالت خسارت کلی و جزئی چگونه است؟",
+      "expected_keywords": ["ارزش جایگزینی", "استهلاک", "کلی", "جزئی", "75 درصد"],
+      "expected_answer": "در خسارت جزئی اگر دستگاه نو باشد، ارزش جایگزینی نو قطعات خسارت‌دیده بدون کسر استهلاک پرداخت می‌شود. اگر مستعمل باشد استهلاک کسر می‌گردد. در خسارت کلی معادل ارزش جایگزینی نو ماشین خسارت‌دیده پرداخت می‌شود اما استهلاک کسر خواهد شد. اگر هزینه تعمیر از 75% ارزش مورد بیمه تجاوز کند، خسارت کلی تلقی می‌گردد.",
+      "category": "complex",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q19",
+      "question": "شرایط و مراحل پرداخت خسارت بیمه‌ای و تعهدات بیمه‌گزار پس از بروز حادثه چیست؟",
+      "expected_keywords": ["اعلام", "بازدید", "صورتجلسه", "مستندات", "14 روز"],
+      "expected_answer": "بیمه‌گزار پس از حادثه باید: 1) از توسعه خسارت جلوگیری کند، 2) حادثه را فوراً اطلاع دهد، 3) ظرف مهلت مقرر (معمولاً 14 روز) خسارت را اعلام کند، 4) قسمت‌های خسارت‌دیده را حفظ کند، 5) مستندات مورد نیاز را ارائه دهد. سپس کارشناسان از محل بازدید و صورتجلسه تهیه می‌کنند و پس از بررسی مستندات، خسارت قابل پرداخت را اعلام می‌نمایند.",
+      "category": "complex",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q20",
+      "question": "در بیمه تضمین کیفیت ساختمان (LDB)، چه سازه‌هایی تحت پوشش قرار می‌گیرند و مدت پوشش هر کدام چقدر است؟",
+      "expected_keywords": ["سازه اصلی", "سازه جانبی", "ده سال", "پنج سال", "سه سال"],
+      "expected_answer": "سازه‌های اصلی (حدود 35% مبلغ کار) شامل پی‌ها، ستون‌ها، کف‌ها، تیرها و سقف‌ها به مدت 10 سال، نمای ساختمان 5 سال، عایق‌های رطوبتی 5 سال، و تجهیزات و تأسیسات مکانیکی و برقی و آسانسورها 3 سال تحت پوشش هستند. سازه‌های جانبی (حدود 65% مبلغ کار) شامل اجزای غیرباربر مانند در و پنجره‌ها، گچکاری و کاشی‌کاری است.",
+      "category": "complex",
+      "difficulty": "hard"
+    },
+    {
+      "id": "q21",
+      "question": "موارد ابطال بیمه‌نامه توسط بیمه‌گر و تفاوت آن با فسخ بیمه‌نامه چیست؟",
+      "expected_keywords": ["ابطال", "فسخ", "کتمان حقیقت", "خسارت عمدی", "جعلی", "استرداد"],
+      "expected_answer": "ابطال بیمه‌نامه توسط بیمه‌گر به صورت یک‌جانبه در موارد زیر انجام می‌شود: 1) کتمان حقیقت یا اظهارات خلاف واقع، 2) ایجاد خسارات عمدی، 3) ایجاد خسارات جعلی. در ابطال حق بیمه‌ای به بیمه‌گزار عودت داده نمی‌شود. اما در فسخ (توافقی یا یک‌طرفه)، بیمه‌گر باید حق بیمه مدت باقیمانده را پس از کسر هزینه‌های کارشناسی برگرداند. مواردی مانند انصراف در همان روز صدور یا صدور مضاعف نیز با عودت کامل حق بیمه همراه است.",
+      "category": "complex",
+      "difficulty": "hard"
+    }
+  ]
+}