{ "id": "veil-persian-tokenizer-corpus", "version": "1.0.0", "created": "2026-08-19", "license": "CC-BY-4.0", "title": "Veil paired Persian/English tokenizer corpus", "purpose": "A fixed, published set of Persian passages with faithful English translations, used to measure how many tokens each model's tokenizer spends on the same meaning in each language. Every item is an original composition written for this corpus, so redistribution carries no third-party rights and no model can have memorised it from a public benchmark.", "method": "Each item is written first in Persian at a natural register, then translated into English so that both carry the same information. Neither side is a word-for-word gloss: a gloss would inflate one language's length for grammatical reasons and corrupt the ratio being measured.", "registers": [ "news", "technical", "policy", "conversational", "scientific", "product", "finance", "education", "legal", "literary", "medical", "instruction" ], "items": [ { "id": "news-01", "register": "news", "fa": "شرکت سازنده این مدل اعلام کرد که نسخه تازه از هفته آینده در دسترس کاربران قرار می‌گیرد و قیمت هر میلیون توکن ورودی نسبت به نسخه پیشین کاهش یافته است.", "en": "The company behind the model said the new version will be available to users from next week, and that the price per million input tokens has fallen relative to the previous release." }, { "id": "news-02", "register": "news", "fa": "در نشست خبری روز سه‌شنبه، مدیر پژوهش این آزمایشگاه گفت که هیچ برنامه‌ای برای انتشار وزن‌های مدل وجود ندارد، اما گزارش فنی کاملی منتشر خواهد شد.", "en": "At a press briefing on Tuesday, the lab's head of research said there is no plan to release the model weights, but that a full technical report will be published." }, { "id": "news-03", "register": "news", "fa": "دو شرکت رقیب در یک هفته مدل‌های خود را معرفی کردند و هر دو ادعا کردند که در آزمون‌های استدلال ریاضی از یکدیگر پیشی گرفته‌اند.", "en": "Two rival companies announced their models in the same week, and each claimed to have surpassed the other on mathematical reasoning benchmarks." }, { "id": "technical-01", "register": "technical", "fa": "پنجره متن، بیشینه تعداد توکن‌هایی است که یک مدل می‌تواند در یک درخواست در نظر بگیرد؛ هر چیزی فراتر از آن باید خلاصه یا حذف شود.", "en": "The context window is the maximum number of tokens a model can attend to in a single request; anything beyond it must be summarised or dropped." }, { "id": "technical-02", "register": "technical", "fa": "برای کاهش تأخیر، پاسخ به صورت جریانی فرستاده می‌شود، بنابراین نخستین توکن پیش از آماده شدن کل متن به کاربر می‌رسد.", "en": "To reduce latency the response is streamed, so the first token reaches the user before the whole text is ready." }, { "id": "technical-03", "register": "technical", "fa": "اگر حافظه پنهان درخواست فعال باشد، بخش ثابت دستور سیستمی تنها یک بار پردازش می‌شود و در فراخوانی‌های بعدی هزینه‌ای ندارد.", "en": "If prompt caching is enabled, the fixed part of the system instruction is processed only once and costs nothing on subsequent calls." }, { "id": "technical-04", "register": "technical", "fa": "مدل با دقت کاهش‌یافته اجرا می‌شود تا در حافظه کارت گرافیک جا شود، و این کار کیفیت خروجی را اندکی پایین می‌آورد.", "en": "The model runs at reduced precision so that it fits in the graphics card's memory, and doing so slightly lowers output quality." }, { "id": "policy-01", "register": "policy", "fa": "سیاست جدید صادرات، فروش شتاب‌دهنده‌های پیشرفته به چند کشور را مشروط به دریافت مجوز می‌کند و بازفروش آن‌ها را ممنوع می‌داند.", "en": "The new export policy makes the sale of advanced accelerators to several countries conditional on a licence, and forbids their resale." }, { "id": "policy-02", "register": "policy", "fa": "نهاد ناظر خواستار آن شده است که هر سامانه‌ای که تصمیم‌های استخدامی می‌گیرد، سازوکار اعتراض و بازبینی انسانی داشته باشد.", "en": "The regulator has demanded that any system making hiring decisions provide an appeals process and human review." }, { "id": "conversational-01", "register": "conversational", "fa": "دیروز امتحانش کردم و راستش انتظار نداشتم اینقدر خوب جواب بدهد، مخصوصاً وقتی سؤال را فارسی پرسیدم.", "en": "I tried it yesterday and honestly I did not expect it to work this well, especially when I asked the question in Persian." }, { "id": "conversational-02", "register": "conversational", "fa": "می‌شود لطفاً همان متن را کوتاه‌تر بنویسی؟ فقط سه جمله، بدون مقدمه، و با لحن ساده.", "en": "Could you please write that same text more briefly? Just three sentences, no preamble, in a plain tone." }, { "id": "conversational-03", "register": "conversational", "fa": "نمی‌دانم مشکل از اینترنت من است یا از خود سرویس، چون هر بار بعد از چند ثانیه قطع می‌شود.", "en": "I do not know whether the problem is my connection or the service itself, because it drops after a few seconds every time." }, { "id": "scientific-01", "register": "scientific", "fa": "ما نشان می‌دهیم که افزودن داده مصنوعی به مجموعه آموزش، خطای مدل را در وظایف کم‌منبع کاهش می‌دهد، اما در وظایف پرمنبع تأثیر معناداری ندارد.", "en": "We show that adding synthetic data to the training set reduces model error on low-resource tasks, but has no significant effect on high-resource ones." }, { "id": "scientific-02", "register": "scientific", "fa": "نتایج بر پایه سه اجرای مستقل با بذرهای تصادفی متفاوت گزارش شده و بازه اطمینان نود و پنج درصد در جدول آمده است.", "en": "Results are reported over three independent runs with different random seeds, and the ninety-five percent confidence interval is given in the table." }, { "id": "scientific-03", "register": "scientific", "fa": "پیش از این تصور می‌شد که بزرگ‌تر کردن مدل به تنهایی کافی است، ولی شواهد تازه نشان می‌دهد کیفیت داده نقش تعیین‌کننده‌تری دارد.", "en": "It was previously assumed that scaling the model alone was sufficient, but new evidence shows that data quality plays a more decisive role." }, { "id": "product-01", "register": "product", "fa": "برای ادامه، حساب خود را تأیید کنید. پیوند تأیید به نشانی ایمیل شما فرستاده شد و تا یک ساعت معتبر است.", "en": "To continue, verify your account. A confirmation link has been sent to your email address and is valid for one hour." }, { "id": "product-02", "register": "product", "fa": "این تغییر قابل بازگشت نیست. پس از حذف، همه گفت‌وگوهای ذخیره‌شده و کلیدهای دسترسی شما از بین می‌روند.", "en": "This change cannot be undone. After deletion, all your saved conversations and access keys are permanently lost." }, { "id": "finance-01", "register": "finance", "fa": "هزینه ماهانه بر پایه مصرف واقعی محاسبه می‌شود و سقف مشخصی ندارد، مگر آنکه در تنظیمات محدودیتی تعیین کرده باشید.", "en": "The monthly cost is calculated from actual usage and has no fixed ceiling, unless you have set a limit in the settings." }, { "id": "finance-02", "register": "finance", "fa": "درآمد این بخش در سه ماهه گذشته رشد کرد، اما حاشیه سود به دلیل هزینه سنگین زیرساخت پردازشی کاهش یافت.", "en": "Revenue in this segment grew last quarter, but the profit margin fell because of heavy compute infrastructure costs." }, { "id": "education-01", "register": "education", "fa": "برای فهمیدن این مفهوم لازم نیست ریاضیات پیشرفته بدانید؛ کافی است بدانید که مدل بر پایه احتمال، واژه بعدی را حدس می‌زند.", "en": "You do not need advanced mathematics to understand this idea; it is enough to know that the model guesses the next word from probability." }, { "id": "education-02", "register": "education", "fa": "دانشجویان باید تا پایان هفته گزارش خود را همراه با کد و توضیح روش ارزیابی تحویل دهند.", "en": "Students must submit their report by the end of the week, together with the code and an explanation of the evaluation method." }, { "id": "legal-01", "register": "legal", "fa": "استفاده از این سرویس به معنای پذیرش شرایطی است که در سند حاضر آمده، و هرگونه اختلاف طبق قوانین محل ثبت شرکت بررسی می‌شود.", "en": "Use of this service constitutes acceptance of the terms set out in this document, and any dispute is resolved under the laws of the company's place of registration." }, { "id": "legal-02", "register": "legal", "fa": "دارنده حق، اجازه بازنشر متن را تنها با ذکر منبع و بدون تغییر در محتوا صادر کرده است.", "en": "The rights holder has granted permission to republish the text only with attribution and without modification of its content." }, { "id": "literary-01", "register": "literary", "fa": "شب که می‌رسید، چراغ اتاق را روشن می‌کرد و تا صبح می‌نوشت، انگار که واژه‌ها جای خواب را برایش گرفته باشند.", "en": "When night came he would turn on the lamp and write until morning, as though words had taken the place of sleep for him." }, { "id": "literary-02", "register": "literary", "fa": "از پنجره که نگاه می‌کردی، شهر زیر باران کوچک‌تر به نظر می‌رسید و صداها دورتر می‌شدند.", "en": "Looking out from the window, the city seemed smaller under the rain and the sounds grew more distant." }, { "id": "medical-01", "register": "medical", "fa": "بیمار باید دارو را با معده پر مصرف کند و در صورت مشاهده هرگونه واکنش پوستی، بلافاصله مصرف را قطع کند.", "en": "The patient should take the medication on a full stomach and stop immediately if any skin reaction appears." }, { "id": "instruction-01", "register": "instruction", "fa": "متن زیر را بخوان و فقط نام شرکت‌ها را فهرست کن. هیچ توضیحی اضافه نکن و ترتیب ظاهر شدن آن‌ها را حفظ کن.", "en": "Read the text below and list only the company names. Add no explanation and preserve the order in which they appear." }, { "id": "instruction-02", "register": "instruction", "fa": "اگر پاسخ را نمی‌دانی، بگو نمی‌دانم. حدس زدن در این وظیفه بدتر از پاسخ ندادن است.", "en": "If you do not know the answer, say that you do not know. Guessing is worse than not answering in this task." } ] }