معیارها پیدا می کنند “Deepseek-V3-0324 آسیب پذیرتر از QWEN2.5-MAX” است

با جدیدترین نسخه پایدار مورخ 28 ژانویه 2025 ، QWEN2.5-MAX به عنوان یک مدل زبان مخلوط (MOE) طبقه بندی شده توسط Alibaba طبقه بندی می شود. مانند سایر مدلهای زبان ، QWEN2.5-MAX قادر به تولید متن ، درک زبانهای مختلف و انجام منطق پیشرفته است. طبق معیارهای اخیر ، این نیز از Deepseek-V3-0324 امن تر است.

استفاده از Recon برای اسکن برای آسیب پذیری ها

تیمی از تحلیلگران با Protect AI ، شرکت پشت یک تیم قرمز و آسیب پذیری امنیتی ابزار اسکن معروف به Recon ، اخیراً از سکوی خود برای مقایسه امنیت QWEN2.5-MAX در برابر Deepseek-V3 استفاده کرده است.

ارزیابی این تیم ، تا حدودی آمده است: “ما مشاهده کردیم که Deepseek-V3-0324 از QWEN2.5-MAX آسیب پذیرتر است ، با این که بازسازی تقریباً 25 ٪ میزان موفقیت حمله (ASR) را بدست آورد.”

در حالی که ممکن است از رقابت آن ایمن تر باشد ، QWEN2.5-MAX دقیقاً کامل نیست. با توجه به تست های آنها ، مدل AI بیش از همه مستعد است تزریق سریع حملات ، زیرا این تقریباً 48 ٪ از کل حملات سایبری موفق علیه Qwen2.5-MAX را نشان می داد. حملات فرار و فرار از زندان با ASR تقریبی 40 ٪ برای هر دو موفقیت کمتری داشت.

قرار گرفتن در معرض آسیب پذیری در Deepseek-V3

Recon با استفاده از یک کتابخانه جامع حمله برای اسکن مدل های AI ژنرال جریان و شناسایی آسیب پذیری ها در شش دسته خاص:

• تکنیک های فرار
• نشت سریع سیستم
• حملات تزریق سریع
• تلاش برای فرار از زندان
• کنترل ایمنی عمومی
• مقاومت پسوند مخالف

علاوه بر حملات سایبری شبیه سازی شده ، Recon همچنین مقاومت مدل های AI را در برابر تولید محتوای بالقوه مضر یا غیرقانونی ارزیابی می کند. به عنوان مثال ، در طول تست های مقاومت به پسوند مخالف ، تلاش برای دستکاری مدل AI در تولید محتوای مضر یا غیرقانونی.

در محافظت از تیم AI Ran Recon در برابر هر دو QWEN2.5-MAX و DEEPSEEK-V3 ، با این که سابق با افزایش موفقیت حمله کمتر (ASR) در انواع حملات برخوردار است. از جمله فرار از زندان ، تزریق سریع و تکنیک های فرار.

در حالی که QWEN2.5-MAX 47 ٪ ASR در برابر حملات تزریق سریع ، در مقایسه با Deepseek-V3 به ویژه 77 ٪ بالاتر بود. در برابر تکنیک های فرار ، QWEN2.5-MAX 39.4 ٪ ASR را در برابر تکنیک های فرار به دست آورد ، در حالی که Deepseek-V3 69.2 ٪ به دست آورد. هر دو مدل AI نتایج مشابهی را در سایر حملات سایبری شبیه سازی شده نشان دادند.

تجزیه و تحلیل نقاط قوت Deepseek-V3

علیرغم نقاط ضعف امنیتی ، Deepseek-V3-0324 هنوز هم در چندین معیار مختلف از QWEN2.5-MAX بهتر است. بر خلاف ASR ، نمره بالاتری در این تست ها در واقع نشان دهنده عملکرد بهتر است.

با توجه به این معیارها ، نقاط قوت Deepseek-V3-0324 شامل درک عمومی زبان (MMLU-PRO) ، مباحث پیشرفته مانند زیست شناسی ، فیزیک و شیمی (الماس GPQA) ، ریاضیات (MATH-500 ، AI در پزشکی (Aime 2024) و کدگذاری (LiveCodebench) است.