تنظیم دقیق منابع از Deepseek-R1 | به سمت هوش مصنوعی

ما دیگر به دنبال اعتبار سنجی نیستیم تا بگوییم Deepseek R1 بسیار جذاب است. واقعاً است

Deepseek می تواند عملکرد قابل مقایسه ای را برای Openai-O1 اما با بخشی از هزینه آن فراهم کند. دلیلش این است که مدل منبع باز است.

با این حال ، ما نمی توانیم از آن استفاده کنیم و از آن در برنامه های درجه تولید استفاده کنیم. هر مدل ، وزن باز یا اختصاصی ، هزینه استنتاج دارد که باید متناسب با بودجه شما باشد. نیازی به گفتن نیست ، هرچه پارامترهای بیشتری وجود داشته باشد ، هزینه های بیشتری نیز وجود دارد.

R1 Deepseek یک مدل پارامتر 671 میلیارد است. برای هر استنتاج داده شده ، حدود 37 میلیارد پارامتر فعال این کار را انجام می دهند کار برای شما برای میزبانی این مدل به صورت محلی ، حداقل 90 گیگابایت VRAM نیاز دارید.

در اینجا یک محاسبه پشت پرده از GPU حافظه مورد نیاز برای میزبانی مدل است.