Telegram-канал wbnet - VPN CLUB: Неотсортированное

VPN CLUB

27 января 2025 21:46

در حال حاضر آموزش مدل‌های پیشرفته هوش مصنوعی فوق‌العاده گرونه. شرکت‌هایی مثل OpenAI و Anthropic بیش از ۱۰۰ میلیون دلار برای پردازش و train هزینه می‌کنن.
اونا به دیتاسنترهای عظیمی نیاز دارن که از هزاران GPU با قیمت هر کدوم ۴۰ هزار دلار تشکیل شدن.

‏اونا همه چیز رو از پایه بازطراحی کردن. الگوریتمهای هوش مصنوعی مرسوم شبیه اینه که هر عدد رو با ۳۲ رقم اعشار بنویسی. DeepSeek گفت: «اگه فقط از ۸ رقم استفاده کنیم چی؟ هنوز به‌اندازه کافی دقیق هست!»

نتیجه؟ حالا ۷۵٪ حافظه کمتری نیاز دارن.
بعد می‌رسیم به سیستم «چندتوکنی» اونا. هوش مصنوعی معمولی مثل کلاس اولی‌ها می‌خونه: «گربه... روی... زمین... نشست...» اما DeepSeek کل عبارات رو یکجا می‌خونه. دو برابر سریع‌تر و با دقت ۹۰ درصدی.
وقتی با میلیاردها کلمه سروکار داری، این خیلی مهمه.
اما نکته واقعاً هوشمندانه اینجاست: اونا یه «سیستم متخصص» ساختن. به جای اینکه یه هوش مصنوعی عظیم سعی کنه همه چیز رو بلد باشه (مثل این که یه نفر هم پزشک باشه، هم وکیل، هم مهندس)، اونا متخصص‌های جداگانه‌ای دارن که فقط وقتی نیاز باشه فعال می‌شن.
در مدل‌های دیگه هر ۱.۸ تریلیون پارامتر همیشه فعال هستن. DeepSeek چطور؟ ۶۷۱ میلیارد پارامتر داره، ولی فقط ۳۷ میلیاردش همزمان فعال می‌شن. شبیه اینه که یه تیم بزرگ داشته باشی، ولی فقط متخصص‌هایی که برای هر کار لازمن رو صدا بزنی.
نتایج حیرت‌انگیزن:
- هزینه آموزش: ۱۰۰ میلیون دلار—> ۵ میلیون دلار
- تعداد GPUهای لازم: ۱۰۰,۰۰۰ —> ۲,۰۰۰
- هزینه ای پی آی : ۹۵٪ کمتر
- قابلیت اجرا روی GPUهای گیمینگ به جای سخت‌افزار دیتاسنتری
الان شاید بگی، «شاید یه کلکی تو‌ کارشونه!»
ولی نه؛ جالب اینجاست که همه‌چیز متن‌بازه. هر کسی می‌تونه کارشون رو بررسی کنه. کدشون عمومیه. مقالات فنی همه‌چیز رو توضیح می‌دن. این جادو نیست، فقط مهندسی فوق‌العاده هوشمندانه است.
حالا این چرا برای بازارها مهمه؟

چون این تصور رو می‌شکنه که «فقط شرکت‌های بزرگ فناوری می‌تونن وارد بازی هوش مصنوعی بشن.» دیگه به دیتاسنترهای میلیارد دلاری نیازی نیست.
چندتا GPU خوب هم ممکنه کفایت کنه.
برای Nvidia، این ترسناکه. کل مدل کسب‌وکارشون روی فروش GPUهای فوق‌العاده گرون با حاشیه سود ۹۰٪ بنا شده.

اگه همه یه‌دفعه بتونن با GPUهای معمولی گیمینگ هوش مصنوعی اجرا کنن... خب، خودت متوجه مشکلی که پیش میاد!
و نکته جالب اینه: DeepSeek این کار رو با تیمی کمتر از ۲۰۰ نفر انجام داده. در همین حال، متا تیم‌هایی داره که فقط هزینه حقوقشون از کل بودجه آموزش DeepSeek بیشتره... و مدل‌هاشون به این خوبی نیست.
این یه داستان کلاسیک از تحول انقلابی توی صنعته: شرکت‌های بزرگ روی بهینه‌سازی فرآیندهای موجود تمرکز می‌کنن، در حالی که شرکت‌های تحول‌گرا اساس کار رو از نو طراحی می‌کنن. DeepSeek پرسید: «چی میشه اگه به‌جای سخت‌افزار بیشتر، این کار رو هوشمندانه‌تر انجام بدیم؟»

پیامدها عظیم‌این اتفاق:
- توسعه هوش مصنوعی برای همه قابل‌دسترس‌تر می‌شه
- رقابت به‌شدت افزایش پیدا می‌کنه
- «خندق‌های دفاعی» شرکت‌های بزرگ فناوری بیشتر شبیه به چاله‌های بی اثر می‌شن
- نیازهای سخت‌افزاری (و هزینه‌ها) به‌شدت کاهش پیدا می‌کنن

البته، غول‌هایی مثل OpenAI و Anthropic بیکار نمی‌مونن. احتمالاً همین حالا دارن این نوآوری‌ها رو پیاده می‌کنن.
اما دیگه برگشتن به روش «فقط GPUهای بیشتری اضافه کن» ممکن نیست و کار نمی کنه.
باید هزینه ها رو‌مدیریت کرد.

‏و در نهایت، این لحظه شبیه یکی از اون نقاط عطفیه که بعداً بهش نگاه می‌کنیم، مثل وقتی که کامپیوترهای شخصی جایگاه مین‌فریم‌ها رو کم‌رنگ کردن، یا وقتی که رایانش ابری همه‌چیز رو متحول کرد.

هوش مصنوعی قراره خیلی در دسترس‌تر و خیلی ارزون‌تر بشه.

منبع