شکست بزرگ NPU: دو سال بعد، هوش مصنوعی محلی هنوز هم تماماً به پردازندههای گرافیکی وابسته است
در چند سال گذشته، اصطلاح «کامپیوتر هوش مصنوعی» اساساً چیزی بیش از «یک لپتاپ سبک و قابل حمل با واحد پردازش عصبی (NPU)» نبوده است. امروز، دو سال پس از عرضه پر زرق و برق NPUها با سختافزار Meteor Lake اینتل، این کامپیوترهای هوش مصنوعی هنوز هم مانند دموهای فناوری باشکوه به نظر میرسند.
مطالب مشابه: اخبار GPU
اما هوش مصنوعی محلی اینجاست! و این چشمگیر است. این فقط هیچ ارتباطی با NPUها ندارد. در واقع، اگر تنها چیزی که دارید یک NPU باشد، فکر میکنید هوش مصنوعی محلی شکست خورده است. واقعیت این است که ابزارهای هوش مصنوعی محلی از همیشه توانمندتر هستند – اما شما این را نمیدانید زیرا آنها به جای NPUها روی GPUها اجرا میشوند.
قرار بود NPUها عصر جدیدی از هوش مصنوعی محلی را در لپتاپها و رایانههای شخصی آغاز کنند. معلوم شد که تلاش بزرگ برای NPUها به طرز چشمگیری شکست خورده است.
NPUها (تاکنون) در ارائه هوش مصنوعی محلی شکست خوردهاند.
واحدهای پردازش عصبی کار میکنند. آنها حتی میتوانند برخی از ویژگیها و ترفندهای کوچک جالب را پشتیبانی کنند. اما به ما وعده عصری از کامپیوترهای شخصی هوش مصنوعی مبتنی بر NPU داده شده بود که ابزارهای هوش مصنوعی محلی قدرتمند و متحولکنندهای را اجرا میکردند. دو سال بعد، آن رویای بازاریابی تقریباً به شکست کامل تبدیل شد.
بله، میتوانید از انواع ویژگیهای Copilot+ PC در ویندوز استفاده کنید – مانند Windows Recall که هر پنج ثانیه از دسکتاپ کامپیوتر شما عکس میگیرد. همچنین در برنامه Photos، تولیدکننده تصویر وجود دارد که میتواند تصاویر واقعاً وحشتناکی ایجاد کند.
البته نکات مفیدی هم وجود دارد. جلوههای ویژه ویندوز استودیو برای بهبود ویدیوی وبکم شما خوب است و جستجوی معنایی، پیدا کردن فایلها در ویندوز را آسانتر میکند. اما این مزایای کوچک و جذاب، با آن تجربههای قدرتمند «اجرای هوش مصنوعی کامل روی رایانه شخصی» که توسط بازاریابی هیجانزده رایانههای شخصی مبتنی بر هوش مصنوعی به ما القا شده بود، فاصله زیادی دارند. یادتان هست وقتی مایکروسافت سال ۲۰۲۴ را «سال رایانههای شخصی مبتنی بر هوش مصنوعی» اعلام کرد؟ چه اتفاقی افتاد؟
بدتر از همه، مایکروسافت در حال حاضر با ویندوز امال از رویکرد مبتنی بر NPU فاصله گرفته است. از آنجایی که توسعهدهندگان برنامههایی را با در نظر گرفتن NPUها نمینویسند، ویندوز امال به توسعهدهندگان اجازه میدهد برنامههای هوش مصنوعی بنویسند که روی CPUها، GPUها و NPUها اجرا شوند.
اما مایکروسافت یک مشکل بزرگ دارد: هوش مصنوعی محلی اینجاست و بسیار خوب است، اما محبوبترین برنامهها اصلاً از NPUها استفاده نمیکنند. آنها حتی ممکن است هرگز به ویندوز امال منتقل نشوند. مایکروسافت طوری رفتار کرده که انگار از بقیه جلوتر است، اما شرطبندی این شرکت روی NPUها به این معنی است که این شرکت عقب مانده است. اکوسیستم هوش مصنوعی محلی بدون استفاده از هیچ گونه قلاب هوش مصنوعی ارائه شده توسط مایکروسافت، بر روی ویندوز ساخته میشود. اوه اوه.
هوش مصنوعی محلی از قبل اینجاست – برای پردازندههای گرافیکی
اگر یک کامپیوتر مخصوص بازی دارید و از خود میپرسید که هوش مصنوعی محلی چقدر خوب است، LM Studio را دانلود کنید. تنها با چند کلیک، میتوانید یک LLM محلی را اجرا کنید و از یک چتبات هوش مصنوعی استفاده کنید که کاملاً روی سختافزار خودتان اجرا میشود. از بسیاری جهات، این رویای کامپیوتر هوش مصنوعی مجهز به NPU است: یک ابزار هوش مصنوعی محلی که افراد میتوانند بدون هیچ دانش فنی و تنها با چند کلیک شروع به استفاده از آن کنند. خب، اینجاست. تقریباً.
مانند بسیاری از ابزارهای هوش مصنوعی دیگر، LM Studio عمدتاً از پردازندههای گرافیکی پشتیبانی میکند، اما حالت پشتیبان کندتری برای پردازندههای مرکزی نیز دارد. این ابزار اصلاً نمیتواند با NPUها کاری انجام دهد. به طور مشابه، سایر ابزارهای هوش مصنوعی محلی شناخته شده مانند Ollama و Llama.cpp – یک بکاند که بسیاری از ابزارهای دیگر به آن متکی هستند – هیچ پشتیبانی از NPUها ندارند.
این ابزارها به طرز چشمگیری خوب کار میکنند، اما اصلاً با NPUها کار نمیکنند. چرا مایکروسافت یا اینتل یک یا دو مهندس را برای ادغام پشتیبانی NPU در ابزارهای متنبازی که مردم واقعاً از آنها استفاده میکنند، استخدام نکردند؟ اگر بخشی از پولی که برای بازاریابی «رایانههای شخصی هوش مصنوعی» مجهز به NPU صرف میشود، واقعاً NPUها را مفید میکند، من آهنگ دیگری میخواندم.
خلاصه کلام: اگر میخواهید هوش مصنوعی محلی را روی سختافزار خود اجرا کنید، از به اصطلاح «رایانههای شخصی هوش مصنوعی» با NPUها دوری کنید. چیزی که واقعاً میخواهید یک رایانه بازی با یک پردازنده گرافیکی قدرتمند است – در حالت ایدهآل یک پردازنده گرافیکی ساخت انویدیا، زیرا ابزارهای هوش مصنوعی محلی هنوز با در نظر گرفتن سختافزار انویدیا نوشته میشوند (به لطف CUDA انویدیا). AnythingLLM یک استثنا است
در حالی که در وب جستجو میکردم تا ببینم آیا ابزار LLM محلی محبوبی وجود دارد که از NPU پشتیبانی کند، این مورد را کشف کردم: AnythingLLM. این ابزار دارای یک NPU backend است که از Qualcomm Hexagon NPU در سیستمهای Qualcomm Snapdragon X پشتیبانی میکند. اما همین است. هیچ پشتیبانی از NPU در سیستمهای Intel یا AMD وجود ندارد.
کوالکام یک پست وبلاگ هیجانانگیز در مورد این نرمافزار دارد. وقتی آن را دانلود کردم تا آن را روی لپتاپ Surface Laptop مجهز به Qualcomm Snapdragon X خود امتحان کنم، با هشدار Windows SmartScreen مواجه شدم – این نوع خطایی است که هنگام دانلود یک برنامه نادر که سیستمهای امنیتی مایکروسافت با آن آشنا نیستند، میبینید.
این به چه معناست؟ در اینجا تنها راهحل بهینه برای اجرای LLMهای محلی روی یک NPU آمده است… و هیچکس از آن استفاده نمیکند. آنقدر از مسیر معمول خارج شده که هشدارهای امنیتی ویندوز را نادیده میگیرد.
AnythingLLM تنها یک نمونه از این مشکل است. برنامههای دیگری نیز وجود دارند که از LLMها پشتیبانی میکنند، اما آنها عمدتاً محدود به نسخههای نمایشی فنی توسعهدهندگان هستند. به عنوان مثال، اینتل نرمافزار OpenVINO GenAI را برای توسعهدهندگان دارد، اما به هیچ وجه به تجربهی «فقط چند کلیک» LM Studio و سایر ابزارهای هوش مصنوعی محلی مبتنی بر GPU نزدیک نیست.
قرار بود NPUها جریان اصلی باشند، اما GPUها در حال پیروزی هستند.
نکته خندهدار این است که قرار بود NPUها هوش مصنوعی محلی را دموکراتیزه کنند. ایده این بود که GPUها برای ویژگیهای هوش مصنوعی محلی بسیار گران و پرمصرف هستند. بنابراین، به جای یک کامپیوتر شخصی با پردازنده گرافیکی مجزا، افراد میتوانند ویژگیهای هوش مصنوعی محلی را روی یک NPU کممصرف اجرا کنند. پردازندههای گرافیکی گزینه «علاقهمندان» بودند در حالی که NPUها گزینه «جریان اصلی» با کاربرد آسان بودند.
این رویا نه تنها محقق نشده، بلکه کاملاً فرو ریخته است. اگر ابزارهای هوش مصنوعی محلی با کاربرد آسان میخواهید، به یک کامپیوتر شخصی با پردازنده گرافیکی قدرتمند نیاز دارید تا بتوانید از ابزارهای «فقط با چند کلیک» که در بالا ذکر شد استفاده کنید. اگر واقعاً میخواهید از هوش مصنوعی محلی روی یک لپتاپ سبک با NPU استفاده کنید، یا باید در دموهای فنی مبهم طراحی شده برای توسعهدهندگان جستجو کنید یا به تعداد انگشتشماری از ویژگیهای هوش مصنوعی کامپیوتر شخصی Copilot+ که در ویندوز تعبیه شده است، محدود شوید.
اما این ویژگیها در مقایسه با انواع LLMهای محلی که هر کسی با یک پردازنده گرافیکی میتواند در LM Studio اجرا کند – تنها با چند کلیک – اسباببازی هستند. حتی اگر فقط در مورد جلوههای وبکم و میکروفون مبتنی بر هوش مصنوعی صحبت کنیم، برنامه رایگان و آسان Nvidia Broadcast جلوههای بسیار قدرتمندتری نسبت به راهکار Windows Studio Effects مایکروسافت ارائه میدهد… و تنها چیزی که نیاز دارید یک رایانه شخصی با پردازنده گرافیکی مدرن Nvidia است.
مایکروسافت به خودش ضربه زد
از زمان عرضه کامپیوترهای شخصی Copilot+، مایکروسافت بارها به افرادی که در واقع از ابزارهای هوش مصنوعی محلی (مانند LM Studio، Ollama، Llama.cpp و دیگران) استفاده میکنند، گفته است که کامپیوترهای شخصی هوش مصنوعی برای آنها مناسب نیستند.
مایکروسافت کاملاً واضح گفته است که ویژگیهای هوش مصنوعی داخلی ویندوز فقط باید روی NPUها اجرا شوند و برای استفاده در GPUها مناسب نیستند. حتی اگر به هوش مصنوعی محلی اهمیت میدهید، مایکروسافت میگوید که نمیتوانید ویژگیهای هوش مصنوعی داخلی ویندوز را روی کامپیوتر شخصی فاقد NPU خود داشته باشید. من این را به سختی با کامپیوتر بازی ۳۰۰۰ دلاریام که نمیتواند ویژگیهای Copilot+ را اجرا کند، متوجه شدم.
در نتیجه، کاربران هوش مصنوعی محلی با نادیده گرفتن ویژگیهای هوش مصنوعی داخلی ویندوز واکنش نشان دادهاند. یا به عبارت دیگر، مایکروسافت دو تجربه هوش مصنوعی محلی مختلف ایجاد کرده است:
زمین بازی کامپیوترهای شخصی Copilot+ مجهز به NPU پر از دموهای فنی کوچک است که کار زیادی انجام نمیدهند. افرادی که این “کامپیوترهای شخصی هوش مصنوعی” را دارند، عمدتاً تحت تأثیر قرار نمیگیرند و فکر میکنند هوش مصنوعی محلی نمیتواند کار زیادی انجام دهد.
تجربه کامپیوترهای شخصی مجهز به پردازنده گرافیکی (GPU) پر از ابزارهای متنبازی است که مایکروسافت آنها را نادیده میگیرد. افرادی که از این «کامپیوترهای هوش مصنوعی» استفاده میکنند، میدانند که هوش مصنوعی محلی جالب است، اما با هیچ یک از ابزارهای هوش مصنوعی مایکروسافت تعامل نمیکنند.
چه آشفتگی کاملی.
اگر مایکروسافت، اینتل یا یک شرکت بزرگ دیگر به مهندسان نرمافزار پول میدادند تا روی ادغام پشتیبانی NPU در ابزارهای هوش مصنوعی محلی موجود با پذیرش در دنیای واقعی تمرکز کنند، شاید ما در موقعیت متفاوتی بودیم. در عوض، من با نگاه به تلاش بزرگ NPU به این نتیجه میرسم که فقط بازاریابی بوده که نتوانسته به آنچه وعده داده بود، عمل کند.
جای تعجب نیست که مایکروسافت اکنون در مورد چگونگی تبدیل شدن «هر کامپیوتر شخصی ویندوز ۱۱ به یک کامپیوتر شخصی هوش مصنوعی» صحبت میکند. اما این اصلاً به چه معناست؟ شما هنوز به یک پردازنده گرافیکی قدرتمند برای هوش مصنوعی محلی واقعی نیاز دارید. اگر مایکروسافت میخواهد با صحبت در مورد چتبات ابری Copilot، هر کامپیوتر شخصی ویندوز را به یک «کامپیوتر شخصی هوش مصنوعی» تبدیل کند، میتوانستند سالها پیش این کار را انجام دهند – اما این به صنعت کامپیوتر کمک نمیکرد تا این همه «لپتاپ هوش مصنوعی» بفروشد.
این شکست بزرگ NPU است – تلاش زیاد برای NPUها به چیزی جز یک شکست ساده منجر نشده است. اگر هوش مصنوعی محلی میخواهید، فقط یک کامپیوتر با پردازنده گرافیکی قدرتمند تهیه کنید. اگر سعی کنید مسیر NPU را در پیش بگیرید، ناامید خواهید شد.
