مقالات

به همین دلیل است که هوش مصنوعی شما در واقع همه چیز را به خاطر می آورد


نظرات بیان شده توسط مشارکت کنندگان کارآفرین مربوط به خود آنهاست.

یافته های کلیدی

  • معمولاً شروع ساده تر است. حافظه پنهان اولیه ارزان و سریع است و قبل از اینکه چیزی پیشرفته تر بسازید، به شما می آموزد که مردم واقعاً چه می خواهند.
  • حافظه نهان ساده یک نقطه ضعف دارد: فقط در صورتی که یک سوال به همان روش پرسیده شود، آن را تشخیص می دهد. لحظه‌ای که کسی چیزها را دوباره بیان می‌کند، که همیشه اتفاق می‌افتد، ممکن است پاسخ‌هایی را که از نظر فنی قبلاً داشته‌اند، از دست بدهد.
  • یک سیستم حافظه هوشمندتر هزینه اجرای آن کمی بیشتر است و ممکن است کمی کندتر به نظر برسد، اما این مبادله ارزش آن را دارد. افراد را به هر نحوی که چیزها را بیان می کنند، درک می کند، برای مدت طولانی تری به خاطر می آورد و می تواند در پروژه های دیگر مورد استفاده مجدد قرار گیرد.

در طول جام جهانی امسال، Rune Score را ایجاد کردم، یک ربات چت برای تجزیه و تحلیل ورزشی. از بیرون، مانند یک چت بات ساده به نظر می رسد. در زیر هود، این یک سیستم توزیع‌شده است که باید با به‌موقع بودن داده‌های ورزشی، بازنویسی کاربر، خطاهای بازیابی، هزینه‌های تماس LLM، استریم، حافظه، بازگشت به عقب و امنیت مقابله کند. چیزی که در ساخت آن یاد گرفتم تقریباً برای هر محصول هوش مصنوعی که باید سریع، ارزان و در عین حال دقیق باقی بماند، کاربرد دارد.

دو تعریف سریع قبل از اینکه جلوتر برویم، زیرا هیچ یک از ابزارها دقیقاً نام آشنا نیستند. Redis یک «ذخیره‌سازی ساختار داده منبع باز و در حافظه است که به عنوان پایگاه داده، حافظه پنهان، واسطه پیام و موتور جریان استفاده می‌شود،» که بیشتر در محصولات هوش مصنوعی به‌عنوان یک کش سریع استفاده می‌شود که یک پاسخ دقیق را زیر یک برچسب دقیق ذخیره می‌کند. RAG، مخفف Retrieval-Augmented Generation، توسط AWS به عنوان “تکنیکی که برای تقویت یک مدل زبان بزرگ (LLM) با داده های خارجی، مانند اسناد داخلی شرکت استفاده می شود، تعریف می شود. به جای تطبیق یک برچسب دقیق، پایگاه دانش گسترده تری را با استفاده از معنی به جای عبارت دقیق جستجو می کند. Redis دقیق و ارزان است، اما سفت و سخت. RAG انعطاف پذیرتر و بادوام تر است، اما هزینه بیشتری برای کار کردن دارد.

چرا با RAG شروع نکردم

اولین حرکت من یک پایگاه داده برداری نبود، بلکه یک حافظه پنهان Redis بود که بر اساس یک قانون برچسب گذاری ساده ساخته شده بود: پرس و جوهای یکسان یک کلید یکسان دریافت می کنند، به نوعی مانند مسابقه فوتبال آرژانتین و اسپانیا. پس انداز فوری بود. همانطور که در مقاله لینکدین خود در مورد امتیاز Rune مستند کردم، “بدون کش، یک واکشی جدید و به دنبال آن تجزیه و تحلیل می تواند تا 23000 توکن ورودی مصرف کند: محتوا، زمینه، تاریخچه حذف شده. با زدن یک کش به همان کلید، این عدد به حدود 5000 توکن کاهش می یابد که 4.5 برابر کاهش در گران ترین قسمت خط لوله است.

هزینه هوش مصنوعی معمولاً از مواردی است که شما بی مورد تکرار می کنید. اگر 10 نفر در یک بازه زمانی معقول سوال مشابهی را از محصول شما بپرسند، راه اندازی مجدد خط لوله کامل و گران قیمت 10 بار بدون دلیل پول می سوزاند.

جایی که ردیس خراب می شود

مردم با برچسب ثابت صحبت نمی کنند. آن‌ها می‌توانند «FC Barcelona vs Real Madrid» یا «Barca – Madrid» را تایپ کنند، و حافظه پنهان سخت‌گیرانه هر نوع را به‌عنوان یک درخواست کاملاً متفاوت در نظر می‌گیرد. این به معنای کار تکراری، از دست دادن پاسخی است که قبلاً وجود داشت، یا تکرار بی مورد کل خط لوله گران قیمت فقط به این دلیل که جمله بندی مطابقت ندارد.

اینجاست که RAG از طریق تکنیکی به نام embedding جایگاه خود را به دست می آورد. بر اساس اسناد Google Cloud، “هرچه اشیاء نزدیکتر در فضای تعبیه شده باشند، از نظر معنایی مشابه تر هستند و فاصله های بزرگتر نشان دهنده عدم تشابه معنایی بیشتر است.” به عبارت ساده، پایگاه دانشی که به این روش ساخته شده است، می‌تواند پاسخ گذشته را حتی زمانی که سؤال کاملاً متفاوت بیان شده است، بازیابی کند، زیرا به جای عبارت دقیق، معنا را جستجو می‌کند.

بخشی که در واقع کیفیت را می شکند

مهم نیست که در حال ساخت چه چیزی هستید، درسی ارزش توجه را دارد: بزرگترین مانع برای کیفیت در یک سیستم RAG معمولاً خود فناوری استخراج نیست. به او غذا می دهد این ایده کلاسیک محاسباتی است که TechTarget آن را به عنوان زباله در، زباله خارج یا GIGO تعریف می کند، “این ایده که در هر سیستمی کیفیت خروجی توسط کیفیت ورودی تعیین می شود.” در فرآیند من، هر بار که من از مقدار محتوایی که از یک منبع استخراج شده است عبور می‌کردم، تجزیه و تحلیل حاصل به‌طور قابل توجهی بدتر می‌شد.

همین منطق در مورد نحوه رتبه بندی ارتباط سیستم نیز صدق می کند. اعتماد به نفس یک امتیاز مرتبط شکننده است. وبلاگ مهندسی خود ردیس آن را به صراحت بیان می کند: “یک یافته ثابت در سراسر این مطالعات این است که ترکیب رتریورها نسبت به هر روش به تنهایی نتایج مرتبط تری را نشان می دهد.” ترکیب دقیق تطابق کلمات کلیدی، جستجوی مبتنی بر معنا، و میزان به‌روز بودن اطلاعات، و سپس ترکیب آنها در یک رتبه‌بندی، تکیه بر هر یک از سیگنال‌های فردی به تنهایی را شکست می‌دهد.

RAG هزینه بیشتری دارد و این اشکالی ندارد

در آزمایش Rune Score من، یک ضربه RAG درخواست را از 20000 به 8000 توکن کاهش داد – کاهش 60٪. در مقایسه با کاهش ضربه 80 درصدی Redis، مقرون به صرفه تر و کمی کندتر است، اما این تفاوت ضربه ای به RAG نیست. چیزی که در عوض می‌خرد، تحمل نحوه بیان مردم در واقع چیزها، حافظه‌ای است که بیشتر از پنجره انقضای حافظه پنهان باقی می‌ماند، و معماری که می‌تواند چندین بار خارج از محصول واحدی که آن را برای آن ساخته‌اید، دوباره استفاده شود.

خط پایین

Redis و RAG راه حل های رقیب نیستند. آنها سازگار هستند. بهترین بازساز آن چیزی نیست که از لحاظ نظری صحیح باشد. این یکی است که به شما امکان می‌دهد در چند ثانیه به عقب برگردید، اگر معیارهای واقعی حفظ نشدند. ابتدا یک کش ارزان و سریع بسازید، اجازه دهید به شما یاد دهد که کاربران شما واقعاً چه می خواهند، و تنها پس از آن روی یک سیستم واکشی کامل برای مواردی که کش از نظر ساختاری قادر به انجام آن نیست، سرمایه گذاری کنید.

یافته های کلیدی

  • معمولاً شروع ساده تر است. حافظه پنهان اولیه ارزان و سریع است و قبل از اینکه چیزی پیشرفته تر بسازید، به شما می آموزد که مردم واقعاً چه می خواهند.
  • حافظه نهان ساده یک نقطه ضعف دارد: فقط در صورتی که یک سوال به همان روش پرسیده شود، آن را تشخیص می دهد. لحظه‌ای که کسی چیزها را دوباره بیان می‌کند، که همیشه اتفاق می‌افتد، ممکن است پاسخ‌هایی را که از نظر فنی قبلاً داشته‌اند، از دست بدهد.
  • یک سیستم حافظه هوشمندتر هزینه اجرای آن کمی بیشتر است و ممکن است کمی کندتر به نظر برسد، اما این مبادله ارزش آن را دارد. افراد را به هر نحوی که چیزها را بیان می کنند، درک می کند، برای مدت طولانی تری به خاطر می آورد و می تواند در پروژه های دیگر مورد استفاده مجدد قرار گیرد.

در طول جام جهانی امسال، Rune Score را ایجاد کردم، یک ربات چت برای تجزیه و تحلیل ورزشی. از بیرون، مانند یک چت بات ساده به نظر می رسد. در زیر هود، این یک سیستم توزیع‌شده است که باید با به‌موقع بودن داده‌های ورزشی، بازنویسی کاربر، خطاهای بازیابی، هزینه‌های تماس LLM، استریم، حافظه، بازگشت به عقب و امنیت مقابله کند. چیزی که در ساخت آن یاد گرفتم تقریباً برای هر محصول هوش مصنوعی که باید سریع، ارزان و در عین حال دقیق باقی بماند، کاربرد دارد.

دو تعریف سریع قبل از اینکه جلوتر برویم، زیرا هیچ یک از ابزارها دقیقاً نام آشنا نیستند. Redis یک «ذخیره‌سازی ساختار داده منبع باز و در حافظه است که به عنوان پایگاه داده، حافظه پنهان، واسطه پیام و موتور جریان استفاده می‌شود،» که بیشتر در محصولات هوش مصنوعی به‌عنوان یک کش سریع استفاده می‌شود که یک پاسخ دقیق را زیر یک برچسب دقیق ذخیره می‌کند. RAG، مخفف Retrieval-Augmented Generation، توسط AWS به عنوان “تکنیکی که برای تقویت یک مدل زبان بزرگ (LLM) با داده های خارجی، مانند اسناد داخلی شرکت استفاده می شود، تعریف می شود. به جای تطبیق یک برچسب دقیق، پایگاه دانش گسترده تری را با استفاده از معنی به جای عبارت دقیق جستجو می کند. Redis دقیق و ارزان است، اما سفت و سخت. RAG انعطاف پذیرتر و بادوام تر است، اما هزینه بیشتری برای کار کردن دارد.

چرا با RAG شروع نکردم

اولین حرکت من یک پایگاه داده برداری نبود، بلکه یک حافظه پنهان Redis بود که بر اساس یک قانون برچسب گذاری ساده ساخته شده بود: پرس و جوهای یکسان یک کلید یکسان دریافت می کنند، به نوعی مانند مسابقه فوتبال آرژانتین و اسپانیا. پس انداز فوری بود. همانطور که در مقاله لینکدین خود در مورد امتیاز Rune مستند کردم، “بدون کش، یک واکشی جدید و به دنبال آن تجزیه و تحلیل می تواند تا 23000 توکن ورودی مصرف کند: محتوا، زمینه، تاریخچه حذف شده. با زدن یک کش به همان کلید، این عدد به حدود 5000 توکن کاهش می یابد که 4.5 برابر کاهش در گران ترین قسمت خط لوله است.


Source link

نوشته های مشابه

دیدگاهتان را بنویسید

دکمه بازگشت به بالا