پیاده سازی «الگوهای مدیریت دانش» با مدل های زبانی بزرگ(LLM)
در بحث مدیریت دانش شخصی به موضوع چرخه دانش اشاره کردیم و الگوهای متعددی برای مدیریت دانش مطرح کردیم. حالا قصد داریم از مدل های زبانی بزرگ(LLM) استفاده کنیم تا در اجرای آن الگوها به ما کمک کنند. می توانیم برای لینک دهی، کشف ارتباط، هرس، نقد و ارزیابی نوشته ها از این مدلها کمک بگیریم.
البته برای این کار باید از رویکرد RAG استفاده کنیم. یعنی نوشتههای خود را به عنوان منبع دانش معرفی میکنیم تا مدل زبانی فقط بر اساس آنها پاسخ بدهد نه داده هایی که خودش آموزش دیده.
رویکرد RAG چیست؟
خلاصه عملکرد این روش به این صورت است: متن شما توسط مدل های خاص (که به آن امبدینگ مدل می گویند) به بردارهای عددی تبدیل می شوند. این اعداد یک نمایش ریاضی از معنای متن است و نشان دهنده ارتباط آن با سایر متون و مفاهیم است. تبدیل متن به عدد به مدل زبانی اجازه میدهد تا با سرعت بسیار سریعتری مفاهیم مرتبط را پیدا کند.
این اعداد در یک پایگاه داده برداری (Vector Database) ذخیره میشوند. وقتی شما یک سوال میپرسید، سوال شما هم به یک بردار تبدیل میشود. این سوال در پایگاه داده جستجو می شود تا مفاهیم مرتبط با آن پیدا شوند. در نهایت مدل زبانی از اطلاعات به دست آمده برای تولید پاسخ دقیق و مبتنی بر همان منابع استفاده می کند.
برای آشنایی بیشتر با این رویکرد به یادداشت زیر مراجعه کنید:
آیا دخالت هوش مصنوعی در مدیریت دانش ضرورت دارد؟
احتمالا این سوال برای شما هم پیش آمده. مگر خودمان قادر به مدیریت دانش نیستیم؟ چه لزومی دارد از هوش مصنوعی استفاده کنیم؟
ما یکسری ضعف ها داریم یکسری قوت ها. هوش مصنوعی هم یکسری نقاط قوت و ضعف دارد. از یک طرف حافظه ما ضعیف است. نمی توانیم همه اطلاعاتی که کسب کردیم رو به خاطر بپساریم. اما هوش مصنوعی حافظه نامحدودی دارد. همه داده ها را میتواند یکجا فراخوانی کند.
از طرف دیگر خلاقیت و درک ما قوی تر است. هوش مصنوعی نیز خلاقیت و درک خوبی دارد اما نمی تواند روابط پیچیده را درک کند.
پس با استفاده از هوش مصنوعی می توانیم نقاط ضعف خودمان را پوشش بدهیم. از تسلط و حافظه هوش مصنوعی کمک می گیریم تا نقاط تاریک ذهن مان را روشن کنیم.
هوش مصنوعی به ما کمک میکند تا از خودمان یاد بگیریم. تمام افکار و دانش قبلی ما را جمعآوری میکند تا بتوانیم با آگاهی کامل آن ها را بررسی کنیم. قسمت هایی از دانش مان که دست نخورده باقی مانده را زیر رو می کند. گرد و غبارها را کنار می زد تا همه چیز شفاف و واضح باشد.
پس استفاده ما از هوش مصنوعی به خاطر ترند شدن آن نیست. همه دارند از آن استفاده می کنند پس ما هم یک جوری وصله پینه اش کنیم به مدیریت دانش شخصی که امروزی به نظر برسیم. اگر میخواهیم دانش خود را به کاربگیریم و به بالاترین سطح دانش برسیم استفاده از هوش مصنوعی نه یک گزینه اختیاری بلکه ضروری است.
البته باید مواظب تنبل شدن مغز باشید. قرار نیست هوش مصنوعی را جایگزین هوش طبیعی خودتان کنید. شما باید خودتان یادداشت برداری کنید. خودتان سازماندهی کنید و ارتباطها را کشف کنید. همه الگوهایی که در مدیریت دانش بیان شد، وظیفه خودتان است. از هوش مصنوعی فقط برای پیدا کردن روابطی که کشف نکردید کمک بگیرید. نکته هایی که به ذهن تان خطور نکرده و مطالبی که فراموش کردید و نتوانستید به خاطر بیاورید.
چرا رویکرد RAG را انتخاب کردیم؟
احتمالا تصور میکنید ما قصد داریم فایلهای خود را به صورت پيوست در یک چت (مثل Chat GPT) اضافه کنیم و از مدل سوال بپرسیم. یا بخشی از متن یادداشتها را کپی کرده و در چت سوال بپرسیم. اما این روش ارتباطی به رویکرد RAG ندارد و ما هم دنبال چنین روشی نیستیم.
چون این روش محدودیتهایی دارد. مدل زبانی تعداد توکنهای ورودی محدودی دارد و نمیتواند تمامی یادداشتهای ما را به صورت یکجا دریافت کند. درحالی که ما دنبال فرایند پیچیدهتری هستیم. میخواهیم یک مغز دوم بسازیم و کل دانش خود را به یک دیتابیس تبدیل کنیم. آن هم نه یک دیتابیس معمولی، وکتور دیتابیس که انعطافپذیری فوقالعادهای دارد.
علاوه بر این، رویکرد RAG باعث کاهش توهم مدلهای زبانی میشود، زیرا این مدلها ممکن است دچار توهم شوند و پاسخهای جعلی تولید کنند. اما وقتی باید با دادههای خودتان تقویت شود فقط بر اساس منابع موجود پاسخ می دهند. اگر داده مرتبط پیدا نشود صرحتا اشاره میکند که جوابی پیدا نکرده و پاسخ جعلی و نامربوط تولید نمی کند.
همچنین، دقیقاً ارجاع میدهد که این پاسخ را بر اساس کدام منبع تولید کرده است. همین ارجاعات در مدیریت دانش شخصی به کار ما میآید.
چگونه از رویکرد RAG استفاده کنیم؟
روش های مختلفی برای استفاده از این رویکرد وجود دارد. شما از هر روشی میتوانید استفاده کنید. اما اگر مثل من در نرم افزار ابسیدین یادداشت برداری میکنید بهتر است از افزونه کوپایلوت استفاده کنید. با این روش دیگر لازم نیست فایل ها را جای دیگری آپلود کنید. هر زیمان هم فایلی را اضافه یا اصلاح کردید بلافاصله آپدیت می شود.
روش های متفاوت پیاده سازی RAG رت در این یادداشت توضیح دادم:
ایده ها برای چرخه مدیریت دانش
بعد از اینکه موفق شدید نوشته ها را به عنوان منبع اضافه کنید می توانید با آن چت کنید و دانش خود را مدیریت کنید. در اینجا فهرستی از ایدها را لیست کردم. می توانید از آنها الهام بگیرید:
- نقد و تحلیل یادداشت ها
- شناسایی یادداشت هایی که قابلیت اتمی شدند دارند.
- شناسایی یادداشت هایی که به هم مرتبط اند اما لینک دهی نشدند. مثلا «مفهوم A و مفهوم B، طبق آنچه خواندهام، چگونه به هم مرتبط هستند؟».
- پیدا کردن مطلبی که جزئیاتش رو فراموش کردید.
- سوال پرسیدن در مورد مطالبی که می دانید، مثلا «در مورد کوانتوم چی میدونم؟»
- اصلاح یادداشت ها قبلی بر اساس یادداشت های جدیدی که وارد کردید.
- گزینش و هرس، مثلا «آیا من اطلاعات تکراری در مورد موضوع x دارم؟». اگر دو پاسخ بسیار مشابه را از دو یادداشت بازیابی کند، این سرنخی برای ادغام است.
- خلاصه هفتگی یا ماهانه از چیز هایی که یاد گرفتید.
📖 مطالب پیشنهادی