998
آموزش MATLAB با "استفاده از ویدئو و متن" در سطوح مبتدی تا پیشرفته پاسخ به سوالات تخصصی: @roholazandie
در طول چند دهه ی اخیر فیزیکدانان حالت های جدیدی از ماده را بررسی می کنند که قوانین فرآیندهای تصادفی مخصوص به خودشان را دارند. این حالت های جدید در واقع همان حرکتهایی است که در «مقیاس» های مختلف موجودات زنده مشاهده شده است. به صورت کلاسیک فرآیند های تصادفی مانند حرکت مولکول ها در هوا یا مایع از قانون حرکت براونی (Brownian motion) پیروی می کند. یک مثال معروف آن حرکت قطرات جوهر است وقتی در آب ریخته می شوند. این نوع از حرکت بسیار مطالعه شده و ویژگی ها آن استخراج شده است. به طور مثال در حرکت براونی حالت سیستم در هر لحظه تنها به لحظه ی قبل تر آن وابسته است. این حقیقت از ویژگی خطی بودن پخش (diffusion) می آید. چنین ویژگی ای منجر به معادلات درجه ی اول در زمان برای پخش می شود. اما مطالعه ی حرکت ذرات تشکیل دهنده ی حیات به طور مثال پروتئین ها در سلول یا سلول های در بدن، حیوانات در زیست بوم نشان می دهند حرکت آنها تابع قوانین تصادفی پیچیده تری است. یکی از مهمترین ویژگی این نوع دینامیک این است که لزوما فقط به یک لحظه ی قبل وابسته نیست بلکه به لحظات قبل تر هم وابسته است. به نوعی در این گونه دینامیک نوعی از حافظه وجود دارد که باعث می شود سیستم در تعامل با خودش باشد. لازم نیست به چیزهای پیچیده فکر کنیم وقتی توپ های روی یک میز بیلیارد را هم حرکت دهیم می توان دید که حرکات سیستم به حرکات آن از زمان های بسیار قبل تر هم وابسته است. به طور مثال یک توپ ممکن است جهتی دیگر برود و به توپ دیگری که از زمان قبل کنار هم بوده اند برخورد کند. چنین چیزی بسیار ساده بنظر می رسد اما ویژگی مهمی است که امکان ایجاد خوشه و شکل های پیچیده تری را به وجود می اورد که پیش زمینه های وجود حیات است.
Читать полностью…
ویدیویی که میبینید ساخته ی گرافیک کامپیوتری (CGI) نیست! این یکی از کارهای یک هنرمند است که فقط با استفاده از مواد شیمیایی مختلف بخصوص ferrofluid یا فروسیال که خاصیت مغناطیسی دارند چنین الگوهای عجیب و «زنده» life like میسازد.
جالبترین نکته ی این ویدیوها نظم و پیچیدگی عجیب ساختارهایی است که از قوانین فیزیکی ساده ای پیروی می کنند. برخی از این سیستم ها مانند Ising model در فیزیک بررسی شده اند و شباهت های بسیار بنیادی آنها با حیات و ساختارهای پیچیده تر زیست شناسی مطالعه شده اند. بطور مثال چنین سیستم هایی از اساس خود سازمانده self organized هستند یعنی برای ایجاد و نگه داری خود نیاز به خالق یا یک کنترل مرکزی ندارند. اطلاعات را با کارایی بسیار بالا پردازش میکنند و برخلاف سیستم های مهندسی مقاومت زیادی در برابر تغییر دارند و تابع قوانین فرگشت (evolution) هستند. بسیاری معتقدند فیزیک پیچیدگی و سیستم های دینامیکی غیر خطی در نهایت پاسخی برای حیات و پیچیدگی های بی انتهای جهان زیست شناسی را برای ما فراهم میکند. در مورد چنین سیستم هایی بیشتر صحبت خواهیم کرد.
منبع
برای اندازه گیری رزولوشن در تصویر تعاریف درستی داریم اما در زبان چه؟ اصلا رزولوشن در زبان را میتوان تعریف کرد؟ به نظر من بهترین تعریف برای رزولوشن با مفهوم perplexity گره خورده است که در عمل cross entropy بین توزیع احتمال تولید شده توسط شبکه و توزیع احتمال واقعی (که با داده ها تخمین زده می شود empirical distribution) است. زمانی که این فاصله (که از نوع اطلاعات است) به صفر برسد تفاوتی بین واقعیت و توزیع مدل زبانی نیست و رزولوشن بی نهایت است. بنابراین می توان رزولوشن مدل را به صورت معکوس perplexity تعریف کرد
LM_resolution = 1/perplexity
Perplexity = 2^ H(p, q)
که در آن H(p,q) کراس آنتروپی بین توزیع احتمال مدل زبانی p و توزیع احتمال واقعی q است. حالتی که رزولوشن بی نهایت است یک حد است که هیچ گاه نمی توان به آن رسید چون توزیع احتمال مقصد علاوه به ظرافت بی نهایت (؟) همواره در حال تغییر است. چون زبان یک پدیده ی دینامیک است.
این کتابخانه با استفاده از ChatGPT بسیاری از کارهای معمول پردازش متن را اتوماتیک میکند، به طور مثال بدون داشتن هیچ دیتاستی بر روی تعدادی برچسب میتوان برچسب ها را تعریف و دسته بندی بدون هیچ آموزشی انجام داد
https://github.com/iryna-kondr/scikit-llm
"neural networks need to be adversarially robust like the human visual cortex. like you shouldn't be able to change a few pixels and completely change the semantic meaning of an image"
the human visual cortex:
این تعریف از بی نظمی به همه جا از جمله تصویر بالا قابل تعمیم است!
Читать полностью…
اما آیا میشه بی نظمی رو باز هم به اجزای سازنده ش شکست به چیزی که ساده تر بشه درکش کرد؟ اینجاست که اساسی ترین بخش (اتم) نظریه شنون رو میبینیم. شنون مفهوم «غافلگیری» (surprisal) را اساسی ترین بخش نظریه خودش می دونه! اگر چیزی احتمال ۱۰۰ درصد باشه اصلا غافلگیر کننده نیست بنابراین مقدار غافلگیری اون صفره. از طرفی هر چه احتمال چیزی کمتر باشه بسیار غافلگیر کننده تره! در واقع احتمال چیزی و غافلگیری اون تقریبا به یک معنا هستند و فقط واحدشون فرق داره. چیزی که احتمالش صفر باشه بی نهایت غافلگیر کننده ست!! یک تابع مطلوب برای تبدیل احتمال به غافلگیری لگاریتمه
Читать полностью…
مدتی پیش این میم (meme) رو دیدم که علاوه بر نکته ی خنده دارش واقعیت جالبی رو هم نشون میده: کاری که طرف کرده «غلط» نیست به این معنی که حدودا میشه گفت درسته!
خب اولین سوالی که پیش میاد یعنی چی؟ اینجا اصلا ساختار رعایت نشده! فقط هر چی که رنگ های مشابه داره کنار هم قرار داده شده. اما وقتی میگیم حدودا یعنی تقریبی! یعنی اگه من شکل اسب روی کارتن پازل رو هم نشونتون ندم شما میتونید تشخیص بدید که این یک اسبه پس جواب طرف خیلی هم غلط نیست!
شاید باورش سخت باشه ولی این درست بودن به معنای نظریه ی اطلاعاتیه!
در نظریه اطلاعات چیزی که برای ما اهمیت داره ساختار به معنای عرفی اون یعنی قرار دادن هر چیزی «دقیقا» سرجاش نیست بلکه چیزی که حدودی هم شبیه به ساختار مد نظر باشه برای منظور ما کافیه به همین خاطر در نظریه اطلاعات ما به فرآیند های تصادفی و توزیع احتمال علاقه نشون میدیم. چنین طرز نگاه کردنی شاید بنظر غلط باشه اما در عمل کار رو راه میندازه! مثلا برای اینکه ما تشخیص بدیم یک شکل «اسب» هستش اتفاقا غلطه که بریم و ببینیم که دقیقا هر قسمت اسب چه شکلی میشه برعکس اون بازنمایی که ما داریم (یه جوری در مغز قرار گرفته) یک بازنمایی احتمالاتیه! یعنی ما حدودا میدونیم کله ی اسب و یال هاش چجوری، تقریبا دمش و تقریبا پاهاش! اصلا به همین خاطر هست که ما حتی یک نقاشی کج و کوله بچگانه از یک اسب رو بازم به صورت اسب تشخیص میدیم!
مهم نیست این بازنمایی توسط چه سیستمی ذخیره شده (شبکه های عصبی عمیق یک مدل احتمالاتی یا به نحو کمی اسرار آمیزی توسط مغز!) و این دقیقا هوش کلاود شنون ( Claude Shannon) بود! شنون تشخیص داد که اطلاعات در بسیاری از مواقع چیزی جز تشخیص همین توزیع ها نیست.
مثلا برای رنگ اسب ما بیشتر انتظار داریم که رنگ هایی مثل قهوه ای و سیاه و سفید ببینیم اما اگر اسبی سبز باشه اسب نیست؟ در واقع اسب سبز هم یک امکانه ولی احتمالش کمتره (شاید یک اسب کارتونی!) دنیای واقعی باعث میشه ما به دنبال تعریف های دقیق برای «چیزها» نباشیم چیزی که ما یاد میگیریم نه ساختار به معنای سفت و سخت و قانونی اون بلکه یک ابر هست که در زبان ریاضی به توزیع ترجمه میشه. توزیع ها حاوی اطلاعات هستند و نظمی رو توصیف میکنند! مثلا اینکه رنگ اسب ها معمولا سفید و سیاه و قهوه ایه تا سبز یا صورتی خودش یک نظم هست در مقابل نظم، بی نظمی قرار میگیره. وقتی یک ویژگی هیچ تفاوتی بین مقدارهاش وجود نداشته باشه در بی نظم ترین حالت ممکن خواهد بود مثلا جهت کله ی اسب در تصویر تاثیری در «اسب بودن» شکل نداره! با احتمال مساوی کله ی اسب میتونه چپ یا راست یا وسط تصویر باشه! ما به چنین چیزی توجهی نمیکنیم!
اما بی نظمی رو چطور میشه تعریف کرد؟
(ادامه دارد)
تا جایی که یادمه من هم تقریبا مثل همه ی دانش آموزا از ریاضی فراری بودم. ریاضی همون موضوع ترسناک و سخت و حوصله سر بر بود که باید دلهره هاش رو توی سوالای میان ترم و پایان ترم حس کنی و پایین ترین نمره ی توی کارنامه و حس بد ازینکه حتما باهوش نیستی! و با نمره ی علوم و تاریخ هم نمیتونی جبرانش کنی. با این حال علاقه عمومی به علم داشتم.
اولین بار در کتابخانه به جای کتاب های علمی معمول تر چشمم به کتاب «مفاهیم ریاضیات جدید» خورد و اولین سوالی که برایم پیش آمد مگر ریاضی هم قدیم و جدید دارد! با ورق زدن صفحه های کتاب اثری از فرمول و معادلات ترسناک نبود و سعی کردم بروم و بخوانمش! کتاب همچون داستانی برای من خودنمایی کرد. تصور اینکه بتوان یک کتاب ریاضی را باز کرد و حسی از یک رمان ماجراجویی با نشان دادن اینکه هر مفهموم ریاضی از کجا آغاز شده و تصور ما چگونه از مفاهیم بسیار اساسی که شاید گاهی حتی به آن فکر هم نکنیم و پیش فرض بگیریم تغییر کرده است. کتاب با سوال اساسی که اصلا خود ریاضیات چیست و آیا برای ریاضیات محدودیتی وجود دارد و معنای حقیقت ریاضی چیست آغاز میکند و به مجموعه ها تغییر میکند تا به مفاهیم جالب تری مانند توپولوژی، جبر و نظریه ی گروه ها برسد!
اگر پیش خودتان فکر میکنید دانستن این همه ریاضی اضافه چه فایده ای دارد. فایده های چنین مطالعه ای حداقل بالا رفتن نمره های ریاضیای و فیزیکتان باشد مثل من که نمره ی ریاضیاتم از پایین ترین نمره ها در راهنمایی به بالاترین نمرات در دبیرستان تغییر کرد.
اما ( حتی بدون درگیر شدن با جزییات فرمول ها) خواندن ریاضی می تواند روش فکر کردن شما به مسائل را تغییر دهد و منظور من از مسائل صرفا مسايل ریاضی صرف نیست بلکه شیوه ی فکر کردن روزمره. این تاثیر تا به امروز برای من چنان عمیق بود که حس کردم چنین کتابی نیاز است که در قفسه ی خانه باشد و گه گاهی آن را ورق زد. بنابراین نسخه ی انگلیسی کتاب را سفارش دادم (عکس بالا)!
کتاب نوشته ی یان استیورات و به قلم جمشید پرویزی ترجمه شده است. ترجمه بسیار روان و ساده و دقیق است. یان استیوارت استاد دانشگاه واروید و خودش فارغ التحصیل کمبریج است از معدود نویسنده های عمومی علمی است که در حوزه ی ریاضیات کتاب های پرفروش می نویسد و خودش یک ریاضیدان شناخته شده است. اون کتاب های بسیار دیگری هم در حوزه ی علم دارد که تقریبا هیچ کدام دیگر ترجمه نشده است!
درک گسسته ی لاپلاسین
در این پست لاپلاسین گسسته را بررسی می کنیم این ابزار عالی ای به ما می دهد که چند فرآیند جدید را که با پست how nature works هم مرتبط است را به ما یاد می دهد. در ویرگول بخوانید:
نسخه فارسی:
https://vrgl.ir/7Wdzf
نسخه ی انگلیسی:
https://hilbert-cantor.medium.com/discrete-laplacian-8a5dde7ff001
به این ترتیب برخی از نظریات کهنه تر در رشته های مختلف باطل می شود.
جامعه هرگز به جامعه ی آرمانی مارکس همگرا نمی شود!
جامعه هرگز به آخرالزمان مذهبی (مهدی موعود یا مسیح یا آرماگدون)همگرا نمی شود!
جامعه هرگز به پایان تاریخ فوکویاما و انسان آخر لیبرال دموکراسی غرب هم همگرا نمی شود!
به این ترتیب تغییر های بزرگ همیشه و همه جا اتفاق می افتند. نگرانی های الان که جامعه دیگر توان انقلاب ندارد و همگرایی آن زمان و داشتن رهبر منسجم رخ نمی دهد همه اشتباه است. نمی دانیم چه رخ می دهد یک انقلاب یا یک تغییر عظیم فرهنگی و اقتصادی یا حتی عقب گرد بدتر، اما چیزی که مشخص است این است که تغییر رخ می دهد و این بخشی از دینامیک بزرگی است که ما جزيی از آن هستیم. برخلاف ۵۷ آگاهی بیشتری نسبت به خود پدیده ی انقلاب وجود دارد. اکنون بر کسی پوشیده نیست کارهای انقلابی چون اعدام های دست جمعی آخر و عاقبت خوبی ندارد و سیستم را به سمت فساد سوق می دهد. چنین اتفاقی احتمال تغییرات بزرگ در قالب یک انقلاب خونین را کمتر می کند و اثرات مثبت آن بیش از پیش در ذهنیت جامعه مشخص می شود حرکت از تفکراتی که مختص یک طبقه از جامعه است به سمت پذیرش افکار جدید و جهانی چون زن زندگی و آزادی است خود نشانه های خوبی است. در وضعیتی که مطالبات می توانست به فقط وضعیت اقتصادی و معیشتی محدود شود. آنچه مشخص است این است رویاهای بی اساس ماندگاری ابدی جمهوری اسلامی و باورش از سوی عده ای محدود جلوی آن تغییر بزرگ که حتما می آید را نمی تواند بگیرد. این فقط یک دلداری خودمانی نیست بلکه فکتی است که هیچ کس نمی تواند جلوی آن را بگیرد! گاه نمونه هایی از آلمان نازی و شوروی آورده می شود که با داشتن قدرت های نظامی و نظم و سازماندهی بزرگ هم در نهایت فروپاشی کردند. این شوی مسخره ای که میبینیم در برابر آن ها چیزی نیست!
برای جادی
یادم می آید سال اول دانشگاه مثل خیلی های دیگه با سایت کیبورد آزاد جادی آشنا شدم. در آن زمان فضای وب فارسی محدود به چت روم ها و ویکی پدیای بسیار ناقص و بلاگ های محدودی میشد. سایت جادی دات نت یکی از اولین منابع برای فارسی زبان ها برای آشنا شدن با اخبار تکنولوژی و برنامه نویسی بود. اما با گذشت زمان جادی تقریبا به صورت یکه و تنها منابع بسیار با کیفیت از آموزش لینوکس، هکینگ و برنامه نویسی در وب قرار میداد و سمینار ها و جلسات زیادی برای آموزش گسترده تر برنامه نویسی میگذاشت. جادی برای نسل من و بعدی ها نماد برادر بزرگتری داشت که بدون چشم داشتی بهترین منابع را در اختیار میگذاشت. این بخصوص بعدها برای بچه های راهنمایی و دبیرستان مهم تر شد که انگلیسی ضعیف تری داشتند. اما جادی مانند هر بلاگر تکنولوژی دیگری نبود، شخصیت جذاب و دوست داشتنی گیک طورش و کامنت های کوتاه و آگاهانه اما بدون وارد شدن بیش از حد به آن ها بدون اینکه جرم «در تخصص تو نیست» بخورد از او شخصیتی فراتر از یک مترجم یا بازگو کننده ی خبر ساخته بود. جادی به ما یاد داد که کنجکاوی مان را پیدا کنیم و با علاقه کد بزنیم و همش دنبال پول نباشیم و از زندگی لذت ببریم و هر روز چیزهای جدید یاد بگیریم.
چند روز پیش اما در میانه اتفاقات اخیر جادی دستگیر شد! خبری شوکه کننده! تصور آنکه شخصی که بخش بزرگی از عمر و جوانی اش را گذاشته است تا کمبود های سیستم فشل آموزشی که کمر همت به تحمیل خرافات مذهبی به نسل های مختلف را دارد، جبران کند اما این چنین با او برخورد می شود یک تراژدی است. از فرصت های بسیار ارزشمندی که برایش در شرکت های درجه ی یک دنیا صرفنظر کند و در ایران بماند تا شاید بتواند آجری بر روی آجری بگذارد. تصویر یورش به خانه ی او، انداختنش بر روی زمین و دستگیر کردنش مانند یک مجرم از ذهنم پاک نمی شود. در آن لحظه که بازجوی او که در مغزش چیزی جز آیه و خشم و عقده نیست در برابرش ایستاده به چه جرمی او را سرزنش می کند؟! آموزش همگانی؟ ساختن محتواهای بسیار ارزشمند برای نسل جوان؟ ترجمه کردن منابع درجه یک دنیا برای همکارانش؟ برای اینکه شجاعانه ایستاد و تلاش های پنهان برای سانسور فراتر از تصور و قطع اینترنت جهانی را رسوا کرد؟
نمیدانم او چه جواب هایی میدهد و یا گوشه ی تاریک بازداشتگاه که نه حمام درست دارد نه غذای درست به چه فکر میکند؟ آیا این دستمزد من است؟ چرا باید ازین جا سر در بیاورم؟
واقعا ما گرفتار چه سیستمی شده ایم که به جای تشویق بهترین آنها آن ها را مجازات می کند و کارش چیزی جز بی لیاقت پروری و مفت خواری نیست. جادی انسانی ست از نسل ما. بی آلایش با شلوارک جلوی دوربین مینشنید آقازاده نیست و چیزی برای پنهان کردن ندارد و با این حال چنین شخصی برای سیستم مزاحم می شود. اگر روزی بتوانم با او حرف بزنم باید بگویم تلاش او و تمام کسانی که راه او را رفته انداز بین نخواهد رفت. یکی از دلایل راه اندازی این کانال هم کمک کردن به کسانی است که به منابع دست اول به فارسی دسترسی ندارند. چیزی که از جادی یاد گرفتم.
هر چه هست میخواهم به عنوان یکی از شاگردان جادی به او بگویم که تو کارت را کرده ای و حتی فراتر رفته ای. همانطور که گفتی امید داریم و هرگز اجازه نمیدیم سربازان تاریکی آن را از ما بگیرند. همانطور که هر بار تکرار میکردی هر روز یاد میگیریم، هر روز از زندگی لذت میبریم! و اینطوریه که بر تاریکی غلبه می کنیم. ولی در عین حال ما را مماشاتی با قدرت زورگو و فاسد نیست!
مشتق کسری قسمت دوم
بر روی ویرگول بخوانید
https://vrgl.ir/0PQio
🔵مشتق کسری!🔵
در گذشته در مورد مفاهیم عجیب و غریب ریاضی و اینکه از جاهای غیر منتظره ای سر در می آورند صحبت کردیم. بخش گسترده (شاید در واقع تمام) ریاضیات پر است از جهش هایی در جهات عجیب و غیر قابل فهم. هر مفهوم ریاضی در زمان خودش بی معنا بوده است. گسترش سیستم های عددی مهم ترین مثال آن است. از اعداد طبیعی به اعداد کسری و منفی و در نهایت اعداد مختلط!
خیلی اوقات ما به چنین جهش هایی فکر نمیکنیم چون صرفا آن ها را بی معنی تلقی می کنیم. یا حتی بدتر آن ها به پارادوکس منجر می شوند! یک مثل کهن در مورد چنین تناقض هایی به مفهوم پیوستگی بر میگردد که قدمتی بسیار طولانی دارد. گفته می شود اولین تناقض کشف شده در مورد مفهوم پیوستگی توسط زنو ارايه شد. زنو مثال معروف مسابقه ی خرگوش و لاک پشت را دارد. سوال این است که کدام می برد. همه می گویند خرگوش. اما خرگوش برای اینکه تمام مسیر را ببرد نیاز دارد نصف ان را برود و برای آنکه نصف آن را برود باز هم نیاز دارد نصف آن را ببرد و الی اخر! انگار خرگوش نگون بخت هرگز نمی تواند شروع کند چون هیچ قدم بی نهایت کوچکی وجود ندارد! با این حال میبینم که جهان ما پیوسته است و چنین مشکلاتی وجود ندارد! بیش تر از ۱۷ قرن طول کشید تا این مساله توسط نیوتون و لایبنیتز حل شود. نیوتون و لایبنیتز حساب دیفرانسیل و انتگرال را معرفی کردند که عملا حساب بی نهایت کوچک ها بود. آن ها نشان دادند که گاهی ضرب بی نهایت کوچک (زمان یک قدم) در ضرب بی نهایت بزرگ (تمام بازه ها) می تواند یک عدد متناهی باشد. چنین چیزی را هر کس که حد های بی نهایت حل کرده باشد می داند.
در عمل پارادوکس همواره موتور محرکه ی کشفیات جدید ریاضیات بوده است و بیشتر اوقات دغدغه ی ریاضیدان کاربرد عملی نظریه اش نیست بلکه رفع آن پارادوکس ها و سوالات است. اما از طرف دیگر تاریخ نشان داده گسترش مفاهیم ریاضی همواره کاربرد های جدید پیدا کرده است. انگار ریاضیات به ما ابزارهای جدید برای شکافتن حتی حقایق فیزیکی را هم می دهند.
اخیرا با یکی از همین جهش های عجیب آشنا شدم که من را بسیار با خود درگیر کرده است. در درس حسابان با مفهوم مشتق آشنا می شویم مشتق در ساده ترین حالت خود چیزی جز زاویه ی خط در یک نقطه نیست. مشتق دوم میزان تحدب و تعقر را اندازه می گیرد و مشتق های بالاتر اطلاعات بیشتر (هرچند تفسیر آن ها سخت است) مشتق گرفتن همواره یک عملیات عدد درست تلقی می شد: یعنی مثلا مشتق اول و دوم و سوم داریم اما مشتق سه چهارم نداریم! چنین چیزی بی معنی است! اما آیا واقعا بی معناست؟
جالب است که این سوال را خود لایبنیتز پرسید که خودش مشتق را کشف کرد. با این حال لایبنتیز متوجه پارادوکس هایی در مورد این مساله شد. با این حال نوشت: مشتق کسری منجر به پارادوکس می شود اما روزی نتایج مفیدی از آن استخراج می شود.
اما پارادوکس مشتق کسری چیست؟ ابتدا بیایید ببینیم چطور چنین چیزی استخراج می شود.
(ادامه دارد..)
جملاتی که در ابتدای آهنگ می‌شنوید، مربوط به آخرین لحظات زندگی هفت فضانورد فضاپیمای آمریکایی «شاتل فضایی کلمبیا» و مکالمهٔ آنها با ایستگاه کنترل مأموریت است. این هفت فضانورد که از کشورهای آمریکا، اسرائیل و هند بودند، پس از اتمام ماموریت STS 107 در فضا و در حال بازگشت به جو زمین، در روز یکم فوریه 2003 به دلیل انفجار فضاپیما، جان خود را از دست دادند.
نام قطعه (تایجین کیوفوشو/Taijin Kyofusho) نام ژاپنی یک اختلال روانی است؛ افراد مبتلا به این اختلال، ترس شدیدی از این دارند که موجب آسیب یا آزار دیگران شوند و به همین دلیل ترجیح میدهند روابط اجتماعی خود را به حداقل برسانند تا احتمال چنین وقایعی به حداقل برسد./
🔵رزولوشون زبان!🔵
در بزرگ کردن مدل های زبانی دقیقا چه اتفاقی می افتد؟ چطور شده که هر چه این مدل ها را بزرگ تر میکنیم و حجم محاسباتی بیشتری را مصرف میکنیم به نتایج بهتری میرسیم. نتایج شگفت انگیزی که از محصول اخیر openai یعنی chatgpt میبینیم از کجا نشات می گیرد؟ در حالی که تنها چیزی که مدل در عمل یاد میگیرد پیش بینی کلمه ی بعدی با داشتن کلمات قبلی است. چطور به انجام رساندن چنین کار به نسبت ساده ای می تواند راه حل مشکلات دیرپای هوش مصنوعی در حوزه ی زبان مانند مساله استدلال متعارفی )commonsense reasoning) ترجمه متن، خلاصه و حتی مسائل ریاضی و برنامه نویسی باشد؟
برای درک چنین چیزی نیاز است به موضوع تقریبا بی ربطی فکر کنیم: گرافیک کامپیوتری! ااز زمانی که ما شروع کرده ایم به تصویر کردن جهان خارج و فیزیک در کامپیوتر، راه درازی طی شده است. از مدل های ساده ی اولیه که تنها یک توپ را مدل می کردند و موتور های گرافیکی ساده تا موتور های گرافیکی امروزی که به سختی می توان خروجی آن ها را از ویدیو واقعی تشخیص داد چندین اتفاق مهم افتاده است اما شاید بتوان همه را در یک موضوع خلاصه کرد:افزایش توان محاسباتی از طریق کارت های گرافیکی و افزایش رزولوشن تصویر!
نکته ی مهم آن است که متوجه شویم دلیل استفاده از کارت گرافیک برای محاسبات ماتریسی و تانسوری در هوش مصنوعی مثل مدل های زبانی و حتی مدل های صوتی و تصویری فراتر از یک ابزار محاسبه است! در مدل سازی های هوش مصنوعی هم ما کاری به جز افزایش رزولوشن داده ی خروجی نمیکنیم! همچنان که با افزایش رزولوشن در گرافیک کامپیوتری شما تصویر بهتر و بهتری بدست می آورید تا در نقطه ای دیگر خروجی گرافیکی از واقعیت قابل تشخیص نیست چنین اتفاقی هم برای زبان می افتد. مدل های autoregressive زبانی که مبتنی بر مکانیزم attention هستند دقیقا آموزش می بینند تا با خواندن متن های زیاد ریزترین ارتباطات ممکن زبانی را بدست بیاورند که در نهایت منجر به تولید کلمه بعد و بعدی می شود تا بتواند یک مساله ی ریاضی یا لطیفه یا ترجمه را انجام دهد. به عبارتی این شبکه ها آنقدر بزرگ شده اند که تمام ظرافت های زبان را در خود بازنمایی کرده اند. توجه کنید «ظرافت» دقیقا کلمه ای است که می تواند برای تصویر و گرافیک بکار برود و از طرفی برای زبان هم قابل استفاده است!
همه ی ما میدانیم که تشخیص مثلا کنایه یا طنز کار ساده ای نیست و نیازمند درک ظریف ترین ارتباط های بین کلمات و مفاهیم در زبان است. اما اگر مدل زبانی من آنقدر بزرگ شده باشد که بتواند تمام این جزییات را مدل کرده و مهم تر از آن عمومی سازی (generalize) کند (کاری که شبکه های عصبی بخوبی انجام میدهند) می تواند «بافتار» زبان را هم شبیه سازی کند به طرزی که با متن واقعی مو نزند! مهم است توجه کنیم که این با حفظ کردن کل متن ها فرق دارد چون در مدلهای زبانی ما می توانیم عمومی سازی کنیم. اگر مدل من با خواندن هزاران داستان غم ناک بداند که ساختار یک داستان غم ناک چگونه است می تواند داستان های جدید با کاراتر ها و فضاهای جدید ایجاد کند اما تم اصلی را حفظ کند. این یک نوع عمومی سازی است که ما هم در آموزش زبان بسیار از آن استفاده میکنیم. مثلا وقتی کودک میخواهد ساختاری مثل گرامر را یاد بگیرد اول مثال هایی به او می دهیم تا در نهایت بتواند «شبیه» به آن ها را بسازد. این شبیه سازی می تواند از پر کردن یک تمپلیت ساده مثل «من (غذا) می خورم» باشد تا شبیه سازی های بسیار پیچیده که مبتنی بر مجرد سازی های زیادی است مثل داستان سرایی کردن (مثلا با ساختار مقدمه، میان پرده و پایان و یا هر ساختار ادبی پیچیده ای)
بنابراین از این دیدگاه مدل های زبانی بزرگ، بافتار زبان را شبیه سازی میکنند و این کار را با چنان دقت و ظرافتی انجام می دهند که از واقعیت فاصله ی زیادی ندارد. شما این موضوع را بهتر درک می کنید وقتی سری به مدل های کوچکتر بزنید تا متوجه بشوید همچنان که مدل های گرافیکی ساده خنده دار و زمخت هستند و مثلا نمیتوانند به دقت موهای مژه یا رگ های یک برگ را نشان دهند مدل های زبانی کوچکتر هم زمخت بوده و به راحتی میتوان خروجی های کم کیفیت آن ها را که فقط کلی ترین ویژگی های زبان (مانند ترتیب فاعل، مفعول و فعل در انگلیسی ) را رعایت کرده ولی جملات مهمل و بی معنی تولید می کنند، تشخیص داد.
محصول جدید شرکت Adobe به نام FireFly که کار خلاقانه دستکاری و ساخت تصویر را به سطحی غیرقابل مقایسه با تمامی ابزارهای قبلی که داشت می رساند! اکنون استفاده از فوتوشاپ برای تعداد بیشتری در دسترس قرار می گیرد و فرآیند خلاقیت سرعت بیشتری پیدا میکند!
Читать полностью…
معرفی یک افزونه ی گوگل کروم
این افزونه با استفاده از chatgpt مقالات arxiv را خلاصه کرده و نکات اصلی آن را به شما می گوید. سوالاتی از نویسنده ها می سازد و حتی پیشنهاداتی در مورد مسیرهای پژوهشی بر اساس آن مقاله به شما می دهد.
https://chrome.google.com/webstore/detail/arxivgpt/fbbfpcjhnnklhmncjickdipdlhoddjoh
در حالی به عصر هوش مصنوعی صنعتی وارد می شویم و این تکنولوژی به زندگی عموم مردم وارد می شود، به ابزارهای شناختی ای دسترسی پیدا میکنیم که پیش از این قابل تصور نبود. این ابزارها مستقیما به ما در «فکر کردن» و فعالیت های شناختی کمک می کنند این کمک چیزی فراتر از ذخیره، بازیابی، جستجو و دسته بندی اطلاعات است. با این حال وقتی در مورد «هوش» این سیستم ها صحبت می کنیم باید با احتیاط بیشتری در مورد آن صحبت کنیم تا سو تعبیر های معمولی که در مورد «آگاه بودن»، «حیات داشتن» و «زنده بودن» وجود دارد، پیش نیاید.
فارسی https://vrgl.ir/4C1VK
انگلیسی https://hilbert-cantor.medium.com/the-era-of-gpt-4-c27879ede156
حالا چطور میتوان ازین مفهوم به بی نظمی رسید؟ شنون بی نظمی رو میانگین غافلگیری ما از حالت های یک سیستم تعریف میکنه! اینجا نیاز داریم یکم صبر کنیم و به این جمله بیشتر فکر کنیم. فرض کنید شما در یک سیستم سیاسی زندگی میکنید که کاملا بی نظم و بی در پیکره! در چنین سیستمی شما هر روز غافلگیر میشوید. به عبارتی هر چیزی هر روز اتفاق میفته! از طرفی یک سیستم سیاسی پایدار به طور میانگین کمتر شما را غافلگیر می کند بنابراین سرمایه گذاری و برنامه ریزی برای آینده ساده تر است. بخش های غافلگیر کننده ی سیستم (I بالا یعنی p کم) احتمال رخ دادنشان کم است و قسمت های کمتر غافلگیر کننده (I کم یعنی p زیاد) احتمال رخ دادنشان بیشتر است! بنابراین میانگین کم تر خواهد بود! از طرف دیگر در سیستم بی نظم همه چیز به یک اندازه (=یک احتمال) غافلگیر کننده است (I بالا برای همه زمانی که همه احتمال ها مساوی می شوند!)
بنابراین کافی است که میانگین غافلگیری ها را حساب کنیم تا به بنظمی برسیم!
اگه چیزی قطعا اتفاق بیفته یا قطعا اتفاق نیفته چنین چیزی هیچ بی نظمی ای نداره. مثلا هیچ شیر خوراکی ای نمیتونه چیزی غیر از سفید باشه! بیشترین بی نظمی اما زمانی اتفاق میفته که هیچ گونه پیش بینی پذیری ای وجود نداره و همه ی حالت ها دقیقا با یک احتمال اتفاق میفتن (مثل رنگ لباس). اگه خودمون رو به دو حالت محدود کنیم. احتمال صد و صفر باید بی نظمی صفر داشته باشن و ۵۰ درصد بیشترین بی نظمی رو!
[0 1] -> 0
[1 0] -> 0
[0.5 0.5] -> max
یعنی چیزی شبیه به شکل پایین
When introducing colleagues to the attention mechanism, a common question is how attention scores differ from weights in a fully-connected layer.
Conceptually, attention mechanisms allow transformers to attend to different parts of a sequence or image. On the surface, this sounds very similar to a fully connected layer!
In attention mechanisms, the calculation of attention weights involves comparing each input element to every other element, resulting in dynamic and input-dependent weights. Attention mechanisms allow a neural networks to selectively weigh the importance of different input features, allowing the model to focus on the most relevant parts of the input for a given task.
In contrast, the weights of a convolutional or fully-connected layer are fixed after training. (As a side note: the self-attention mechanism can be implemented using fully-connected layers; the dynamic, input-dependent nature comes from the pairwise sequence comparisons though, not the weight parameters.)
shorturl.at/bcq67
درک گسسته ی لاپلاسین قسمت دوم
در این قسمت به خواص لاپلاسین بخصوص مساله ی eigenvalue های آن اشاره می کنیم. برای درک شهودی آن از مثال انتقال حرارت استفاده میکنیم. این پایه ای برای درک سیستم های پیچیده ای را به ما می دهد که میتوان با بررسی ماتریس انتقال آن ها خواص مختلف آن مثل پایداری و حتی self organization را بررسی کرد
https://hilbert-cantor.medium.com/discrete-laplacian-2-4fc608a3ea37
فرهاد میثمی در زندان کتابی را ترجمه کرد با عنوان "مبانی مبارزه خشونت‌پرهیز". اگر علاقه داشتید، میتونید بخونید.
Читать полностью…
اتفاقات اخیر و یک تحلیل و تفکر کوتاه
اتفاقات چند ماه اخیر همه ما را بهت زده کرد! گویی اتفاقی عظیم در جامعه رخ داده است که ما حتی تا حد زیادی از آن نا آگاهیم. اتفاقات بزرگ بیشتر اوقات همه را غافلگیر میکنن بخصوص جامعه شناسان را!
تحلیل های سیاسی به کنار چیزی که همه ما در ذهن داریم این است که اتفاق بعدی چیست؟ چکار باید کرد؟ عده ای به دنبال وکالت دادن میگردند. عده ای هنوز عزادار هستند و کاری نمیکنن عده ای بقیه را نقد می کنن و عده ای همه را به احساس آرامش و پذیرش هم دعوت میکنند. از طرفی یک نا امیدی از چند پاره شدن این اتفاق خوب دارد حس می شود. حرفی که من اینجا میزنم از سمت یک تحلیل گر سیاسی نمی آید چرا که من ازین چیزها سر در نمیارم اما حرفی که میخواهم بزنم این است که چنین اتفاقی طبیعی است و نباید امید را از دست داد!
اینجا می خواهم به شیوه ای متفاوت به مساله نگاه کنیم. اگر جامعه واقعا یک سیستم ریاضی پیچیده با کنش ها و واکنش های ان است چطور میتوان چنین چیزی را مدل سازی یا شبیه سازی کرد و نتیجه را دید؟ صد البته همه ی ما میدانیم چنین کاری نیاز به جزییات باورنکردنی دارد و امکان پذیر نیست. ولی اگر آنقدر قدرت محاسباتی داشتیم که آن را انجام میدادیم آیا میشد آینده را پیش بینی کرد؟ لاپلاس اعتقاد داشت که چنین کاری ممکن است. از دید او آنچه نیوتون گفته است تمام حرف است و بقیه کار فقط بسط دادن حرف های اوست. با این حال پوانکاره برای اولین بار مساله ی قدیمی سه جسم را بررسی کرد و متوجه شد که این سیستم قابل پیش بینی نیست اما این در دهه ی ۷۰ میلادی بود که ما برای اولین بار فهمیدیم که بعضی سیستم ها خاصیت آشوبناک دارند و اساسا قابل پیش بینی نیستند. این همان نظریه آشوب بود و میگفت با بال زدن پروانه در برزیل میتواند طوفانی در آمریکا ایجاد کند!(لورنتز) با اینکه نظریه آشوب نتایج بسیار عمیقی دارد با این حال نمی تواند چیزی مانند موجود زنده یا جامعه را پیش بینی کند چرا که چنین سیستمی آشوبی نیست چون آشوب چیزی بجز نویز و بی نظمی مطلق با خودش ندارد. از طرفی میدانیم جامعه یا بدن انسان یا اقتصاد آنقدر منظم هم نیست که بتوان فیزیک کلاسیک بررسی کرد. به عبارتی ما توضیحی برای پیچیدگی نداریم.
پیچیدگی دینامیکی دارد که نه به اثر پروانه ای شباهت دارد و نه به طبیعت بسیار منظم فیزیک کلاسیک! در آن چیزهای رندم اتفاق می افتد اما ما باور داریم که رفتارهای منظمی هم دارد. اگر چنین اعتقادی نداشتیم تمام کار جامعه شناسی و تاریخ و بیولوژی و غیره بیهوده و بی ثمر میبود اما می دانیم که چنین نیست. اینجاست که پر بک Per Bak رباضیدان دانمارکی برای اولین بار تمام این داده ها را کنار هم قرار می دهد. یک الگو همه جا وجود دارد. فرکانس اتفاقات بزرگ بسیار کمتر از اتفاقات کوچک است. مثلا انقراض های بزرگ (مثل انقراض دایناسورها) خیلی کمتر از انقراض های کوچیک ( یک گونه یا یک موجود تک) اتفاق می افتد. انقلاب ها خیلی کمتر از تغییر وزیران و شاه است تا اتفاقات کوچک سیاسی. تعداد کلمات کم تکرار در متن های زبان های مختلف بسیار کمتر از کلمات پر تکرار است. اینجا منظور دقیق ریاضی ما از خیلی کمتر یک رابطه ی لگارتیمی است. یعنی متغیر اول ده برابر متغیر بعدی و ده برابر بعدی تغییر می کند. ۱و ۱۰و ۱۰۰و ۱۰۰۰.
چنین الگویی حتی در نوروساینس هم مشاهده شده است و به قانون لگاریتم فعالیت نورونی هم شناخته می شود.
پر بک برای مدل سازی ریاضی تمامی این سناریو ها از یک مثال ذهنی کپه ی شن استفاده کرد. فرض کنید یکجا یک کپه ی شن میخواهیم بسازیم دانه به دانه شن می اندازیم تا کپه بالا بیاید. این سیستم با اینکه بسیار ساده بنظر می رسد رفتارهای جالبی از خود نشان میدهد. مثلا اندازه ی تعداد بهمن هایی که روی شن اتفاق می افتد رابطه ی لگاریتمی دارند. پر بک می گوید بهمن ها در همه جا (جامعه شناسی: انقلاب جامعه، اقتصاد: بحران اقتصادی، بیولوژی: جهش و سیاست:انقلاب) اتفاق می افتند و آنها نتیجه ی طبیعی خود سیستم هستند و نمیتوان یک دلیل مشخص برای ان ها آورد. بطور مثال خیلی ها انقلاب ۵۷ ایران را نتیجه ی بحران نفتی آن دهه می دانند اما چنین اتفاق های پیچیده ای ناشی از عوامل زیادی هستند به همین ترتیب هیچ کس نمیتواند بحران اقتصادی را پیش بینی کند برای همین تمام دلایل معمولا بعد از اتفاق هستند. اما چیزی که اکنون مشخص است این است که چنین سیستم هایی قوانین مشخصی را پیروی می کنند و یکی از معروف ترین آنها فرکانس رخ دادن است. همان قانونی که باعث بالا پایین شدن روزمره ی بازار ارز می شود منجر به بحران اقتصادی هم می شود. قانون یک کنش سیاسی کوچک تفاوتی با یک انقلاب بزرگ ندارد!
امسال برای انتخاب ستاره ی گیتهاب من جادی را انتخاب کردم، به عنوان یک ایرانی در کامیونیتی خودمان او قطعا تمام ویژگی های یک ستاره را دارد. شما هم می توانید از لینک زیر رای بدهید
Stars.github.com