998
آموزش MATLAB با "استفاده از ویدئو و متن" در سطوح مبتدی تا پیشرفته پاسخ به سوالات تخصصی: @roholazandie
اکنون ChatGPT یک بدن هم دارد، ربات Figure 01 که هوشمندانه با دیگران ارتباط برقرار میکند
https://www.figure.ai/
بیاید سعی کنیم کمی شهودی تر این معادلات را درک کنیم. لاپلاسین در هر نقطه نشان دهنده ی تغییرات درجه ی دوم است (اصلا میتوانید لاپلاسین را بامشتق دوم یکی بدانید) یعنی اگر نقطه ای دارای لاپلاسین مثبت باشد یعنی آن نقطه از اطرافش کمتر است (در یک دره). و اگر لاپلاسین منفی باشد یعنی آن نقطه از اطرافش بیشتر است (در یک قله). مثلا اگر به معادله ی گرما نگاه کنیم لاپلاسین مثبت به این معنی است که این نقطه از اطرافش سرد تر است. اگر لاپلاسین منفی باشد یعنی این نقطه از اطرافش گرمتر است. به این ترتیب معادله ی گرما می گوید اگر یک نقطه از اطرافش سرد تر باشد (لاپلاسین مثبت) مقدارش در آن نقطه به تدریج زیاد میشود. از طرفی اگر یک نقطه از اطرافش گرمتر باشد (لاپلاسین منفی) آن نقطه به تدریج سرد تر می شود چون مشتق تغییراتش منفی است! در مجموع این بدان معنی است که نقاط گرم و سرد به تعادل می رسند.
حالا به معادله ی موج نگاه کنیم. اینجا با گرما و سرما سر و کار نداریم بلکه با بالا و پایین بودن موج سر و کار داریم. اگر یک نقطه از موج پایین تر از اطرافش باشد (یعنی لاپلاسین مثبت باشد) شتاب تغییراتش برای برگشتن مثبت است. تصور کنید یک کش را به پایین کشیده اید. در پایین ترین حالت کش تمایل دارد با شتاب بالا برگردد. دقت کنید این با حالت قبلی که برای گرما داشتیم فرق دارد. در حالت گرما سرعت مثبت است و وقتی به سطح صاف رسید متوقف می شود. اما برای معادله ی موج این شتاب زیاد باعث برگشت کامل موج به حالت بالا می شود. وقتی هم موج بالاست (لاپلاسین منفی) به همان ترتیب با شتاب منفی زیاد میخواهد به پایین برگردد! کاری که موج انجام می دهد. نتیجه آنکه معادله ی موج به تعادل نمیرسید بلکه تا ابد بالا پایین میپرد.
💠آغاز ثبت‌نام نهمین دوره سری سمینارهای زمستانه (9th WSS)
📆زمان برگزاری: ۱۰ تا ۱۳ اسفندماه
🕰مهلت ثبت‌نام: تا ۴ اسفندماه
⚙️نحوه برگزاری: حضوری و مجازی
⬅️برگزارکننده: دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف
🏔سری سمینارهای زمستانه (WSS) هرساله اساتید و پژوهشگرانی برجسته از دانشگاه‌ها و شرکت‌های معتبر ایرانی و خارجی را گرد هم می‌آورد، تا دانش خود را در قالب سمینارها، لب‌تاک‌ها و میزگردها با شما به اشتراک بگذارند.
💬با حضور در این رویداد علاوه بر یادگیری از متخصصان و اطلاع از موضوعات تحقیقاتی به‌روز در زمینه علوم و مهندسی کامپیوتر، این فرصت را خواهید داشت تا در بحث‌های متنوع آکادمیک و صنعتی مشارکت کنید.
🎙افزون بر برنامه‌های فوق، کارگاه‌هایی با موضوعات یادگیری ماشین (ML)، مدلهای زبانی بزرگ (LLM) و اینترنت اشیاء (IoT) نیز به صورت جداگانه برگزار خواهند شد که در صورت علاقه‌مندی میتوانید با ثبت‌نام در هر یک از آنها دانش خود را در این زمینه‌ها ارتقاء بخشید.
✔️برای دریافت اطلاعات بیشتر و ثبت‌نام به وب‌سایت رویداد مراجعه کنید:
🌐 wss-sharif.com
▪️▪️▪️▪️▪️▪️▪️▪️▪️▪️
🔗Zilink 🌐Telegram
🌐Instagram 🌐LinkedIn
🌐WSS-SUT">YouTube 🔗Twitter
☃️@WSS_SUT
شاید یکی از معروف ترین چنین نتایجی مربوط به ارتباط تقارن با قوانین مرموز پایستگی باشد. در واقع نشان داده شد که تقارن در زمان به قانون پایستگی انرژی، تقارن در فضا به پایستگی تکانه، تقارن در جهت به پایستگی تکانه ی زاویه ای منجر می شود! اما این سوال جدیدی ایجاد می کرد. پایستگی بار الکتریکی از کجا می آید؟ این سوال فیزیکدان ها را بر آن داشت که ویژگی جدید و اسرار آمیزی برای الکترون ایجاد کنند به نام اسپین! اسپین دارای یک مقدار مختلط هست و اعداد مختلط دارای یک تقارن چرخشی هستند طوری که مقدار (absolute value) آن ها که متناظر با بار الکتریکی است، تغییر نمیکنند (یک دایره در فضای مختلط). به این ترتیب پایستگی الکتریکی ناشی از چنین تقارنی است. به این ترتیب راه برای کشف نیروهای جدید هم باز شد چون وقتی تقارن جدیدی پیدا شود باید یک میدان نیرو هم همراه آن باشد. به این ترتیب فیزیکدان ها وارد جهات بسیار عجیبی شدند. آن ها شروع به رسم شکل خود تقارن ها با هم کردند تا تقارن بین تقارن ها را پیدا کنند! چنین مسیری باعث شد نیرو هسته ای قوی و ضعیف کشف شوند.
این مسیر همچنین در را بر روی گشت بیشتر در فضای جبر هندسی و توپولوژی به فیزیک باز کرد. به این ترتیب فیزیکدان ها ابزارهای ریاضی جدید تری به فیزیک وارد کردند. به طور سنتی فیزیکدان ها از معادلات دیفرانسیل و حساب برداری برای بیان کردن قوانینشان استفاده می کردند. اما با وارد شدن به جبر هندسی دیگر امکان استفاده از چنین ابزارهای قدیمی ای وجود ندارد. فیزیکدان ها به دنبال حالت های بسیار انتزاعی تر از عملگر هایی مانند مشتق رفتند که به صورت کلی مشتق، گرادیان، ژاکوبی و کرل را در یک زبان واحد و مشترک بیان کند. چنین خواستی نظریه ریاضی فرم های دیفرانسیل (differential forms) را به فیزیک وارد کرد که زبان مشترک تمام فیزیکدان های امروز شده است. فرم های دیفرانسیل یک چارچوب ریاضی بسیار قدرتمند است که به طور مثال قادر است تمامی معادلات ماکسول را در یک معادله خلاصه کند. قدرت بیان فرم های دیفرانسیل آنقدر زیاد است که براحتی ابزارهای جدید به فیزیکدان ها می دهد که می توانند با بعد های بالاتر کار کنند. به این ترتیب فضاهای توپولوژی جدید با ابعاد بالاتر وارد فیزیک شد. امروزه فیزیکدان ها معتقدند که جهان ما در واقع از ۱۱ بعد تشکیل شده است.
برخی چنین ابزارهایی را هم یک شاهکار و هم یک مشکل بزرگ خطاب می کنند. شاهکار به خاطر اینکه چنین ابزار هایی دیدن عمیق تر واقعیت را ساده تر می کنند اما مشکل ازین جهت که برخی فیزیکدان ها را متهم به جدا شدن از واقعیت و فانتزی پرداز های ریاضی می کنند. گویی فیزیک در زمانه ی ما به چنین مشکل عظیمی دچار شده است. ریاضی زدگی بیش از حد بخصوص در مورد افرادی مانند ادوارد ویتن (Edward Witten) که به سختی (حتی با استاندارد های امروزه) می توان او را فیزیکدان نام گذاشت (بیشتر یک ریاضیدان است) یکی از آفت های علوم بنیادی شده است.
با این حال باید اذعان کرد که حتی نظری ترین فیزیکدان نباید از دیدن واقعیت اطراف و سر زدن به موضوعاتی که شاید آن ها را دون شان بررسی علمی بداند، صرف نظر کند. در دهه های اخیر فیزیکدان های بیشتری وارد علوم زیست شناسی، کامپیوتر و جامعه شناسی هم شده اند. واقعیت این است که ما سوال های عمیق تر دیگری هم داریم که راه بررسی آن ها بسیار ساده تر و پیش بینی ها با معنی تر هستند. مهم ترین مثال آن سیستم های پیچیده بخصوص در حوزه ی زیست شناسی است. چنین مسائلی نه تنها کاربرد روزمره خواهد داشت بلکه ویژگی عمیق ترین سطح سوالات بنیادی بشر را دارد. این که حیات و سیستم پیچیده چگونه به وجود آمد و چرا جهان به صورتی است که هر روز جلوی چشممان میبینیم؟ این مسیر اگرچه به نظر غیر قابل بررسی بنظر می آید اما فیزیک امروز سنگ بناهای خوبی برای چنین بررسی هایی در اختیار ما می گذارد. تنها نیاز به یک تغییر دیدگاه یا شاید انقلاب علمی جدید باشیم.
مشتق کسری قسمت دوم
بر روی ویرگول بخوانید
https://vrgl.ir/0PQio
🔵مشتق کسری!🔵
در گذشته در مورد مفاهیم عجیب و غریب ریاضی و اینکه از جاهای غیر منتظره ای سر در می آورند صحبت کردیم. بخش گسترده (شاید در واقع تمام) ریاضیات پر است از جهش هایی در جهات عجیب و غیر قابل فهم. هر مفهوم ریاضی در زمان خودش بی معنا بوده است. گسترش سیستم های عددی مهم ترین مثال آن است. از اعداد طبیعی به اعداد کسری و منفی و در نهایت اعداد مختلط!
خیلی اوقات ما به چنین جهش هایی فکر نمیکنیم چون صرفا آن ها را بی معنی تلقی می کنیم. یا حتی بدتر آن ها به پارادوکس منجر می شوند! یک مثل کهن در مورد چنین تناقض هایی به مفهوم پیوستگی بر میگردد که قدمتی بسیار طولانی دارد. گفته می شود اولین تناقض کشف شده در مورد مفهوم پیوستگی توسط زنو ارايه شد. زنو مثال معروف مسابقه ی خرگوش و لاک پشت را دارد. سوال این است که کدام می برد. همه می گویند خرگوش. اما خرگوش برای اینکه تمام مسیر را ببرد نیاز دارد نصف ان را برود و برای آنکه نصف آن را برود باز هم نیاز دارد نصف آن را ببرد و الی اخر! انگار خرگوش نگون بخت هرگز نمی تواند شروع کند چون هیچ قدم بی نهایت کوچکی وجود ندارد! با این حال میبینم که جهان ما پیوسته است و چنین مشکلاتی وجود ندارد! بیش تر از ۱۷ قرن طول کشید تا این مساله توسط نیوتون و لایبنیتز حل شود. نیوتون و لایبنیتز حساب دیفرانسیل و انتگرال را معرفی کردند که عملا حساب بی نهایت کوچک ها بود. آن ها نشان دادند که گاهی ضرب بی نهایت کوچک (زمان یک قدم) در ضرب بی نهایت بزرگ (تمام بازه ها) می تواند یک عدد متناهی باشد. چنین چیزی را هر کس که حد های بی نهایت حل کرده باشد می داند.
در عمل پارادوکس همواره موتور محرکه ی کشفیات جدید ریاضیات بوده است و بیشتر اوقات دغدغه ی ریاضیدان کاربرد عملی نظریه اش نیست بلکه رفع آن پارادوکس ها و سوالات است. اما از طرف دیگر تاریخ نشان داده گسترش مفاهیم ریاضی همواره کاربرد های جدید پیدا کرده است. انگار ریاضیات به ما ابزارهای جدید برای شکافتن حتی حقایق فیزیکی را هم می دهند.
اخیرا با یکی از همین جهش های عجیب آشنا شدم که من را بسیار با خود درگیر کرده است. در درس حسابان با مفهوم مشتق آشنا می شویم مشتق در ساده ترین حالت خود چیزی جز زاویه ی خط در یک نقطه نیست. مشتق دوم میزان تحدب و تعقر را اندازه می گیرد و مشتق های بالاتر اطلاعات بیشتر (هرچند تفسیر آن ها سخت است) مشتق گرفتن همواره یک عملیات عدد درست تلقی می شد: یعنی مثلا مشتق اول و دوم و سوم داریم اما مشتق سه چهارم نداریم! چنین چیزی بی معنی است! اما آیا واقعا بی معناست؟
جالب است که این سوال را خود لایبنیتز پرسید که خودش مشتق را کشف کرد. با این حال لایبنتیز متوجه پارادوکس هایی در مورد این مساله شد. با این حال نوشت: مشتق کسری منجر به پارادوکس می شود اما روزی نتایج مفیدی از آن استخراج می شود.
اما پارادوکس مشتق کسری چیست؟ ابتدا بیایید ببینیم چطور چنین چیزی استخراج می شود.
(ادامه دارد..)
جملاتی که در ابتدای آهنگ می‌شنوید، مربوط به آخرین لحظات زندگی هفت فضانورد فضاپیمای آمریکایی «شاتل فضایی کلمبیا» و مکالمهٔ آنها با ایستگاه کنترل مأموریت است. این هفت فضانورد که از کشورهای آمریکا، اسرائیل و هند بودند، پس از اتمام ماموریت STS 107 در فضا و در حال بازگشت به جو زمین، در روز یکم فوریه 2003 به دلیل انفجار فضاپیما، جان خود را از دست دادند.
نام قطعه (تایجین کیوفوشو/Taijin Kyofusho) نام ژاپنی یک اختلال روانی است؛ افراد مبتلا به این اختلال، ترس شدیدی از این دارند که موجب آسیب یا آزار دیگران شوند و به همین دلیل ترجیح میدهند روابط اجتماعی خود را به حداقل برسانند تا احتمال چنین وقایعی به حداقل برسد./
🔵رزولوشون زبان!🔵
در بزرگ کردن مدل های زبانی دقیقا چه اتفاقی می افتد؟ چطور شده که هر چه این مدل ها را بزرگ تر میکنیم و حجم محاسباتی بیشتری را مصرف میکنیم به نتایج بهتری میرسیم. نتایج شگفت انگیزی که از محصول اخیر openai یعنی chatgpt میبینیم از کجا نشات می گیرد؟ در حالی که تنها چیزی که مدل در عمل یاد میگیرد پیش بینی کلمه ی بعدی با داشتن کلمات قبلی است. چطور به انجام رساندن چنین کار به نسبت ساده ای می تواند راه حل مشکلات دیرپای هوش مصنوعی در حوزه ی زبان مانند مساله استدلال متعارفی )commonsense reasoning) ترجمه متن، خلاصه و حتی مسائل ریاضی و برنامه نویسی باشد؟
برای درک چنین چیزی نیاز است به موضوع تقریبا بی ربطی فکر کنیم: گرافیک کامپیوتری! ااز زمانی که ما شروع کرده ایم به تصویر کردن جهان خارج و فیزیک در کامپیوتر، راه درازی طی شده است. از مدل های ساده ی اولیه که تنها یک توپ را مدل می کردند و موتور های گرافیکی ساده تا موتور های گرافیکی امروزی که به سختی می توان خروجی آن ها را از ویدیو واقعی تشخیص داد چندین اتفاق مهم افتاده است اما شاید بتوان همه را در یک موضوع خلاصه کرد:افزایش توان محاسباتی از طریق کارت های گرافیکی و افزایش رزولوشن تصویر!
نکته ی مهم آن است که متوجه شویم دلیل استفاده از کارت گرافیک برای محاسبات ماتریسی و تانسوری در هوش مصنوعی مثل مدل های زبانی و حتی مدل های صوتی و تصویری فراتر از یک ابزار محاسبه است! در مدل سازی های هوش مصنوعی هم ما کاری به جز افزایش رزولوشن داده ی خروجی نمیکنیم! همچنان که با افزایش رزولوشن در گرافیک کامپیوتری شما تصویر بهتر و بهتری بدست می آورید تا در نقطه ای دیگر خروجی گرافیکی از واقعیت قابل تشخیص نیست چنین اتفاقی هم برای زبان می افتد. مدل های autoregressive زبانی که مبتنی بر مکانیزم attention هستند دقیقا آموزش می بینند تا با خواندن متن های زیاد ریزترین ارتباطات ممکن زبانی را بدست بیاورند که در نهایت منجر به تولید کلمه بعد و بعدی می شود تا بتواند یک مساله ی ریاضی یا لطیفه یا ترجمه را انجام دهد. به عبارتی این شبکه ها آنقدر بزرگ شده اند که تمام ظرافت های زبان را در خود بازنمایی کرده اند. توجه کنید «ظرافت» دقیقا کلمه ای است که می تواند برای تصویر و گرافیک بکار برود و از طرفی برای زبان هم قابل استفاده است!
همه ی ما میدانیم که تشخیص مثلا کنایه یا طنز کار ساده ای نیست و نیازمند درک ظریف ترین ارتباط های بین کلمات و مفاهیم در زبان است. اما اگر مدل زبانی من آنقدر بزرگ شده باشد که بتواند تمام این جزییات را مدل کرده و مهم تر از آن عمومی سازی (generalize) کند (کاری که شبکه های عصبی بخوبی انجام میدهند) می تواند «بافتار» زبان را هم شبیه سازی کند به طرزی که با متن واقعی مو نزند! مهم است توجه کنیم که این با حفظ کردن کل متن ها فرق دارد چون در مدلهای زبانی ما می توانیم عمومی سازی کنیم. اگر مدل من با خواندن هزاران داستان غم ناک بداند که ساختار یک داستان غم ناک چگونه است می تواند داستان های جدید با کاراتر ها و فضاهای جدید ایجاد کند اما تم اصلی را حفظ کند. این یک نوع عمومی سازی است که ما هم در آموزش زبان بسیار از آن استفاده میکنیم. مثلا وقتی کودک میخواهد ساختاری مثل گرامر را یاد بگیرد اول مثال هایی به او می دهیم تا در نهایت بتواند «شبیه» به آن ها را بسازد. این شبیه سازی می تواند از پر کردن یک تمپلیت ساده مثل «من (غذا) می خورم» باشد تا شبیه سازی های بسیار پیچیده که مبتنی بر مجرد سازی های زیادی است مثل داستان سرایی کردن (مثلا با ساختار مقدمه، میان پرده و پایان و یا هر ساختار ادبی پیچیده ای)
بنابراین از این دیدگاه مدل های زبانی بزرگ، بافتار زبان را شبیه سازی میکنند و این کار را با چنان دقت و ظرافتی انجام می دهند که از واقعیت فاصله ی زیادی ندارد. شما این موضوع را بهتر درک می کنید وقتی سری به مدل های کوچکتر بزنید تا متوجه بشوید همچنان که مدل های گرافیکی ساده خنده دار و زمخت هستند و مثلا نمیتوانند به دقت موهای مژه یا رگ های یک برگ را نشان دهند مدل های زبانی کوچکتر هم زمخت بوده و به راحتی میتوان خروجی های کم کیفیت آن ها را که فقط کلی ترین ویژگی های زبان (مانند ترتیب فاعل، مفعول و فعل در انگلیسی ) را رعایت کرده ولی جملات مهمل و بی معنی تولید می کنند، تشخیص داد.
محصول جدید شرکت Adobe به نام FireFly که کار خلاقانه دستکاری و ساخت تصویر را به سطحی غیرقابل مقایسه با تمامی ابزارهای قبلی که داشت می رساند! اکنون استفاده از فوتوشاپ برای تعداد بیشتری در دسترس قرار می گیرد و فرآیند خلاقیت سرعت بیشتری پیدا میکند!
Читать полностью…
معرفی یک افزونه ی گوگل کروم
این افزونه با استفاده از chatgpt مقالات arxiv را خلاصه کرده و نکات اصلی آن را به شما می گوید. سوالاتی از نویسنده ها می سازد و حتی پیشنهاداتی در مورد مسیرهای پژوهشی بر اساس آن مقاله به شما می دهد.
https://chrome.google.com/webstore/detail/arxivgpt/fbbfpcjhnnklhmncjickdipdlhoddjoh
در حالی به عصر هوش مصنوعی صنعتی وارد می شویم و این تکنولوژی به زندگی عموم مردم وارد می شود، به ابزارهای شناختی ای دسترسی پیدا میکنیم که پیش از این قابل تصور نبود. این ابزارها مستقیما به ما در «فکر کردن» و فعالیت های شناختی کمک می کنند این کمک چیزی فراتر از ذخیره، بازیابی، جستجو و دسته بندی اطلاعات است. با این حال وقتی در مورد «هوش» این سیستم ها صحبت می کنیم باید با احتیاط بیشتری در مورد آن صحبت کنیم تا سو تعبیر های معمولی که در مورد «آگاه بودن»، «حیات داشتن» و «زنده بودن» وجود دارد، پیش نیاید.
فارسی https://vrgl.ir/4C1VK
انگلیسی https://hilbert-cantor.medium.com/the-era-of-gpt-4-c27879ede156
حالا چطور میتوان ازین مفهوم به بی نظمی رسید؟ شنون بی نظمی رو میانگین غافلگیری ما از حالت های یک سیستم تعریف میکنه! اینجا نیاز داریم یکم صبر کنیم و به این جمله بیشتر فکر کنیم. فرض کنید شما در یک سیستم سیاسی زندگی میکنید که کاملا بی نظم و بی در پیکره! در چنین سیستمی شما هر روز غافلگیر میشوید. به عبارتی هر چیزی هر روز اتفاق میفته! از طرفی یک سیستم سیاسی پایدار به طور میانگین کمتر شما را غافلگیر می کند بنابراین سرمایه گذاری و برنامه ریزی برای آینده ساده تر است. بخش های غافلگیر کننده ی سیستم (I بالا یعنی p کم) احتمال رخ دادنشان کم است و قسمت های کمتر غافلگیر کننده (I کم یعنی p زیاد) احتمال رخ دادنشان بیشتر است! بنابراین میانگین کم تر خواهد بود! از طرف دیگر در سیستم بی نظم همه چیز به یک اندازه (=یک احتمال) غافلگیر کننده است (I بالا برای همه زمانی که همه احتمال ها مساوی می شوند!)
بنابراین کافی است که میانگین غافلگیری ها را حساب کنیم تا به بنظمی برسیم!
اگه چیزی قطعا اتفاق بیفته یا قطعا اتفاق نیفته چنین چیزی هیچ بی نظمی ای نداره. مثلا هیچ شیر خوراکی ای نمیتونه چیزی غیر از سفید باشه! بیشترین بی نظمی اما زمانی اتفاق میفته که هیچ گونه پیش بینی پذیری ای وجود نداره و همه ی حالت ها دقیقا با یک احتمال اتفاق میفتن (مثل رنگ لباس). اگه خودمون رو به دو حالت محدود کنیم. احتمال صد و صفر باید بی نظمی صفر داشته باشن و ۵۰ درصد بیشترین بی نظمی رو!
[0 1] -> 0
[1 0] -> 0
[0.5 0.5] -> max
یعنی چیزی شبیه به شکل پایین
پیش بینی هوای جهان با graphcast
پیش بینی هوا همیشه یکی از پر چالش ترین مسائل بوده است. پیش بینی هوا از طرفی یکی از حساس ترین پیش بینی ها در دنیای امروز است از کشاورزی و مسافربری هوایی تا برگزاری رویدادهای ورزشی پر هزینه به چنین پیش بینی هایی وابسته است. روش های کنونی بر پایه ی شبیه سازی های بسیار پیچیده بر اساس قوانین فیزیک است هستند. این روش ها توسط ابر کامپیوتر هایی محاسبه می شود که معادلات دیفرانسیل پیچیده را حل میکنند. قدرتمند ترین راه حل HRES یا (high resolution forecast) بود که یک سیستم پیچیده و بسیار پرهزینه است که توسط اتحادیه اروپا تامین می شود تا این که deepmind از راه حل جدید خود یعنی graphcast رونمایی کرد.
این مدل بر اساس graph neural network کار میکند و می تواند تا ۱۰ روز را با دقت بیشتری از HRES در کمتر از یک دقیقه پیش بینی کند این در حالی است که چنین پیش بینی برای HRES حداقل چهار روز طول می کشد!!
نحوه ی کار این مدل بسیار ساده است. ابتدا اطلاعات تمام کره ی زمین به یک مشبک های کوچک ۲۸ در ۲۸ کیلومتر تقسیم می شود. این اطلاعات شامل دما،وزش باد و غیره است. در مرحله ی بعدی اطلاعات یک همسایگی از هر مشبک گرفته می شود و در یک مشبک جدید دیگر که دارای شبکه های بزرگ تری است ذخیره می شود. این کار برای سایز های مختلف انجام می شود (چیزی که در شکل می بینید). این کار مانند این است که اطلاعات یک شهر را گرفته و بعد اطلاعات یک بخش بعد یک شهرستان بعد یک استان و یک کشور و در هر مرحله اطلاعات مرحله ی قبل تجمیع می شود(encoder). البته اینجا منظور از تجمیع لزوما جمع کردن یا میانگین گرفتن ساده نیست بلکه یک میانگین وزن دار با وزن هایی است که شبکه یاد می گیرد. مرحله بعد این است که اطلاعات گرفته شده در رزلوشن های مختلف با هم ترکیب شده و دوباره از آن ها برای پیش بینی همان کوچکترین مشبک ها منتها برای ۶ ساعت بعد استفاده می کنند(decoder).
بعد از آنکه مدل آموزش دیده شد ورودی یک ساعت را به آن می دهند و مدل ۶ ساعت بعد را پیش بینی می کند و بعد آن خروجی دوباره به خورد مدل داده می شود (autoregressive) به این ترتیب مدل ۶ ساعت بعد تر را هم پیش بینی می کند. این کار را می توان برای آینده ی دلخواه انجام داد. صد البته به خاطر غیر خطی بودن سیستم آب هوایی هر چه پنجره ی زمانی به آینده بزرگ تر باشد دقت پایین تر می آید ولی با این حال دقت graphcast تا ۱۰ روز آینده بالاتر از ۹۰ درصد است که در ۹۹.۷ درصد مواقع از سیستم پر هزینه (و حالا هندلی) HRES بهتر کار می کند.
اما بهترین قسمت این کار این است که تمام کدهای این پروژه متن باز و در دسترس همگان است.
ویدیوی جذاب دیپ مایند برای این پروژه
معادله ی موج (سمت راست) و معادله ی گرما (سمت چپ). نحوه ی پخش کاملا متفاوت این دو پدیده در حضور شرایط مرزی (مثل یک اتاق) ناشی از تفاوت بنیادین در نحوه ی تغییر است.
در معادله ی موج مشتق دوم تابع نسبت به زمان معادل با مشتق دوم نسبت به مکان (لاپلاسین) است. اما در معادله ی گرما مشتق اول تابع نسبت به زمان است که با مشتق دوم نسبت به مکان رابطه دارد.
آیا به ناظم نیاز داریم؟ (قسمت ۱)
«گل پرنده سبز» (green flowerbird) گیاهی ست که در قسمت های غربی استرالیا می روید و شکل عجیب و غریبی دارد. وقتی به آن نگاه میکنید شبیه به یک پرنده است. زیست شناسانی که بر روی این گل تحقیق کرده اند متوجه شده اند که گیاه از چنین ترفندی استفاده می کند تا خود را شبیه به پرنده کرده و به این ترتیب مانع جمع شدن حشرات موذی به خود شود! این وفق یافتن طبیعی می تواند براحتی دست مایه ی تصوراتی در مورد این موضوع شود که چنین کاری بدون «خلق» و «طراحی» امکان پذیر نیست. قطعا چنین سطحی از پیچیدگی نتیجه ی قوانین تصادفی و کور نیست. اولین سوالی که به ذهن خطور می کند این است که گیاه حتی از کجا می داند که یک پرنده چه شکلی است که خود را شبیه به آن کند؟ تنها حالتی که می توان آن را توضیح داد این است که گیاه طبق یک «طراحی» از پیش مشخص شده رشد کرده و به شکل کنونی خود رسیده باشد.
«گل پرنده» البته تنها مورد در طبیعت نیست که چشم ناظر انسانی را به خود خیره و ما را در عمق پیچیدگی خود مقهور می کند. طبیعت برای چشم های تیزبین یک دانشمند پر است از چنین ظرافت هایی! از طرفی توضیح مساله به عنوان یک «طراحی» از پیش تعیین شده بیشتر از آنکه یک توضیح باشد یک میانبر ذهنی، تنبلی تفکر و وارد کردن عناصر غیر قابل توضیح بیشتر است. اما فراتر از آن چنین تصوری پیچیدگی و خلاقیت بی نظیر طبیعت در موقعیت های مختلف را با شباهت دادن آن به فرآیند خلق انسانی مبتذل و سطحی می کند. حالا سوال این است که چطور می توان چنین چیزی را فهم کرد؟ (ادامه در لینک زیر)
https://vrgl.ir/VqV9z
🌕 ریاضی زدگی فیزیک: بن بست و مسیر های نوین 🌕
خوانش های معمول برای فیزیک مدرن پر است از داستان های عجیب و غریبی که هر غیر ممکنی را با کوانتوم توجیه و «علمی» جلوه میدهد! چنین تصویری صد البته سطور کتاب های فهم عامه در مورد فیزیک را پر کرده است و صد البته چنین روشی بسیار جذاب و تعداد زیادی از ذهن های جوان را به خودش جذب میکند. من هم یکی از چنین نوجوانانی بودم! جاذبه ی فیزیک نه از فیزیک کلاسیک که فیزیک کوانتوم و نسبیت است که نوجوان به دنبال چیزهای عجیب و غریب، باحال (کول) و البته دنباله ی سوالات معنی دار تر مانند هستی و آفرینش میبرد. چنین روشی البته در مجموع شاید بهترین دریچه به چنین دنیایی باشد اما آنچه چنین موضوعاتی مانند مفاهیم فیزیک جدید را جالب می کند شاهکار ریاضی ساختار آن هاست. برخلاف فیزیک کلاسیک که به مجموعه ای از قوانین جدا و تجربی و دور افتاده به هم می ماند فیزیک جدید یک تلاش بسیار بنیادی برای سازمان دهی کردن هر آن چه در مورد جهان میدانیم است. همه چیز از زمان و فضا و ماده و نیرو در یک چارچوب یکپارچه!
در این تلاش بخش های جدا شده ی فیزیک مانند الکترومغناطیس، نسبیت یا کوانتوم و ترمودینامیک دیگر از هم دور افتاده نیستند بلکه یک ساختار واحد دارند. مهم ترین دستآورد مکانیک کوانتوم فقط پیش بینی های دقیق آن نبود بلکه شکستن ساختار های گذشته در مورد اینکه طبیعت چگونه کار می کند است. برای این منظور فیزیک جدید دست به دامان ریاضیات شده است. با اینکه چنین وضعیتی به ظاهر فیزیک را غیر شهودی تر می کند اما در عمل دریچه های عجیبی به ساختار های داخلی «واقعیت» (reality) باز می کند. فیزیک کلاسیک دیگر مقادیر سرعت و مکان را با متغیر ها بازنمایی نمیکند بلکه از اپراتور ها بهره می برد. به عبارت دیگر «مشاهده ی مکان» یک عمل بر روی جهان خارج است و بنابراین باید مانند یک اپراتور با آن برخورد کرد. این اپراتور جهان خارج را تغییر داده و یک مقدار بر میگرداند که «اندازه ی مکان» در یکای متر است! این اندازه در مشاهدات گوناگون مقدار واحدی را بر نمیگرداند اما این مقادیر دارای توزیع مشخصی هستند که با مقدار ویژه (eigenvalue) آن اپراتور مشخص می شود. این تغییر دیدگاه اساسی به زیبایی تمام در ریاضیات کوانتوم قرار گرفته است. چنین دیدی به نتایج جالبی منجر می شود به طور مثال ترتیب «اندازه گیری مکان» و «اندازه گیری تکانه» قابل جابجایی نیست! یعنی اینکه کدام اول انجام شود نتایج را تغییر می دهد!
با اینکه چنین چیزی شهودی به نظر نمی رسد اما میتواند خاصیت گروهی از عملگر ها باشد به طور مثال پختن غذا و خوردن آن قابل جابجا کردن نیستند. چنین عملگرهایی از «جبر» خاصی پیروی می کنند. وقتی صحبت از جبر می شود مشخصا در مورد پایه ای ترین ویژگی ها صحبت می کنیم. به عبارتی فیزیک جدید ریاضیات کمتر شهودی را کاربردی کرد. اما این تازه اول ماجراست چرا که چنین جبر هایی به گروه (group) های مشخصی وصل می شوند که تفاوت آن ها در پایه ای ترین ویژگی های ممکن یعنی «تقارن» است. از لحاظ ریاضی دیگر نمی توان ازین ساده تر به جهان نگاه کرد. نگاه به جهان نه از دید نیرو یا جرم یا میدان ها بلکه از دید تقارن ها.
فیزیکدان ها بعد از مدت کوتاهی متوجه شدند که تقارن ها نقش بسیار کلیدی در ستون فقرات فیزیک و واقعیت قرار دارد. ما تقارن های بسیار پایه ای در مورد جهانمان داریم که معمولا به آن توجه نمی کنیم. به طور مثال ما انتظار داریم اگر در یک نقطه در جهان آزمایش کردیم و به نتایجی رسیدیم اگر در آن به نقطه ی دیگری جابجا شویم باید نتایج مشابهی بگیریم. یا اینکه آزمایشات باید در زمان های مختلف یکی باشد. قانون نیوتون باید هم الان هم ده سال پیش و هم ده هزار سال دیگر یکسان باشد. تقارن دیگر تقارن در جهت چرخشی در فضاست. اگر ما بچرخیم باز هم جهان نباید تغییر کند.
در طول چند دهه ی اخیر فیزیکدانان حالت های جدیدی از ماده را بررسی می کنند که قوانین فرآیندهای تصادفی مخصوص به خودشان را دارند. این حالت های جدید در واقع همان حرکتهایی است که در «مقیاس» های مختلف موجودات زنده مشاهده شده است. به صورت کلاسیک فرآیند های تصادفی مانند حرکت مولکول ها در هوا یا مایع از قانون حرکت براونی (Brownian motion) پیروی می کند. یک مثال معروف آن حرکت قطرات جوهر است وقتی در آب ریخته می شوند. این نوع از حرکت بسیار مطالعه شده و ویژگی ها آن استخراج شده است. به طور مثال در حرکت براونی حالت سیستم در هر لحظه تنها به لحظه ی قبل تر آن وابسته است. این حقیقت از ویژگی خطی بودن پخش (diffusion) می آید. چنین ویژگی ای منجر به معادلات درجه ی اول در زمان برای پخش می شود. اما مطالعه ی حرکت ذرات تشکیل دهنده ی حیات به طور مثال پروتئین ها در سلول یا سلول های در بدن، حیوانات در زیست بوم نشان می دهند حرکت آنها تابع قوانین تصادفی پیچیده تری است. یکی از مهمترین ویژگی این نوع دینامیک این است که لزوما فقط به یک لحظه ی قبل وابسته نیست بلکه به لحظات قبل تر هم وابسته است. به نوعی در این گونه دینامیک نوعی از حافظه وجود دارد که باعث می شود سیستم در تعامل با خودش باشد. لازم نیست به چیزهای پیچیده فکر کنیم وقتی توپ های روی یک میز بیلیارد را هم حرکت دهیم می توان دید که حرکات سیستم به حرکات آن از زمان های بسیار قبل تر هم وابسته است. به طور مثال یک توپ ممکن است جهتی دیگر برود و به توپ دیگری که از زمان قبل کنار هم بوده اند برخورد کند. چنین چیزی بسیار ساده بنظر می رسد اما ویژگی مهمی است که امکان ایجاد خوشه و شکل های پیچیده تری را به وجود می اورد که پیش زمینه های وجود حیات است.
Читать полностью…
ویدیویی که میبینید ساخته ی گرافیک کامپیوتری (CGI) نیست! این یکی از کارهای یک هنرمند است که فقط با استفاده از مواد شیمیایی مختلف بخصوص ferrofluid یا فروسیال که خاصیت مغناطیسی دارند چنین الگوهای عجیب و «زنده» life like میسازد.
جالبترین نکته ی این ویدیوها نظم و پیچیدگی عجیب ساختارهایی است که از قوانین فیزیکی ساده ای پیروی می کنند. برخی از این سیستم ها مانند Ising model در فیزیک بررسی شده اند و شباهت های بسیار بنیادی آنها با حیات و ساختارهای پیچیده تر زیست شناسی مطالعه شده اند. بطور مثال چنین سیستم هایی از اساس خود سازمانده self organized هستند یعنی برای ایجاد و نگه داری خود نیاز به خالق یا یک کنترل مرکزی ندارند. اطلاعات را با کارایی بسیار بالا پردازش میکنند و برخلاف سیستم های مهندسی مقاومت زیادی در برابر تغییر دارند و تابع قوانین فرگشت (evolution) هستند. بسیاری معتقدند فیزیک پیچیدگی و سیستم های دینامیکی غیر خطی در نهایت پاسخی برای حیات و پیچیدگی های بی انتهای جهان زیست شناسی را برای ما فراهم میکند. در مورد چنین سیستم هایی بیشتر صحبت خواهیم کرد.
منبع
برای اندازه گیری رزولوشن در تصویر تعاریف درستی داریم اما در زبان چه؟ اصلا رزولوشن در زبان را میتوان تعریف کرد؟ به نظر من بهترین تعریف برای رزولوشن با مفهوم perplexity گره خورده است که در عمل cross entropy بین توزیع احتمال تولید شده توسط شبکه و توزیع احتمال واقعی (که با داده ها تخمین زده می شود empirical distribution) است. زمانی که این فاصله (که از نوع اطلاعات است) به صفر برسد تفاوتی بین واقعیت و توزیع مدل زبانی نیست و رزولوشن بی نهایت است. بنابراین می توان رزولوشن مدل را به صورت معکوس perplexity تعریف کرد
LM_resolution = 1/perplexity
Perplexity = 2^ H(p, q)
که در آن H(p,q) کراس آنتروپی بین توزیع احتمال مدل زبانی p و توزیع احتمال واقعی q است. حالتی که رزولوشن بی نهایت است یک حد است که هیچ گاه نمی توان به آن رسید چون توزیع احتمال مقصد علاوه به ظرافت بی نهایت (؟) همواره در حال تغییر است. چون زبان یک پدیده ی دینامیک است.
این کتابخانه با استفاده از ChatGPT بسیاری از کارهای معمول پردازش متن را اتوماتیک میکند، به طور مثال بدون داشتن هیچ دیتاستی بر روی تعدادی برچسب میتوان برچسب ها را تعریف و دسته بندی بدون هیچ آموزشی انجام داد
https://github.com/iryna-kondr/scikit-llm
"neural networks need to be adversarially robust like the human visual cortex. like you shouldn't be able to change a few pixels and completely change the semantic meaning of an image"
the human visual cortex:
این تعریف از بی نظمی به همه جا از جمله تصویر بالا قابل تعمیم است!
Читать полностью…
اما آیا میشه بی نظمی رو باز هم به اجزای سازنده ش شکست به چیزی که ساده تر بشه درکش کرد؟ اینجاست که اساسی ترین بخش (اتم) نظریه شنون رو میبینیم. شنون مفهوم «غافلگیری» (surprisal) را اساسی ترین بخش نظریه خودش می دونه! اگر چیزی احتمال ۱۰۰ درصد باشه اصلا غافلگیر کننده نیست بنابراین مقدار غافلگیری اون صفره. از طرفی هر چه احتمال چیزی کمتر باشه بسیار غافلگیر کننده تره! در واقع احتمال چیزی و غافلگیری اون تقریبا به یک معنا هستند و فقط واحدشون فرق داره. چیزی که احتمالش صفر باشه بی نهایت غافلگیر کننده ست!! یک تابع مطلوب برای تبدیل احتمال به غافلگیری لگاریتمه
Читать полностью…
مدتی پیش این میم (meme) رو دیدم که علاوه بر نکته ی خنده دارش واقعیت جالبی رو هم نشون میده: کاری که طرف کرده «غلط» نیست به این معنی که حدودا میشه گفت درسته!
خب اولین سوالی که پیش میاد یعنی چی؟ اینجا اصلا ساختار رعایت نشده! فقط هر چی که رنگ های مشابه داره کنار هم قرار داده شده. اما وقتی میگیم حدودا یعنی تقریبی! یعنی اگه من شکل اسب روی کارتن پازل رو هم نشونتون ندم شما میتونید تشخیص بدید که این یک اسبه پس جواب طرف خیلی هم غلط نیست!
شاید باورش سخت باشه ولی این درست بودن به معنای نظریه ی اطلاعاتیه!
در نظریه اطلاعات چیزی که برای ما اهمیت داره ساختار به معنای عرفی اون یعنی قرار دادن هر چیزی «دقیقا» سرجاش نیست بلکه چیزی که حدودی هم شبیه به ساختار مد نظر باشه برای منظور ما کافیه به همین خاطر در نظریه اطلاعات ما به فرآیند های تصادفی و توزیع احتمال علاقه نشون میدیم. چنین طرز نگاه کردنی شاید بنظر غلط باشه اما در عمل کار رو راه میندازه! مثلا برای اینکه ما تشخیص بدیم یک شکل «اسب» هستش اتفاقا غلطه که بریم و ببینیم که دقیقا هر قسمت اسب چه شکلی میشه برعکس اون بازنمایی که ما داریم (یه جوری در مغز قرار گرفته) یک بازنمایی احتمالاتیه! یعنی ما حدودا میدونیم کله ی اسب و یال هاش چجوری، تقریبا دمش و تقریبا پاهاش! اصلا به همین خاطر هست که ما حتی یک نقاشی کج و کوله بچگانه از یک اسب رو بازم به صورت اسب تشخیص میدیم!
مهم نیست این بازنمایی توسط چه سیستمی ذخیره شده (شبکه های عصبی عمیق یک مدل احتمالاتی یا به نحو کمی اسرار آمیزی توسط مغز!) و این دقیقا هوش کلاود شنون ( Claude Shannon) بود! شنون تشخیص داد که اطلاعات در بسیاری از مواقع چیزی جز تشخیص همین توزیع ها نیست.
مثلا برای رنگ اسب ما بیشتر انتظار داریم که رنگ هایی مثل قهوه ای و سیاه و سفید ببینیم اما اگر اسبی سبز باشه اسب نیست؟ در واقع اسب سبز هم یک امکانه ولی احتمالش کمتره (شاید یک اسب کارتونی!) دنیای واقعی باعث میشه ما به دنبال تعریف های دقیق برای «چیزها» نباشیم چیزی که ما یاد میگیریم نه ساختار به معنای سفت و سخت و قانونی اون بلکه یک ابر هست که در زبان ریاضی به توزیع ترجمه میشه. توزیع ها حاوی اطلاعات هستند و نظمی رو توصیف میکنند! مثلا اینکه رنگ اسب ها معمولا سفید و سیاه و قهوه ایه تا سبز یا صورتی خودش یک نظم هست در مقابل نظم، بی نظمی قرار میگیره. وقتی یک ویژگی هیچ تفاوتی بین مقدارهاش وجود نداشته باشه در بی نظم ترین حالت ممکن خواهد بود مثلا جهت کله ی اسب در تصویر تاثیری در «اسب بودن» شکل نداره! با احتمال مساوی کله ی اسب میتونه چپ یا راست یا وسط تصویر باشه! ما به چنین چیزی توجهی نمیکنیم!
اما بی نظمی رو چطور میشه تعریف کرد؟
(ادامه دارد)