10419
Немного математики каждый день // для обратной связи: cme.chnl@gmail.com (интересным вещам по теме канала всегда рады; за деньги или за «обмен ссылками» ничего не публикуем)
Захожу после работы на ютуб, а там все сверкает, переливается, крутится, вертится... 😍 Что же это?! ..🤔
...ну конечно же, новое видео от 3blue1brown!
https://youtu.be/9-Jl0dxWQs8?si=VuVVJaYfPZYNxS9j
Стала смотреть, а видео-то не простое: к моему удивлению, оно оказалось посвящено интерпретации эмбеддингов с MLP-слоев трансформера 🥳
✍️ В первой части видео автор показывает, по каким примерно принципам факты могут извлекаться из этих MLP (multi-layer perceptron) слоев. Сама идея о том, что MLP слои трансформера в большей степени отвечают за "вспоминание" фактов, чем его MHA (multi-head attention) слои, известна в ресерч-сообществе довольно давно и берет свое начало из ряда статей, самая известная из которых эта - https://arxiv.org/abs/2202.05262 . Однако, я в первый раз вижу, чтобы эту тему раскрывали в ролике популярного формата!
✍️ Вторая часть раскрывает главный феномен, стоящий за серией постов (и статей) от Anthropic про features superposition ( https://transformer-circuits.pub/2022/toy_model/index.html ). Суть его в том, что в пространство высокой размерности, оказывается, можно напихать неожиданно большое количество векторов, "почти" перпендикулярных друг другу - намного больше, чем количество векторов в ортонормированном базисе этого пространства. Далее вспоминаем, что в пространстве эмбеддинга языковой модели вектора можно интерпретировать как некоторые концепции, а значит, в эмбеддинг можно напихать намного больше "почти" (но не совсем) независимых концепций, чем размерность этого эмбеддинга, получая эдакий раздутый псведо-"базис", по которому можно раскладывать другие вектора и изучать их семантику в соответствии с таким разложением. Это и называется features superposition в статьях Антропик.
Под самим же роликом, к еще большему моему удивлению, оказалась ссылка на туториал, который я сама сейчас ковыряю, чтобы разобраться с библиотекой TransformerLens:
https://arena3-chapter1-transformer-interp.streamlit.app/
и еще много других интересных ссылок. ☕️
#учебные_материалы #объяснения_статей
Древнеиндийские математические сочинения были записаны в виде стихов на санскрите, обычно куплетами из двух строчек, по 16 слогов в каждой; каждый такой куплет называется "шлока". Все, что есть в трактате Бхаскары про вычисление синуса, умещается всего в три шлоки, и вот они:
मख्यादिरहितं कर्मं वक्ष्यते तत्समासतः।
चक्रार्धांशकसमूहाद्विधोध्या ये भुजांशकाः॥१७॥
तच्छेषगुणिता द्विष्टाः शोध्याः खाभ्रेषुखाब्धितः।
चतुर्थांशेन शेषस्य द्विष्ठमन्त्य फलं हतम् ॥१८॥
बाहुकोट्योः फलं कृत्स्नं क्रमोत्क्रमगुणस्य वा।
लभ्यते चन्द्रतीक्ष्णांश्वोस्ताराणां वापि तत्त्वतः ॥१९॥
В каждой шлоке первая строка заканчивается символом ।, обозначающим паузу, а вторая двумя символами ॥, между которыми стоит номер шлоки (17,18,19 в данном случае; узнаете что-то похожее на обратную девятку в числе 19: १९?)
Мне стало интересно, как именно описан в стихах этот процесс вычисления синуса, и я нашел переводы, сравнил несколько версий итд. Это выглядит примерно так (не дословно, но близко к тексту):
"Берем угол в градусах, вычитаем из полукруга (т.е. 180 градусов), и умножаем на самое себя. То, что получилось, пишем дважды. Первую копию вычитаем из 40500, потом берем одну четвертую того, что получилось, и делим на это вторую копию"
Но чего-то мне еще не хватало. В формуле косинуса с радианами, с которой я начал, нет больших чисел, но в формуле оригинала есть число 40500. Как именно они описывают его в этих стихах, так и говорят скажем на санскрите "сорок тысяч пятьсот?" Пытаясь найти перевод слово-в-слово (я не знаю санскрит вообще), я наткнулся на книгу (Kim Plofker, Mathematics in Ancient India), где сказано, что в оригинале это число указано как "небо-облако-стрела-небо-океан", но не объясняется почему. Это я уже совсем не мог оставить так, что за небо-облако?
Оказалось, что среди нескольких разных способов записывать числа, которыми пользовались в древнеиндийской математике, была система, в которой для каждой цифры можно было выбрать одно из примерно десятка слов, связанных с ней символически; например стрела это 5, потому что бог любви Кама-дева носит с собой колчан с пятью стрелами. Далее, цифры записывались в обратном порядке. Поэтому
небо-облако-стрела-небо-океан
0-0-5-0-4
Почему и небо и облако ноль тут? Наверное, чтобы не говорить "небо" два раза подряд. Это стихи!
Когда я разобрался в этом, меня поразило вдруг то, на что я собственно смотрю. Это седьмой век, всего пару сотен лет назад развалилась Римская империя. За полмира от ее развалин, в Индии, ученый по имени Бхаскара записывает - словами, в стихах - число 40,500, используя *позиционную* запись, разряд за разрядом, и цифру 0 (хоть называет ее словом). То есть те самые вещи, которых не хватало древним грекам и древним римлянам в их математике и астрономии. Еще через сотни лет эти открытия дойдут до исламского мира, а через него - до Европы, и в 12-м веке, как раз когда в Индии уже другой Бхаскара, второй, будет делать свои открытия, Фибоначчи в Европе познакомит ученых своего времени с "арабскими" цифрами. А еще через 500 лет после этого работы Ньютона приведут в конечном итоге к пониманию тригонометрии и математики вообще, позволяющем гораздо точнее вычислять синусы и находить приближенные формулы, превосходящие по точности гениальное озарение Бхаскары-первого.
https://youtu.be/rr1fzjvqztY
в качестве картинок про выходным — новое видео про теорему Птолемея (с ее доказательством при помощи картинки)
все знают, что сумма расстояний от точки эллипса до фокусов постоянна
оказывается, фокусы можно заменить на любые дважды касающиеся эллипса окружности — докажите, что сумма синих касательных не зависит от выбора точки эллипса (upd: между точками касания… или нужно добавить знаки)
отсюда, кстати, следует и предыдущая задача
https://youtu.be/3KqjRPV9_PY
сегодня пусть здесь будет видео про бумажные самолетики
Путь из точки А в точку В
Пару месяцев назад редакция журнала Тинькофф—образование взяла у меня интервью. В нем я ответил на много вопросов: почему я стал учителем, зачем написал учебник, какие задачи интересны детям, что делаю в свободное от работы время, какие математические модели можно потрогать руками, нужна ли история науки в школе, работает ли сейчас социальный лифт в образовании.
Это интервью вышло пару дней назад. Вот ссылка на него:
https://j.tinkoff.ru/e-tg/maths-schoolbook/
Кстати, в комментариях к этому интервью развернулась целая дискуссия о пользе геометрии в школьном образовании.
Опубликовали новое интервью: Виктор Александрович Петров, декан факультета математики и компьютерных наук СПбГУ рассказал об отношениях программистов с математикой, о высшем образовании в стране, о Николае Дурове, с которым они вместе взяли золото ICPC в 2001-м году. Смотрите 62 минуты (with English subtitles): на YouTube и yegor256news?z=video-226887147_456239043%2Fclub226887147">на VK.
Читать полностью…
к началу учебного года — «Задачи для детей от 5 до 15 лет» В.И.Арнольда
внутри очень разные задачи — есть про что подумать и пятикласснику, и студенту-математику
много классических задач (скажем, задаче про волка, козу и капусту уже больше 1000 лет) — и при этом в выборе чувствуется вкус автора
// файл с mccme.ru/free-books/
// бумажная версия: https://biblio.mccme.ru/node/122315
Pierre Cartier. A mad day's work: from Grothendieck to Connes and Kontsevich. The evolution of concepts of space and symmetry
1. Introduction
2. A brief biography of Grothendieck
3. On the nature of space and its points
4. Toward the concept of spectrum
5. Points and representations
6. Toward non-commutative geometry
7. Internal symmetries
8. “I have a dream”
9. Postscript (December 2000)
https://youtu.be/jjaxGsn89JI
Wild Mathing рассказывает разное про Эйлера и его математику
к приближающемуся учебному году — несколько плакатов, которыми можно украсить кабинет математики:
а) задачи в картинках из журнала «Квантик» — https://biblio.mccme.ru/node/5487/ https://biblio.mccme.ru/node/5506/ https://biblio.mccme.ru/node/5863/
б) плакаты от М.Панова (конические сечения, неравенства о средних и др.) — https://zadachi.mccme.ru/plak/
в) плакат с задачами МатПраздника разных лет — https://olympiads.mccme.ru/matprazdnik/image/mp-wall2.pdf
г) плакат с задачами из «геометрии в картинках» А.Акопяна — см. ниже
https://kvant.mccme.ru/1982/07/rasselenie_fishek.htm
решение задачи про фишки можно прочитать вот в такой статье в Кванте
На бесконечной клетчатой бумаге отмечено шесть клеток (см. рисунок). На некоторых клетках стоят фишки. Положение фишек разрешается преобразовывать по следующему правилу: если клетки соседняя сверху и соседняя справа от данной фишки обе свободны, то в эти клетки ставится по фишке, а старая фишка убирается. Ставится цель за некоторое количество таких операций освободить все шесть отмеченных клеток. Можно ли достигнуть этой цели, если в исходной позиции а) имеются всего 6 фишек, и они стоят на отмеченных клетках; б) имеется всего одна фишка, и она стоит в левой нижней отмеченной клетке.
(вместо разной возвышенной математики Концевича — пусть здесь пока будет такая его прикольная задача со старого Турнира городов)
https://mccme.ru/ru/nmu/raspisanie
появляется расписание НМУ в осеннем семестре (занятия начинаются с первой недели сентября)
все как обычно:
математика «без смс и регистрации» по вечерам для всех желающих заниматься;
будут появляться видеозаписи и прочие материалы;
кто сдает в конце семестра сессию — те и считаются студентами
https://youtu.be/RX1tZv_Nv4Y
Peter Woit: «I can’t recommend strongly enough that you watch the new Curt Jaimungal podcast with Edward Frenkel. The nominal topic is the recent proof of the geometric Langlands conjecture, but this is introductory material, with geometric Langlands and the proof to be covered in a part 2 of the conversation.
Before getting into the story of the Langlands program at a very introductory level, Frenkel covers a wide range of topics about unification in math and physics and the difference between these two subjects. While there’s a lot about mathematics, Frenkel also gives the most lucid explanation I’ve ever heard of exactly what string theory is, what its relation to mathematics is, and what its problems are as a theory of the real world. He has been intimately involved for a long time in research in this field, playing a major role in the geometric Langlands program and working together with both Langlands and Witten.»
https://mccme.ru/oluch/
22 сентября будет конкурс учителей математики, посвященный памяти Е.Б.Гладковой
как обычно, будет два блока заданий: «математический» (задачи для решения) и «методический» (задания на поиск ошибок в «решениях» и т.п. задания, моделирующие рaботу учителя)
регистрация до 17 сентября, участие только очное
На днях узнал, что в древней Индии знали о потрясающе точной и простой формуле, дающей примерное значение косинуса: (π^2-4x^2)/(π^2+x^2), x в радианах. Если нарисовать на графике косинус и эту функцию, на промежутке [-π/2,π/2], то невооруженным глазом не увидеть разницы, такая она хорошая. Ошибка появляется в третьем знаке после запятой, да и там меньше 0.002.
Захотелось побольше узнать об истории этой формулы, и вот что я разыскал.
В 7-м веке нашей эры жил в Индии математик по имени Бхаскара. Сейчас его называют Бхаскара-I, чтобы не путать с Бхаскара-II, который жил на 500 лет позже и был знаменитым средневековым индийским математиком.
Бхаскара-I оставил после себя сборник комментариев к Арьябхате, его предшественнику и основателю традиции индийской математик и астрономии. Арьябхата жил на 150 лет раньше. Вы будете смеяться, но его тоже долго путали с другим Арьябхатой, который жил на 400 лет позже, и которого сейчас называют Арьябхата-II.
После книги комментариев к Арьябхате, Бхаскара-I написал сочинение, которое называют "Махабхаскария" (маха - большой), и в нем впервые появляется эта формула для вычисления синуса, Арьябхата о ней не знал. В его книге описано приближенное вычисление синуса в промежутках по 225 минут, так называемые синусо-вычеты (три градуса 45 минут; в 180 градусов укладываются 48 таких промежутков). Для угла в 3°45' дается дробь, близкая к его синусу, а потом для каждого следующего - формула, позволяющая вычесть из предыдущих. Это красивое изобретение, но намного менее точное, чем формула Бхаскары.
Вероятно, это значит, что Бхаскара ее придумал, хотя возможно и то, что он суммирует достижения других математиков, труды и имена которых не дошли до нас. Все эти древнеиндийские сочинения написано крайне сжатым языком, в виде стихов (!) на санскрите, которые дают только самое важную информацию, в максимально сокращенном виде. Там нет рассуждений о том, кто это на самом деле придумал и как.
Синусы и косинусы нужны были Арьябхате, Бхаскаре и другим индийским математикам, чтобы вычислять движение планет по небосводу, и особенно период обращения вокруг Земли. Модель эпициклов - движения планет и Солнца по кругам, центры которых в свою очередь движутся по кругам - дошла до Арьябхаты скорее всего от древнегреческого астронома Птолемея (2-й век нашей эры).
Бхаскара пользовался градусами, а не радианами, и формула была для вычисления синуса, а не косинуса. Если x - это угол в градусах, то синус в этом приближении равен
4x(180-x) / (40500 - x(180-x))
(окончание следует👇)
https://sites.math.rutgers.edu/~weibel/papers-dir/khistory.pdf
C.Weibel. The development of Algebraic K-theory before 1980
напомним статью Ф.Нилова про шары Данделена и обобщение этой конструкции (Квант №10 за 2022 год)
изучив ее, можно, в частности, решить пару задач ниже
https://www.youtube.com/playlist?list=PLp9ABVh6_x4H_-0H1OQL4pFLIJjHG_Z8e
новый жанр: видеоанонсы разных курсов НМУ этой осени
видеозаписи лекций в НМУ, разумеется, тоже появляются — на mccme-ium" rel="nofollow">https://www.youtube.com/@mccme-ium + на зеркале https://rutube.ru/channel/42881756/playlists/
Опубликовали новое интервью, с Иваном Аржанцевым, деканом факультета компьютерных наук (ФКН) Высшей Школы Экономики (ВШЭ). Обсудили, среди прочего, как удалось программистам Вышки взять золото на последнем ICPC и почему каждый айти-эксперт должен преподавать на ФКН. Смотрите обязательно на YouTube и yegor256news?z=video-226887147_456239045%2Fclub226887147">на VK.
Читать полностью…
https://www.mi-ras.ru/index.php?c=noc2425_1
на следующей неделе (с 09.09) начинаются и занятия НОЦ МИАН
вот, например, если всегда хотели узнать, почему спектр (кольца) называется спектром
(цитата — из текста Картье выше)
https://arxiv.org/abs/2408.15403
https://www.galoisrepresentations.com/2024/06/16/a-talk-on-my-new-work-with-vesselin-dimitrov-and-yunqing-tang-on-irrationality/
сегодня в качестве картинок по выходным — постер по «геометрии в картинках» А.Акопяна (можно напечатать крупно и повесить на стенку в кабинете математики… или еще где)
Читать полностью…
https://ghoshadi.wordpress.com/2020/09/07/a-probabilistic-proof-of-stirlings-formula/
еще один способ доказывать формулу Стирлинга для приближенного значения N! — вероятностный
(via https://johncarlosbaez.wordpress.com/2024/08/27/stirlings-formula-from-statistical-mechanics/ — где обсуждается еще и физическая точка зрения на эти формулы)
недавнее интервью Концевича
Читать полностью…
https://youtu.be/7l8uqGxVB_0
«…Atiyah presented a conjecture of Edward Witten on the intersection numbers in the moduli space of curves, and it was absolutely new. At the end (…) I went to Sir Michael and said, “Let me introduce you to my young student Maxim Kontsevich. He’s the person who will solve the problem you just showed us.” Atiyah looked at me like he had never heard anybody say something so stupid in his life. (…) It was a Friday (…) and [we] had a boat trip on the Rhine on Monday. (…) In those five hours, Kontsevich explained to Atiyah the idea of his proof. So, between Friday and Monday, Maxim had found the proof!..»
(к сегодняшнему юбилею Максима Концевича)
в качестве картинок по выходным — несколько кругов Кандинского
https://www.guggenheim.org/artwork/1992
https://people.maths.ox.ac.uk/greenbj/papers/ramanujanconstant.pdf
«Ramanujan observed that e^(π√163) … is within 10^(-12) of an integer and used this to obtain approximations to π. In his Field’s Medal lecture, Richard Borcherds said that every mathematician should see once in his/her life why this should be the case, and this essay is an attempt to do just that. However this goal is really just an excuse to study some classic topics in the mathematics of elliptic curves and modular forms…»