8212
Жоский ИИ дядя. Твой личный поставщик AI 💊💉🤖 Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys. Для связи @dealer_ai (реклама и консультации) Habr @Andriljo Kaggle: Andrilko
NotebookLM или начало новых подкастов с LM?
Ребята с Google хотели воплотить концепцию society of mind или "дебаты" с AI. Кстати Дядя писал уже об этом тут.
Но вышло в итоге NoteBookLM, где сервис, на базе модели семейства Gemini, может принимать на вход ваши доки/новости/аудио и тп, а на выходе делать аудио-дискуссию по "просмотренным" материалам между двумя llm-агентами.
Ну что теперь AI может пилить подкасты за Вас и по делу по-пИИ*деть 🤣
Входим ли мы в новую эру AI-driven подкастов или это кратковременный ажиотаж —поживем, увидим.
Больше мемов про Нобеля седня не будет...
Наверное
Теперь и хемоинформатика пошла.
upd. link
https://www.nobelprize.org/prizes/chemistry/2024/press-release/
Anthropic делится современной "базой" для улучшения RAG.
Антропики продолжают образовывать разработчиков и предлагают "новый" хинт для работы с RAG - контекстуально дополненные вектора чанков текста.
Основная идея использовать не только микст bm25 и dense vector индексов, но и предварительно чанки дополнять информацией связанной с ними из разных частей документа, откуда эти чанки были нарезаны. Для этого используется Claude3 Haiku. Которому дают инструкцию сделать краткое примечение на 50-100токенов. Промпт имеет вид:
<document> {{WHOLE_DOCUMENT}} </document> Here is the chunk we want to situate within the whole document <chunk> {{CHUNK_CONTENT}} </chunk> Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.
original_chunk = "The company's revenue grew by 3% over the previous quarter." contextualized_chunk = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."
Место для вопросов с форума НайтиIT
пишем в комменты)
torchiano с молоком оптимизациями, пожалуйста.
Завезли оптимизаций инференса для LLM - torchao
https://pytorch.org/blog/pytorch-native-architecture-optimization/ гляньте
Ты приходишь ко мне просить падение лосса, но ты просишь без уважения(с)
муз.тема
В развитие темы про "не только трансформеры" и SSM. На The Gradient попалась неплохая статья с полезной интуицией про Мамбу:
https://thegradient.pub/mamba-explained/
🚀 @SBERLOGASCI webinar on mathematics and data science:
👨🔬 Sergei Gukov "What makes math problems hard for reinforcement learning: a case study"
⌚️ 19 September, Thursday 19.00 Moscow time
Add to Google Calendar
Can AI solve hard and interesting research-level math problems? While there is no mathematical definition of what makes a mathematical problem hard or interesting, we can provisionally define such problems as those that are well known to an average professional mathematician and have remained open for N years. The larger the value of N, the harder the problem. Using examples from combinatorial group theory and low-dimensional topology, in this talk I will explain that solving such hard long-standing math problems holds enormous potential for AI algorithm development, providing a natural path toward Artificial General Intelligence (AGI).
The talk is based on a recent paper: https://arxiv.org/abs/2408.15332
О докладчике: Сергей Гуков - профессор КалТех, выпускник МФТИ и Принстона, один из наиболее известных специалистов по теории струн и математической физике, в последние годы занимающийся применением методов Reinforcement Leaning к задачам математики и физики.
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga and in telegram: /channel/sberlogasci/19688 - subscribe !
Анонс на твиттер:
https://x.com/sberloga/status/1835702457260765359
Ваши лайки и репосты - очень welcome !
Курс Агентов 007.
Из соседнего чатека занесли:
- Ongoing курс по LLM агентам
https://llmagents-learning.org/f24
потихоньку выкладывают записи лекций и слайды(с).
Если вам кажется, что ruMTEB рейтинг "прилег" по некоторым моделькам, вам не кажется - готовим обновление как по таскам так и по моделям. Обнова in progress...
Stay tuned.
RIG-RAG и DataCommons, как Gemma работает с надежными источниками данных.
Как-то осталось незамеченным решение Gemma вчера на фоне o1 от openAI, при том что вышел анонс пораньше. И если o1 работает с релевантностью ответов через CoT, то гуглы идут от своих преимуществ поиска и собирают DataCommons. DataCommons—это источник надежных БД (по мнению гугла), состоящий из разных доменов и типов данных (таблицы, текст, графики и тп.), которые динамически расширяются и изменяются.
Естественно, для вопросно-ответных систем надежность источников данных стоит на первых местах. Помимо этого Gemma использует два уже устоявшихся концепта RIG и RAG поверх DataCommons.
RIG позволяет делать из промпта упреждающие структурированные запросы в БД , обращаясь именно к тем доменным областям и данным, которые релевантны для исходного запроса. Также в данной системе есть алгоритм проверки достоверности стат.данных извлеченных из БД. При этом RAG используется также—запрос трансформируется в К запросов свободной формы в разные места БД.
Совмещение надёжных источников, rig и rag дает прирост в релевантности ответов, для примера в gemma27b и 7b.
Гугл продолжает свои исследования.
O1 как виза только LLM. Видимо эта сможет попасть по талантам куда угодно.💳
Не останусь в стороне этого превью:https://openai.com/index/learning-to-reason-with-llms/
Конечно в посте куча метрик, большой ап по бенчам и тп. Но для меня. Что интересного?
Первое-это цепочка рассуждений (CoT) которую делает алгоритм прежде, чем ответит LLM. Эта идея не нова, интересно как это реализовали.
Второе-как выбирают лучшую цепочку, возможно тут зарыт RL и тот самый q-learning или уже мифический q*.
Ну и мы видим, что некоторые евангелисты AI правы и модели будут идти в сторону динамического планинга рассуждений и генерации ответа на этом.
UPD. И да ждем подробностей в следующих анонсах.
Иногда думать медленно, облекая мысли в слова, полезно и даже приятно.
Когда-то у меня был сетевой дневник, но мне слишком нравится начинать с чистого листа, не оставляя никакой памяти позади.
Я отец замечательных парней, разработчик моделей, kaggle grandmaster, в свободное от работы время решаю соревнования на аналитику данных (хорошо), играю в шахматы и на гитаре (плохо) и занимаюсь каким-нибудь спортом (приемлемо). Супер-соревновательный и ищу соревнование даже там, где не надо.
Люблю смотреть как падает loss и спонтанность. Не люблю ждать.
Недавно обнимашки закинули в репо гайд по оценке LLM моделек.
Ребяты запилили все по полочкам:
1. Автометрики.
2. Оценка кожАных.
3. LLM как судья.
Везде есть база, хинты и даже мета метрики, к примеру в LLM as judge.
Репо: https://github.com/huggingface/evaluation-guidebook
OpenAI с хайпом и прорывом с ChGPT и тп. открыл год Меча и Магии в созвездии премий "около MLных" исследований ?)
upd. Ждем следующих номинантов.
С одной стороны рад, деды воевали заслужили, но по физике Карл!? С другой стороны как бэ и не биология и не совсем математика, а по информатике и кибернетике нет ничего..
А куда бы вы определили этих ребят в рамках доступных Нобелевской премии наук?
Пишем в комментарии.
https://www.nobelprize.org/prizes/physics/2024/press-release/
Открыт сезон конкурсов презентаций и ноутбуков на Kaggle от Google🧑🎓.
Google предлагает посоревноваться в тюне Gemma2 сеток для разных языков и соответствующих культурных особенностей, при этом конкурс состоит в написании гайда по обучению+код/ноутбук.
Требования также описаны в условиях: чОткий стиль, откуда взята и как подготовлена датка, наличие кода демонстрации обучения и инференса, размещение на кекле кода/датки/моделек, интересные хинты к тюну, утойчивость и др. За топ-5 мест 30к$. 💸
Такая щедрость, по мнению оргов стимулирует популяризацию исследований (ага щаз, Gemma2 хотят протолкнуть 🤣) в области языковых моделек. 🆒
Думаю, ребята с Saiga/Vikhr team могли бы вштать за ру-домен приз вполне.
https://www.kaggle.com/c/gemma-language-tuning
По чатикам уже ходит анонс 135m модельки на 690млрд токенах обученной: https://huggingface.co/amd/AMD-Llama-135m
Чет с таким капасити кажется будет слабова-то.
Но я бы также смотрел сюда👇
Интересный обзор, в котором авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Рассматриваются архитектура, инсайты обучения, датасеты, возможности к рассуждению, а также математика и кодинг.
Не обошли стороной анализ затрат на инференс, delay по ответам и др.
https://arxiv.org/abs/2409.15790
🧐 Портал в мир науки открывается по средам!
Уже 2 октября в 18:30 встречаемся в Reading Club, чтобы обсудить новую порцию научных прорывов из мира AI.
Гость: Карина Романова
TeamLead CoreLLM:recsys.
Отвечает за добавление текстовых и картиночных фичей в рекомендации Wildberries. Магистрантка AI Talent Hub.
➡️ Разберемся в новом подходе к интерпретации крупных языковых моделей на примере Claude Sonnet. Обсудим, как удалось их выявить, какие концепции формируются внутри модели и как это может улучшить безопасность и надежность ИИ в будущем.
🔖 статья: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
➡️ Зарегистрироваться
📹 Смотреть предыдущий выпуск
#ReadingClub #AITalentHub #NapoleonIT #ITMO
Забавное дня. Размер не всегда имеет значение.
Седня узнал забавный факт, что топчик-1это mistral-7b на ruMTEB ибо он 7b. 💳
Псс, чуваки, jina-v3 на 570М (в 15 раз меньше), да еще и на префиксах, а не на инструкциях. 🌿
Вы или скейлите веса или у вас прямые руки и вы выезжаете на сетах+лосс/архитектура+инженерия сэмплинга. 🧠
Jina новая SoTa на MTEB.
Ребята из Jina снова доказывают, что размер не имеет значение и их 0.57b модели тому доказательство.
Вышла новая версия модели, которая в своем типо-размере бьет конкурентов на MTEB. Опережены: openaAI и e5-instruct, - при этом mistral-e5-instruct в 15 раза жирнее и всего 1 пункт разницы. Что для прода не так важно, как латенси+точность и главное контекст, который у jina 8к+RoPe+ flash attetion! Т. е. ваш любимый RAG в т. ч. long-term с биг доками будет покорен. Конечно мы добавим замеры на ruMTEB в будущем.
Немного о том, как Jina сделали это:
- XLM roberta как база, в тч токенайзер оттуда.
- Multitask-learning с 4 LoRA adapters под 4 task specific. Мы кстати также учили sbert-mt, но без адаптеров.
- Уже классика prefix-tuning для разных задач свой текстовый префикс.
За материал спасибо @lovedeathtransformers, за картинку @oulenspiegel (@oulenspiegel_channel)
Юмор выходного дня.
Завтра кому-то на работу и снова будет так)
Exo для тех кто мечтал в "две руки".
exo — это тулза для распределенного запуска на своих девайсах LLM. Поддерживается iPhone, iPad, Android, Mac, Linux. Использует среды MLX, llama.cpp, tinygrad. В качестве стратегии шеринга весов моделей использует разные стратегии, а по дефолту схему "кольцо" (напоминает layer/pipline parallelism).
Если вы мечтали быть "пианистом" LLM и фигачить в две и более руки пекарни веса жирных моделек - это ваш вариант.
Пример. Вот тут чувак запилил инференс на х2 маках 405b llama3.1.
git: https://github.com/exo-explore/exo
Схема RIG-RAG
Upd. research paper http://datacommons.org/link/DataGemmaPaper
🏆 Наши слоны с AutoML побеждают на международной арене
Команда “LightAutoML testers” победила в международном соревновании Kaggle AutoML Grand Prix! Наши рубята: Александр Рыжков, Дмитрий Симаков, Ринчин Дамдинов и Иван Глебов с помощью решений на основе LightAutoML обошли известных конкурентов по индустрии, включая команды из Amazon и H2O!
🚀 LightAutoML - бесплатный и открытый инструмент.
Ключом к успеху стала open-source библиотека LightAutoML (LAMA), которая автоматизирует построение моделей машинного обучения. Благодаря использованию библиотеки ускоряется построение моделей и, зачастую, повышается качество. Инструмент подойдет как новичкам, так и профессионалам - решение можно получить как в несколько строк, так и с полной кастомизацией.
🌍 Kaggle AutoML Grand Prix 2024
Это - онлайн соревнование, приуроченное к ежегодной международной конференции International Conference on Automated Machine Learning, которая в этом году пройдет в Париже. Соревнование проходило на Kaggle (самой масштабной мировой платформе для соревнований по анализу данных) в 5 этапов, в каждом из которых было необходимо создать качественную модель машинного обучения всего за 24 часа.
🎓 Команда делится опытом
Хотите узнать секреты победителей? Не пропустите предстоящий вебинар, где команда расскажет о своих решениях и ответит на ваши вопросы! Следите за анонсами в канале @lightautoml.
p. s. я давно дружу с Димой и Сашей, вместе кагглили и много летали по лидерборду, горжусь.
Дядя всех дядь, мой друк и крутой Kaggle Grand Maestro (дада именно так и не иначе) запилил свой канал про соревнования.👇
Читать полностью…