Галлюцинирование 🌀
что это за проблема и как с ней борются в Яндексе.
Галлюцинациями называют ответы больших языковых моделей (LLM), которые звучат правдиво, но на самом деле являются ошибочными. Простой пример — вы спрашиваете у чат-бота, кто написал «Женитьбу Бальзаминова», а он отвечает — Антон Чехов (на самом деле Александр Островский).
Основные причины галлюцинаций — недостаток знаний и принцип работы языковой модели. При обучении она учится предсказывать вероятное продолжение на основе предыдущих слов. Если модель не выучила какой-то факт, например того же автора «Женитьбы», то предскажет другое имя или другого писателя, ведь это более вероятное продолжение, чем, например, «эту книгу написала собака».
Этот феномен не изучен до конца, поэтому применяются разные способы решить проблему. Во время создания YandexGPT 2 мы поработали со знаниями модели, сильно улучшив её претрейн. Во-первых, стали тщательнее отбирать данные, во-вторых, проверять, как они влияют на тестовую модель, и только потом «вливать» их в основную. В будущем планируем использовать ещё и обучение с подкреплением.
Подписывайтесь 👉 @yandex
Yandex Cup: открыли регистрацию на чемпионат по программированию с большим призовым фондом.
Могут участвовать и начинающие, и опытные разработчики. Соревнования пройдут в шести направлениях: аналитика, фронтенд-, бэкенд- и мобильная разработка, машинное обучение и «Алгоритм». Последнее пройдёт на русском и английском языках.
Призовой фонд — 7,8 миллиона рублей. Чтобы попасть, нужно отобраться на квалификации с 23 по 29 октября. Финал чемпионата пройдёт офлайн в офисе Яндекса в Казахстане. Смотрите все подробности на сайте чемпионата.
Уже больше 1 000 000 человек помогают благотворительным организациям с помощью округления 💌
Сумма от округления направляется сотням проверенных фондов-партнёров нашего социального проекта «Помощь рядом». Присоединиться к нему легко — переходите по ссылке и узнайте, как небольшие суммы от округления стоимости заказов помогают фондам лучше планировать работу и помогать своим подопечным.
Чем удивляет YandexGPT 2? 🤔
На прошлой неделе обновили нейросеть YandexGPT, которая помогает придумывать в чате на ya.ru и делает наши сервисы умнее, до второй версии. Андрей Сюткин разрабатывал и много тестировал новую нейросеть, поэтому может подробно рассказать, что в ней изменилось и что будет дальше.
Перезапускаем платёжный сервис Пэй 💳 и рассказываем, что в нём изменилось.
🔻 Покупки офлайн с кешбэком.
Пользователи телефонов на Android могут платить с карты Пэй на любом терминале, пользователи айфонов — через QR. И получайте дополнительно кешбэк баллами Плюса.
🔻 Покупки онлайн тоже с кешбэком.
С помощью кнопки Пэй платите в интернет-магазинах с любой привязанной карточки. За это также начисляют 1% кешбэка баллами Плюса, а по специальным акциям — до 10%.
🔻 Все ваши сплиты.
Они помогают сделать важную покупку в интернет-магазине и разделить её стоимость на срок до 24 месяцев. А в приложении Пэй все лимиты и сплиты, которые предстоит закрыть, собраны в одном месте.
🔻 Выплаты за остаток на счёте.
Сейвы — то есть накопительные счета — уже доступны части пользователей и постепенно появятся у всех. Если будете хранить на них деньги, то получите проценты на остаток. Первые три месяца ставка у Сейвов 13%, а дальше — 9%.
Подписывайтесь 👉 @yandex
🗼 Бикон: рассказываем о небольшом устройстве, которое делает доставку еды намного точнее.
Биконы или маячки — это небольшие блютус-устройства, которые устанавливают около окон выдачи заказов. Они обмениваются данными с приложением в телефоне курьера и сообщают сотрудникам ресторана, что он уже пришёл и ждёт свой заказ. Биконы определяют местоположение курьера с точностью до 20 метров.
По данным от биконов мы точнее рассчитываем, сколько в среднем времени курьеру нужно, чтобы добраться до ресторана, и сколько уходит на выдачу заказа. Рестораны таким образом узнают, в каких точках у них задерживается приготовление и выдача заказов, и могут улучшить работу своих кухонь.
Впервые биконы появились в конце 2022 года на кухнях сети «Много лосося». Летом мы распространили эту технологию на 700 ресторанов «Вкусно — и точка». Благодаря работе биконов курьеры ждут свои заказы в два раза меньше времени, а рестораны могут наладить свою работу так, чтобы блюда готовили точно к их прибытию.
Больше о том, как работает фудтех в Яндексе, вы можете узнать из выпуска yet another podcast.
Подписывайтесь 👉 @yandex
Ещё пять изданий от сервисов и команд Яндекса: блог о работе у нас, журнал о программировании и медиа про вкусную еду.
🦸 Работа в Яндексе
— истории сотрудников от первого лица.
Совсем новый блог про работу в Яндексе и всё, что с ней связано. Уже успели рассказать историю мидл-разработчика, который приходил к нам стажёром, обсудили с коллегами, как проходит быстрый офер, и поговорили с нашими спортсменами.
🍥 Открытая кухня
— для тех, кто любит еду.
Новое медиа Яндекс Еды, которое говорит не только о новых ресторанах, интересных блюдах и рецептах, но также о людях, которые всем этим занимаются. Герои «Открытой кухни» — шеф-повара, предприниматели и даже фермеры.
🧑💻 Код
— программирование для начинающих.
Помогает быстрее погрузиться в ИТ. Поясняет сложные профессиональные термины, отвечает на стыдные вопросы — «Почему разработчики ругают вёрстку на div?» — и подсказывает решения неочевидных задачек.
🏙 Блог Яндекс Go
— лайфхаки для пользователей сервиса.
Рассказывает о новых функциях и тарифах, которые регулярно появляются в приложении Яндекс Go: от такси и самокатов до доставки еды и товаров. Есть и материалы, которые поясняют, как устроены новые опции, и советы, например, как уточнить свою геопозицию.
🧠 Кинжал
— о том, как жить и работать.
Журнал Яндекс Практикума про саморазвитие на работе и вне неё. Редакция объясняет, как устроены явления, с которым сталкивался каждый, вроде сомнений в своих силах и зависти к успеху в соцсетях, а также отвечает вопросы читателей про карьеру и, например, отсутствие ресурса.
Подписывайтесь 👉 @yandex
🎙 Говорим о Яндексе сейчас и заглядываем в будущее. В новом yet another podcast — в Музыке и на YouTube — руководители Поиска объясняют, что будет с нашими автономными технологиями, почему мы готовим казахскую версию Алисы и какие обновления предстоят YandexGPT.
А пока парочка инсайтов про нашу большую нейросеть:
🟡 YandexGPT не убьёт классический поиск по интернету, а дополнит его. Например, сейчас тестируется версия Поиска, в которой нейросеть готовит быстрые ответы на разные вопросы и конспектирует информацию с сайтов.
🟡 Конечно, YandexGPT в продуктах Яндекса станет больше. В следующем году где-то половина пользователей наших сервисов будет сталкиваться или с самой YandexGPT, или с инструментами, которые мы создаём на её основе.
🟡 Завтра вы сможете узнать, как именно YandexGPT изменится в самое ближайшее время. На нашей Practical ML Conf расскажем об обновлениях большой нейросети. Регистрируйтесь и узнавайте первыми.
Собрали образовательные программы, полезные материалы и учебники, которые помогут научиться новому или подтянуть старые знания.
↘️ Яндекс Учебник по информатике
Интерактивный учебник для учеников 7–9 классов. Вводит в программирование на Python, даёт теорию и предлагает решить практические задания детям с разным уровнем подготовки. Перед началом работы на платформе должен зарегистрироваться учитель.
↘️ Хендбуки
Цифровые учебники с теорией и практикой. Одни подойдут для новичков, другие — чтобы подтянуть свои знания, например, перед собеседованием. Вышли пять учебников: по машинному обучению, анализу данных, основам Python, C++ и алгоритмов.
↘️ Курсы в Яндекс Лицее
Карьеру в ИТ помогут начать бесплатные курсы по Python и Go для школьников и студентов первых курсов колледжей. Чтобы поступить и выучиться на junior‑разработчика, хватит знаний из школьной программы. Заявки принимают до 11 сентября.
↘️ Специализации в Яндекс Лицее
Курсы длятся год, для более быстрого обучения есть интенсивы. Они идут три месяца и концентрируются на решении практических задач. До 12 сентября принимают на интенсивы по разработке игр, анализу данных, машинному обучению и веб-разработке.
↘️ База знаний Академии
Вообще все образовательные материалы от наших экспертов: и статьи на Хабре, и записи с конференций по фронтенду, мобильной разработке, дизайну, hardware и другим темам. Сохраните в закладках, чтобы поискать по базе ответы на свои вопросы.
↘️ Открытый лекторий Летних школ
Этим летом эксперты из Яндекса прочитали больше 150 лекций про YY_frontend/streams">фронтенд-, YY_backend/streams">бэкенд-, YY_mobile">мобильную разработку и YY_management/streams">управление продуктом, а именно продакт-менеджмент, маркетинг и аналитику. Если пропустили, мы выложили для вас записи всех лекций.
↘️ Курс Практикума для инженеров по тестированию
Одно из направлений, которое позволит попасть в ИТ-индустрию без навыков программирования и быстрее, чем это будет с другими профессиями. Курс длится четыре месяца, ближайшие начнутся 21 сентября и 12 октября.
📌 Небольшая подсказка: определитель номера Яндекса работает не только с обычными звонками, но и в мессенджерах WhatsApp и Viber. Когда звонят с незнакомого номера, он подскажет, полезный это звонок или, возможно, мошенники.
Откройте приложение Яндекс с Алисой и скажите голосовому помощнику: «Алиса, включи определитель номера». В iOS определитель для мессенджеров заработает сразу, в Android нужно в настройках приложения нажать на пункт «Определять звонки в мессенджерах».
Подписывайтесь 👉 @yandex
📹Нейросеть Яндекса научилась генерировать видео в Шедевруме
Новая функция работает в режиме тестирования и доступна активным авторам Шедеврума. Все остальные могут посмотреть на примеры работ в ленте приложения — обновите его до последней версии.
Как это работает?
За генерацию отвечают нейросети Яндекса. Чтобы сгенерировать видео в Шедевруме, нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение). За основу нейросеть берёт выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом.
Приложение генерирует короткие ролики длиной четыре секунды с частотой 24 кадра/сек. Для создания кадров используется метод каскадной диффузии. Нейросеть сначала создаёт отдельные изображения в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями. Звука в таких роликах пока нет.
Подписывайтесь 👉@techno_yandex
Не пропускайте новости Яндекса тут @yandex
💬 Чтобы составить ленту ресторанов в приложении, мы используем порядка ста разных факторов.
Например, учитываем предпочтения пользователя и сделанные им ранее заказы: любите бургеры — в первую очередь будем показывать, откуда заказать именно их.
Другие важные факторы — день недели и время суток: утром покажем рестораны с завтраками, а в пятницу вечером — места, чтобы заказать еду на вечеринку.
За всем этим стоит техника машинного обучения под названием градиентный бустинг, которая часто применяется для классификации, а также наша библиотека CatBoost.
Недавно говорили о приложении Еды и фудтехе в целом в yet another podcast. Слушайте, чтобы узнать больше об алгоритмах, которые помогают привезти вам еду.
Подписывайтесь 👉@yandex
Грабер: рассказываем об одной из главных особенностей нового робота Яндекса.
🏗 Это часть нового робота Dilectus. Он загружает себя товарами, а потом отвозит их в место, где работники собирают заказы. У робота внушительные размеры, поэтому за один раз он способен отвезти до девяти коробок с товарами.
📦 Грабер нужен, чтобы брать с полки тоты — те самые коробки, в которых на складе хранят товары. Сложная конструкция не ограничивает робота в его задачах и позволяет хватать не только ближайшие, но и те тоты, что стоят за ними.
👀 Чтобы снять тот с полки, его нужно сначала найти. Камеры Dilectus сканируют метки на стеллажах и помогают роботу ориентироваться на складе: в какой он стоит аллее и около какой ячейки. У грабера тоже есть своя камера — она ищет для него нужный тот.
Проводим экскурсию по умному дому за три минуты 🏘
Сходили в гости к разработчику Алисы Паше Капле. Он построил для себя и семьи по-настоящему умный дом, а мы посмотрели, как выглядит квартира, которой можно целиком управлять или с приложения в телефоне, или даже голосом.
🍥 Слушайте этот подкаст — на ютьюбе или в Музыке — только сытыми! В нём обсуждаем вкусную еду, доставку и алгоритмы, которые за всем этим стоят. И что же там такого интересного?
🔘 Инсайд от Яндекс Еды: готовим инновационные сумки для огромной пиццы (чтобы не переворачивалась!)
🔘 Десяток хитростей в Еде: как рестораны и пользователи пытаются перехитрить алгоритмы (но выходит далеко не всегда)?
🔘 Тренды в доставке еды: пицца, бургеры, роллы, хинкали — какие блюда популярны сейчас (и что будет в моде через год)?
ВНИМАНИЕ 🛑 Yже сеrодня эти технологии 3ащитят вашу п0чту от спама❗️
С начала года сервис Яндекс 360 отправил в спам почти восемь миллиардов писем, а ещё более пяти миллиардов оказались потенциально опасными для пользователя и были заблокированы.
Распознавать такие письма помогают алгоритмы Спамообороны, защитной системы в Почте Яндекса, которая для каждого письма вычисляет более 600 параметров и использует более 20 источников данных. А что это за параметры и как работают алгоритмы — читайте в карточках.
Подписывайтесь 👉 @yandex
🗣🤖Начинаем серию материалов журнала ТЕХНО про #промпты
Буквально пару лет назад знать о промптах было необходимо лишь людям, работающим над разработкой генеративных нейросетей. Но с тех пор нейросети проникли во многие сферы жизни, а навык работы с ними может понадобиться любому человеку в сотнях ситуаций — от генерации картинки для презентации до создания себе расписания тренировок на неделю.
В серии материалов расскажем:
• Как люди научились понятным всем языком ставить задачу машинам.
• Как специалисты из разных сфер используют промптинг для решения рабочих задач.
• Как применять промпты в обычной жизни.
• Как становятся специалистами по промпт-инжинирингу.
А ещё пообщаемся с людьми, для которых промпты — неотъемлемая часть жизни.
В первом тексте говорим о том, как нейросети «понимают» наш язык, когда появилась идея промптов и как их писать.
Подписывайтесь 👉@techno_yandex
Не пропускайте новости Яндекса тут @yandex
Фронтендеры, приходите на Weekend Offer Frontend! 😍 Это мероприятие, на котором офер в Яндекс можно получить за выходные.
Для кого: 17 команд Яндекса ищут инженеров с опытом разработки на JavaScript и TypeScript не меньше четырёх лет.
Как всё устроено: Чтобы принять участие, нужно до 20 сентября выделить 35 минут и пройти онлайн‑квиз. В случае успеха рекрутер свяжется с вами и пригласит на два технических собеседования и знакомство с командами 23 и 24 сентября.
🔗 Регистрируйтесь, подробности по ссылке.
Подписывайтесь 👉 @yandex
Присоединяйтесь к тестированию новой функции в Поиске.
В Поиске появились быстрые ответы, которые генерирует наша нейросеть YandexGPT. Она ищет подходящий источник по вашему запросу, делает из него краткую выжимку и даёт ссылку на сайт, чтобы вы могли ещё подобнее разобраться в теме.
Чтобы новые быстрые ответы появились в вашем Поиске, подайте заявку в приложении Яндекс с Алисой для Android или iOS. На его главном экране появится ссылка на тестирование. После подключения быстрых ответов они заработают на всех устройствах с вашим Яндекс ID.
Подписывайтесь 👉 @yandex
🎆 Сегодня 256-й день в году, то есть День программиста! А это значит, пора узнать, что фронтендеры ищут чаще всего в Поиске.
Чтобы выяснить это, мы провели исследование: посчитали число запросов пользователей-фронтендеров про разные разработческие хард-скиллы. Получилась карта популярных библиотек, фреймворков, инструментов и других навыков, которые фронтендеры регулярно используют в своей работе.
Подписывайтесь 👉 @yandex
Посмотрите на нашего нового робота! 👀
Это Dilectus, и он помогает работникам на складах Маркета. Робот снимает большие коробки с товарами со стеллажей и отвозит их в зону, где собирают заказы. Проще говоря, экономит кучу сил и времени. Но подробнее про это расскажут Саша Петровский и Миша Куренков, которые этого робота разрабатывали.
Подписывайтесь 👉 @yandex
YandexGPT 2: что изменилось
Обновили большую языковую модель YandexGPT. Мы покажем несколько примеров, на что она способна, но, конечно, интереснее пробовать самим — например, на ya.ru или в навыке Алисы «Давай придумаем».
🔸 Что нового:
Новая языковая модель решает больше различных задач, чем первая версия, а качество её ответов существенно улучшилось. Она способна анализировать тексты и отвечать на вопросы по ним, а также стилизовать текст ответа под разную аудиторию или персонажа.
🔸 Как мы это сделали:
Увеличили количество параметров и улучшили процесс обучения. Для этого тщательнее отбирали данные, добавили в датасет новые и синтетические — сгенерированные на основе реальной информации — примеры запросов.
🔸 И какие результаты:
Наши AI‑тренеры протестировали обе версии YandexGPT на 500 запросах по самым разным темам и сравнили результаты. Оказалось, что YandexGPT 2 в 67% случаев даёт более точный и подробный ответ.
Подписывайтесь 👉 @yandex
👾 Кто и как обучает нейросеть YandexGPT?
Прежде чем YandexGPT в Алисе научилась отвечать на ваши вопросы, большая команда асессоров, AI‑тренеров и DL‑инженеров готовили для неё данные и контролировали каждый шаг обучения.
DL или Deep Learning — это разновидность машинного обучения нейронных сетей на огромных объемах данных. Света Маргасова — DL‑инженер и член команды YandexGPT — в наших карточках рассказывает, как на самом деле учат большие языковые модели.
💫 Кстати, 7 сентября мы проведём Practical ML Conf, конференцию для экспертов о применении машинного обучения на практике, где Света прочитает доклад о том, что делать, если нейросеть начала галлюцинировать, то есть ошибаться и выдумывать факты.
Кроме того, докладчики из Yandex Cloud, Авито, Маркета, Sber AI, X5 Tech расскажут про Kandinsky, зрение роботов, GigaChat и многое другое. Регистрируйтесь по ссылке.
🚫 Виды спама, от которых защищает Яндекс 360.
В Почте Яндекса работают множество технологий защиты от спама. Одни анализируют адрес отправителя, вложения и ссылки, другие проверяют электронную подпись и подозрительную активность почтового ящика. Чтобы понять, отправить письмо в папку «Спам» или нет, они учитывают более 600 разных факторов.
Какой спам вообще бывает и чем он может быть опасен — рассказываем про это в коротком ликбезе.
Подписывайтесь 👉 @yandex
Небольшая история про одного из стажёров Яндекса.
Этим летом в наш московский офис пришёл Глеб, 19-летний студент Уральского федерального университета. Он должен был пройти стажировку в одной из команд Яндекс Еды. С самого начала Глеб спросил, можно ли ему снимать в офисе, чтобы поделиться впечатлениями с друзьями из Екатеринбурга.
Мы подумали, что это классная идея, и предложили поделиться не только с друзьями, но и вообще со всеми, кто подумывает прийти на стажировку в Яндекс. Глеб снимал свою стажёрскую жизнь, мы ему в этом помогали.
Получился влог про стажировку от первого лица — с экскурсией по офису, первыми факапами и тусовками. Чтобы вам было проще понять особенности стажировки, мы сняли для влога интервью с менторами и руководителями команд.
Подписывайтесь 👉@yandex
🧙 Знакомьтесь с генеративными блогерами!
Мы встретились с популярными авторами, которые создают изображения в Шедевруме, нашем приложении с генеративными постами и картинками, и попросили дать полезные рекомендации, чтобы вы могли вместе с нейросетью создать настоящий шедевр.
🛴 Запустили новый формат на ютьюбе — ПРОД. В нём познакомим с героями, которые создают технологии Яндекса, и покажем, из чего на самом деле состоит их работа.
В первом выпуске — самокаты Яндекса: посмотрите экскурсию по самокатной мастерской, познакомьтесь с профессией энерджайзера и узнайте, какие самокаты могут появиться в следующих сезонах.
Показываем нашего нового робота — Dilectus.
И рассказываем, что тут происходит.
⏩ Зачем он нужен:
Dilectus достаёт тяжёлые коробки с товарами — их называют тотами — и отвозит в зону сборки заказов. Именно поэтому робот такой большой и мощный: коробки, каждая из которых весит по 35 килограммов, он берёт с самых верхних полок стеллажей.
⏩ Что это даёт:
Робот поможет работникам. Им не нужно будет самим искать товары и перемещать их по складу. Вместо этого они сосредоточатся на сборке заказов и более интересных задачах. Это и ускорит работу, и уменьшит количество ошибок.
⏩ А какие ещё есть роботы:
Dilectus работает вместе с другими роботами Маркета: Spectro инвентаризирует склад, чтобы работники знали, где и какие товары лежат, а Motus перевозит по складу тяжёлые грузы.
Ещё одна подборка телеграм-каналов, которые ведут сервисы Яндекса. На этот раз про кино, умные устройства и скидки-скидки-скидки.
🍿 Кинопоиск и Кинопоиск Ждём
— что смотрим сегодня и что будем через год.
Если хотите знать про все главные трейлеры и самые важные анонсы, подписывайтесь на Кинопоиск Ждём. А если ищете более детальные разборы фильмов или просто что-то на вечер, то поможет основной канал Кинопоиска.
❤️ Яндекс для разработчиков
— о событиях, технологиях и людях, которые их создают.
Разработчики рассказывают о важных технологических новостях, глубоких хардовых кейсах и работе в Яндексе. А ещё в канале публикуют анонсы мероприятий, которые мы проводим для программистов, ML‑инженеров и других специалистов из ИТ.
💜 Алиса х Около Яндекс Станции
— для фанатов умных устройств.
Первыми узнавайте обо всех обновлениях умных устройств Яндекса, находите полезные сценарии и команды для виртуального помощника, а ещё обменивайтесь опытом настройки умного дома в большом комьюнити.
🚗 Журнал Авто.ру
— для автовладельцев.
Новости, статьи и полезные заметки обо всём, что связано с автомобилями и автомобилистами. Можно почитать про тест-драйв китайского электрокара, оперативно узнать о новых видах дорожной разметки или выбрать маршрут для отпуска.
📦 Скидки на Маркете
— промокоды и распродажи.
Узнавайте о выгодных предложениях на электронику, красивые вещи для дома, одежду, обувь, товары для детей и многое другое. В общем, полезно, если регулярно покупаете на маркетплейсе.
Кто и как тестирует автономные автомобили Яндекса?
Прежде чем новые технологии появятся на дороге, их нужно проверить и протестировать. Одни испытывают «железо» и, например, трясут лидары на вибростендах. Другие проверяют программное обеспечение. Любомир Матвеев руководит этим этапом тестирования автономных машин и объясняет, как оно устроено.