🧨 ChatGPT — ваш новый аналитик данных
Пару дней назад OpenAI начали раскатывать функцию интерпретатора кода на всех платных пользователей. На выходных я провел за тестами несколько часов, вижу огромный потенциал и кучу сценариев. Но сегодня сфокусируюсь только на одном — анализе данных и его на примере разберем новые возможности ChatGPT.
1. Загрузка файлов: появилась возможность загрузить документ для последующей обработки — в этом кейсе это будет датасет. Доступа к интернету у этой модели пока нет, так что это единственный способ передать данные на анализ.
2. Разные виды анализа: запрос может быть как конкретным, так и открытым. Сначала можно сам чат попросить предложить направления для анализа. А затем уже очистить данные, посчитать когорты по выгрузке из платежки, а в другой момент влить те же данные и попросить найти там паттерны или аномалии.
3. Аутпут: еще одна новая мощная функция. Если раньше результат мог быть только текстовый и его нужно было копировать, то теперь он может быть любым и его можно выкачать по прямой ссылке. Для данных это будет к примеру обработанный датасет, с которым можно будет продолжить работу в следующей сессии.
4. Рассуждения & рефлексия: обычный ChatGPT старается ответить как можно быстрее, даже если информации в вопросе недостаточно. Интерпретатор следует другой логике: он старается осмыслять задачу и в начале, и в процессе. Если данных недостаточно, то он задает уточняющие вопросы. При этом если код выдает ошибку, то он находу ее анализирует и тут же автоматически вносит изменения.
Вот мой пример анализа датасета e-commerce продукта. За счет уточняющих вопросов и «реалтайм» обработки ошибок, путь до когортного анализа занял 2 минуты и несколько строчек текста. В конце я попросил сгенерировать выводы и они получились тоже валидными (скриншот будет в комментах). Это невероятная скорость и снижение порога входа.
😎️️️️️️Анализ данных — это только один из сценариев, который сильно повысит продуктивность продактов и предпринимателей. Мне в голову пришла еще целая категория таких юзкейсов, про которые могу отдельно рассказать. Давайте так, если соберем 100 реакций, то сделаю про это отдельный пост.
@prod1337
🚀 Как быстро вкатиться в «языковую» разработку
В предыдущем посте я описал то, какой я вижу разработку будущего. Она будет построена вокруг человеческого языка и голоса.
Последние месяцы я только и делал, что искал информацию по кускам в интернете, чтобы разобраться, как это работает. В результате из этого получилось сообщество и вот теперь гайд.
Это все еще сырая версия, я планирую ее дорабатывать в течение нескольких недель. Но уже даже сейчас это самый структурированный и понятный гайд про то, как начать разрабатывать продукты над языковыми моделями. Также я до сих пор не уверен в названии области и продолжаю перебирать варианты — делитесь идеями, если будет.
Гайд полностью бесплатный, таким и останется — взамен только прошу шарить гайд другим и давать фидбэк.
🔗 → Большой гайд по языковой разработке
👾 Сколько на самом деле людей уже пользуется языковыми моделями?
Я нахожусь в информационном пузыре из предпринимателей и разработчиков. Мне может казаться, что все вокруг ежедневно используют ChatGPT, тестируют новые идеи и даже пишут код для этого. Но как все обстоит на самом деле? Для этого обратимся к классическому графику adoption curve.
🤔 Группа инноваторов — это пользователи из англоязычного твиттера. Для него характерны ежедневные запуски новых продуктов, опен-сорс демок, а твиттер-треды про новинки собирают сотни тысячи просмотров. Главная метрика — быть первым, кто попробует что-то новое и рассказать другим.
🌅 Следом идут ранние последователи — это разработчики, маркетологи, продакты с навыком экспериментировать и желанием достигнуть большей эффективности для себя или бизнеса. Метрика здесь — найти полезное решение, и также поделиться им с другими. Для них ценность этого решения превысила transaction cost в какой-то момент.
✅ Правда в том, что это все еще ранний рынок, и языковые модели не проникнут дальше в таком же виде. Я уже писал, что промпты создают слишком высокую когнитивную нагрузку для пользователей — это увеличивает порог входа. Я уверен, что для перехода дальше нам нужно строить интерфейсы. И уже сейчас существует огромное пространство для нишевых продуктов, которые будут давать удобный интерфейс над языковой моделью.
🫧 Вот тут как раз и опасно нахождение в пузыре. Приходится балансировать между «все вокруг меня используют промпты и сложно дать интерфейс лучше из-за его универсальности» И «80% людей не используют промпты и не будут никогда использовать → как я могу дать ценность от использования языковой модели?». Оба эти утверждения правилные.
📺 Как я экономлю часы на просмотре ютуб-видео
В предыдущих постах я уже рассказал, как я эффективно читаю научные пейперы и книги через GPT. Теперь пришло время рассказать, как я подхожу к видео на ютубе.
Подход простой: сначала прочитать краткое содержание с основными мыслями из видео → затем уже решать стоит ли посмотреть его целиком. Я давно уже пытался внедрить такой процесс в ручном режиме. Для популярных видео или курсов я искал сначала саммари с основными мыслями, но такое находилось редко.
🤖 У меня наконец получилось автоматизировать этот процесс (почти) для любого видео при помощи расширения от команды Glasp. Работает так: у каждого видео на ютубе есть автоматическая транскрипция в текст. Расширение берет этот текст, открывает окно с ChatGPT, вставляет туда и просит саммаризировать до основных мыслей. В отличии от предыдущего сервиса — понадобится активный аккаунт OpenAI. Также если есть платный аккаунт, то GPT-4 дает результаты в несколько раз лучше.
👨🔬 Выше я написал, что это работает почти для любого видео. Тут вступает в силу вопрос длины контекста. Напомню: в текстовое поле ChatGPT помещается около 4k коротких английских слов или 1k на русском. В пересчете на минуты английского видео — это в районе 10 полных минут разговора. Ребята из Glasp это предусмотрели и написали код, который равномерно берет куски текста из всего транскрипта так, чтобы они гарантировано поместились.
✅ Классные результаты получаются на английских видео длиной до 30 минут. В коментарии к посту закину результат саммаризации видоса от Balaji из вчерашнего поста. Никто не запрещает запустить расширение и на часовом видео, но там большая вероятность потерять важные мысли из видоса. На русском языке не рекомендую запускать — даже на очень коротких видео получал посредственные результаты.
😎 Pro tips: 1) расширение удобнее всего запускать по хоткею Cmd+X+X; 2) Расширение также работает для страниц в интернете, статей, документации — запускается тоже по хоткею.
@prod1337
Микросервисная архитектура 🛠
Мы используем на сервере микросервисы. Это способ проектирования приложений из набора независимых сервисов. Подробнее про них можно почитать в переводе статьи Мартина Фаулера.
На данный момент у нас их поднятно 15 штук. Большинство написано на Flask, лэндинг на Django, асинхронные микросервисы на aiohttp. Они взаимодействуют друг с другом через REST API.
Это дает нам ряд преимуществ:
— Удобно поддерживать. У каждого сервиса своя конкретная функция. Управляем сложностью и не даем им разрастаться. Также проще распределять работу программистов между разными сервисами.
— Легко масштабироваться. Когда нам понадобится масштабирование, то просто запустим дополнительные демоны наших микросервисов.
— Лучше безопасность. Любой микросервис, например платежный, можно целиком отгородить от внешних запросов.
Мы столкнулись пока лишь с одним недостатком — тяжело разворачивать с нуля проект на компьюетере. Мы решили это внедрением Docker-контейнера, который разварачивает приложение целиком.
Что думаете про микросервисы? Рассказать про них поподробнее с примерами и схемами?
Управление релизами и версиями 💾
Продолжаю рассказывать, как устроена разработка у нас на проекте. Сегодня пост про то, как мы делаем релизы и меняем версии.
Релиз делается в конце каждого недельного спринта. Тогда же обновляется и версия проекта. Релизнутым считается код, добавленный в мастер и на продакшн.
Номер версии состоит из трех числе в формате vX.X.X
Версия проставляется в Git, туда же пишется ченжлог.
— Последнее число в версии меняется только при хотфиксах продакшна в течение недели vX.X.1.
— Число посередине меняется при каждом релизе, который не меняет ничего глобального vX.3.X.
— Первое число меняется только при изменениях архитектуры проекта, действующего API, добавлении новых сервисов v2.X.X.
Таким образом мы можем моментально откатиться до состояния любого спринта. Используете версии у себя? Возможно знаете лучший подход? Пишите @bluzir
Привет, мы вернулись из небольшого отпуска. Посты начинают выходить в привычном режиме. Спасибо, что ждали :^
Оставайтесь на связи. Скоро будут большие новости для тех, кто планирует научиться программировать.😼
Список программ на Python для совершенствования навыков программирования.
Программы разделены на категории: логические пазлы, игры со словами, алгоритмы и проблемы программирования.
Каждая программа состоит из условия и подробного решения.
https://github.com/norvig/pytudes
Пример приложения, где каждый микросервис написан на разном языке:
— Фронтенд и интерфейс написаны на VueJS.
— API авторизации генерирует JWT-токены и написано на Go
— TODO API на NodeJS
— Пользовательское API на Java
Интересно посмотреть, как разные технологии могут объединяться для создания современного веб-приложения.
https://github.com/elgris/microservice-app-example
Разработчики самой популярной JS-библиотеки локализации — Moment, выпустили библиотеку для удобной работы с датами.
Называется Luxon, это обертка для стандартного JS-модуля даты времени.
Поддерживает все современные фичи, и бонусом идет встроенная локализация от самого Moment.
https://github.com/moment/luxon
Утилита на Python, которая проверяет есть ли email в базах с утечками паролей. Затем вы вводите пароль из базы, и утилита пытается залогиниться на популярные сайты.
И таким образом находит сайты, где человек использует тот же пароль.
Лишнее напоминание, почему нужно придумывать разные пароли. Используйте только для проверки своих аккаунтов :^
https://github.com/D4Vinci/Cr3dOv3r
Библиотека, которая провращает любой JS код в красивую блок-схему. Работает на клиенте и сервере. Есть куча настроек: уровни абстракции, фокус на определенных нодах, кастомные цветовые схемы.
Отлично подойдет, когда нужно разобраться в чужом коде или зарефакторить свой.
https://github.com/Bogdan-Lyashenko/js-code-to-svg-flowchart
Канал вырос за последние месяцы. Хочу узнать какая аудитория меня теперь читает. Проголосуйте в опросе, чтобы я мог постить больше интересного.
Читать полностью…
Лучшие практики программирования на Node.js. Список просто отличный, хотя я и не поклонник Node. Красиво оформлен и написан понятным языком.
Если пишите на NodeJS или учитесь, то просто must-have.
https://github.com/i0natan/nodebestpractices
В открытый доступ выложили 600 бесплатных онлайн-курсов от мировых университетов. Темы курсов самые разные: от программирования до искусства.
Есть и от российских университетов: «Программирование на Python» и «Тонкости верстки» от МФТИ, «Базы данных» от СПБГУ и другие.
По ссылке курсы удобно разделены по категориям. Обязательно найдите интересные для себя.
https://qz.com/1120344/200-universities-just-launched-600-free-online-courses-heres-the-full-list/
🧑💻 Три новых AI-тула для разработчиков, которые изменят рынок
Помните я пару месяцев назад писал, что AI заменит разработчиков и это наступит достаточно скоро? За последние недели мы еще сильнее приблизились к этой точке. Сегодня я расскажу про три новые проекта, которые помогают автоматизировать процесс разработки и умеют делать это хорошо.
1. MetaGPT — самый интересный из трех проектов для меня. Это фреймворк, который последовательно эмулирует роли всех членов продуктовой команды в виде агентов. Босс-агент создает бизнес-требования; продакт-агент создает PRD; затем идут такие же агенсткие этапы работы над архитектурой, проектным менеджментом и наконец самой разработкой и QA.
За $0.2 за запросы к модели создается схема с архитектурой системы (закину пример в комменты), а за $2 уже целый запрограмированный проект. Работает классно и именно за такими мультиролевыми связками агентов лежит будущее автономных-агентов.
2. gpt-migrate — этот проект позволяет автоматически мигрировать код проекта с одного фреймворка или языка на другой. Самый базовый пример будет мигрировать чужую библиотеку с Python на JS. В этом проекте уже на всю начинает ощущаться сила gpt-4 с 32k контекстом, в работе рекомендуют использовать как раз его. Миграция среднего проекта обойдется в ~$10+ долларов коста на запросы.
3. aider — проект позвоялет разрабатывать прямо из терминала, используя запросы на человеческом языке. Создаем проект и последовательно пишем какую часть системы мы хотим добавить или отредактировать — change the fibonacci function from recursion to iteration. В этом месте самое время процитировать Andrey Karpathy — “The hottest new programming language is English”. Здесь тоже рекомендуется к использованию gpt-4 и кост будет на уровне предыдудущих двух проектов.
😎 Мои дальнейшие предсказания: 1) будущее AI-агентов за узкими юзкейсами, на которые они заточены. Концепция general-агентов для всего (autogpt) отойдет в сторону, пока мы не получим еще более сильные языковые модели; 2) главным драйвером адопшена ai-агентов и автоматической ai-разработки станет момент, когда прайсинг gpt-4 упадет до уровня gpt3.5 → тогда мы получим огромное количество дешевых экспериментов и найдем новые эффективные способы применения за копеечные косты.
@prod1337
🔊 Будущее интерфейсов – за голосовым вводом
Уже неделю активно тестирую приложение ChatGPT, и оно — супер.
💼 Да, и до момента релиза приложения существовали аналоги. Николай Давыдов даже написал, что несколько из них зарабатывали миллионы долларов в месяц. Но у меня всегда были опасения насчет них, потому что неизвестно как они хранят данные. Еще один важный фактор — раньше мне казалось, что для всех моих сценариев в ChatGPT нужна структура и ввод большого количества текста.
🎤 Неожиданно вместо переноса десктопных сценариев, приложение открыло для меня новые — все это благодаря голосовому вводу. Раньше мои попытки пользоваться голосовым вводом в iOS всегда заканчивались состоянием «проще ввести руками». Но тут другое — приложение ChatGPT использует технологию Whisper, и она распознаёт мой голос с точностью 99.9%. В результате можно просто расслабиться и начать наговаривать мысли.
🚶♂️Теперь я выхожу на утреннюю прогулку, создаю новый чат и прошу просто слушать мои мысли. После прогулки возвращаюсь домой и прошу структурировать их в четкий список. Также изменился процесс написания постов — я просто последовательно выговариваю все мысли, а в конце прошу их структурировать, использую это как основу.
🔮 Со связкой разпознания речи и больших языковых моделей мы приближаемся к будущему, где мы полноценно можем управляться одним голосом. Вот тут Дима Мацкевич в посте предсказывал, что будущие поколения уже будут обходиться без клавиатур. А я несколько месяцев назад накидал эксперимент, который позволял использовать «промпты» для любого интерфейса — поставьте реакций если интересно.
😎Pro tip: Майк Ян поделился хаком, как включить озвучку ответов от ChatGPT.
@prod1337
🧘♂️ Будущее mental health — за языковыми моделями
Последние месяцы наблюдаю, как крутые предприниматели собирают себе AI-коучей на базе ChatGPT. Дима Мацкевич поделился своим промптом для превращения чата в гранулярного коуча для исследования эмоций. А вот тут Майк Ян поделился своим промтом для T-GROW CEO-коучинга.
🧑💻 Я попробовал оба промта на своих запросах: ответы получаются дейсвительно классные. Но в отличие от классических сессий с психологом/коучем здесь сложнее добиться глубокого результат. Легко перейти в соседнюю вкладку и отвлечься; также есть проблемы с эмпатией — не хватает визуального образа за текстом. Порог входа не назвать низким — нужно заранее четко понимать зачем тебе оно нужно. Проблемы можно пробовать решить через виртуальные аватары, распознавание и синтез речи. Все технологии для такого уже доступны, так что интересно будет попробовать демку.
📲 Затем я наткнулся питчдек стартапа YUNG: они строят B2B сервис для поддержки ментального здоровья сотрудников. Там заявлены ежедневные задания, чеклисты для проверки состояния, но основной сценарий лежит именно через чат с языковой моделью. Что я вижу в питчдеке? Они не пытаются заменить человеческие сессии. Наоборот, они выступают за дешевизну, массовость и скейлинг сразу на всю компанию. Все то что не возможно, либо дорого сделать с участием живого человека.
🤔 В обоих случаях я вижу потенциальные проблемы с доверием: c одной стороны: хочу ли я довериться и поделиться личным с моделью от компани OpenAI? С другой стороны, вопрос еще сложнее: большую часть ментальных проблем генерирует сама работа. Хочу ли я поделиться этими проблемами с продуктом, который мне предоставляет сама компания, где я работаю?
🫣 В любом случае хочется верить в демократизацию сферы mental health, и что новые миллионы людей активируются и получать помощь, благодаря новым продуктам. Тем более эта помощь вероятно понадобится, чтобы справляться с последствиями от внедрения AI в нашу жизнь.
@prod1337
Пост про микросервисы хорошо зашел. Так что начал писать подробную статью с интересными кейсами их использования.
А пока можете прочитать одну из моих предыдущих статей про анализ данных из жизни.
bluzir/анализируем-посещения-фитнес-клуба-6406df11b35e">💥Анализируем посещения фитнес клуба
Статьи из этого цикла тоже продолжать выходить. Буду рассказывать, как добывать данные и визуализировать их.
Оставайтесь на связи🔥
Обработка ошибок🐛
Теперь расскажу, как мы работаем с ошибками. Большая часть бизнес-логики просто отдает данные из базы и не требует специальной обработки.
Но есть более сложные кейсы: сервис платежей, сервис пользователей и запросы к внешним API. Там мы используем Airbrake — тулзу для мониторинга ошибок. Состоит из логгера и дашборда, куда они отправляются.
Минимальный план у них стоит 120$/месяц. Для нашего количества ошибок это дороговато. Также не очень хотелось привязываться к дашборду на внешнем хосте. Поэтому подняли у себя опенсорсный дашборд Errbit и привязали логгер к нему.
Каждая ошибка там удобно разделяется по сервису и среде. Также он умеет присылать уведомления о них в Slack.
Так мы покрыли почти все кейсы и моментально узнаем об ошибках. А что вы используете для мониторинга ошибок? Жду ваших рассказов @bluzir
Фича-бранч разработка
Начну рассказывать про порядок разработки, который используем у себя на проекте. Сначала про работу с Git.
Для каждого изменения в коде создается отдельная ветка. Название ветки формируется из трех элементов.
Первый — префикс названия, указывает на тип ветки:
fix — для небольших доработок
bug — для исправления багов сайта
feature — добавление новой фунциональности
refactor — для рефакторинга кода
Второй — база ветки. Здесь мы используем номер таски из Jira. Таким образом коммиты автоматически попадают в таску.
Третий — описание ветки. В нескольких словах описывается, какая функция у ветки.
Таким образом получаем название ветки вида
<prefix>/<jira_task>_<short_description>
У такого подхода есть свои плюсы и минусы. А как вы именуете ветки у себя на проекте? Пишите @bluzir
Утилита командной строки для анализа стэка, на котором написан сайт.
Автор говорит, что приходилось устанавливать слишком много браузерных расширений для определения стэка. А здесь все можно получить одной командой.
https://github.com/WeiChiaChang/stacks-cli
Медузу можно не любить, но статьи про ее техническую сторону всегда отличные. Вот вышла новая, про так как они делали социальный редактор «Антихайп».
Описывают весь процесс от задумки до реализации. Внутри там elixir + phoenix framework, react и вебсокеты.
В статье есть даже примеры кода. Очень рекомендую.
https://medium.com/meduza-how-it-works/c8e1b76b0983
Утилита для удаления ненужных файлов из node_modules. Удаляет markdown, typescript и другие подобные файлы.
Зачем? Потому что ничто не разрастается так быстро, как эта папка. Простой способ немного уменьшить её вес.
https://github.com/tj/node-prune
Github выкатил отличный апдейт. Можно теперь включить уведомления об уязвимостях в зависимостях проекта.
Пока что поддерживаются только JS и Ruby. Поддержку Python обещают добавить в 2018.
https://github.com/blog/2470-introducing-security-alerts-on-github
Вау. Очень крутой способ подгрузки изображений, испольщующий SVG. На месте изображения показывается его контрур, геометрия или силуэт. И после загрузки он плавно перетекает в само изображение.
Выглядит очень красиво.
https://medium.freecodecamp.org/using-svg-as-placeholders-more-image-loading-techniques-bed1b810ab2c
Простые паттерны программирования на ReactJS. Автор несколько лет пишет на React и заметил, что 99% его кода повторяется. Этими паттерами он и решил поделиться в статье.
В примерах автор делает запросы к API Star Wars и показывает реальные примеры кода.
http://lucasmreis.github.io/blog/simple-react-patterns/
Какой у вас опыт программирования?🐱
Есть небольшой опыт написания кода – 35
👍👍👍👍👍👍👍 45%
Есть большой опыт написания кода – 23
👍👍👍👍👍 29%
Не программирую, но хочу научиться – 16
👍👍👍 21%
Не программирую, но интересно читать про IT – 4
👍 5%
👥 78 people voted so far.
Список из полезных ссылок для начинающего фронтендера. Десятки бесплатных туториалов и книг для изучения HTML, CSS и Git.
А еще там есть полезные аггрегаторы ссылок, рассылки и чаты для фронтендеров.
https://github.com/thedaviddias/Resources-Front-End-Beginner
Список самых частых проблем при работе с Git и их решения. Удобно разделены по категориям и написаны понятным языком.
Рекомендую добавить в закладки и смотреть при любых проблемах с Git.
https://github.com/k88hudson/git-flight-rules
