27767
Будни технического директора @samatg (ex-CTO Meduza, Bookmate, RAWG, Pure) https://fedorandsamat.com/ Чатик @ctodailychat Рекламу не продаю
Помните, какой страшный FB? А вот люди, которые делают AI для него.
https://backchannel.com/inside-facebooks-ai-machine-7a869b922ea7
MS исследует возможность строить контейнерные дата-центры в море, когда пачку серверов и свитчей запаивают в отрезок толстой железной трубы (типа подлодки) и держат под водой. Контейнеры можно добавлять во флотилию по-необходимости, не строя зданий. Ну и серьезная экономия на охлаждении.
Насчет того, что нельзя поменять сломавшийся жесткий диск или сервер (контейнер-то запаян): уже сейчас крупные площадки меняют серверный стойки только целиком, чинить серверы по-одному экономически нецелесообразно.
Основная проблема — моллюски, которые начинают жить на внешней оболочке контейнеров, они мешают охлаждению.
http://spectrum.ieee.org/computing/hardware/want-an-energyefficient-data-center-build-it-underwater
(пошучу, что MS-то поисследует, а сливки соберут, как всегда, Google и Amazon)
Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.
И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.
Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.
Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/
Разбавим томный рабочий день https://github.com/search?utf8=%E2%9C%93&q=remove+password&type=Commits&ref=searchresults
Читать полностью…
Scaleway демпингует по-жесткому, сравните их новое Intensive Workloads предложение с аналогом в DigitalOcean.
Читать полностью…
Страшная статья про Facebook от data-science ученого: http://veekaybee.github.io/facebook-is-collecting-this/
Вкратце: записывают абсолютно всё, ничего не удаляют и эксперименты проводят какие захотят (это самая жуткая часть, на самом деле).
Тот нашумевший эксперимент фб провел ещё в 2012 году, научная статья о нем вышла в 2014. Статья оказалась плохим PR-ом, так что больше мы о таких опытах не узнаем.
Впервые столкнулся с антиспамом/антифишингом в ФБ samat/приключения-одной-статьи-в-фб-71b8b534d5d" rel="nofollow">https://medium.com/@samat/приключения-одной-статьи-в-фб-71b8b534d5d
Читать полностью…
С пылу с жару, история от гитлаба. Как они на коленке продакшен базу спасали. Случайно выполнили команду удаления базы не на том сервере, а бэкапов, оказалось, нет.
So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place.
Guys, don't be too hard on yourself. Все мы там были. Несколько месяцев назад аналогичная история произошла в медузе - монга двухлетней давности оказалась без бэкапов. Обнаружили мы это после того, как случайно удалили не тот сервер в админке хостера.
Единственный способ быть уверенным, что все в порядке - попробовать поднять реплику продакшена без продакшена, тестировать не бэкапы, а recovery plan.
Наслаждайтесь: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub
В описании канала написано: «куда переехать с Parse». Пора ответить на этот вопрос. Спасибо читателю Алибеку @alievalibek, что спросил.
https://dev.meduza.io/куда-переехать-с-parse-push-8d61698f2118
Google купил Fabric, как Facebook в своё время купил Parse. Готовьтесь к закрытию :trollface:
Читать полностью…
Короткая (14 страниц A4) и познавательная статья про безопасность в гугле: https://cloud.google.com/security/security-design/
Проходится «по верхам» обеспечения безопасности такого монстра, как Google.
Мне было особенно интересно про аутентификацию/авторизацию на уровне общения сервисов друг с другом (внутри есть больше подробностей про это):
Each service that runs on the infrastructure has an associated service account identity. A service is provided cryptographic credentials that it can use to prove its identity when making or receiving remote procedure calls (RPCs) to other services. These identities are used by clients to ensure that they are talking to the correct intended server, and by servers to limit access to methods and data to particular clients.
Логотип менять не будем! http://blog.trello.com/trello-atlassian
Читать полностью…
Вообще, я завис на этом сайте leapsecond. Вот посмотрите сами: http://www.leapsecond.com/great2005/
Хочется больше таких сайтов.
Доброе утро и с Новым годом!
Помните про leap second? /channel/ctodaily/43
У инженеров Cloudflare была вот такая встреча Нового года https://www.cloudflarestatus.com/incidents/1fczgjmknplp
🌲✨🌞
Переустановил MacOS. Обнаружил, что можно не мучиться с ручной установкой Android Platform Tools (в который входит adb), а сделать brew install android-platform-tools.
Век живи век учись.
Вообще, эта ситуация, когда компьютер начинает тормозить и помогает переустановка — очень напоминает мне моё детство c регулярной переустановкой Windows. Тут то же самое. Вот, например, wifi после просыпания, включался секунд 30; после переустановки — включается мгновенно. Проверил по бекапам — этот МакБук наливался ровно год назад. Back to the Future.
Если у вас тормозит Макбук — можете попробовать, возможно, что выкладывать много тысяч за новый совсем необязательно.
Исследователи из CWI и Гугла представили практическую атаку на SHA1.
SHA1 — это хэш-функция, то есть алгоритм, создающий цифровой отпечаток файла. Редактируешь хоть одну букву в гигантском файле и отпечаток меняется радикально, никак не перепутаешь. Файлы большие, а отпечатки — маленькие. Теория информации и теория множеств доказывает, что в такой ситуации всё-таки существуют два разных файла, имеющих один и тот же отпечаток. Вся суть хэш-функций в том, чтобы подобрать второй файл было как можно сложнее, читай практически невозможно.
SHA1 придумали в 1995 году в NSA (том самом агенстве национальной безопасности США) и с тех пор он активно использовался для большинства HTTPS-сертификатов в интернете. В 2005-м году исследователи обнаружили слабость в алгоритме, позволявшую теоретически произвести атаку на коллизии — подобрать второй файл с таким же отпечатком SHA1, что и у заданного первого файла. Начиная с 2010 сертификаты начали по-умолчанию использовать SHA2 или SHA3 — более свежие версии алгоритмов.
Но это всё были умные научные статьи, где пропускаешь формулы, потому что доверяешь научному сообществу и смотришь только на выводы.
Тут же можно самому скачать две разные PDF-ки, у которых совпадают SHA1. Довольно мощное впечатление.
Теперь модно давать крупным атакам имя и делать персональные сайты-объяснения. Встречайте https://shattered.io/
В суперкомпьютерной платформе IBM стоимостью 300 миллионов долларов нашли уязвимость, позволяющую украсть петабайты пользовательских данных. (Тот самый адов бигдата.)
Уязвимость - не многоступенчатый 0-day, а детская ошибка в конфигурации системы виртуализации, про которую можно прочитать в документации. Нашёл не супер хакер, а обычный технарь за вечер.
Это к вопросу о безопасности.
Статья достойна прочтения целиком - сколько они патчили ошибку и сколько заплатили нашедшему - не буду спойлить.
https://wycd.net/posts/2017-02-21-ibm-whole-cluster-privilege-escalation-disclosure.html
Дело в том, что часто программисты сначала пишут пароль от систем прямо в коде, а уже потом переносят его в секретный файл конфигурации. Тот неудобный момент, когда оказалось, что исходный код и вся история его правок доступна всему миру.
Читать полностью…
Пятничное чтение: мы делаем слишком тяжелые сайты при том, что у многих людей медленный интернет.
Может показаться оторванным от реальности брюзжанием, если бы не пример с AirBnB (сайт ломается при медленном интернете, а ведь именно в путешествии он такой).
Интересная цитата:
When I was at Google, someone told me a story about a time that “they” completed a big optimization push only to find that measured page load times increased. When they dug into the data, they found that the reason load times had increased was that they got a lot more traffic from Africa after doing the optimizations. The team’s product went from being unusable for people with slow connections to usable, which caused so many users with slow connections to start using the product that load times actually increased.
https://danluu.com/web-bloat/
Ищу второго системного администратора в Медузу. Работа удаленная, подробное описание вакансии внутри: https://dev.meduza.io/поиск-второго-админа-operations-engineer-в-команду-медузы-919b9f033f01
Читать полностью…
История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4
Читать полностью…
Почти 4 месяца назад мы в Медузе запустили путеводители «Атлас» — 10 приложений-путеводителей на 3 платформах — Web, iOS, Android. Вот короткое описание, какие подводные камни мы собрали в процессе реализации проекта: https://dev.meduza.io/как-запустить-20-приложений-за-3-месяца-или-что-такое-атласы-bdb0515748d7
Читать полностью…
У online.net распродажа аренды серверов. Самые дешёвые уже кончились, но есть ещё много хороших предложений. Online - французский хостер с лучшим на мировом рынке соотношением цена-качество. Во всех серверах включен по-настоящему безлимитный трафик https://www.online.net/en/winter-2017/sales
Читать полностью…
Ghost объявил грант для журналистов. Для каждой из трех выигравших команд «сделают сайт» и будут помогать со всеми техническими вопросами core-разработчики платформы, которая грозится стать следующим Wordpress — стандартным ответом на вопрос «я пишу тексты, как мне сделать сайт?».
Очень хороший ход: ghost поймет, что нужно редакторам, а хорошие журналисты получат мощную техническую поддержку. Мы все будем пользоваться ещё более крутым движком.
https://ghost.org/journalism/
Бесило копировать скриншоты из Androidа, нашел комфортный для себя способ:
1. Удаляем все старые скриншоты adb shell 'rm /sdcard/Pictures/Screenshots/*'
2. Делаем скриншоты
3. Копируем папку screenshots куда хотим: adb pull /sdcard/Pictures/Screenshots Downloads
Отличная статья, как правильно задавать вопросы: https://jvns.ca/blog/good-questions/
Кстати, часто достаточно попытаться сформулировать вопрос, для того, чтобы самому догадаться до ответа (смотри метод резиновой уточки).
Краткое содержание статьи в картинке:
Чтобы не начинать год только с плохого: вот музей атомных часов Hewlett-Packard. Наверное, все программисты знают о знаменитых научных калькуляторах HP (вот их музей). Для меня было открытием, что HP является ещё и крупнейшим коммерческим производителем атомных часов.
Точное измерение времени — одно из важных достижений человечества.
На основе атомных часов работают системы геопозиционирования (GPS). Интересно, что предыдущее технологическое поколение часов было создано именно для навигации: более-менее точные портативные часы были придуманы в 1761 году для измерения долготы кораблей в море.
Почитайте эту главу Википедии про Джона Гаррисона. Это просто приключенческий роман, включающий конкурс на много миллионов фунтов, попытки правительства зажать приз и даже личное вмешательство английского монарха.
На фото сверху: H4 - первые в мире точные механические часы, не боящиеся качки; снизу: HP 5071A - самые распространённые атомные часы.
Доброе утро.
PHPMailer (этой библиотекой для отправки писем пользуются буквально миллионы сайтов) содержит критическую уязвимость Remote Code Execution из-за забытого эскейпинга поля from.
Вкратце: если сайт даёт вписать адрес отправителя письма и использует уязвимую библиотеку для их отправки — то атакующий сможет выполнить любую команду на сервере с правами сайта (например, удалить сайт или отправлять с него спам).
Мне особенно интересны 2 момента:
1. Dawid Golunski сообщил об ошибке публично 25.12.2016, но пока не пишет, в чем конкретно заключается уязвимость и не показывает PoC код [proof of concept, пример кода, эксплуатирующего уязвимость]. Это, очевидно, сделано для того, чтобы скрипткиддисы [малокомпетентные хакеры (kiddie — ребенок)] не использовали его пример как инструкцию к действию. При этом понять, в чем заключалась уязвимость, можно просто посмотрев на коммит, исправляющий эту ошибку.
2. Прикольно, как относятся к своим пользователям разные проекты. Drupal (популярная CMS, движок для сайта) не включает в себя PHPMailer напрямую. Тем не менее, они выпустил PSA (public security advisory, условно письмо АААА всем обновляться срочно) через 12 часов после публичного описания ошибки, Joomla сделала это через сутки, а Wordpress не написал ничего до сих пор. Я попытался найти публичный security advisory list для Wordpress и угадайте что?
Очень классный комментарий одного эксперта — «обновите свой сайт сами, пока это не сделал за вас хакер». Обычно взломщики чинят уязвимости, через которые проникли в систему, чтобы последующие атакующие не мешали спокойно эксплуатировать жертву.
Как много хакнутых сайтов мы увидим в ближайшие месяцы?
Зачем уметь программировать? Мне кажется, основная причина - иметь возможность сделать вот так: https://www.facebook.com/scythargon/posts/1230272307038271
Это ведь прекрасно, примерно как самому починить велосипед у бабушки в деревне и все лето кататься.
Конечно, для успешной работы программистом важны также настойчивость, способность корпеть над скучными штуками. Но этот экзерсис наполняет радостью мое израненное буквами в интернете сердце.