7029
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Пока мы работаем с, в общем-то, скучными данными, активисты создают Open Cannabis Project [1] для защиты малых производителей каннабиса от патентов и монополий.
Кроме всего прочего этот проект про данные, о чём они и пишут в своем блоге [2] о том что собирают базу, в первую очередь, патентов.
Ссылки:
[1] https://opencannabisproject.org
[2] https://medium.com/opencannabisproject/2018-the-year-of-the-database-a5701eb66d6b
#opendata
Приказ Минфина России от 15.11.2017 № 1029 «Об утверждении перечней субъектов Российской Федерации в соответствии с положениями пункта 5 статьи 130 Бюджетного кодекса Российской Федерации»
https://minfin.ru/ru/document/?id_4=121666
© Официальный сайт Минфина России
О сборе новостей и переносе сборщиков RSS в телеграм на английском языке в Medium [1].
Напомню что большие тексты на английском языке я буду писать именно в блоге на Medium, а на русском языке на Яндекс.Дзен [2]
Ссылки:
[1] ibegtin/how-i-find-opendata-and-opengov-news-and-create-newsfeeds-with-telegram-814bd953cae9" rel="nofollow">https://medium.com/@ibegtin/how-i-find-opendata-and-opengov-news-and-create-newsfeeds-with-telegram-814bd953cae9
[2] https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261
#opendata #opengov
19 тихоокеанских стран создают совместную единую платформу для учета граждан. В первую очередь это касается регистрации рождения и смерти, но этим не ограничивается и в будущем система будет использоваться и для других целей - таких как регистрация прав на недвижимость, digital identity. И вот здесь важным аспектом является соглашение об обмене данными на которое идут все участники. Подробнее в статье на GovInsider
Читать полностью…
Об обратной стороне открытости и о том как в США еще в 80-х вводили ограничения на доступность персональных данных. Подобные примеры важны для понимания баланса открытости и ограничений доступа, в первую очередь помня о том что мы живем в мире где есть люди идущие на сознательные преступления.
Читать полностью…
Guangzhou now uses WeChat for digital identity
http://govinsider.asia/security/guangzhou-wechat-digital-identity/
The app provides official identification for using both online and offline
government services.
В открытый проект Open Ownership объединяющий базы владельцев бизнеса по всему миру добавили базу из 240 тысяч украинских компаний [1]. В самом реестре сейчас примерно 4.2 миллиона организаций [2] Великобритании, Словакии, Украины и раскрываемых по стандарту EITI. А все данные доступны как открытые данные.
4,2 миллиона организаций - это очень мало, в сравнении, например, с OpenCorporates и их базой в 138 миллионов юридических лиц [3], но важная особенность в том что Open Ownership дает информацию именно о конечных владельцах организации для тех реестров которые позволяют это сделать.
Ссылки:
[1] https://openownership.org/news/ukrainian-beneficial-ownership-data-now-available/
[2] https://register.openownership.org/
[3] https://opencorporates.com/
#opendata #opengov #transparency #ownership
The Perils of Predictive Policing
https://towardsdatascience.com/the-perils-of-predictive-policing-11928a9f1d60?source=rss----7f60cf5620c9---4
### Data Science gone wrong: Predictive Policing is a WMD
See the **interactive map** with the prediction results
[here.](https://orlandott.github.io/Predictive_Policing/)
Click the link above to see the interactive map.
For the **code** , visit the repo for this project
[here](https://github.com/orlandott/Predictive_Policing).
When new technologies emerge, our ethics and our laws normally take some time
to adjust. As
Hiring at CDS – How we make it work in a start-up environment
http://digital.canada.ca/2018/01/09/hiring-at-cds/
There’s a lot of interest on how we are recruiting and staffing up a digital
services team that can hit the ground running and help solve service
challenges across the Government. This is why I am super excited to be writing
a blog post about our hiring practices at CDS.
We are recruiting talent from inside and outside the public service at the
grandest scale: globally, nationally and locally. We want to bring together
the best: highly skilled people who are motivated to do mission driven work
Ранее я писал про бот который создает поток сообщений из RSS и новостей на сайтах и транслирует их в каналах. Бот наконец-то проверен в полубоевых условиях и готов для публичного тестирования.
Бот доступен тут @FeedRetranslatorBot справка по нему получается командой "/help".
Как с ним работать:
1. Если у Вас нет канала, то создаете его через клиента Telegrama. Он должен быть публичен. Например, мой канал имеет имя "begtin" и ссылку "/channel/begtin". Вам понадобится его имя.
2. Добавляете бота @FeedRetranslatorBot администратором в канал. Из прав ему нужны только права на публикацию постов.
3. Заходите в настройки бота и добавляете подключаете канал. Это команда "/channel [название канала]". Пример: /channel begtin
4. Далее добавляете подписки. Добавить можно через команду: "/add"
Добавление выглядит вот так: "/add begtin ibegtin" rel="nofollow">https://medium.com/feed/@ibegtin"
если Вы не знаете есть ли RSS лента на странице, то можно предварительно это проверить командой "/test ibegtin" rel="nofollow">https://medium.com/feed/@ibegtin"
5. Далее каждые полчаса робот собирает новости и раскидывает их по каналам.
Важные особенности:
- сейчас стоит ограничение на 3 канала и по 5 подписок на канал на одного пользователя. Если понадобится больше, пишите.
- боту _не обязательно_ чтобы на странице была RSS лента. Он умеет собирать новости с любой страницы где есть ссылки с датами. Пример, у ФРИИ нет RSS ленты на сайте, но со страницы http://www.iidf.ru/media/articles/ бот соберет информацию. Поддерживает 8 языков и примерно 300 видов написания дат. Не поддерживает восточные языки, иероглифы и тд. Даже не проверялся.
- сейчас бот может иногда выдавать отладочную информацию при взаимодействии, это нужно для его проверки. Но в сами каналы он ничего такого не пишет, туда идут только новости.
Это мой личный проект-хобби, я на нем поддерживаю свои навыки программирования, чтобы совсем уж не отойти от технической работы. При этом я сам его активно использую, перенеся в него все подписки из RSS ридера.
Все пожелания можно направлять мне в @begtinchat или напрямую в @ibegtin
#news #rss #feeds #bots
В последнее время думала, что же меня смущает на странице "Открытое Министерство" на сайте МинФин России. Сегодня подтвердила догадки, что Открытые данные перестали быть их приоритетным направлением. На скриншоте вебархива от 8 июня они еще приоритетные, а 5 января их уже нет https://www.minfin.ru/ru/om/
Читать полностью…
Важный тренд последних нескольких лет - это появление команд цифровой трансформации очень похожих на команду Alpha Gov (ныне это Government Digital Services) в Великобритании.
Такие команды уже есть в Канаде, Италии, США, Великобритании, Австралии, Новой Зеландии.
То как они работают значительно отличается от того о чем говорят в рамках цифровой экономики / цифровой трансформации в России.
И вот главные отличия:
1. Открытая разработка - все эти команды работают в открытую. Их код опубликован, либо на GitHub'е, либо на собственном экземпляре GitLab, но тоже в открытом доступе. Но открытая разработка - это больше чем просто открытый код, это еще и возможность принять участие в исправлении их кода, отправлять сообщения об ошибкам и взаимодействовать с командами разработки.
2. Открытые данные по умолчанию. На открытости данных уже нет такого акцента как раньше по той причине что они уже признаются неким стандартом де-факто.
3. Простой язык (plain language) во всех документах предназначенных для граждан.
4. Единые стилевые гайды по созданию новых и обновлению имеющихся веб сайтов.
5. Публичные консультации на каждом шагу в реализации.
Все начинается с открытого исходного кода.
#opendata #opengov #digitalgov
How Can We Bridge the Gap Between Citizens and State? Previewing the Open Budget Survey 2017
https://www.internationalbudget.org/2018/01/previewing-the-open-budget-survey-2017/
On 30 January 2018 the International Budget Partnership will release the Open
Budget Survey 2017 – the latest round of the world’s only independent and
comparable assessment of budget transparency, citizen participation, and
independent oversight institutions in the budgeting process.
The post [How Can We Bridge the Gap Between Citizens and State? Previewing the
Open Budget Survey
2017](https://www.internationalbudget.org/2018/01/previewing-the-open-budget-
survey-2017/) appeared first on [Inte
Transforming the process of producing official statistics
https://dataingovernment.blog.gov.uk/2017/11/27/transforming-the-process-of-producing-official-statistics/
In March, we blogged about our work with analysts across government to
transform the way we produce official statistics. We borrowed ideas from
software development and academia to demonstrate what this might look like. We
called the project ‘RAP’, which stands for Reproducible Analytical Pipelines.
Интересные проекты и события уходящего года в области данных в мире
Научные данные:
- Dat [1] децентрализованный протокол обмена данными. Использует обмен данными P2P для ускоренной и удобной доставки наборов данных. Пока, в основном, используется в научном сообществе.
- Code Ocean [2] - стартап по перепроверке результатов исследований онлайн. Предоставляет платформу куда можно публиковать код и данные и предоставлять возможность воспроизводить результаты запуская код в облаке.
- Frictionless Data [3] проект Open Knowledge International по унификации метаданных и распространению CSV файлов с обязательными схемами и спецификациями.
- научные проект поддерживанием Alfred P. Sloan Foundation [4] их довольно много и с каждым годом все больше. В основном они касаются создания, визуализации и обмена научными открытыми данными.
Открытый код:
- Toapi [5] проект с открытым кодом по быстром превращению страниц сайта в API. Работает как конструктор, очень простой в использовании и стремительно набирающий популярность
- Public APIs [6] большая коллекция ссылок на общедоступные API со ссылками на документацию и все разделено по категориям
- Rawgraph [7] удобная библиотека и сервис по визуализации табличных данных
Платформы:
- Data World [8] один из немногих проектов которые реально могут стать аналогом Github для данных
- AirTable [9] являются аналогом Excel'я и конкурентом Google Spreadsheets, но с более быстрым интерфейсом, API и другими возможностями.
Ссылки:
[1] https://datproject.org/
[2] https://codeocean.com/
[3] http://frictionlessdata.io/
[4] https://sloan.org/programs/digital-technology/data-and-computational-research/platforms
[5] https://github.com/gaojiuli/toapi
[6] https://github.com/toddmotto/public-apis
[7] http://rawgraphs.io/
[8] https://data.world
[9] https://airtable.com/
#opendata #opengov
Сложная, лично мне непонятная, но несомненно красивая визуализация данных OddityViz как мемориал Дэвиду Боуи[1].
Ссылки:
[1] https://medium.muz.li/oddityviz-a-tribute-to-david-bowie-with-data-3566d3bd6bd8
#opendata #opengov
Свежий документ Минфина с классификацией субъектов федерации по тому насколько они зависят от федерального бюджета.
Приведу оттуда лишь 2 списка, остальные Вы можете посмотреть сами.
Регионы не получавшие субсидии на выравние бюджетной обеспеченности:
- Республика Татарстан (Татарстан)
- Ленинградская область
- Московская область
- Самарская область
- Сахалинская область
- Свердловская область
- Тюменская область
- город федерального значения Москва
- город федерального значения Санкт-Петербург
- Ненецкий автономный округ
- Ханты-Мансийский автономный округ - Югра
- Ямало-Ненецкий автономный округ
Регионы у которых дефицит бюджета превышал 40% последние 3 года.
- Республика Алтай
- Республика Дагестан
- Республика Ингушетия
- Республика Крым
- Республика Тыва
- Чеченская Республика
- Камчатский край
Никаких невероятных открытий в этих списках нет, важно просто помнить, в том числе, это говоря о том как устроена наша страна.
#opendata #opengov
Exclusive: Why 19 Pacific countries are building a single civil registration platform
http://govinsider.asia/innovation/jeff-montgomery-pacific-civil-registrars-network-new-zealand/
Interview with Jeff Montgomery, New Zealand’s Registrar-General and GM of
Births, Deaths, Marriages, Citizenship and Translations. Innovation
Government data: How open is too open?
http://thegovlab.org/government-data-how-open-is-too-open/
Sharon Fisher at HPE: "The notion of "open government” appeals to both
citizens and IT professionals seeking access to freely available government
data. But is there such a thing as data access being too open? Governments may
want to be transparent, yet they need to avoid releasing personally
identifiable information. There's no question that open government […]
Full Post: [Government data: How open is too
open?](http://thegovlab.org/government-data-how-open-is-too-open/)
Можно ли предсказать голосование по фотографии? А если это панорамная фотография?
Исследователи из Стенфордского университета проанализировали 50 миллионов фотографий из Google Street View [1]
и научились определять типы автомобилей и, соответственно, предсказывать голосования в местах где они сделаны.
Всего система умеет предсказывать с высокой точностью уровень доходов, расовые признаки, образование и привычки в голосовании с детальностью до почтового индекса (ZIP кода).
Все это социологам и в России на заметку, кроме Google Street View в России ещё есть Яндекс Панорамы и алгоритмы позволили бы провести реальные исследования устройства российского общества.
Подробнее об исследовании [2]
Ссылки:
[1] https://www.nytimes.com/2017/12/31/technology/google-images-voters.html
[2] http://www.pnas.org/content/114/50/13108.full.pdf
#opendata #data #algorithms
Пока отдельные страны придумывают собственные механизмы идентификации граждан, в Гунджоу (Китай) используют WeChat для официальной цифровой идентификации и доступа к государственным услугам онлайн и оффлайн.
Читать полностью…
Правительство Великобритании использует алгоритмы для выбора приоритета проверки школ [1]. Так в Великобритании тоже идут изменения в надзоре и контроле государства, хотя это и не называется реформой. Разработкой алгоритмов занимается команда Behavioural Insights Team [2] применяющая алгоритмы прогнозирования не только к инспекциям, но и к другой деятельности государства.
Чему уже сопротивляется союз учителей, призывающей к прозрачности работы алгоритмов и наличию четких критериев для проверяемых в том какая именно школа выбрана для проверки.
Не стоит рассчитывать что эта тенденция обойдет Россию стороной. Все что нужно для внедрения алгоритмического планирования проверок или прогнозирования - это смена поколений руководителей.
Ссылки:
[1] http://www.bbc.com/news/technology-42425959
[2] http://www.behaviouralinsights.co.uk/publications/using-data-science-in-policy/
#opendata #algorithms #bigdata
Примеры того как данные о преступлениях приводят к предсказании преступности. Алгоритм с 90% вероятностью предсказывает типы и число преступлений на определенных территориях, только на основе исторических данных полиции Сан-Франциско. Особенность в том что предсказания привязаны к почтовому индексу, времени суток и дню недели. А также доступен исходный код [1]
Ссылки:
[1] https://github.com/orlandott/Predictive_Policing
#opendata #openpolice
Обратите внимание на то как проводит найм сотрудников Canadian Digital Services.
1. Работа в start-up environment. С самого начала работа предполагает неформальную обстановку
2. Найм людей исключительно по квалификации и талантам. Нет требований к образованию, годам госслужбы, допуску и так далее. Требуется только опыт и квалификации для задач команды [1]
3. Открытый исходный код [2] включая полный код их сайта digital.canada.ca [3]
Ссылки:
[1] https://digital.canada.ca/work-with-us/
[2] https://github.com/cds-snc
[3] https://github.com/cds-snc/digital-canada-ca
"Мы занимались открытыми данными до того как государство начало их публиковать и продолжим когда оно прекратит" (с)
Много лет назад, в 2012 году, когда "Открытое правительство" (ОП) под руководством Михаила Абызова только формировалось и было гораздо больше перспектив того что мы называем открытостью государства, я сформулировал этот тезис, который регулярно повторял на круглых столах и встречах.
Еще тогда у меня была уверенность что мода на открытые данные в России просуществует внутри государства недолго, вернее термин останется, а вот форма его реализации может значительно исказиться.
—-
Повестка открытости
Повестка открытости как ключевая сошла на нет еще в 2013 году. С момента выпадения России из G8 "выпала" и повестка национального плана по открытости. С той поры открытые данные, стали частью, скорее общемирового феномена госуправления, не имея под собой сильной политической опоры.
Сохранилась повестка "Открытого правительства", но она приобрела свои, автохонные черты, не имеющие ничего общего с мировым Партнерством открытых правительств или же Хартией открытых данных.
Так, реформа контрольно-надзорных функций, или реформа государственного заказа - очень мало имеют отношения к открытости. При том что первое еще как-то продвигается, а второе прожило в активном режиме не более полугода.
Как, к сожалению, и многие другие инициативы, часть из которых оказались недееспособными, например, Российская общественная инициатива большая часть предложений поступивших через нее не были поддержаны.
Часть маргинализировались, например, деятельность ОП в части открытых данных. Совет по открытым данным при Правительственной комиссии свелся к довольно бессмысленным отчетным выступлениям ФОИВов и не менее малосодержательным монологам.
Часть были перехвачены, например, в формировании общественных советов повестку перехватила Общественная палата которая формирует теперь 75% каждого совета.
А темы открытости кода или понятности языка, даже не попали в повестку работы Открытого правительства в самом начале его создания. Не в последнюю очередь из-за их сложности, необходимости кропотливой работы и, невозможности получить "низковисящие фрукты".
Ближайшее будущее
Все это время открытое правительство было некой пристройкой к "классическому" Правительству Дмитрия Медведева. Через несколько месяцев в России появится новый кабинет министров и совершенно неизвестно найдется ли в нем место Открытому правительству в той форме как оно существовало с 2012 года. На мой взгляд, шансы на его сохранение исчезающе малы.
Что будет с открытыми данными, если ОП исчезнет? Повлияет ли это как-то на то с чем мы работаем этим годы?
Повлияет лишь отчасти. В действительности влияние государства на открытые данные не так уж велико. Сама природа создания государственных баз данных в последние годы такова что их сложно держать закрытыми. Они создаются изначально так чтобы ими могли пользоваться неограниченно число пользователей и это значительно влияет на открытость не связанную с наличием формальной уполномоченной структуры такой как ОП.
—-
Что будем делать мы
В самом худшем сценарии - это возврат к модели работы когда государство не публикует новых данных, но продолжает создавать сайты. Это означает извлечение и создание баз данных через web scraping, обработку веб-страниц с преобразованием их в базы данных.
Много лет назад, в 2009 году я организовывал такие мини конкурсы для разработчиков по созданию наборов данных на основе опубликованных на сайтах материалов. А сами данные публиковать на независимых негосударственных порталах данных.
В самом оптимистичном сценарии повестка открытости перейдет в повестку цифрового государства и станет ее неотъемлимой частью.
Итоговый результат будет где-то по середине и ждать нам осталось совсем недолго.
https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261/my-zanimalis-otkrytymi-dannymi-do-togo-kak-gosudarstvo-nachalo-ih-publikovat-i-prodoljim-kogda-ono-prekratit-s-5a54a0d648c85ef3503c99c2
На сайте Минфина Раздел "Открытые данные" исчез из раздела "Открытое Министерство". Осталось проверить сайты других министерств, нет ли там аналогичных изменений
Читать полностью…
Длинные зимние праздники - это хорошая возможность не только отдохнуть, но и отдохнуть за работой. Я так мало программировал руками в последние годы, что решил за пару дней, одновременно, восстановить старый проект и сделать что-то полезное.
Возникла очень простая идея переноса подписки на RSS новости из привычного онлайн ридера, в телеграм. При этом выделив каждую категорию новостей в отдельный канал.
Поиск таких готовых ботов и сервисов ни к чему не привел, кроме того у источников информации с которыми я работаю есть маленький-большой нюанс. Очень часто они не поддерживают экспорт в RSS ленты. Экспорт новостей в RSS это такая "странная" возможность что регулярно разработчики и заказчики их работы по созданию госсайтов и не только забывают их добавить.
Именно по этой причине много лет назад я и сделал алгоритм "Скъюр" который умел и умеет обрабатывать новости с любой страницы и превращать их в RSS.
Итого, я сделал несколько новых каналов в телеграм:
* Инфокультура - /channel/infoculture - новости проектов Инфокультуры. С нашего сайта, Госзатрат и Открытой полиции. А в будущем и других проектов
* Open Data Digest - /channel/opendatadigest - канал не-русскоязычных новостей по открытым данным
* Open Government Digest - /channel/opengovdigest - канал не-русскоязычных новости по открытости государства
* Правительственный вестник - /channel/govdigest - канал для трансляции официальных новостей с сайта Правительства, Президента, ряда ФОИВов и окологосударственных мозговых центров
Изначально не было планов делать их публичными, но по здравому разумению ничего секретного в них нет. А делать репосты из каналов гораздо удобнее чем вначале получать их через читалку RSS.
Особенность этих каналов в том что работа с ними происходит через универсальный бот. Он авторизует пользователя по нику в Telegram, принимает команды на добавление лент подписки к каналам и регулярно постит в выбранные каналы собранные новости.
Ему не обязательно передавать RSS ленту, можно скормить ссылку на сайт и тогда он там вначале попробует RSS ленту найти и если не найдет то будет искать текст новостей на самой странице.
После бета тестирования бот будет открыт полностью для всех, с ограничением лишь по числу каналов и подписок.
В целом он уже готов, в нем не включено только автосбор новостей. Вернее он пока отключен.
Если кто-то хочет уже сейчас его опробовать и помочь с обратной связью - пишите мне сообщением в Telegram на /channel/ibegtin или в чат /channel/begtinchat
#news #feeds
30 января выйдет Open Budget Survey за 2017 год с очередным рейтингом открытости бюджетов стран. Не стоит ждать резких прорывов или падений открытости в России - мы там на довольно высоком уровне.
Читать полностью…
о том как меняется подход к статистике в Великобритании. Команды статистиков работают вместе с data scientist'ами над выработкой удобных инструментов доступа к статистике. Например, органы власти финансируют появление пакетов для языка R для удобной работы с официальными данными.
Читать полностью…
Поздравляю всех и от себя лично и от АНО "Инфокультура" всех с наступающим Новым годом! В следующем году темы о которых я пишу - открытые данные, государство, технологии, цифровая архивация и многое другое продолжат свое развитие. Кроме открытых данных лично я много внимания буду уделять некоммерческому сектору в России, в первую очередь с точки зрения работы именно с открытыми данными. Другое направление будет - это помощь бизнесу в защите его интересов когда государство открывает или не открывает информацию. И, конечно, продолжать все наши проекты.
Читать полностью…
