7029
I write about Open Data, Procurement, e-Government, Open Government, Budgets, Privacy and other govtech stuff Chat https://telegram.me/begtinchat Facebook - https://facebook.com/ibegtin Secure contacts ivan@begtin.tech
Не будь я занят во многом другом, сам бы в таком поучаствовал, но для тех кто в РФ и хочет поделать хорошего в плане открытости это хорошая возможность.
Читать полностью…
В качестве регулярных напоминаний о том где взять открытые данные:
Списки на Github
- awesome-public-dataset один из крупнейших списков общедоступных данных
- awesome-citygml - список доступных 3D моделей городов, много, по разным странам
- awesome-gis в основном открытый код для ГИС, но и раздел с геоданными
- awesome-opendata-rus довольно давно ещё собранный нами в Инфокультуре и пополняемый контрибьюторами список данных по РФ
- awesome-italian-public-dataset список открытых данных в Италии
- awesome-syntetic-data список инструментов по генерации синтетических данных
Каталоги каталогов данных
- Dateno Registry реестр каталогов данных который мы ведём в Dateno
- datacatalogs.org каталог порталов открытых данных от Open Knowledge Foundation
- datacatalogs.ru каталог порталов открытых данных в РФ и постсоветском пространстве от Инфокультуры
Поисковики по данным
- Dateno.io поисковик по более чем 15 миллионов наборов данных, со множеством фасетов и источников
- Google Dataset Search поисковик по датасетам от Google. На сегодняшний день крупнейший в мире
- BASE (Bielefeld Academic Search Engine) один из крупнейших поисковиков по научным данным
- OpenAIRE Explore европейский поисковик и агрегатор по научным данным ЕС и не только.
- Findata.cn китайский поисковик по научным данным Китая и данным связанным с Китаем от Китайской Академии Наук
- SciDb.cn китайский агрегатор научных данных, аналог OpenAIRE
- GeoSeer единственный известный мне поисковик по геоданным (кроме Dateno, конечно)
Крупные [над]национальные порталы открытых данных
- Data.europa.eu портал открытых данных Евросоюза
- Data.gov портал открытых данных США
- Data.gov.uk портал открытых данных Великобритании
Данные для ИИ и обучения нейросетей
- Kaggle крупнейший каталог данных для ИИ, поддерживается Google
- Hugging Face большое сообщество дата сайентистов и каталог данных
#opendata #datasets #data
В рубрике как это устроено у них проект PLATEAU [1] в Японии создан Министерством Земель, Инфраструктуры, Транспорта и Туризма и в рамках проекта создано 211 3D моделей городов и территорий Японии.
Все модели опубликованы как открытые данные на портале geospatial.jp в формате CityGML v2 и v3, а также сами 3D модели можно просмотреть онлайн в сервисе PLATEAU View [3] (осторожно, сильно нагружает браузер)
Общий объём 3D моделей составляет более 100GB в сжатом виде и более 2ТБ в распакованном.
Ссылки:
[1] https://www.mlit.go.jp/plateau/open-data/
[2] https://www.geospatial.jp
[3] https://plateauview.mlit.go.jp/
#opendata #japan #geodata #datasets #bigdata
Наглядная визуализация с открытым кодом того что происходит внутри LLM моделей [1]. Исходный код доступен [2] как и научная статья от авторов Transformer Explainer: Interactive Learning of Text-Generative Models [3]
Ссылки:
[1] https://poloclub.github.io/transformer-explainer/
[2] https://github.com/poloclub/transformer-explainer
[3] https://arxiv.org/abs/2408.04619
#opensource #llm #ai #datatools
В качестве регулярного напоминания, в России уже 16 месяцев как отсутствует федеральный портал открытых данных data.gov.ru. Он был "закрыт на ремонт" Минэкономразвития РФ в марте 2023 года [1] и с тех пор не возвращён к жизни, несмотря на то что его "перенос на Гостех" должен был завершиться к январю 2024 года.
В истории Минэка - это не последняя плохая история в их информатизации и зоной ответственности, но очень показательная поскольку закрыли старую версию портала до того как открыли новую. В общем-то всем понятно что просто хотели закрыть.
Ссылки:
[1] /channel/begtin/4714
#opendata #closeddata #russia
Про разного рода технически сложные задачи и их решения.
Я тут регулярно пишу про разные форматы файлов данных и могу сказать что, конечно, файловых форматов как и стандартов какое-то бесконечное количество. Когда-то я и сам делал и периодически обновляю инструменты вроде undatum [1] по работе с некоторыми из них. Так в undatum я недавно добавил работу с множеством алгоритмов сжатия обработкой файлов с минимизацией объёма их хранения и нагрузкой на оперативную память, с быстрым преобразованием из JSON lines / BSON в аналогичные форматы со сжатием xzip, zstd и др. В общем-то из-за банальных задач уменьшения объёма хранения JSON lines файлов, но с возможностью работы с ними.
Однако вот сейчас я смотрю на задачу преобразования данных в условно "диком состоянии", а то есть в большинстве популярных форматов, среди которых, конечно, лидируют CSV и Excel файлы и могу сказать что самые типовые задачи решает DuckDB, а чуть более сложные DuckDB + Polars + Pandas + предобработка некоторых форматов файлов на входе.
Причём именно в такой комбинации. Почему так?
DuckDb - даёт большую скорость в работе с табличными и большей частью иерархичных данных. Но DuckDb не умеет читать файлы Excel, ORC, ORC и тд. Их умеют читать Pandas и Polars. И частично их писать.
Из фундаментальных проблем DuckDB - непонимание кодировок кроме utf-8 для CSV файлов что решается их предобработкой. Вторая проблема в том что DuckDB не умеет определять структуру CSV файлов если заголовки не в начале файла. Это вообще не все инструменты умеют и это, в принципе, умеют немногие инструменты, особенно с открытым кодом.
CSV самый распространённый формат, плохо стандартизированный в "диком виде", слишком часто CSV файлы лежат в открытом доступе после экспорта из Excel.
Еще один недостаток DuckDB при работе с CSV файлами - это отсутствие поддержки алгоритмов сжатия за исключением GZip. Если исходить из эффективности хранения и стоимости хранения - это важный фактор. Например, несколько сотен тысяч CSV файлов в Dateno - это около 4TB данных. Хранить их в оригинальном виде неэффективно, сжатыми GZip лучше, а ещё лучше в чём то вроде zstd или даже сразу в Parquet со сжатием. Что логично поскольку эти данные статичны.
Но в итоге именно DuckDB + Polars + Pandas + предобработка + постобоработка данных + хранение первичных данных в Parquet оказывается наиболее универсальным решением в таких задачах.
Ссылки:
[1] https://github.com/datacoon/undatum
#thoughts #data #datatools #fileformats #dateno
Я слышал в другом варианте. "А что с замедлением ютуба? Ещё раз спросишь лицензию оператора заберу!";) Сложно не смеяться.
Читать полностью…
В Нидерландах Министерство внутренних дел и по делам королевства опубликовало Handleiding Herziene Who nav de Wet implementatie open data richtlijn [1], Пересмотренное руководство для тех следует за Законом о реализации Директивы по открытым данным [2]
Руководство на голландском языке, но ничего сложного там нет и для тех кому будет сложно читать можно воспользоваться одним из онлайн переводчиков.
Если вкратце то руководство определяет политику обязательной открытости данных и кода всех государственных структур таких как:
- органы и организации федеральной власти (de staat);
- органы и организации региональной власти (zijn territoriale lichamen);
- организации учреждённые по закону (publiekrechtelijke instellingen)
- ассоциации учреждённые одним или более органов/организаций власти или организаций учрежденных по закону (verenigingen gevormd door een of meer van deze lichamen of een of meer van deze publiekrechtelijke instellingen)
Сюда попадают все органы власти, бюджетные учреждения, государственные исследовательские центры, любые организации которые они учреждали.
В руководстве определены приоритеты открытости по таким направлениям как:
- исследовательские данные
- динамические данные, такие как трафик, движение общественного транспорта и тд.
- особо ценные наборы данных (как это определено в директиве Евросоюза)
- программное обеспечение и открытый код
Из интересного:
- соблюдение принципов FAIR для открытых научных данных
- требование по использованию Metagegevens Duurzaam Toegankelijke Overheidsinformatie (MDTO) стандарта по устойчивой доступности государственной информации [2]. Разработано Национальным Архивом Нидерландов
- требование Archivering by design по предусматриванию обязательной архивации всего публикуемого и для этого использование стандарта DUTO [4], также от Национального Архива
И там ещё много всего.
—
В итоге можно обратить внимание на два фактора:
1. Сильный акцент на обязательное раскрытие научных данных. Это не удивительно зная сколько их создаётся и раскрывается в Нидерландах.
2. Переход к обязательности раскрытие ПО и открытого кода
3. Стандартизация с акцентом на архивацию. Роль национального архива в этом процессе.
И, чтобы два раза не вставать, нидерландский веб-архив всех государственных сайтов [5], несколько тысяч, может быть, десяток тысяч сайтов и госучреждений.
Ссылки:
[1] https://openrijk.nl/artikel/5c0e86d8-bc47-48c0-99f5-4306dea73b6d/nieuwe-wet-voor-open-data-in-nederland
[2] https://minbzk.github.io/publicatie/hl/hwho/#wat-is-de-status-van-deze-handleiding
[3] https://www.nationaalarchief.nl/archiveren/mdto/stappenplan-toepassen-mdto
[4] https://www.nationaalarchief.nl/archiveren/kennisbank/duto-raamwerk
[5] https://www.archiefweb.eu/
#opendata #netherlands #eu #policy #opensource #digitalpreservation #webarchives
Довольно странный и смешной проект с открытым кодом whenfs [1] по превращению Google календаря в файловую систему. Я даже не представляю себе как автор до такого додумался, но тем не менее в примерах сохранение небольших картинок в виде огромного числа записей об эвентах в календаре. Что-то невероятное, там выходит 3 килобайта за 7 секунд!
Впрочем это специфика взгляда, я вот смотрю на всё как на таблицы и данные, а есть люди которые смотрят на всё как графовые структуры или как правила для бизнес логики, или как на код. А в данном случае автор посмотрел на гугл календарь как на файловую систему.
А если про серьёзное, то конечно, гораздо интереснее было бы посмотреть на Google календарь, контакты или почту как на базы данных. Вот мне лично очень нехватает SQL интерфейса или чего-то очень похожего к почте и к контактам.
#google #calendar #funny #filesystem #opensource
В рубрике интересных наборов данных OpenAddresses.io [1] огромная база адресов, кадастровым участкам и зданиям по многим странам мира и отдельным территориям. Проект с огромным числом участников, контрибьюторов и, хоть и не тотальным, но серьёзным покрытием. Например, там есть данные по всему Казахстану, по некоторым регионам РФ, Республике Беларусь, Литве, Эстонии и ещё по многим странам на разных континентах.
Общий объём измеряется сотнями гигабайт, учитывая архивные релизы, в последнем релизе данные глобального покрытия порядка 35ГБ.
Из особенностей - для скачивания просят авторизоваться. С необычным аргументом в пользу этого в том что надо платить за хостинг на AWS S3, а такой механизм нагрузку на бюджет снижает.
В остальном это полноценные открытые данные. В основном скомпилированные из открытых государственных источников.
Ссылки:
[1] https://openaddresses.io
#opendata #datasets #geo #data
Честно говоря не знаю по какому критерию они будут проверять что участники из одной из стран Кавказа или Средней Азии, по наличию гражданства или, может быть, сойдёт и ВНЖ. Во втором случае в хакатоне смогут принять многие приехавшие в эти страны из РФ.
В любом случае больше хакатонов интересных и разных.
#opendata #data #google #centralasia #caucasus #ai
В рубрике как это устроено у них портал по инвентаризации данных Туниса (registre.data.gov.tn) [1]. Недавно начатый правительством страны проект по инвентаризации данных органов власти. Идея в том что вне зависимости от того будут публиковаться данные или нет, их метаданные должны быть систематизированы, описаны, каталогизированы и быть предметом общественного обсуждения, надо ли их открывать и насколько.
Проект на ранней стадии, но само по себе движение правильное. По такому пути шли в США при первоначальном наполнении портала data.gov.
Ссылки:
[1] https://registre.data.gov.tn/fr/
#opendata #tunis #datainventory
Такое чувство что производители облачных СУБД "почувствовали фишку" / осознали возможность демонстрации своих продуктов через наглядное представление больших датасетов. Я ранее писал про OSS Insight [1] от TiDB Cloud с данными извлечёнными из Github, а теперь и команда ClickHouse анонсировала [2] CryptoHouse [3] как бесплатный открытый сервис для блокчейн аналитики. Просто открываешь веб интерфейс и делаешь SQL запросы. А то что интерфейс не требует даже авторизации - это лишнее подтверждение способности выдерживать большие нагрузки.
Выглядит как довольно продвинутая штука, есть немало баз данных над которыми было бы интересно иметь такой интерфейс, но без заоблачных облачных ценников и с возможностью экспорта результатов. Скорее всего это можно сделать достаточно просто и дешево с помощью ch-ui [4] и подобных инструментов.
Недостатков тоже много, в таком интерфейсе непонятно где увидеть документацию, нет data storitelling'а, есть только чистый SQL и таблицы. Не для всех задач такое подходит, но когда знаешь структуру данных и что ищешь, то вполне.
Ссылки:
[1] https://ossinsight.io/
[2] https://clickhouse.com/blog/announcing-cryptohouse-free-blockchain-analytics
[3] https://crypto.clickhouse.com/
[4] https://github.com/caioricciuti/ch-ui
#opendata #clickhouse #sql #blockchain
Существует множество деклараций открытого доступа и вот ещё одна. Учитывая охват и масштаб Sci-Hub она точно заслуживает внимания.
Читать полностью…
Полезная картинка для составления стека работы с данными с помощью open source продуктов [1]. Автор большую часть основных продуктов охватил и много что не охватил как и бывает в таких картинках. Полезное когда уже знаешь большую часть продуктов и интересно находить какие-то незнакомые.
Странно что ещё никто не сделал генератор таких картинок. Оно же поддаётся автоматизации, незадорого причём
Ссылки:
[1] https://www.linkedin.com/posts/ravitjain_data-ai-dataengineering-activity-7226190324291837952-COT0/
#data #datatools
Кстати, я совсем упустил, а ещё месяц назад с организаторы конференции Smart Data выложили видео моего прошлогоднего доклада Common Data Index. Строим аналог Google Dataset Search, но проще и быстрее [1] про пред-проект Dateno. По сути Common Data Index был идеей собрать все каталоги данных, а Dateno сейчас это уже полноценный поисковый индекс.
Ссылки:
[1] https://www.youtube.com/watch?v=IWLNlHTo9M0
#opendata #data #datasets #datacatalogs
В рубрике как это устроено у них раскрытие государственных данных в Таиланде, в основном осуществляется на Национальном портале открытых данных [1] где уже опубликовано более 15 тысяч наборов данных.
Одна из особенностей Таиланда в том что раскрытие данных полу-централизовано, у регионов и органов власти существуют свои порталы, но все они являются поддоменами Национального портала, например ranong.gdcatalog.go.th [2], и buengkan.gdcatalog.go.th [3] и созданы на базе движка CKAN. Из всех этих порталов данные автоматически и стандартизировано агрегируются на центральный портал.
Кроме того геоданные с портала отображаются на геопортале страны [4] работающем на базе TerriaJS
Всего в Таиланде порядка 134 порталов открытых данных и каталогов геоданных [5].
У ODI недавно был отчет на тему Таиланда [6] к слову, хорошо оформленный, но довольно слабый поскольку про сам Таиланд там очень мало, а кейсы все по другим странам: Великобритания, Франция, Словакия и тд. В общем-то, возникает вопрос, причём тут Таиланд?
А в целом в Таиланде, как и в большинстве стран Юго-Восточной Азии в последние годы бум раскрытия данных и модернизации раскрытия официальной статистики.
Ссылки:
[1] https://gdcatalog.go.th
[2] https://buengkan.gdcatalog.go.th
[3] https://ranong.gdcatalog.go.th
[4] https://geo.gdcatalog.go.th
[5] https://dateno.io/registry/country/TH
[6] https://theodi.org/insights/reports/empowering-thailands-digital-government-with-open-data/
#opendata #thailand #data #datacatalogs #geodata
[RU] Мы работаем над созданием общественного геопортала Армении где можно было бы наглядно смотреть на открытые геоданные, скачивать их, сравнивать, делать визуализации. И для этого мы собираем общедоступные геоданные.
Некоторые источники геоданных уже известны, это:
- проект Sustainable Caucasus [1]
- портал Центра экологических исследований РАН Армении [2]
- портал о земле ArmSIS [3] (более недоступен)
- портал ООН, Humanitarian Data Exchange [4]
С одной стороны геоданных много, и многие уже собраны на data.opendata.am, а с другой точки зрения всегда мало.
Если Вы знаете интересные источники геоданных по Армении/об Армении/Армянских культуре и истории в мире, просим поделиться ими, можно письмом на opendata@opendata.am или в чате в телеграм @opendataamchat.
Данные могут быть в форматах KML, SHP, GeoJSON, GML, API Esri ArcGIS, WFS, WMS, GPX и многие другие.
[EN] We are working on the creation of a public geoportal of Armenia where it would be possible to visually look at open geodata, download them, compare them, make visualizations. And for this purpose we are collecting publicly available geodata.
Some sources of geodata are already known, they are:
- Sustainable Caucasus project [1]
- the portal of the Environmental Research Center of the Armenian Academy of Sciences [2]
- ArmSIS land portal [3] (no longer available)
- UN portal, Humanitarian Data Exchange [4].
On the one hand there is a lot of geodata, and many are already collected on data.opendata.am, but on the other hand there is always not enough.
If you know interesting sources of geodata on Armenia/about Armenia/Armenian culture and history in the world, please share them, you can send an email to opendata@opendata.am or chat in telegram @opendataamchat.
Data can be in KML, SHP, GeoJSON, GML, Esri ArcGIS API, WFS, WMS, GPX and many other formats.
Ссылки:
[1] https://sustainable-caucasus.unepgrid.ch
[2] http://og.cens.am:8081/
[3] http://armsis.cas.am/
[4] https://data.humdata.org/group/arm
#opendata #geodata #geoportal #armenia #request
В качестве примера интерактивной визуально насыщенной инфографики свежее видео Стива Баллмера, бывшего главы Microsoft, про бюджет США [1]. Для тех кто не может посмотреть видео на Youtube я специально сделал набор скриншотов.
Рассказывает и показывает он весьма наглядно, не вдаваясь в идеи как менять ситуацию с растущим долгом и лишь указывая на факты.
Честно говоря я не знаю его политических целей, они наверняка есть в таком проекте, но сам проект USAFacts весьма любопытный, хотя и малоизвестный широкой публике.
Ссылки:
[1] https://usafacts.org/just-the-facts/budget/
#budget #government #usa #dataviz #infographics
У Михаила Емельяниникова в блоге публикация Уполномоченные операторы обработают персональные данные для вас и за вас? Точно?
о новой инициативе российских депутатов по формированию перечня уполномоченных операторов персональных данных которые умеют защищеннее/лучше/больше/быстрее обрабатывать персональные данные среднего и малого бизнеса.
Статья полезная могу порекомендовать её почитать и кое что добавить. Наделение специальных организаций полномочиями операторов персональных данных в мире есть и даже есть такое понятие как Data Custodians. Например, оно есть в Австралии и называется Data scheme.
Казалось бы лучшие практики? Но, в чём разница между российскими и австралийскими практиками. В том что в Австралии эти Data Custodians уполномочены на работу с персональными данными которыми трам-парам-парам владеет Правительство Австралии. А то есть, это те операторы которым Правительство страны доверяет и даёт им доступ и через них доступ к данным внутри государственных информационных систем.
В РФ всё это имеет нюанс, в том что депутаты обсуждают не доступ к госданным, а операторов для работы с данными бизнеса.
Чувствуете разницу?
В первом случае - это защищённый доступ бизнеса к госданным, во втором случае это дополнительное обременение на средний и малый бизнес.
Второй немаловажный нюанс этого регулирования - это попытка крупных владельцев персональных данных уйти от требований сдачи всех данных в государственную информационную систему. Это уже не столько про выгоду для цифровых олигополий, хотя и она есть, сколько про их попытку защитить собственные данные. Можно относится к инициативе как к одной из попыток "защитного GR" от наиболее худших последствий сдачи данных государству для "обезличивания".
#privacy #russia #regulation
Пожалуй, самое оригинальное про новую ИТ-ипотеку (можно еще и версию про разблокировку Youtube сделать):
«Приходит Чебурашка в Минцифры и говорит:
— Постановление по ипотеке вышло?
— Нет,— говорит Шадаев.— Как выйдет сообщу!
На следующий день Чебурашка снова приходит в минцифры и спрашивает:
— Постановление вышло?
А Шадаев говорит:
— Если ты еще хоть раз спросишь про постановление, я у тебя аккредитацию заберу!
На третий день Чебурашка приходит и спрашивает:
— А вы можете просто так аккредитацию забрать?
Нет, не можем,— отвечает Шадаев.
— А постановление по ипотеке вышло?»
(с) @mixmebar из ИТ-чата @MIT_union
В рубрике особо больших наборов данных. Пока в некоторых странах невозможно найти открытыми даже базовые геоданные, в Новой Зеландии Правительство публикует наборы данных LiDAR по отдельным территориям.
Например:
- Southland LiDAR 1m DEM (2020-2024) [1]
- Waikato LiDAR 1m DEM (2021) [2]
- Gisborne LiDAR 1m DEM (2023) [3]
И многие другие. Разброс объёмов данных в формате GeoTIFF от 10 до 65 GB.
В общей сложности это больше десятка терабайт открытых геоданных LiDAR по относительно небольшой стране.
Кроме Новой Зеландии данные LiDAR в больших объёмах доступны во Франции и ряде других развитых стран.
Ссылки:
[1] https://data.linz.govt.nz/layer/113172-southland-lidar-1m-dem-2020-2024/
[2] https://data.linz.govt.nz/layer/113203-waikato-lidar-1m-dem-2021/
[3] https://data.linz.govt.nz/layer/115847-gisborne-lidar-1m-dem-2023/
#opendata #geodata #newzealand #lidar
Весьма полезное руководство по форматам файлов геоданных оптимизированных для облаков [1], а это такие форматы как:
Cloud Optimized GeoTIFFs (COG)
- Zarr
- Kerchunk
- Cloud-Optimized HDF5 and NetCDF
- Cloud-Optimized Point Clouds (COPC)
- GeoParquet
- FlatGeobuf
- PMTiles
Многие из них могут быть малоизвестными широкой публике, но они быстро набирают популярность.
Ссылки:
[1] https://guide.cloudnativegeo.org
#dataformats #opendata #geodata #data
К предыдущей теме про лицензии Fair Source полезный текст по той же теме Why We Picked AGPL от команды ParadeDB. Для тех кто не знает, ParadeDB - это замена поиск Elastic с помощью Postgres, довольно популярная замена. Они хорошо и структурированно рассказали как выбирали лицензию и по каким критериям.
Если кратко, их резоны просты:
1. Лицензия должна быть понятной и знакомой
2. Лицензия должна быть открытой/свободной
3. Лицензия должна защитить их бизнес от cloud vendors
В итоге, выбрали AGPL и объяснили почему так.
#opensource #openlicenses
Google организует в Астане хакатон ИИ-решений проблем, связанных с экологией, сельским хозяйством и продовольственной безопасностью. Участвовать могут граждане стран Южного Кавказа и Центральной Азии.
Дедлайн заявок – 15 августа, предварительная дата хакатона – 15 сентября.
Возможно, получилась бы неплохая разминка перед нашим следующим конкурсом.
Испанский доклад про инновации в муниципальном управлении связанные с открытыми данными и с ИИ [1].
Короткий, всего 30 слайдов/страниц, фокус на урбанистику, геоданные и муниципальное управление. Про ИИ мало, про сервисы на данных много. Всё на испанском, но довольно понятно. По большей части про коммерческие продукты управления городской инфраструктурой.
Ссылки:
[1] https://datos.gob.es/es/documentacion/innovacion-municipal-traves-de-datos-abiertos-soluciones-para-hacer-mas-accesibles-0
#opendata #data #cities #spain
В рубрике как это устроено у них каталог каталогов данных и иных знаний созданный ЮНЕСКО для систематизации источников информации об океанах, ODIS [1]. В общей сложности это 3135 источников, существенная часть которых - это каталоги данных, базы данных и другие дата продукты.
Это хорошо систематизированный каталог, с возможностью фасетного поиска по стандартам публикации информации, темам, политикам, странам. Например, есть 25 источников из РФ и даже есть источники данных по Ирану.
Ссылки:
[1] https://catalogue.odis.org/
#opendata #data #oceans #datacatalogs
В постах от 18 и 20 апреля с.г. я сообщал, что Александра Элбакян, создатель популярного в мировом научном сообществе сайта Sci-Hub (который помог многим коллегам получить доступ к научным статьям, даже если их организация не подписана на соответствующий журнал), защитила диссертацию на соискание ученой степени кандидата философских наук в Институте философии РАН. Я также писал о том, что я прочитал диссертацию Александры, которая посвящена проблемам философских оснований открытого знания, и что она мне весьма понравилась.
Сегодня я получил от коллег сообщение, что А.Элбакян вернулась к практической деятельности по продвижению идей открытого доступа к научному знанию. Насколько можно понять, она хотела бы сделать проект Sci-Hub полностью легальным. Для этого нужно, чтобы научное сообщество выступило в поддержку свободных научных библиотек.
Александра предлагает на рассмотрение научного сообщества следующую Декларацию об открытом доступе к научному знанию:
https://disk.yandex.ru/i/Y1ok2R2t-N25VQ
Прочитав этот документ, я считаю, что он содержит важные положения, однако детали того, что предлагается, требуют дополнительной проработки. Возможно, было бы правильно организовать обсуждение этой декларации в научном сообществе. Публикуя данный пост, я хотел бы привлечь внимание к декларации и призвать к обсуждению ее основных положений.
Наконец-то инициатива отделяющая Open Source от бизнес моделей с ограничениями, но то же с раскрытием кода. Называется Fair Source [1] или, по-русски, Программное обеспечение с честным исходным кодом (FSS).
Его основные принципы:
1. Общедоступно для чтения;
2. Допускает использование, модификацию и распространение с минимальными ограничениями для защиты бизнес-модели производителя; 3. Проходит процедуру отложенной публикации с открытым исходным кодом (DOSP).
У них есть две лицензии [2]
- Fair Core License (FCL)
- Business Source License (BUSL or BSL)
С обещаниями раскрытия исходного кода через 2 и 4 года соответственно.
Хорошая новость - этому явлению теперь есть более точное название чем часть Open Source
Плохая новость - пока не придумал;)
Что думаете про инициативу?
Ссылки:
[1] https://fair.io
[2] https://fair.io/licenses/
#opensource #fairsource #code #licenses
В рубрике интересных больших данных World Ocean Database [1] публикуемая Национальным управлением океанических и атмосферных исследований США.
База включает данные по множество наблюдений за океанами и морями, начиная с путешествия капитана Кука в 1772 году и до наших дней.
Из необычного, данные опубликованы не в виде стандартизированного каталога данных, а с возможностью выгрузки по годам или по географической территории по класссификации WMO. Вот, к примеру, данные по северной части Красного моря [2].
Из интересного, примеры работы с данными этой базы приведены на... трам парам... Фортране и, немного, на C [3]
Ссылки:
[1] https://www.ncei.noaa.gov/products/world-ocean-database
[2] https://www.ncei.noaa.gov/access/world-ocean-database/bin/getgeodata.pl?Depth=S&WorldOcean.x=41&WorldOcean.y=219
[3] https://www.nodc.noaa.gov/OC5/WOD/wod_programs.html
#opendata #ocean #seas #researchdata