06.07.2015

Зачем нам открытые карты

Автор статьи: Зверев Илья Андреевич, участник проекта OpenStreetMap, редактор новостного блога об OpenStreetMap ШТОСМ, разработчик инструментов для обработки данных OSM


Участники краудсорсингового картографического проекта OpenStreetMap (OSM) периодически напоминают про его неостановимое развитие, про грядущую смерть классической картографии и победу открытых данных. Но вместе с тем в среде профессиональных пользователей ГИС этот проект выглядит увлечением для обывателей. Непонятно, как анархическое сообщество без модераторов и адекватной структуры данных может производить полезный продукт. Но оно производит. Незаметность OpenStreetMap постепенно снижается, и каждую неделю ещё один руководитель проекта в области ГИС обнаруживает, что нет повода его не использовать.

OpenStreetMap – это как википедия для карт: любой посетитель сайта, заметив неточность, может нажать кнопку редактирования и дорисовать или поправить геометрию или атрибутивную информацию самостоятельно. Спустя минуту после загрузки правки на сервер обновлённая карта распространяется по всему миру: от растровых слоёв на osm.org и других сайтах до выгрузок в такие популярные форматы, как Shape и GeoJSON (и SXF для пользователей российских продуктов). Исходными или обработанными данными может воспользоваться любой человек или организация; ограничений никаких, лишь два условия: написать, что задействованы данные OpenStreetMap, и в случае смешивания их с другими геоданными результирующий набор должен быть доступен под открытой лицензией. Эти три принципа – вседозволенность, скорость, открытость – позволяют расти как базе геоданных, так и количеству использований с недосягаемой для более закрытых проектов скоростью.

Карта плотности данных OpenStreetMap в Москве, раскрашенная по авторам. Дизайн: Эрик Фишер

Как писал Джеймс Фи, ГИС-консультант и автор популярного блога «Spatially Adjusted», десять лет назад ГИС разделились на «до Google Maps» и «после Google Maps»: инновационный интерфейс веб-сервиса поменял представление людей о том, как должна выглядеть и что должна уметь пользовательская геоинформационная система. До него карты делали для специалистов: десятки слоёв, сложная навигация, выборки из таблиц. Теперь «сделайте, как в Google Maps» – типичное требование к ГИС, и те, кто смог переключиться на новую парадигму, как Esri, продолжают развиваться, а компаниям с устаревшими технологиями, как MapInfo и Intergraph, остаётся поддерживать старых клиентов, не имеющих средств на обновление.

За десять лет изменились ответы на «как?», и теперь начинают меняться ответы на «что?»: пользователям ГИС уже недостаточно просто видеть данные, они желают (и умеют!) с ними работать. Какие из общедоступных городских, региональных или федеральных ГИС позволяют загрузить базу адресов, посчитать статистику по дорогам или скамейкам в парках, экспортировать дорожную сеть в GPS-навигатор, или поместить фрагменты карты в книгу, не спрашивая разрешения автора? Это можно сделать только с открытыми данными, и в мире есть только один набор таких геоданных с покрытием на весь мир: OpenStreetMap.


Карту, срочно


Скорость обновления и другие преимущества OSM пригодились команде гуманитарной картопомощи (Humanitarian OpenStreetMap Team, HOT): когда на планете случается стихийное бедствие, именно она составляет и печатает карты для спасателей, врачей, координации доставки продуктов и воды. О деятельности команды написано немало статей, но менее известна их работа в Индонезии.

Так, совместно с Австрало-Индонезийским фондом уменьшения опасности бедствий (AIFDR) команда с 2011 года обучает студентов и сотрудников гуманитарных организаций сообща собирать данные и рисовать карты своих городов и межгородских территорий. Сначала были наглядные уроки и конкурсы; спустя несколько лет команда перевела все основные инструменты на индонезийский язык и подготовила подробный учебник-инструкцию на всех местных языках. В нынешней, третьей фазе проекта, HOT проводит недельные курсы картирования в 13 университетах по всей Индонезии.

Жители Маланга собирают данные для карты

Зачем, когда можно взять государственные геоданные и считать опасность затопления или обрушения по ним? Проблема в том, что нельзя. В подавляющем большинстве стран карты годятся разве что для расстановки танков: они недостаточно детальны для гражданских применений (например, нет характеристик отдельных зданий, а то и адресов) и хранятся в бумажном виде. Навигационные карты коммерческих производителей (например, TomTom, купленного Google) годятся только для построения автомобильных маршрутов и поиска кафе. Посчитать, какие дома по какой этаж затопит при очередном наводнении, можно только по собственному набору геоданных, которого нет, либо с использованием общедоступного и свободного лицензионно, то есть OpenStreetMap.

Случаи, когда карты нет, а она нужна прямо вчера, часты в Африке. Из недавнего – эпидемия лихорадки Эбола поразила бедные страны западной части континента: Гвинею, Сьерра Леоне, Либерию. Чтобы сотрудники движения «Врачи без границ» могли найти дорогу к поражённым деревням, активисты HOT занялись созданием карты для навигаторов. Они организовали серию марафонов картографирования «Missing Maps», где векторизовали спутниковые снимки, позже дополняли карту данными от врачей и других служб спасения.

OpenStreetMap – это не только данные, но и задокументированные способы их сбора без дорогой техники. Jaisen Nedumpala, помощник руководителя одной деревни в Индии, в марте описал, как, решив развивать в своём регионе экотуризм, он обнаружил почти полное отсутствие каких-либо официальных карт, включая кадастровые и природных ресурсов. От муниципалитета он смог получить только схему административных границ. Тогда он собрал 20 активных жителей и 17 сотрудников, научил их сбору данных и рисованию OSM. Проведя большое мероприятие по картированию, он не только решил проблему отсутствия базовой карты, но и нашёл ошибки в схеме границ, позже отправив и согласовав исправленный вариант.

Есть ли в России класс геоданных, где в официальных и проприетарных источниках информация не лучше, чем в Индии? Конечно: например, административные границы. В каждом регионе есть документы, устанавливающие прохождение административных границ всех уровней. Но часто эти границы описаны даже не через опорные точки, а словесно через объекты на местности: овраги, границы полей, линии электропередач. Собрать все эти описания в масштабе страны и превратить в геоданные в единой системе координат – титаническая задача, которая в плане Росреестра стоит на 2028 год. До тех пор все пользуются границами, созданными участниками OpenStreetMap и обработанными компанией NextGIS.

Административные границы регионов европейской части России


Три столпа

OpenStreetMap – большой проект, своим ростом обязанный простоте и открытости. Можно выделить три основных принципа, приобретённых за годы развития и делающих его привлекательным для участников и пользователей.

Большое сообщество: в проекте почти 380 тысяч редакторов (это население Белгорода), около 23 тысяч человек правят карту ежемесячно. Большинство участников, конечно, живут в крупных городах развитых стран, но даже один увлечённый картограф из отдалённого региона может отрисовать и свой город, и все окрестные деревни. Примеры несложно найти на карте, например, в Чукотке.

В городах-миллионниках, где все основные объекты давно отрисованы, а сообщество OpenStreetMap велико, его силы направлены на поддержание актуальности и микромаппинг. Так, участники форума «Проекты Петербурга» когда-то узнали об OSM и с тех пор поддерживают в этой базе информацию о состоянии всех строящихся дорожных объектах города и области. Веб-сайты и модули для форума позволяют им использовать фрагменты карты в общении и легко обновлять информацию. Карты строек, нарисованные энтузиастами, замечали даже в офисах строительных компаний.

Микромаппинг – это рисование на карте объектов, обычно на общегражданские карты не наносящихся. Для начала размечают тротуары и пешеходные дорожки, заборы и ворота. Когда всё это есть, опытные участники начинают наносить подъезды домов с номерами квартир. Дальше микромаппинг бывает объектный: скамейки, деревья, люки, поребрики; и атрибутивный: количество полос улицы, тип и качество покрытия, цвет фасадов домов, количество ступенек в лестницах. Иногда микромаппинг выходит на макроуровень: например, в том же Санкт-Петербурге у большей части многоэтажных зданий расставлены номера парадных и квартир.

Все обозначенные парадные в Санкт-Петербурге

Мгновенная обратная связь: нарисованное в редакторе карты появляется в центральной базе данных мгновенно после окончания загрузки. Основные слои OpenStreetMap обновляются в течение нескольких минут, большинство других сервисов и выгрузок – в течение суток. В проекте нет модераторов, нет автоматического или ручного надзора, нет блокировок, нет ценза по стране, языку, скорости сети или используемых для редактирования и просмотра средств. Альтернатив OSM, когда требуется быстрое распределённое обновление геоданных (например, в зонах стихийных бедствий), не существует.

Обратная сторона отсутствия барьеров – простота вандализма. Даже заплатив подрядчику за внесение данных в OpenStreetMap, нельзя быть уверенным, что на следующий день их не удалят. Относительная анонимность участников и сложность восстановления данных увеличивают опасность от потенциального вандализма. Но совершенствуются и средства контроля качества данных, своеобразной постмодерации: объекты ежедневно проверяются не только на геометрическую корректность, но и на соответствие общедоступным классификаторам, таким как ФИАС и ЕСР в России, каталогам отделений банков, почты, сетевых организаций. Опытные участники также подписываются на правки своего района и следят за их качеством.

Открытые данные: весь огромный (около 570 гигабайт) набор геоданных на всю планету доступен на условиях лицензии ODbL, которых всего два: упоминание источника данных («участники OpenStreetMap») и в случае смешивания геоданных с другими открытие общего набора под аналогичной или более открытой лицензией. Здесь важно, что это не продукт от закрытых исходных данных (как «Яндекс.Карты») и не открытый программный интерфейс (как в «викимапии»), а сами исходные данные. Их можно обработать любым способом: например, нарезать по странам и преобразовать в удобные форматы как для ГИС (Shape, SXF), так и для конечных пользователей (изображения, выгрузки для Navitel, Garmin и т.п.).

Обрабатывая данные оригинальными способами, энтузиасты и организации получают красивые и иногда полезные схемы городов. Например, карты возраста и этажности зданий или схемы пешеходной доступности станций метро или точек продаж. Отсутствие официальных сервисов геокодирования и построения маршрутов спровоцировало создание десятков сторонних сервисов, включая геокодер «Спутника» и сверхбыстрый роутинг OSRM. По условиям лицензии даже при геокодировании сотен тысяч адресов требования остаются те же: атрибуция и открытость.


Польза для города


Как используется OpenStreetMap на сайтах государственных организаций? Чаще всего, как и в других местах, – только в качестве растровой подложки. В отличие от Яндекса и Google OSM не накладывает ограничений на способ использования слоёв. Их можно:

– Размещать где угодно бесплатно. Другие наборы данных обычно слишком дороги, а сервисы типа «Яндекс.Карты» не позволяют работать с исходными данными или изменять способ отображения. Кроме того, как замечал Serge Wroclawski, когда вы используете карту Google, вы не можете влиять на то, что на ней нарисовано: исправлять ошибки, скрывать нежелательные объекты. Поэтому карта OpenStreetMap видна на официальных сайтах Мюнхена, Кёльна, Эдинбурга, Десногорска.

– Использовать для вывода периодически обновляемого расположения транспортных средств компании. Это запрещено у других, поэтому почти все сайты мониторинга общественного транспорта в России, кроме, пожалуй, только Москвы, показывают маркеры автобусов поверх слоя OpenStreetMap.

– Поставлять в проприетарных системах, в том числе в условиях работы в закрытой сети. OSM используют, например, в системах контроля потребления газа и электричества. Знакомое оформление карты иногда мелькает в новостях про местные системы управления чем-либо: например, дорожным движением в Челябинске.

Небольшими усилиями карту можно оформить под дизайн сайта, дополнить собственными метаданными, использовать на сайте города сервисы, предоставляемые сообществом бесплатно. Так, в 2012 году Дэвид Эрл потратил год на обход всего Кембриджского университета и окружающих его районов, составление инструкций и оформление новой карты для Кембриджа. Теперь на сайте университета не только карта на основе OpenStreetMap выглядит также, как когда-то старая печатная, но вместе с мультимасштабностью и детальностью посетители получили строку поиска и подробную информацию по каждому зданию. И конечно, турист увидит всё то же самое в своём смартфоне, если пользуется одним из десятков приложений на основе OSM, или на печатной карте с сайта городского совета.

Карта на сайте Кембриджского университета

Неожиданно прогрессивной оказалась администрация Красногорска, в том же 2012 году заказавшая создание геоинформационной системы города компании NextGIS. «В ГИС используются геоданные из проекта OpenStreetMap в качестве базовой картоосновы, а также были проведены работы по созданию и первичному наполнению информационных слоёв: зелёные насаждения и объекты общественного назначения. Картооснова обновляется ежедневно по сети Интернет», – сообщает сайт компании. Другими словами, вместо создания собственной картографической службы администрация использует готовый открытый набор данных, а когда в городе что-то меняется, сотрудники правят не собственную закрытую базу, а общедоступный сервис, который открыт для жителей и организаций города.

Другой пример использования OSM в качестве готовой базы геоданных – Псковская область. Департамент информатизации области два года назад занялся пополнением карты OSM с использованием собственной ортофотосъёмки. К работе подключились сотрудники всех районных отделений. До OpenStreetMap детальные карты можно было найти только на крупные города области и только в растровой форме. Векторные данные понадобились для оптимизации работы скорой помощи: неизвестно, как врачи раньше находили адреса пациентов, но после масштабной инициативы по улучшению карты и снабжению станций скорой помощи геоинформационными системами поиск пункта назначения перестал быть проблемой. В прошлом году департамент начал наносить на карту другие объекты инфраструктуры области: больницы, школы, спортивные объекты.

В 2013 году один из пожарных города Сочи узнал про OpenStreetMap, связался с сообществом, которое помогло найти способы обозначения и получения гидрантов и пожарных частей из карты, и приступил к их нанесению. Спустя год, к Олимпиаде, на сайте «Karta01», использующем данные OSM, были абсолютно все гидранты на территории Краснодарского края. Пожарные бригады теперь до выезда знают, каким маршрутом поедут и к какому гидранту подключатся на месте. Стоит заметить, что к Олимпиаде в OpenStreetMap благодаря работе энтузиастов присутствовали все олимпийские новостройки и маршруты, и туристы могли ориентироваться среди них на любых устройствах даже в отсутствие подключения к сети.

Пожарные гидранты в Сочи

В дополнение к снимкам и GPS-трекам участников некоторые администрации разрешают использовать для уточнения данных OpenStreetMap собственные ГИС (например, в Воронежской, Смоленской областях), а то и предоставляют наборы данных с лицензией, совместимой с OSM. Самый известный пример – импорт всей дорожной сети и адресов города Рыбинска, который на несколько лет сделал карту OSM в этом городе лучшей в мире. Иногда администрации предоставляют по запросу адресные планы, благодаря чему, например, сообщество за два дня после наводнения отрисовало город Крымск и близлежащие станицы со всеми адресами, что помогло волонтёрам в распределении гуманитарной помощи.

В Европе нередко открывают наборы геоданных на целые страны. Так, в 2007 году голландская компания AND пожертвовала весь свой набор данных по дорожной сети на Нидерланды, Индию и Китай. Слой лесов, озёр и полей во многих странах Европы взят из набора CLC, опубликованного под открытой лицензией. В 2009 году были импортированы абсолютно все адреса в Дании, в 2013 – все адреса в Эстонии. В США все данные, собранные на деньги налогоплательщиков, обязаны передаваться в общественное достояние (то есть без каких-либо ограничений). Поэтому на всю территорию страны доступны 15-сантиметровая аэрофотосъёмка, геометрия и характеристики всех дорог – от трансконтинентальных шоссе до полевых грунтовок. Последний набор – TIGER – был импортирован в 2007 году, с тех пор шесть раз обновлялся, позволяя валидировать дорожную сеть в OpenStreetMap.


Открытость помогает обществу


Почти все упомянутые проекты используют только одну сторону OpenStreetMap: либо базу геоданных с удобными инструментами её обработки, либо готовое картографическое покрытие, либо однократно предоставляют данные и не пользуются результатами. Но сила OSM в сообществе, которое следит за картой и готово трудиться, её улучшая. Немногие умеют им правильно воспользоваться.

Новую модель взаимодействия, задействующую все стороны проекта, применяют в департаменте информационных технологий города Нью-Йорк. В сентябре 2013 года город открыл 200 наборов открытых данных, в том числе контуры, адреса и характеристики более миллиона зданий. Компания Mapbox помогла аккуратно импортировать здания в OpenStreetMap и создала инструменты слежения за их контурами и адресами на территории города. Каждый день в администрацию приходит сводка изменений: где участники проекта поправили контуры зданий по снимкам, где нашли ошибку в адресных данных, где снесли или построили новый дом. Эти сводки помогают перепроверять собственные изменения по стороннему источнику и находить ошибки в огромных наборах открытых данных. Неизвестно, используется ли эта дополнительная информация для обновления городских данных или валидации OSM, но сам факт участия города в проекте делает оба набора точнее и достовернее.

Главное достоинство и недостаток OpenStreetMap – отсутствие управляющей организации. Никто не устанавливает правила, никто не ответственен за данные, нет службы поддержки или официального набора приложений и сервисов. Но вместе с тем в отличие от коммерческих картографических компаний картографов и программистов в OSM столько, что на зарплату не хватит никаких денег. Каждую неделю, судя по немецкому новостному блогу, появляются новые сервисы и технологии: как альтернативы проприетарным (Mapillary вместо Яндекс.Панорам, OpenAerialMap вместо слоя снимков от DigitalGlobe и т.д.), так и невозможные для закрытой бизнес-модели. Обработкой данных и созданием ГИС на заказ занимаются многие компании: Mapbox и Mapzen в Америке, Geofabrik и Cloudmade в Европе, NextGIS в России. Сообщество, самоорганизуясь, создаёт точки контакта для официальных запросов: в России это Совет русскоязычного OSM, инициативная группа из 11 активных участников проекта. Отсутствие правил и внятной модели данных компенсируется многочисленными ежедневными выгрузками в популярные форматы с предсказуемыми атрибутами. А отсутствие управляющей организации означает, что проект не исчезнет ни через десять, ни через пятьдесят лет, обанкротившись или продавшись корпорации.

Стоит ли вкладываться в OpenStreetMap? На начальном этапе – картах на сайте и прилагающихся сервисах – переход будет стоить лишь пару дней разработки. Заменив сложную проприетарную библиотеку и картографический слой на открытые, вы получите выбор из десятков вариантов оформления. Качество данных может оказаться хуже, чем у коммерческого поставщика, но теперь эти данные в вашей власти, и поправить их куда проще, чем добиваться обновления чужих карт. И к вашим услугам оказывается целое сообщество добровольцев, которые подскажут, как решать возникающие задачи, и помогут с картографированием территории, особенно если найдётся достойный источник данных.

Здания с атрибутами высоты в Нью-Йорке, импортированные из открытых данных

Карта OpenStreetMap не только служит, но и учит культуре открытых данных. Проект своим примером показывает, зачем открывать данные, что с ними после этого происходит, кому это полезно. Каждый опытный участник знает, чем отличается разрешение на просмотр (которое наши организации часто выдают за открытость) от настоящего открытия, и какие юридические проблемы может принести использование печатных или коммерческих карт. Использование открытых данных, как и открытого кода, не означает требования открыть все свои данные и разработки: достаточно внимательно прочитать даже не лицензию, а рекомендации по использованию данных («Community Guidelines») либо проконсультироваться с участниками сообщества.

Открывая слои муниципальных ГИС для использования в улучшении OpenStreetMap, местные администрации не только помогают всем пользователям навигационных программ (то есть всем водителям, туристам, велосипедистам), но и поднимают уровень жизни населения. Организации смогут просчитывать места для пунктов обслуживания нужных слоёв населения, службы МЧС смогут пользоваться гражданскими устройствами для прокладывания маршрута по малонаселённым территориям, неинтересным коммерческим картографам, и у новых высокотехнологичных предприятий будет базовая карта для планирования, аналитики и построения собственных геоинформационных систем. Открытие геоданных – давно начатый процесс в развитых странах, и набившие руку на обработке и нанесении данных на карту участники OpenStreetMap ждут, когда Россия войдёт в их число.


Архив журнала "Управление развитием территории", № 1/2015 г.