OpenStreetMap User's Diaries
OSM第一篇日记
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
好冷,在想今天晚上吃拉面还是烤肉好,不想做饭的原因是怕油洗不掉
OpenStreetMap is now 20 years old. Its community is contributing to complete a geographical database which fuel many activities, for instance useful for energy transition and power grids asset management. The increasing impacts of extreme weather phenomenons like storms or wild fires disrupt power grids and expose them to wider outages. Operators have to reinforce and adapt their assets for thos
OpenStreetMap is now 20 years old. Its community is contributing to complete a geographical database which fuel many activities, for instance useful for energy transition and power grids asset management. The increasing impacts of extreme weather phenomenons like storms or wild fires disrupt power grids and expose them to wider outages. Operators have to reinforce and adapt their assets for those upcoming challenges.
Overhead power grids asset management had suffered from disinterest since early 1990s for instance in France. It remains at least a significant challenge in developed countries. Important decisions that had been made to bury them and more generally because they are “highly visible infrastructure” don’t bring value to accurate knowledge about existing infrastructures. Nevertheless, several decades are required to completely hide a very capillary distribution grid. So we need to better describe them for sake of maintaining remaining overhead power grids, particularly ones that couldn’t be buried. In particular, very high voltage transmission lines will remain mainly overhead.
Producing and maintaining knowledge about utility networks assets is tedious and expensive without appropriate tools. I already had opportunity to explain how the “OpenStreetMap way” is helping for power transmission grid knowledge, back in 2020. Operators now face other challenges and are busy with bigger investments for transitions. Yet lesser time left for knowledge management as projects pace accelerate. Power grids inventory started early after OpenStreetMap birth in 2004. It began with most visible transmission grids. Tagging improvements are continuously made since 2010 and 15 years later we reach another step with a deeper experience in such activities.
Rita storm damages in Texas, 2005 - Bob McMillan / FEMA Photo
Climate change raises new challenges and force us to adapt our lifestyle and infrastructures. Disasters occurs more often and requires more accurate risk exposition studies to preserve resilience at an acceptable level.
In western Europe, Lothar and Martin storms at the end of 1999 had reminded us the power grids vulnerability to windy or snowy weather. French transmission grid operator (TSO), RTE, published an interesting retrospective of outages following those two storms. More recently in France, Ciaran (2023, 1.2 milions of subscribers off grid) and Caetano storms (2024, 600 000 subscribers off grid) had significantly damaged overhead distribution grids on shores. Enedis, the main distribution grid operator (DSO) set up a strategy to restore and prepare infrastructures to similar events in the Future. It notably requires to manage a detailed knowledge to identify parts of networks that require to be improved the most.
Overhead power grids are vulnerable to storms or wildfires and they could cause them as well (see how Pacific Gas & Electricty lack of maintenance was involved in the Camp Fire disaster in 2018). Lastly, power distribution grid operation was also questioned at Pacific Palisade. OpenStreetMap allows highly detailed description of power lines with their supports. It should be possible to compare this knowledge with one maintained by operators to reach completeness more quickly (on both OpenStretMap and Operators sides since both still misses some parts of it even today). Back in 2021, OpenStreetMap France concluded a strategic partnership with French DSO Enedis to collaborate on asset knowledge accessible to OSM contributors.
Producing a business-grade useful knowledge needs a readable and comprehensive ontology. It enables contributors to sustainably cope with transitions and challenges. Back in 2015, community was busy building a more detailed tagging for power grids and it still supports interoperability today, between many OpenStreetMap tools and with operators or business focused ones as well. OpenStreetMap was already able to map visible parts of power grids and particularly got focused on power supports (towers and poles mainly). OSM tagging that covers towers and poles today relies on three main attributes. They’ve been reviewed in three proposals:
Learn more in this other diary published in 2020.
Our tools are also a game changer to encourage people to contribute and value data they produce.
StreetComplete has got two additional quests. They regard the material of power poles and the attachment of power lines on them. Those quests ease the contribution from ground since those properties are poorly visible on aerial imagery.
Secondly, we make a great use of quality insurance tools to maintain an acceptable quality level and not get lost in years-lasting refinements. For instance, several Osmose analysis search and warn for inconsistent or missing features and are based upon publicly available datasets in as many countries as possible.
Gespot.fr has been online since september 2020. It acts as a demonstrator of what OpenStreetMap data make possible about overhead power grids asset management. Available data about towers and pole in France in OSM are directly rendered on the website’s map.
Software and ontology represent an original way of collecting and processing asset management data for power grids. They are available under licenses that preserve interests of both contributors and consumers. The journey to improve and innovate is not over and it’s still possible to contribute in one of several projects we had in this field of knowledge.
OpenStreetMap community knows how to produce knowledge virtuously by reusing available open data. We aim to enable people involved to give feedback to operators with their own ground surveys. It’s first of all static topology data and it doesn’t intend to describe the status of a network at a given date. Contributors on 5 continents now use the tagging used for power supports. This show a fast adoption rate, replacing historical properties that had to be refined.
In the beginning of 2025, the 3 main attributes of power towers or pole show 450 000 usages (line_attachment 309 000, line_management 124 000 and line_arrangement 17 000) although millions of power supports remain to be discovered.
It was necessary to inspect existing objects to move tagging to the new one and then to continue to collect efficiently data on ground about new features. Several campaigns occur in parallel, both on distribution and transmission grids, started on the initiative of contributors. This ongoing refinement provides consumers with data of ever-increasing consistency and completeness. It has been noticed by some researchers and software modelers for power grids. They make an increasing usage of OpenStreetMap data to feed their software with topological knowledge of power grids.
French community had recently been busy with transmission power grid. We aim to improve knowledge about power towers and implement tagging explained upside. At least one contributor review each of 255 000 towers supporting the overhead transmission power lines, since 2017. Some locations have been refined and some attributes have been added.
Particularly about the 30 000 of towers supporting the highest voltage power grid, towers designs shapes have been surveyed on ground or from aerial imagery since mid-2023 (absent from open data) and described with help of design:ref key. This initiative could be extended to lower voltage transmission grids with the help of AI and Lidar data that accurately show most of towers.
We are now able to render some summary and looking forward to get feedback from grid operator to know where our mistakes are:
French 400 kV power towers summary - François Lacombe CC BY-SA 4.0
Distribution grids also got attention from the local community as we reached the symbolic step of 1.5 millions poles supporting lower voltage lines. More than 2 000 people has been involved since 4 years. The public platform running Projetdumois.fr is useful to understand how tremendous this effort is.
As we regularly get results from a long-term work started many years ago, we show that OpenStreetMap is relevant to produce very specific knowledge, particularly about overhead power grids. This knowledge is necessary to ongoing efforts to adapt our infrastructure to climate change and energy transition.
Good wills allowing to reach consistency and completeness goals anywhere in the world are always welcome. Produced data are available on standard OpenStreetMap access points under ODbL license. We see many industrial or scientific initiatives which require high quality data to operate but a very few take time to provide us with the knowledge they produced about the underlying infrastructure. This lack of sharing will possibly lessen our common efficiency to adapt and finally tackle this century challenge.
Here are some ideas if you want to get involved to help:
This diary has been translated from French, original publication is available on OpenStreetMap France website.
Hello, I was wondering if there was a way to make your own personal edits to the OSM without sending it to the server.
Hello, I was wondering if there was a way to make your own personal edits to the OSM without sending it to the server.
# 64 NPC Area B Street,GSIS Hills Subdivision,Talipapa Barangay 164, Caloocan City, Metro Manila Philippines, 1400
# 64 NPC Area B Street,GSIS Hills Subdivision,Talipapa Barangay 164, Caloocan City, Metro Manila Philippines, 1400
C
09/01/2025-15/01/2025
catenary_mast:*=*
to add further specifications on catenary masts, a vertical support structure used in railway electrification systems to hold up the overhead wires (also known as catenary wires) that supply electric power to trains.pratictioners=*
to tag the number and field of professionals, such as doctors, lawyers, or therapists, available at facilities such as clinics, legal offices, or wellness centres, aiming to enhance the mapping of professional services.Note:
If you like to see your event here, please put it into the OSM calendar. Only data which is there, will appear in weeklyOSM.
This weeklyOSM was produced by Elizabete, MatthiasMatthias, PierZen, Raquel Dezidério Souto, SeverinGeo, Strubbl, TheSwavu, barefootstache, derFred, mcliquid.
We welcome link suggestions for the next issue via this form and look forward to your contributions.
笑死我了所以发出来留存哈哈哈哈哈哈哈
经典永流传
在线播放:www.bilibili.com/video/BV1QQwTeMEEE
纯吐槽,请勿上纲上线(
.
.
F4 es uno de los pocos visores de OpenStreetMap que ha estado en servicio ofreciendo renderizado en 3D por muchos años. Han habido otros servicios, pero cuando se muestra F4 cualquier persona se descresta. He empezado a mapear en 3D, y muchas de las grandes contribuciones, principalmente en Denver, en este ámbito han sido de chachafish. Lo quise contactar para obtener algunos tipos de un experto
F4 es uno de los pocos visores de OpenStreetMap que ha estado en servicio ofreciendo renderizado en 3D por muchos años. Han habido otros servicios, pero cuando se muestra F4 cualquier persona se descresta. He empezado a mapear en 3D, y muchas de las grandes contribuciones, principalmente en Denver, en este ámbito han sido de chachafish. Lo quise contactar para obtener algunos tipos de un experto, pero dejó de mapear desde 2020 (en plena pandemia :( ), entonces me tocó buscar otras opciones.
En el wiki, en communities, hay información dispersa, pero no muestra todas las posibilidades que tiene esta herramienta. Entonces, decidí indagar en la misma página de F4 map, y encontré 2 páginas muy interesantes: render y changelog. En ellas se describe en cierto desorden todo lo que puede hacer esta herramienta.
Entonces, decidí darle un orden, extraer las etiquetas que usa y ahí tener una mejor idea de cómo debo hacer 3D mapping. Fue ahí cuando recordé Taginfo, y decidí listar este visor en este directorio, por lo que creé una entrada: https://github.com/angoca/f4demo-in-taginfo/blob/main/taginfo.json.
Además de lo anterior, es necesario manejar los colores para que se visualice más cercano a la realidad. Para eso se puede usar esta guía de nombres de colores.
Esperemos que esto sea de ayuda para que más personas se aventuren en el mapeo 3D, sobretodo teniendo un poquito más de documentación.
Yo comencé con un pequeño ejercicio en el norte de Bogotá, y estoy muy contento con el resultado del Centro Comercial Plaza Norte:
For years, an issue with Kurdish language, Arabic script, and OpenStreetMap tiles has been on my radar. In 2023 I got OSM to update Noto fonts on the tile server, but Google has moved their latest changes to individual repos.
I’m continuing to workshop a PR for that.. but in the meantime, I thought to check if OSM needs more of the language-specific Noto fonts. Back in spring 2019 I did
For years, an issue with Kurdish language, Arabic script, and OpenStreetMap tiles has been on my radar. In 2023 I got OSM to update Noto fonts on the tile server, but Google has moved their latest changes to individual repos.
I’m continuing to workshop a PR for that.. but in the meantime, I thought to check if OSM needs more of the language-specific Noto fonts. Back in spring 2019 I did a mini survey of where Unicode blocks were used around the OSM world.
Today I added Python scripts to check Planet PBF files (specifically name and alt_name tags on nodes) and find usage across Unicode blocks.
There are names with Latin alphabet and frequently associated characters (superscripts and subscripts, dingbats, diacritics, IPA, half-width, old italic, runic, spacing modifiers, punctuation, emoticons/emoji, and symbols from math, music, currency, and maps).
Africa has: TIFINAGH, ARABIC (supplements and presentation forms), CYRILLIC, ETHIOPIC, NKO, HEBREW, CJK, HANGUL, and GREEK.
Asia has: CYRILLIC, GREEK, HEBREW, ARABIC, SYRIAC, COPTIC, ETHIOPIC, BALINESE, JAVANESE, CJK + YI + BOPOMOFO + KANGXI, HANGUL, MONGOLIAN, TIBETAN, THAI, MYANMAR, LAO, KHMER, ARMENIAN, GEORGIAN, THAANA, SINHALA, TAMIL, ORIYA, BENGALI, GURMUKHI, GUJARATI, DEVANAGARI, KANNADA, MALAYALAM, OL_CHIKI, and TELUGU.
For the Americas, OSM already includes fonts for Cherokee and Canadian Aboriginal Symbols.
Those two scripts and OGHAM, TAGBANWA, and BAMUM were misused in Asia. The instance of TAGALOG script was a little uncertain. I removed an Apple logo because it’s from the Private Use Area.
The current font download script is pretty good, and includes additional fonts (Adlam and Tai Viet) which aren’t actively used.
The one alphabet which I will recommend adding is Glagolitic. Stone letters have appeared in several locations around Baška, Croatia (street view , street view 2), but also get misused on tourist site binoculars (assumedly using Ⰹ to represent its shape) and I’d previously seen it in the Canary Islands.
I am considering setting up a script checking weekly edit downloads for common errors and suspicious Unicode blocks.
so the beach town is seeing growth again, after the primary developers went bust in 2007/8. A large amount of blank land between the shops and the harbour has been cleared, and given asphalt roads, concrete footpaths, and brackish ponds for the mosquitoes to grow in! I hope the new holiday home owners like mosquitoes!
My GPS accuracy is not great and my note taking while walking is worse
so the beach town is seeing growth again, after the primary developers went bust in 2007/8. A large amount of blank land between the shops and the harbour has been cleared, and given asphalt roads, concrete footpaths, and brackish ponds for the mosquitoes to grow in! I hope the new holiday home owners like mosquitoes!
My GPS accuracy is not great and my note taking while walking is worse; but I’ve drawn some new ways on the new footpaths; and verified some of the existing paths from Kenwood Drive to Waimarie Ave are still approximately where my GPS says they are. Good fun.
Need to go back with a laptop next summer to add/tweak more. Hopefully LINZ has updated by then to provide even better coverage
The State of the Map Asia 2024 conference wasn’t held in a main travelers’ hub like Thailand but rather chose a much, not that well-known country Bangladesh, and its previously unsettled political situation, which ended with the Prime Minster fleeing to India. Summarizing all these factors might discourage most people from visiting this country, ended up most of the attendees are domestic, and p
The State of the Map Asia 2024 conference wasn’t held in a main travelers’ hub like Thailand but rather chose a much, not that well-known country Bangladesh, and its previously unsettled political situation, which ended with the Prime Minster fleeing to India. Summarizing all these factors might discourage most people from visiting this country, ended up most of the attendees are domestic, and plus someone like me who is a foreigner is lucky enough to obtain a VISA to pay a visit.
Bangladesh is a young country, during the conference we saw many attendees were students, who might help those international aid projects to gather map data. We can see teachers bring their students to attend the conference. And there are also various student clubs, like all Youthmappers in Bangladesh, publishing their project results. One day we might see when the country is prosperous, and students grown up, there is a chance that they will map shops and buildings in the city where they live.
I want to write something about the general participant situation here in the Asia Pacific area. In developed countries like Taiwan, there are individuals who launch interest groups to map specific map features or netizens with enough motive to contribute to OpenStreetMap project. There are other countries that rely on aid projects to map local map data, and sometimes there are sone who will map modern map features. I have heard a talk about solar pannels in Dahka.
The State of the Map Asia splits its session into quite strange 10-minute parts. I accidentally submitted two talks, and did not get rejected. I had to give a talk on the first and second day, one I introduced the community in Taiwan, and the other day I introduced some interesting projects hosted by individual mappers.
I almost can’t fly into Dahka due to the immigration office having some questions about my visit. Finally, the host came to the airport to rescue me and took the connecting flight to Cox’s Bazar. Besides the conference, I had a walk every day on the beach, listening to the sound of the waves of the Indian Ocean. When I recalled the memory of my Bangladesh trip, there was a challenge to get a VISA on arrival. I take the chance to visit Bangladesh when attending a conference and add Bangladesh to the list of South Asia countries.
這改 State of the Map Asia 2024 大會,毋是佇逐家愛去𨑨迌的旅遊勝地泰國舉行,顛倒是佇民風較祕思,國家較封閉的孟加拉舉行。而且佇落尾的時,確實有人簽證問題無法度入境到位會場。閣加添孟加拉政局無穩定,進前總理流亡,共頭前講的原因加加起來,予世界各國的人無想欲來。這个大會會當講是孟加拉人為主,極加加添我這款會當入境的外國人。
孟加拉是少年人的國家,一般看著的參與者是學生,幫贊國際援助計畫累積基礎的地理圖資。閣有參與的老師𤆬學生,有各種的社團,比喻講孟加拉各大學的 YouthMappers 組織攏有參與,發表𪜶參與的計畫。應該是有一工社會發達,一陣學生較有歲,相信下開始畫四箍圍的店頭佮都市的建築。
閣來講起亞太的開放地圖的參與情形,除了社會經濟狀況允準以外,會當有個人發起的興趣小組佮有貢獻動機的網路鄉民以外,足濟是用援助計畫的資源來進
這改 State of the Map Asia 2024 大會,毋是佇逐家愛去𨑨迌的旅遊勝地泰國舉行,顛倒是佇民風較祕思,國家較封閉的孟加拉舉行。而且佇落尾的時,確實有人簽證問題無法度入境到位會場。閣加添孟加拉政局無穩定,進前總理流亡,共頭前講的原因加加起來,予世界各國的人無想欲來。這个大會會當講是孟加拉人為主,極加加添我這款會當入境的外國人。
孟加拉是少年人的國家,一般看著的參與者是學生,幫贊國際援助計畫累積基礎的地理圖資。閣有參與的老師𤆬學生,有各種的社團,比喻講孟加拉各大學的 YouthMappers 組織攏有參與,發表𪜶參與的計畫。應該是有一工社會發達,一陣學生較有歲,相信下開始畫四箍圍的店頭佮都市的建築。
閣來講起亞太的開放地圖的參與情形,除了社會經濟狀況允準以外,會當有個人發起的興趣小組佮有貢獻動機的網路鄉民以外,足濟是用援助計畫的資源來進行基礎圖資的繪製,順紲執行較現代的議題,親像講綠能相關的,比喻講達卡的日頭能枋的分佈。
演講的部份,𪜶用較奇妙的十分鐘為一个單位進行,家己無細膩投兩份演講,著勉強共平常時紹介 OpenStreetMap 的簡報拆做兩份,第一工紹介台灣的社群,進行的計畫佮未來展望,第二天就是講個別台灣社群成員的計畫。
當時欲入境孟加拉拄著挑戰,予移民官擋咧留話,愛主辦單位出面解釋,才予入境。落尾到位 Cox’s Bazar,除了佇會場發表,嘛聽捌人的經驗,體驗孟加拉旅遊勝地,會當講是孟加拉的墾丁𨑨迌踅踅。我逐家會當到海沙埔散步,體驗印度洋的海風佮海波浪。這馬回想一逝旅行,對孟加拉落地簽申請的難題,趁大會佇孟加拉舉辦的機會來到孟加拉,解鎖一个南亞國家的成就。
這次 State of the Map Asia 2024 並非在旅遊聖地泰國舉行,而是比較封閉的孟加拉,光是簽證就很容易搞死人。而在最後關頭,的確是有很多人就無法到場,簽證沒過無法入境。再加上前陣子孟加拉政局動盪,總理流亡,綜合以上種種因素,導致各國的人不大前往參與。孟加拉人為大宗的大會,再加上能有辦法進來的外國人
在會場觀察參者的人好有活力,很多援助計畫在協助積累當地基礎的地理圖資。另外參與的人口年輕,像是老師帶著學生參與,各種年輕團體組團,例如孟加拉各大學的 YouthMapper 組織都有參與,發表相關的計畫。當社會漸漸發達,大家年紀變年長,相信應該會有人轉為畫生活活動範圍的商家與都市地帶的建築。
而回到亞太這邊的開放街圖參與狀況,除了社會經濟情況允許而能以自發的興趣小組與有貢獻動機的網路鄉民之外,很多是用援助計畫的資源從事基礎圖資的繪製,順便去
這次 State of the Map Asia 2024 並非在旅遊聖地泰國舉行,而是比較封閉的孟加拉,光是簽證就很容易搞死人。而在最後關頭,的確是有很多人就無法到場,簽證沒過無法入境。再加上前陣子孟加拉政局動盪,總理流亡,綜合以上種種因素,導致各國的人不大前往參與。孟加拉人為大宗的大會,再加上能有辦法進來的外國人
在會場觀察參者的人好有活力,很多援助計畫在協助積累當地基礎的地理圖資。另外參與的人口年輕,像是老師帶著學生參與,各種年輕團體組團,例如孟加拉各大學的 YouthMapper 組織都有參與,發表相關的計畫。當社會漸漸發達,大家年紀變年長,相信應該會有人轉為畫生活活動範圍的商家與都市地帶的建築。
而回到亞太這邊的開放街圖參與狀況,除了社會經濟情況允許而能以自發的興趣小組與有貢獻動機的網路鄉民之外,很多是用援助計畫的資源從事基礎圖資的繪製,順便去進行比較是近代的議題,像是跟綠能相關的,如達卡的太陽能板分佈的繪製
演講部分,他們用蠻奇特的十分鐘時間為單位進行,而自己不小心投了兩份演講,就硬著頭皮講了兩場,基本上是自己25+5演講拆一半的內容,各自在兩場演講。第一天談台灣社群,進行的計畫與未來展望,而第二天談個別的社群成員常在進行的計畫。
儘管移民官還有機場設施不是那麼友善,但我順利到達 Cox’s Bazar,除了在會場發表還有聽別人的經驗分享之外,也趁機到這個孟加拉的渡假聖地遊覽,每天到沙灘走走,體驗印度洋的浪與風。回想這一切,孟加拉簽證難申請,趁這次大會在孟加拉,解鎖到這一南亞國家遊歷的成就。
See pt1 of this series here.
See pt2 of this series here.
See pt3 of this series here.
How Does This Relate To OSM Again?If you have been following the articles listed above, you will know the Field Mapping Tasking Manager (FMTM) is a tool developed by HOTOSM to improve the quality of field verified data associated with geometries.
In the OSM world, this means a
See pt1 of this series here.
See pt2 of this series here.
See pt3 of this series here.
If you have been following the articles listed above, you will know the Field Mapping Tasking Manager (FMTM) is a tool developed by HOTOSM to improve the quality of field verified data associated with geometries.
In the OSM world, this means adding and improving tags for OSM geometries.
A key element of this work flow is conflation of newly collected data with existing data in OSM. Some preliminary work was done on this, but for now the team decided to pivot and focus entirely on improving the usability of FMTM from the perspective of mappers.
The conflation work will be continued further down the line.
Currently, Rob Savoye is also continuing some work in parallel for conflation of roads in the USA, with OSMUS’s osm-merge project.
The roadmap for FMTM can be found here.
Since release 2024.5.0, we have be focusing on what we have dubbed the ‘Mapper Frontend’.
Our primary goals:
Mapping should be as intuitive as possible for users, requiring minimal training or existing knowledge (with prompts).
The application should be fast and responsive, tailored to field mapping needs.
Data should load real-time, significantly improving the collaborative team experience. Joe wants to know where Jim is mapping currently, to avoid overlap.
A secondary goal is the potential to package it up in a mobile app wrapper, allowing for easy distribution via mobile app stores.
So, Sam, when can we use FMTM on iOS devices I hear you cry!
This is long overdue, and an essential feature to increase the reach of FMTM.
Over the next two / three months we are working on this as part of a larger push to integrate ODK Web Forms into FMTM.
Once complete, the requirement to install and switch to the ODK Collect app for survey data collection will no longer be present.
Instead, we will have a full field mapping solution built into a single streamlined web application!
Follow progress here, where this is part of the requirement for an ongoing mapping project of informal settlements in Brazil 🎉
A project mapping settlements in the Tokha municipality of Nepal is about to commence!
We have also recently had projects mapping informal settlements in Ghana and Tanzania.
See the FMTM timeline with some additional projects listed here.
The name ‘Field Mapping Tasking Manager’ (FMTM) was created quickly, showing an obvious link to the Tasking Manager.
However, we realise it’s probably not the most catchy name, and often creates confusion with the FMTM acronym.
Two possible suggestions have been made for a name change:
Please comment with name suggestions, feedback, or other ideas!
I plan to make future posts about developments, technical deep dives, and usage of FMTM’s features.
If you liked this article and want to support the development of FMTM, please read the contributing guide here.
Show some love by adding a ⭐ to the FMTM Git Repo.
See you next time!
Had to move the summit as it was in a random place. It’s really cool up there.
Had to move the summit as it was in a random place. It’s really cool up there.
Youth Mappers University of Nairobi chapter
Youth Mappers University of Nairobi chapter
В середине ноября на глагне добавили ночной режим. Когда браузер считает, что на улице темно, он передаёт это сайту, а тот заменяет белую заливку на чёрную, и в целом пытается не выжечь глаза пользователю. Есть люди, которые живут с тёмной темой день и ночь (чтобы не слишком освещать свой подвал), и для них это изменение оказалось самым заметным за последние годы.
Любое движение на «л
В середине ноября на глагне добавили ночной режим. Когда браузер считает, что на улице темно, он передаёт это сайту, а тот заменяет белую заливку на чёрную, и в целом пытается не выжечь глаза пользователю. Есть люди, которые живут с тёмной темой день и ночь (чтобы не слишком освещать свой подвал), и для них это изменение оказалось самым заметным за последние годы.
Любое движение на «лице проекта», сайте openstreetmap.org, широко обсуждается: ведь каждая кнопка важна, наличие или отсутствие чего-либо описывает наше сообщество лучше, чем очередное интервью со Стивом Костом. Так и тёмная тема: в сентябре её просили, но получив желаемое, ищут способы откатить.
Затенённые тайлы — главная проблема. Именно на них жалуются в тикете github. На reddit делились способами их отключения. Недавно в настройки сайта, всё-таки, добавили отдельный переключатель. Действительно, это довольно странное решение — но разумный компромисс, если подходить к вопросу с точки зрения дизайна. Традиционный способ, инвертировать цвета и повернуть палитру на 180°, работает. Но он не идеален: цвета становятся темнее, чем нужно, и хочется что-то подправить.
Правильным было бы создать палитру с нуля. Каждый оттенок на карте — плод размышления картографа, цвета влияют и взаимодействуют с друг другом, важен контраст, яркость, различимость для слабовидящих. Простое инвертирование забивает на все эти нюансы, делая карту, которая практической цели достигает, но эстетически — будто AI-картинки, на которые невозможно смотреть, если есть какой-то художественный вкус. Поэтому организации отдельно работают над ночным оформлением, и именно это предлагали для стиля osm-carto. К сожалению, у нас нет столько добровольцев, чтобы вместо одного стиля поддерживать два.
Да и остальному интерфейсу глагне помогло бы более кропотливое перекрашивание для ночного режима. Как видно даже на заглавной картинке, яркие значки и кнопки остаются яркими, цвета необычных элементов интерфейса (например, границ пакетов правок) неприятно выделяются на приглушённом фоне. Но — это много работы, и это двойная работа для всех последующих изменений сайта. Поэтому ночные темы в интернете не так распространены. Но хорошо, что наш сайт начал хоть как-то заботиться о наших глазах.
История с ночной темой интересна тремя обстоятельствами, которые мы рассмотрим в трёх следующих разделах. Потому что в прошлом году произошло много чего, ускользнувшего из поля зрения штосма.
Сам пул-реквест для ночной темы состоит из всего одной строчки ( плюс ещё десяток для починки мелочей, типа кнопки закрытия панели). Он стал возможен благодаря пяти годам непрерывной работы Энди Аллана, переводившего оформление сайта на Bootstrap. Поэтому не пришлось думать над цветами и править компоненты — обо всём уже подумали сотни разработчиков фреймворка.
Написал и помёржил ночной режим новый мейнтейнер сайта, Антон Хорев из Петербурга. О нём мало чего известно вне OSM, но в проекте он делает немало. Прежде всего, он участник рабочей группы по данным с 2019 года, составляет компанию другому русскоязычному участнику, Владимиру «Mavl». В 2018 году он написал четыре восхитительно дотошные статьи про картирование заведений, но и остальные 19 заметок его дневника в OSM так же вдумчивы и полны практических наблюдений. Его смотрелкой заметок пользуются все, кому не безразличны незакрытые заметки в своём городе.
Антон начал валить пул-реквесты в код сайта с лета 2022 года, и до сих пор невероятно плодовит, создаёт их по десятку в неделю. Если заглянуть в историю, там много черновиков, незакрытых реквестов, споров — но Антону всё нипочём, он просто продолжает создавать новые. Тут поменять шрифт, там поправить отображение на телефонах, здесь оптимизировать код. Из 157 открытых сейчас реквестов больше половины — его. Только летом 2024 Энди сообразил, что пора вписать Антона в список мейнтейнеров.
Так что хотя кажется, что сайт OpenStreetMap не меняется годами, внутри происходит постоянное бурление, что-то меняется местами, что-то становится чище или удобнее. В октябре Энди транскрибировал свой рассказ с лондонской конференции про опыт работы над сайтом — из него можно многое узнать про проблемы переводов и безопасного вывода HTML.
Но ощущение, что ничего не происходит, не безосновательно. Как только кто-то (даже мейнтейнер) хочет поменять что-то по-крупному, как Том, бессменный вахтёр сайта с 2007 года, отказывается во всё это вникать и затягивает обсуждения до бесконечности. Ещё во времена maps.me я делал несколько пул-реквестов, но все по тем или иным причинам закрывали. Либо Том вручную переписывал код и коммитил сам — одна из порицаемых практик в открытых проектах. Я забил на сайт, ещё десятки людей ушли точно так же. Остались те, кто вместо качественного осовременивания сайта и ответа на множество вопросов вида «что сайт говорит о сообществе» вылизывают код и исправляют форматирование HTML. Если рефакторинг длится пять лет, а похвастаться нечем, — то зачем вообще?
Куда уходят разработчики? Вернёмся к ночной теме: до ноября сайт затемняли с помощью надстроек браузера. Пользовательские скрипты и расширения браузера, для которых не требуется санкции авторов сайтов, — отличный способ добавить что-то небольшое быстро, без длинных обсуждений, которые рискуют зайти в никуда. Например, участники народной карты Яндекса именно любительским расширением упрощали себе редактирование карты.
Для OSM скриптов немного, но все они подсвечивают недостатки самого сайта. Например, OpenSwitchMaps: добавляет кнопку со ссылками на другие карты, геопорталы, два десятка osm-инструментов и прочее, вплоть до запуска редакторов. Можно ли что-то из этого добавить официальным путём? Ну, редактор Rapid под кнопку «править» пытаются добавить с 2020 года, и как-то не очень. Как я вещал на SotM в Кении, философия OSM предполагает, что всю нужную функциональность воплощают в отдельных проектах, но при этом мейнтейнеры предпочитают не размещать на сайте ссылок ни на что постороннее.
Или помните редактор тегов, который встраивается в страницу объекта на osm.org? Элементарно воплощается в Rails Port и без хаков, потребовавшихся для расширения браузера. Но пройдёт ли такой редактор через забор мейнтейнеров? Опыт участия не даёт даже желания проверять. 119 пользователей в прошлом году, 18 тысяч правок, но только один человек, чьё мнение имеет силу.
Самое впечатляющее расширение последний год пишет Роман Деев. Его better-osm-org добавил пункт «Edit with Rapid» в меню правки, который меня озадачил, и я двадцать минут искал коммит в коде сайта. Он делает списки компактнее, рисует геометрию на странице пакета правок, показывает, какие теги изменились в истории, даже прокидывает лайки из OSMCha. Всё это в картинках описано в дневничке Романа. Сотни мелких улучшений: с этим расширением для картографов появился смысл заходить на глагне!
Можно ли эти мелочи было встраивать сразу в код сайта? Конечно — но пришлось бы не только договариваться (или два года делать пул-реквесты каждый день, чтобы втереться в доверие), но и изучить, для начала, архитектуру проекта на Ruby on Rails. 18 лет назад этот фреймворк был новым и модным, но сейчас разработчиков на нём ещё поискать. Поэтому люди предпочитают более распространённые JavaScript (на котором и пишут браузерные расширения) или Python.
Альтернативная глагне ночной режим пока не поддерживает, и это единственная строчка в её публичном плане. Кнопка для редактирования в Rapid на ней уже есть.
Секунду, альтернативная? Если вы пропустили, Камиль Монич (тот самый NorthCrab) уже чуть больше года почти в одиночку переписывает весь бэкенд OpenStreetMap на Python. Да. Весь. 50 тысяч строк кода сейчас, демо-сайт откроет со дня на день.
Проект OpenStreetMap NextGen задуман заменить всю нынешнюю гору кода: Rails Port, CGIMap и разрозненные скрипты экспорта-импорта. Если выгорит, для участия в разработке не нужно будет знать минимум три древних языка: достаточно двух самых популярных на планете, Python с известными библиотеками FastAPI и SQLAlchemy, и JavaScript. Казалось бы, как этот банальный стек может сравниться с отточенным за 18 лет кодом, тем более с C++? Камиль парирует — большую часть времени код всё равно ждёт ответа PostgreSQL. И как заметил Пол Норман, Rails Port бы справился без C++, но запросы в Ruby заметно устарели, потому что на них забили в пользу CGIMap.
Год назад люди — да и я в их числе — были настроены скептично. У нас у всех есть отрицательный опыт, когда приходишь с горчщими глазами и пуленепробиваемой идеей сделать жизнь всех осмеров лучше, а тебя на подлёте сбивает кто-нибудь из «старичков». Начать что-то на стороне безопаснее, потому что никто не закроет пул-реквест. Как сказал Matija Nalis, для нас это сродни получению бесплатной коробки лотерейных билетов: да, шансы выиграть всё равно микроскопические, но коробка-то бесплатна, почему бы не попробовать? Обсуждение вообще получилось неожиданно оптимистичным: не считая пары «старичков», все поддерживают Камиля и ждут результата.
Спустя год и три месяца после анонса, скорость разработки не снижается. Камиль каждый месяц хвастается новыми возможностями движка, которые напоминают то об API 0.7, то о расширении better-osm-org Романа. Roadmap несколько раз переписан, дата публикации демо-сервера откладывалась с прошлого февраля на май, затем позже и позже, и вот теперь как будто осталось доделать ночную тему — и всё. Ух, предвкушение!
Первого января фонд NLNet внезапно объявил полсотни получателей грантов NGI Zero, среди них — OpenStreetMap-NG. Никто не знает, на какие деньги Камиль жил весь прошлый год (пожертвования он распределял между остальными разработчиками), но теперь его точно ничто не остановит.
Это означает, что где-то через полгода-год в OSM-NG загрузят все 14 терабайт базы данных (большую часть которой засунут в единственную таблицу). И тогда мы узнаем, реальны ли все эти приросты скорости. Но учитывая запал Камиля, вполне вероятно, что в течение месяцев он всё оптимизирует, и мы встанем перед вопросом, менять ли Тома как главного вахтёра всея осма на Камиля. Зря ли Антон фигачил свои 700 пул-реквестов в Rails Port.
Как ни удивительно, у нас будет человек с мандатом на решение подобных дилемм. Но начать надо с того, что не только OSM-NG получил грант за последний месяц. Сам OSMF удостоился сначала 178 тысяч евро от Meta (2% от их ежегодного членства в Overture Maps), а на следующий день немецкий фонд Sovereign выделил нам вдвое больше, 384 тысячи евро на два года. Так что стоны отдельных участников в мастодоне «зачем давать деньги на тупиковый OSM-NG, когда у нас тут OSM недофинансирован» немного необоснованы.
Разумеется, ни на какие неожиданные радости эти деньги не пойдут. Всё как обычно: конференции и инфраструктура. Необычно то, что второй пункт раскрыли чуть подробнее: «обновление кода по современным стандартам, привлечение разработчиков документацией и тестами, исследования на темы типа вандализма и новых способов работы с данными». И это 1) обнадёживает, хотя и не слишком, вспоминая исследования про модель данных, 2) чудовищно запоздало, 3) один в один цели проекта OSM-NG.
Что в Совете поняли правильно, — сами по себе дела не делаются и нужен человек на зарплате, который будет помогать и направлять разработку. Поэтому на прошлой неделе фонд OSM опубликовал вакансию, первую с 2021 года. До 21 января мы ищем координатора разработки сайта OSM и сопутствующих проектов. Нужен кто-то с опытом управления проектами, кто, в идеале, работал с добровольными участниками, открытым кодом, а то и с сообществом OSM. В идеале. Может, вы знаете кого-нибудь подходящего. Увлекательные задачи и вызовы предоставим.
***
Потянув за ниточку не слишком заметного нововведения на osm.org, мы вытянули историю, которая показывает 2024 год в OpenStreetMap с интересной позиции: оказалось, это был год, когда недовольство руководством центрального сайта OSM вылилось в несколько независимых инициатив по его улучшению в обход обычных пул-реквестов. Надстройка Романа и сайт Камиля не только ломают представление об osm.org как о чём-то неудобном из глубин веков, но и подначивают задуматься: а не будь вахтёры так строги, могли бы мы радоваться новым удобствам сайта и API каждый месяц все эти годы? Стоит ли стабильность сбитых несменяемыми «дедами» разработчиков-осмеров?
Кажется, в этом году мы узнаем, сколько мы потеряли, и какое у сайта OSM будущее по мнению участников и Совета.
El mapeo de interiores no es muy popular ya que requiere conocimientos de la distribución de los espacios dentro de un edificio. Normalmente esto se hace por medio de un plano, que puede ser el de evacuación. Aunque aquí empieza el problema de permisos de uso de datos para mapear en OpenStreetMap.
En Colombia estamos comenzando esta labor, pero quise listar lo que se ha hecho en Latam, y
El mapeo de interiores no es muy popular ya que requiere conocimientos de la distribución de los espacios dentro de un edificio. Normalmente esto se hace por medio de un plano, que puede ser el de evacuación. Aunque aquí empieza el problema de permisos de uso de datos para mapear en OpenStreetMap.
En Colombia estamos comenzando esta labor, pero quise listar lo que se ha hecho en Latam, y reconocer a los mapeadores:
Continue reading ͛
02/01/2025-08/01/2025
catenary_mast:*=*
to add further specifications on catenary masts, a vertical support structure used in railway electrification systems to hold up the overhead wires (also known as catenary wires) that supply electric power to trains.pratictioners=*
to tag the number and field of professionals, such as doctors, lawyers, or therapists, available at facilities like clinics, legal offices, or wellness centres, aiming to enhance the mapping of professional services.epigraph=*
to tag inscriptions or dedications on features such as monuments, buildings, or plaques, allowing for the documentation of text content and cultural significance.sensory:*
to tag features providing sensory accessibility, such as tactile paving or audible signals, aimed at improving map usability for people with sensory disabilities.Note:
If you like to see your event here, please put it into the OSM calendar. Only data which is there, will appear in weeklyOSM.
This weeklyOSM was produced by MarcoR, Raquel Dezidério Souto, SeverinGeo, Strubbl, TheSwavu, barefootstache, derFred, mavimsii, mcliquid.
We welcome link suggestions for the next issue via this form and look forward to your contributions.
본 게시글에서는 지역의 label 태그를 위계별로 어떻게 사용하여야 할 지에 대하여 특히 주목하여 작성해 보았습니다. 기본적으로 OSM Wiki에 명시된 대로 각각의 place 태그에 대한 원론적인 위계에 주목하여 한국의 행정 구역 라벨 위계를 새로이 구성해 보았습니다.
공식 행정구역 광역자치단체place=province
- 도(道), 특별시, 광역시, 특별자치도, 특별자치시에 사용해당 태그는 일반적으로 주나 도
본 게시글에서는 지역의 label 태그를 위계별로 어떻게 사용하여야 할 지에 대하여 특히 주목하여 작성해 보았습니다. 기본적으로 OSM Wiki에 명시된 대로 각각의 place 태그에 대한 원론적인 위계에 주목하여 한국의 행정 구역 라벨 위계를 새로이 구성해 보았습니다.
place=province
- 도(道), 특별시, 광역시, 특별자치도, 특별자치시에 사용해당 태그는 일반적으로 주나 도 등 국가의 1차 행정구역을 나타낼 때 사용되며, 언급한 자치단체 모두 동일하게 대한민국의 1차 행정구역을 나타내므로 모두 ‘province’로 동일하게 표현하였습니다.
place=city
- 시(市)place=county
- 군(郡)시와 군의 경우는 현행 유지되는 태그를 그대로 사용하였습니다.
place=district
- 특별시, 광역시 등의 자치구place=borough
- 자치구가 아닌 구; 일반구자치구의 경우 시, 군과 동등한 위계에 있는 기초자치단체로써, 지방 정부에 의해 자치적으로 운영되는 행정 구역이라는, OSM Wiki에 설명되어 있는 district과 그 사용례를 같이 한다는 점에 착안하여 district로 제안해 보았습니다.
일반구의 경우, 자치구와 마찬가지로 구(區)라는 명칭을 공유한다는 점은 존재하지만, 자치구와 달리 별도의 자치권이 없는 시(市) 내부의 하위 행정구역이라는 점을 고려할 때, 자치구와는 다른 태그를 이용하여 이를 표현해야 할 필요성이 있다고 생각하였습니다. 이러한 점을 고려할 때, 일반적으로 도시 ‘내부’의 구역임을 나타내는 ‘borough’ 태그를 사용하여 달리 표기하는 것을 제안하는 바입니다.
place=subdistrict
- 행정동현행에서는 place=quarter
가 동을 표현하는 데 사용되고 있지만, 해당 태그는 행정 구역을 명시한다기보다 도시 내 특정 구역을 태그하는 데 이용되는 점을 고려해보면, 거주 규모와는 별개로 행정구역임을 명확히 명시하는 subdistrict 태그를 이용하여 행정동을 표현하는 것이 좀 더 합리적이지 않을까 제안합니다. district와 연계하는 경우 구와 동의 계층이 명확해진다는 점도 존재합니다.
?
- 법정동‘법정동’의 경우는 일부 명칭을 제외하고는 지적 사무 외 행정적 사무와 실생활에서는 거의 쓰이지 않는다는 점을 고려할 때 지역적으로 잘 알려진 몇 법정동명을 제외하고는 법정동 relation의 name으로만 존치하고 label은 삭제합니다. 또한, 잘 알려진 몇 법정동명의 경우에는 규모에 따라suburb/quarter/neighbourhood로 구분하여 남기는 것을 제안합니다.
사실 법정동의 경우에는, 제가 제안하는 위계 구조 상에서 명확히 처리하기에는 애매한 바가 있어서, 혹시 이와 관련하여 좋은 의견 있으면 남겨주시면 감사하겠습니다.
place=town
- 읍(邑)/면(面)기존 방식대로 읍, 면의 경우는 town으로 태그합니다. 소규모 면의 경우도 town으로 묶여 과대표기될 수 있다는 우려가 존재하기는 하나, 읍과 면 둘 다 동일한 행정 위계를 갖는다는 점을 고려하여 town으로 동일하게 태그합니다.
place=village
- 법정리(里)place=hamlet
- 행정리/자연부락현행대로 법정리의 경우 village로 표기하고, 법정리에서 행정 편의 상 더 잘게 쪼개진 행정리 혹은 자연부락의 경우 hamlet으로 표기합니다.
공식적인 행정구역에는 포함되지 않으나, 국지적 혹은 전국적으로 통용되는 지명에 대해서는 다음과 같은 태그 방법을 제안합니다. 각 place 태그 별 예시는 이해를 돕기 위한 단순 예시에 불과하다는 점 참고하시면 되겠습니다.
place=suburb
- 신도시, 신시가지, 혹은 택지지구 등의 대생활권 (예: 분당, 일산, 목동, 동탄 등)place=quarter
- 중간 규모의 잘 알려진 상권, 혹은 중생활권 (예: 홍대, 성수, 서면 등)place=neighbourhood
- 단일 거리 단위 상권, 근린 단위의 소생활권 등 (예: 목동 로데오거리, 해방촌 등)도시의 내부 구역, 특히 생활권을 구분하는 데 있어 suburb>quarter>neighbourhood의 삼분법이 널리 활용된다는 점과, 행정동과는 무방하게 지역적 지명을 자유롭게 표기할 수 있다는 점에서 이 방식을 제안하였습니다.
place=locality
- 단순 자연지명 등일반적인 거주 지역과는 외따로 떨어진 지역이나 단순 지명만 남은 지역 등을 표기할 때 사용합니다. 한두 가구 등을 표현할 때 place=isloated_dwelling
을 사용할 수도 있겠지만, 한국에서 한두 가구 외따로 떨어진 지역의 지명을 일반적으로는 따로 부여하지 않는다는 점을 고려할 때는 굳이 이용할 필요가 있나? 싶긴 합니다.
해당 제안에 대한 다양한 의견, 피드백 환영합니다. 긴 글 읽어주셔서 감사합니다.
Яндекс это конечно отличный сервис, но он все же не самый дружелюбный к OSM’у, и права на его панорамы могут отозвать в любой момент. Призываю всех неравнодушных людей у которых есть файлы уличных панорам (или даже фотографии уличных объектов) зайти на panoramax.openstreetmap.fr/upload и загрузить их туда. У iD есть отде
Яндекс это конечно отличный сервис, но он все же не самый дружелюбный к OSM’у, и права на его панорамы могут отозвать в любой момент. Призываю всех неравнодушных людей у которых есть файлы уличных панорам (или даже фотографии уличных объектов) зайти на https://panoramax.openstreetmap.fr/upload и загрузить их туда. У iD есть отдельный слой для панорам с этого сайта, и у людей которые картируют с него будет больше открытых данных с которых можно будет удобнее брать информацию.
Hey hey. We at the Yerevan Tree Map project were pulling to our database new nodes tagged as natural=tree
for a while now, without actually pushing changes back. Now we are starting to do so. The OSM API is not quite straightforward, so we’re learning on the go. We have some 4k plus trees to push, we’ll be adding them in small batches. Later we’ll start pushing updates to exist
Hey hey. We at the Yerevan Tree Map project were pulling to our database new nodes tagged as natural=tree
for a while now, without actually pushing changes back. Now we are starting to do so. The OSM API is not quite straightforward, so we’re learning on the go. We have some 4k plus trees to push, we’ll be adding them in small batches. Later we’ll start pushing updates to existing tree nodes (e.g. when someone measures the tree or updates its state).
(English below, thanks to Deepl.com)
Ce post a été initialement publié ici.
Des données OSM en anglais, mais aussi en français, accessibles dans l’IFL pour les pays francophones du SudDes données OSM téléchargeables avec des attributs dans une langue autre que l’anglais, non pas avec un service web, mais une plateforme dédiée au partage de données et métadonnées géographiques,
(English below, thanks to Deepl.com)
Ce post a été initialement publié ici.
Des données OSM téléchargeables avec des attributs dans une langue autre que l’anglais, non pas avec un service web, mais une plateforme dédiée au partage de données et métadonnées géographiques, où l’on peut comprendre, voir, interroger, filtrer avant de télécharger : c’est ce que permet cette approche ETL (pour Extract, Transform, Load, soit en français « Extraction, Transformation et Chargement ») dans l’Infrastructure de Données Spatiales des Libres Géographes. Dans ce billet, je reviens sur le contexte et l’historique de ce projet personnel mené sur mon temps libre, avant d’expliquer l’approche technique mise en œuvre et, évidemment, comment accéder à ces données.
Si l’anglais domine l’écosystème OSM et reste la langue de référence du projet, plusieurs initiatives permettent aux non-anglophones de participer au projet et d’en bénéficier : un forum multilingue, la traduction du wiki et de certaines plateformes d’auto-apprentissage, des interfaces utilisateur traduites pour les applications et les éditeurs, y compris les préréglages d’étiquettes OSM.
Mais quelle que soit la technologie ou le service utilisé, les données OSM brutes, une fois téléchargées, restent exclusivement en anglais, et toute recherche ou filtrage des données OSM dans un logiciel SIG ne peut se faire que dans cette langue.
Ayant beaucoup formé à l’utilisation des données OSM en géomatique (notamment QGIS) depuis 2011, j’ai été vite confronté aux difficultés qu’ont pas mal de francophones non anglophones à exploiter les attributs des données OSM. Difficultés d’autant plus frustrantes, dans le cas des pays du Sud, qu’il s’agissait souvent des premières données détaillées disponibles sur leur territoire. Une barrière se levait, mais une autre lui succédait.
Cette contrainte a donc tendance ralentir le processus d’apprentissage pour les contributeurs OSM non anglophones, mais surtout, elle reste un obstacle à l’adoption par des publics extérieurs à la communauté OSM : par exemple, les services publics habitués à créer/distribuer/utiliser des données dans la langue officielle, ou l’une des langues officielles, de leur pays.
De fait, dès mes débuts dans OSM, j’ai toujours eu en tête de permettre l’utilisation des données OSM sans devoir forcément passer par l’anglais.
Malgré l’engouement né de la réponse communautaire au tremblement de terre à Haïti en janvier 2010, il restait difficile de promouvoir OSM auprès des géomaticiens humanitaires sans service permettant de récupérer la donnée OSM dans les formats SIG les plus courants sans devoir déployer une base PostgreSQL locale. Pour résumer, ces géomaticiens voulaient du shapefile.
Dans le cadre du projet HOT STM020 à Saint-Marc en Haïti financé par l’USAID, co-conçu et mis en œuvre avec Nicolas au printemps 2012, nous avions tenu à inclure dans le budget une ligne pour un « Data download point » qui allait devenir le HOT Exports (alors avec un « s » final), développé par GeoFabrik. L’année suivante, le projet CAP103, cette fois dans le nord et nord-est haïtiens, fut l’occasion de financer l’ajout de capacités de transformations de tags et de traductions au HOT Exports. L’un des rares visuels existants encore de cette v1 en atteste (en bas, dans les Expert functions) :
De fait, dès 2013, il aurait été possible de proposer une traduction des tags OSM en anglais dans une autre langue. Mais personne ne s’en est immédiatement saisi. Pour ma part, j’ai commencé à travailler dessus au printemps 2015 lors d’une résidence volontaire à Dakar et élaboré une première liste d’étiquettes OSM traduites en français et implémentées dans le HOT Exports. Certains étudiants et étudiantes en géomatique au Sénégal ont pu en bénéficier lors de sessions consacrées à l’usage des données OSM dans QGIS. Mais à la mi-2015 est sorti HOT Export v2, totalement réécrit, et toutes les capacités de transformations et traductions de tags y ont été supprimées. À nouveau, pas le choix, l’anglais ou rien.
J’ai repris le projet sur mon temps libre à partir du confinement de 2020, dans le but d’utiliser cette fois comme plateforme l’IFL, l’Infrastructure de Données Spatiales (IDS) Francophone Libre des Libres Géographes basée sur le projet geOrchestra, qui fournissait déjà des couches métiers dans le cadre de certains projets de l’association. J’ai aussi complété la traduction, couvrant désormais 1400 étiquettes liées aux clés OSM les plus courantes identifiées par taginfo, et en utilisant les traductions des Map features du wiki OSM ou des préréglages de JOSM.
La première version provisoire, qui ne concernait que quelques pays d’Afrique de l’Ouest, a été présentée lors du GeoCom (la conférence annuelle geOrchestra) de 2023, le SotM France 2024 et le SotM 2024 à Nairobi. Optimisé suite à des remarques de l’audience lors de ces conférences, le service concerne désormais tous les 28 pays francophones du Sud (ceux listés dans la page Afrique Francophone de Wikipédia + Maurice, le Liban et Haïti) et les mises à jour sont faites en continu, via des réplications minutes. Pourquoi pas tous les pays francophones ? Parce que les données sur la France métropolitaine prendraient trop de place sur l’IFL.
Classiquement, les données sont hébergées dans des bases pg (PostgreSQL/PostGIS) alimentées par imposm, qui était en 2020 l’outil de transformation des données osm.pbf considéré comme le plus performant. Ce n’est sans doute plus le cas désormais que ses développements et sa maintenance se sont taries, alors qu’osm2pgsql a au contraire été relancé, notamment via un financement de l’OSMF. Lors du SotM 2024 à Nairobi, Jochen Topf m’a d’ailleurs présenté les avantages d’osm2pgsql par rapport à imposm, et peut-être ferai-je la migration un jour, mais en l’état actuel imposm couvre le besoin et la fonction d’update imposm run est bien pratique. Les données OSM sont récupérées depuis les points d’extractions et réplications mises en ligne par l’association OpenStreetMap France, dont le gestionnaire a gentiment accepté d’y rajouter quelques pays qui manquaient.
Concernant les couches, il y a donc pour chaque pays concerné deux jeux de données déjà prêts, l’un dans l’anglais original, l’autre traduite à la volée en français en utilisant un tableau de traduction de référence, publié ici sur GitLab. Les remarques, suggestions ou compléments y sont bienvenus.
Chaque jeu de données contient à la fois des couches thématiques toutes prêtes, mais aussi des couches Planet (c’est-à-dire une couche de points regroupant tous les objets ponctuels dans OSM, et deux autres dédiées respectivement aux objets linéaires et polygonaux) permettant de créer sa propre thématique. En effet, j’ai toujours trouvé dommage que les services existants ne proposent par défaut que des thématiques (Download de Geofabrik ou Bbbike) ou que des couches Planet (HOT Export). Les thématiques disponibles sont : limites administratives, lieux, transports, obstacles, édifices, couverture du sol, hydrographie et points d’intérêts (POI).
Certaines thématiques comportent plusieurs couches, lorsqu’elles sont représentées par des types de géométrie différents (points, lignes ou polygones). Les POI sont disponibles non seulement sous leur forme originelle (points ou polygones), mais aussi dans une couche de synthèse qui comprend les objets ponctuels et les centres des objets polygonaux.
Par ailleurs, chaque couche OSM dans l’IFL permet de retrouver l’ensemble des tags : les clés les plus utilisées dans chaque thématique disposent chacune d’un champ dédié dans la table attributaire, mais il y a également un champ au format jsonb qui contient tous les tags originels de chaque objet. Par ailleurs, si aucune de ces couches ne contient de métadonnées OSM, un champ ajoute_a permet de connaître la date à laquelle chaque objet a été intégré dans la base pg de l’IFL. Il est donc possible d’identifier les derniers objets édités dans OSM, postérieurs à la date de l’extraction utilisée au départ de la création de la base.
Ces couches sont donc accessibles non pas au travers d’un service web, mais d’une IDS. Pourquoi une IDS et pas un site web spécifique ? À la fois pour des raisons pratiques, mais aussi pour prouver qu’une IDS fait cela très bien. Côté pratique, l’IFL étant déjà en place, nul besoin de développer un site web ad hoc. Côté preuve du concept, une IDS libre comme geOrchestra dispose de toutes les fonctionnalités offertes par les standards OGC et les briques logicielles libres comme PostgreSQL/PostGIS, GeoServer, GeoNetwork et MapStore, pour proposer des traitements sur les données, une interface cartographique interrogeable, des métadonnées et des outils de téléchargement. Enfin, la donnée est déjà prête à être téléchargée, sans passer par la création de points de téléchargement personnalisés comme dans le HOT Export, approche qui nécessite ensuite un stockage côté serveur difficile à estimer.
Il y a deux entrées possibles depuis l’IFL pour accéder aux données OSM sur les pays francophones du Sud : via des fiches de métadonnées ou des applications cartographiques.
Les métadonnées comprennent :
Des applications cartographiques de visualisation, interrogation, filtrage et téléchargement, sont dévolues à chacun des pays. Il est possible, grâce aux fonctionnalités de MapStore, de télécharger une thématique sur un pays entier, mais aussi de filtrer sur les attributs, sur une zone dessinée à la main ou la zone d’une autre couche, par exemple les limites administratives. Il est donc tout à fait possible, à partir de la couche de POI, de récupérer les hôpitaux, cliniques et pharmacies d’une région ou d’un district urbain, comme ci-dessous dans la Communauté urbaine de Yaoundé :
Des vidéos en ligne ou téléchargeables montrent ces différents accès :
Voilà pour cette longue présentation. Pour conclure, je dirais qu’à une période où les annonces de méga jeux de données mixant plusieurs sources ou issus de l’IA, cet ETL montre qu’il y a encore moyen de faire des choses fines, porteuses de sens et adaptées à des contextes locaux avec OpenStreetMap.
This post was originally published here.
Downloadable OSM data with attributes in a language other than English, not with a web service, but with a platform dedicated to sharing geographic data and metadata, where you can understand, view, query and filter before downloading: that’s what this ETL (Extract, Transform, Load) approach in the Libres Géographes Spatial Data Infrastructure makes possible. In this post, I’ll go back over the background and history of this personal project carried out in my spare time, before explaining the technical approach implemented and, of course, how to access this data.
While English dominates the OSM ecosystem and remains the project’s reference language, several initiatives allow non-English speakers to participate in and benefit from the project: a multilingual forum, translation of the wiki and certain self-learning platforms, translated user interfaces for applications and editors, including OSM tag presets.
But regardless of the technology or service used, the raw OSM data, once downloaded, remains exclusively in English, and any searching or filtering of OSM data in GIS software can only be done in that language
Having trained extensively in the use of OSM data in geomatics (particularly QGIS) since 2011, I was quickly confronted with the difficulties many non-English speakers have in exploiting the attributes of OSM data. These difficulties were even more frustrating in the case of developing countries, as this was often the first detailed data available for their territory. One barrier was removed, but another followed.
This limitation therefore tends to slow down the learning process for non-English speaking OSM contributors, but more importantly, it remains an obstacle to adoption by audiences outside the OSM community: for example, public services accustomed to creating/distributing/using data in the official language, or one of the official languages, of their country.
In fact, from the beginning of my involvement with OSM, I have always had the idea of making it possible to use OSM data without necessarily having to use English.
Despite the enthusiasm generated by the community response to the Haiti earthquake in January 2010, it remained difficult to promote OSM to humanitarian geomaticians without a service that allowed them to retrieve OSM data in the most common GIS formats without having to deploy a local PostgreSQL database. In short, these geomaticians wanted shapefiles.
As part of the USAID-funded HOT STM020 project in Saint-Marc, Haiti, designed and implemented with Nicolas in the spring of 2012, we were eager to include in the budget a line for a “data download point” that would become HOT Exports (then with a final “s”), developed by GeoFabrik. The following year, the CAP103 project, this time in northern and northeastern Haiti, was an opportunity to fund the addition of tag transformation and translation capabilities to HOT Exports. One of the few surviving visualizations of this v1 testifies to this (below, in Expert Functions):
In fact, it would have been possible to offer a translation of OSM’s English tags into another language as early as 2013. But no one took it up immediately. For my part, I started working on it in the spring of 2015 during a volunteer stay in Dakar and made a first list of OSM tags translated into French and implemented in HOT Exports. Some geomatics students in Senegal were able to benefit from this during sessions dedicated to the use of OSM data in QGIS. But in mid-2015, HOT Export v2 was released, completely rewritten, and all tag transformation and translation capabilities were removed. Again, no choice, English or nothing.
I took over the project in my spare time from the 2020 confinement, this time with the aim of using as a platform IFL, the Spatial Data Infrastructure (IDS) Francophone Libre of the Libres Géographes (based on the geOrchestra project), which was already providing custom layers for some of the association’s projects. I’ve also completed the translation, which now covers 1400 tags linked to the most common OSM keys identified by taginfo, and using translations of OSM wiki Map features or JOSM presets.
The first provisional version, covering only a few West African countries, was presented at GeoCom 2023 (the annual geOrchestra conference), SotM France 2024 and global SotM 2024 in Nairobi. Optimized in response to audience feedback at these conferences, the service now covers all 28 French-speaking countries in the South (those listed here in Wikipédia + Mauritius, Lebanon and Haiti), with continuous updates via minute replications. Why not all the French-speaking countries? Because data for metropolitan France would take up too much space on the IFL.
Typically, data is hosted in pg databases (PostgreSQL/PostGIS) fed by imposm, which was considered the most efficient osm.pbf data transformation tool in 2020. This is probably no longer the case, as its development and maintenance have dried up, while osm2pgsql has been relaunched, largely thanks to funding from OSMF. At SotM 2024 in Nairobi, Jochen Topf explained to me the advantages of osm2pgsql over imposm, and maybe I’ll make the switch someday, but for now imposm covers the need, and the imposm run update feature comes in very handy. The OSM data is taken from extraction points and minute replications put online by the association OpenStreetMap France, whose manager has kindly agreed to add a few missing countries.
As for the layers, there are two ready-made datasets for each country concerned, one in the original English, the other translated on the fly into French using a reference translation table published here on GitLab. Comments, suggestions and additions are welcome.
Each dataset contains both ready-made thematic layers and planet layers (i.e. a point layer that groups all point objects in OSM, and two others dedicated to linear and polygonal objects, respectively), allowing you to create your own thematic layers. In fact, I’ve always found it a bit unfortunate that existing services offer only thematic layers by default (download from Geofabrik or Bbbike) or only planet layers (HOT Export). The themes available are: administrative boundaries, places, transportation, obstacles, buildings, land cover, hydrography, and points of interest (POI).
Some themes include several layers if they are represented by different types of geometry (points, lines or polygons). POIs are available not only in their original form (points or polygons), but also in a synthesis layer that includes point objects and the centers of polygonal objects.
In addition, each OSM layer in the IFL can be used to retrieve all tags: the most commonly used keys in each theme each have a dedicated field in the attribute table, but there is also a field in jsonb format that contains all the original tags for each object. Furthermore, if none of these layers contains OSM metadata, an added_at field provides the date when each object was integrated into the IFL pg database. This makes it possible to identify the most recently edited objects in OSM after the extraction date used to create the database.
These layers are therefore not accessible via a web service, but via an IDS. Why an IDS and not a specific web site? Both for practical reasons, but also to prove that an IDS does this very well. On the practical side, the IFL already exists, so there’s no need to develop an ad hoc web site. On the proof of concept side, an open source IDS like geOrchestra has all the functionality provided by OGC standards and open source software building blocks like PostgreSQL/PostGIS, GeoServer, GeoNetwork and MapStore to provide data processing, a searchable map interface, metadata and download tools. In the end, the data is ready to download without the need to create custom download points as with HOT Export, which requires server-side storage that is difficult to estimate.
There are two ways to access OSM data on French-speaking countries in the South from the IFL: via metadata sheets or map applications.
Metadata includes :
Map applications for viewing, querying, filtering and downloading are dedicated to each country. Thanks to MapStore’s functionality, it is possible to download a theme for an entire country, but also to filter on attributes, on a hand-drawn area, or on the area of another layer, such as administrative boundaries. It is therefore perfectly possible to retrieve, from the POI layer, the hospitals, clinics and pharmacies of a region or urban district, as shown below in the Yaoundé Urban Community:
Online or downloadable videos show these different access points:
So much for this long presentation. In conclusion, I’d like to say that at a time when announcements of mega datasets that mix multiple sources or come from AI, this ETL shows that there are still ways to do smaller, but still fine, meaningful things with OpenStreetMap that are adapted to local contexts.
I just discovered github.com/openstreetmap/tile-attribution And it seems like a great way to get involved with openstreetmap via GitHub - It doesn’t require any coding ability, one would need an active GitHub acount to add an issue to the issue tracker but basically find a site using your favourite search engines (lets say https//ddg.gg as an example).
Check any sites who are not providi
I just discovered https://github.com/openstreetmap/tile-attribution And it seems like a great way to get involved with openstreetmap via GitHub - It doesn’t require any coding ability, one would need an active GitHub acount to add an issue to the issue tracker but basically find a site using your favourite search engines (lets say https//ddg.gg as an example).
Check any sites who are not providing attribution to openstreetmap when using openstreetmap and report the full hostname of website to the issue tracker :-)
What can we all share to people on social media we use to promote friends & family to support OpenStreetMap’s work?
Have a great day! Josh G of Australia.