Aktualisieren Historic.Place/GRSL

Hier beschreibe ich, wie die Daten aus der Tabelle zur Ansicht nach Historic.Place kommen.
Dafür verwende ich eine gesonderte Tabelle.

Ausgangsbasis ist die öffentliche Tabelle mit der Kopie der Master-Tabelle.

1. Aus der öffentlichen Tabelle übernehme ich die für Historic.Place benötigten Daten.
   
   1. Die 36 Arbeitsblätter sind mit dem Öffnen der Datei aktualisiert.
      

      

      

      Arbeitsblatt einer Kolonie

      
      

      Funktion Beispiel:
      =IMPORTRANGE(″Tabelle″;″Arbeitsblatt!A:Z″)

   2. In einem Arbeitsblatt sind mit dem Öffnen der Datei alle Daten automatisch summiert.
      

      

      

      Ausschnitt der Zusammenfassung
      Beachte in Spalte A den Wert für den Permalink. Dies ist eine Verkettung aus Longitude und Latitude.

      
      

      Funktion Beispiel:
      =QUERY({Astrakhan!A2:AM;Belowesch!A2:AM;Beresan!A2:AM;Bessarabia!A2:AM;Bukovina!A2:AM;Carpatho!A2:AM;Caucasus!A2:AM;'Central Asia'!A2:AM;Chortitza!A2:AM;'Crimea (Krim)'!A2:AM;Dobrudscha!A2:AM;'Don Cossacks'!A2:AM;Galizien!A2:AM;'Glückstal'!A2:AM;'Großliebental'!A2:AM;Hoffnungstal!A2:AM;Jewish!A2:AM;'Kaliningrad (East Prussian)'!A2:AM;Kherson!A2:AM;Kronau!A2:AM;Kutschurgan!A2:AM;Mariupol!A2:AM;Molotschna!A2:AM;Vistula!A2:AM;Prischib!A2:AM;Samara!A2:AM;Schwedengebiet!A2:AM;Siberia!A2:AM;'St Petersburg'!A2:AM;Taurien!A2:AM;Ural!A2:AM;Volga!A2:AM;'Volhynia (Polish)'!A2:AM;'Volhynia (Ukrainian)'!A2:AM;Yekaterinoslav!A2:AM;Zagradovka!A2:AM};″select Col33, Col8, Col7, Col1, Col2, Col3, Col4, Col5, Col6, Col9, Col10, Col11, Col12, Col13, Col14, Col15, Col16, Col18, Col19, Col23, Col34, Col35, Col36, Col21, Col37, Col20, Col27, Col28, Col29, Col30, Col38, Col39, Col32 where Col7 is not null and Col8 is not null order by Col33″;0)

2. Die Daten der Zusammenfassung werden in einer Datei in Tab-Format (Tabulatorgetrennte Werte) von mir ausgegeben.
   HistoricPlace - HP-GRSL.tsv
   Für das Anschauen nutze ich CSVFileView von NirSoft.
   1. Der Dateiname bildet sich entsprechend dem Namen des Arbeitsblatts.
   2. Die Daten sind in UTF-8 kodiert.
   3. Struktur und Inhalt der Datei ist individuell mit Lutz Lange vereinbart.
      Struktur der Datei (horizontal)...
      @id
      @lon
      @lat
      Colony_Group
      Ancestral_Name(s)
      Other_names-Spelling
      District
      Area_Governorate
      Country_at-foundation
      Current_Name(s)
      Current_Country
      Year_Founded
      Mother/Daughter-Colony
      Religions
      Plat_Map
      Cemetery
      Notes
      Google_Maps
      Global_Gazetteer
      Future_Consideration
      GOV_Köln
      Maps_Vlasenko
      Maps_Arcanum
      Maps_Этоместо
      Maps_Retromap
      Height
      Wikidata
      Wikipedia
      image
      Website
      Permalink
      GeoNames
      Last_update
3. Eine Fehlwirkung im Prozess muss ich reparieren. Aus nicht geklärter Ursache, wird bei Berechnung des Permalinks, gelegentlich ein störender Punkt, immer an der gleichen Stelle, zuviel gesetzt. Die Ursache des Problems ist vielschichtig und bisher nicht aufgeklärt. In 13 % der Berechnungen ist ein Punkt zuviel verkettet. Zum Glück ist der Fehler leicht behebbar.
   Für das Entfernen nutze ich Notepad++ von Don Ho.
   

   

   

   Suchen und ersetzen mit Notepad++

   
   Dieses Ersetzen erledige ich in Notepad++ mit einem Makro. Ein Mausklick und „.&pins“ wird ersetzt durch „&pins“.
   Alternativ wird das Ersetzen von „.&pins“ durch „&pins“ von folgender Bat-Datei zuverlässig in wenigen Sekunden erledigt.
   

   Batch für das Ersetzen von „.&pins“ durch „&pins“

   @echo off
   echo Zeit Anfang: %TIME%

   set „quelle=HistoricPlace - HP-GRSL.tsv“
   set „file=HP-GRSL.csv“
   set „zipfile=HP-GRSL.zip“

   copy „C:\Users\Riehl\Downloads\HistoricPlace - HP-GRSL.tsv“ „%quelle%„
   copy „C:\Users\Riehl\Downloads\HistoricPlace - HP-GRSL.tsv“ “%file%“

   echo Anzahl Treffer in tsv.
   find /c /i „.&pins“ „%quelle%“

   if exist „%zipfile%“ del „%zipfile%“

   powershell -EP Bypass -C „(gc '%file%') -replace '\.&pins','&pins' | sc '%file%';Compress-Archive -Path '%file%' -DestinationPath '%zipfile%'“

   echo.
   echo Austausch ist erfolgt. Anzahl Treffer in csv.
   find /c /i „.&pins“ „%file%“

   echo Zeit Ende: %TIME%
   pause

   

   

   Bildschirmanzeige des Batchlaufs
   Der Batch erledigt Ziffer 3 bis 5 dieser Beschreibung in 6 Sekunden.
4. Die tsv.Datei wird umbenannt. Bekommt einen vereinbarten Namen und eine andere Dateinamenserweiterung.
   HP-GRSL.csv
   Historic.Place fordert eine Datei mit der Dateiendung csv (CSV-Format).
   Verarbeitet aber auch in der Datei enthaltene tabulatorgetrennte Werte.
5. Die csv.Datei sende ich in einen ZIP-komprimierten Ordner.
   HP-GRSL.zip
6. Die csv.Datei wird auf Duplikate des @id (Wert für den Permalink) überprüft.
   Für das Anschauen und prüfen nutze ich CSV Quick Viewer von Raphael Noeldner.
   

   

   

   Anzeige im CSV Quick Viewer
7. Die zip.Datei wird auf meinen Webserver geladen. Bei mir erfolgt jede Nacht ein Abgleich der lokalen Datei auf meinem Rechner mit der Datei auf meinem Webserver.
   Der Abgleich und der Upload erfolgt bei mir mit SyncBackPro automatisch. Die Datei kann mit jeder ftp - Software hochgeladen werden.
8. Der Server von Historic.Place überprüft jeden Morgen um 03:40 MEZ ob mein Webserver eine neue Zip-Datei vorhält. Eine neu gelieferte Zip-Datei würde übernommen und verarbeitet.
9. Ich kann das erfolgreiche Update der Daten auf Historic.Place kontrollieren.
   

   

   

   Kontrolle des erfolgten Upload

• Zu Beginn steht neben der Idee eine Portion Organisation.
• Die Einrichtung muss zu Beginn getestet werden.
• Nach der Ersteinrichtung ist der hier beschriebene Arbeitsablauf innerhalb von wenigen Minuten erledigt.
  Beim mir läuft dies nun schon seit Sommer 2019 ohne Störung.