Aktualisieren Historic.Place/GRSL

Hier beschreibe ich, wie die Daten aus der Tabelle zur Ansicht nach Historic.Place kommen.
Dafür verwende ich eine gesonderte Tabelle.

Ausgangsbasis ist die öffentliche Tabelle mit der Kopie der Master-Tabelle.

  1. Aus der öffentlichen Tabelle übernehme ich die für Historic.Place benötigten Daten.
    1. Die 36 Arbeitsblätter sind mit dem Öffnen der Datei aktualisiert.
      Arbeitsblatt einer Kolonie


      Funktion Beispiel:
      =IMPORTRANGE(″Tabelle″;″Arbeitsblatt!A:Z″)

    2. In einem Arbeitsblatt sind mit dem Öffnen der Datei alle Daten automatisch summiert.
      Ausschnitt der Zusammenfassung
      Beachte in Spalte A den Wert für den Permalink. Dies ist eine Verkettung aus Longitude und Latitude.


      Funktion Beispiel:
      =QUERY({Astrakhan!A2:AM;Belowesch!A2:AM;Beresan!A2:AM;Bessarabia!A2:AM;Bukovina!A2:AM;Carpatho!A2:AM;Caucasus!A2:AM;'Central Asia'!A2:AM;Chortitza!A2:AM;'Crimea (Krim)'!A2:AM;Dobrudscha!A2:AM;'Don Cossacks'!A2:AM;Galizien!A2:AM;'Glückstal'!A2:AM;'Großliebental'!A2:AM;Hoffnungstal!A2:AM;Jewish!A2:AM;'Kaliningrad (East Prussian)'!A2:AM;Kherson!A2:AM;Kronau!A2:AM;Kutschurgan!A2:AM;Mariupol!A2:AM;Molotschna!A2:AM;Vistula!A2:AM;Prischib!A2:AM;Samara!A2:AM;Schwedengebiet!A2:AM;Siberia!A2:AM;'St Petersburg'!A2:AM;Taurien!A2:AM;Ural!A2:AM;Volga!A2:AM;'Volhynia (Polish)'!A2:AM;'Volhynia (Ukrainian)'!A2:AM;Yekaterinoslav!A2:AM;Zagradovka!A2:AM};″select Col33, Col8, Col7, Col1, Col2, Col3, Col4, Col5, Col6, Col9, Col10, Col11, Col12, Col13, Col14, Col15, Col16, Col18, Col19, Col23, Col34, Col35, Col36, Col21, Col37, Col20, Col27, Col28, Col29, Col30, Col38, Col39, Col32 where Col7 is not null and Col8 is not null order by Col33″;0)

  2. Die Daten der Zusammenfassung werden in einer Datei in Tab-Format (Tabulatorgetrennte Werte) von mir ausgegeben.
    HistoricPlace - HP-GRSL.tsv
    Für das Anschauen nutze ich CSVFileView von NirSoft.
    1. Der Dateiname bildet sich entsprechend dem Namen des Arbeitsblatts.
    2. Die Daten sind in UTF-8 kodiert.
    3. Struktur und Inhalt der Datei ist individuell mit Lutz Lange vereinbart.
      Struktur der Datei (horizontal)...
  3. Eine Fehlwirkung im Prozess muss ich reparieren. Aus nicht geklärter Ursache, wird bei Berechnung des Permalinks, gelegentlich ein störender Punkt, immer an der gleichen Stelle, zuviel gesetzt. Die Ursache des Problems ist vielschichtig und bisher nicht aufgeklärt. In 13 % der Berechnungen ist ein Punkt zuviel verkettet. Zum Glück ist der Fehler leicht behebbar.
    Für das Entfernen nutze ich Notepad++ von Don Ho.
    Suchen und ersetzen mit Notepad++


    Dieses Ersetzen erledige ich in Notepad++ mit einem Makro. Ein Mausklick und „.&pins“ wird ersetzt durch „&pins“.
    Alternativ wird das Ersetzen von „.&pins“ durch „&pins“ von folgender Bat-Datei zuverlässig in wenigen Sekunden erledigt.

    Batch für das Ersetzen von „.&pins“ durch „&pins“

    @echo off
    echo Zeit Anfang: %TIME%

    set „quelle=HistoricPlace - HP-GRSL.tsv“
    set „file=HP-GRSL.csv“
    set „zipfile=HP-GRSL.zip“

    copy „C:\Users\Riehl\Downloads\HistoricPlace - HP-GRSL.tsv“ „%quelle%„
    copy „C:\Users\Riehl\Downloads\HistoricPlace - HP-GRSL.tsv“ “%file%“

    echo Anzahl Treffer in tsv.
    find /c /i „.&pins“ „%quelle%“

    if exist „%zipfile%“ del „%zipfile%“

    powershell -EP Bypass -C „(gc '%file%') -replace '\.&pins','&pins' | sc '%file%';Compress-Archive -Path '%file%' -DestinationPath '%zipfile%'“

    echo.
    echo Austausch ist erfolgt. Anzahl Treffer in csv.
    find /c /i „.&pins“ „%file%“

    echo Zeit Ende: %TIME%
    pause

    Bildschirmanzeige des Batchlaufs
    Der Batch erledigt Ziffer 3 bis 5 dieser Beschreibung in 6 Sekunden.
  4. Die tsv.Datei wird umbenannt. Bekommt einen vereinbarten Namen und eine andere Dateinamenserweiterung.
    HP-GRSL.csv
    Historic.Place fordert eine Datei mit der Dateiendung csv (CSV-Format).
    Verarbeitet aber auch in der Datei enthaltene tabulatorgetrennte Werte.
  5. Die csv.Datei sende ich in einen ZIP-komprimierten Ordner.
    HP-GRSL.zip
  6. Die csv.Datei wird auf Duplikate des @id (Wert für den Permalink) überprüft.
    Für das Anschauen und prüfen nutze ich CSV Quick Viewer von Raphael Noeldner.
    Anzeige im CSV Quick Viewer
  7. Die zip.Datei wird auf meinen Webserver geladen. Bei mir erfolgt jede Nacht ein Abgleich der lokalen Datei auf meinem Rechner mit der Datei auf meinem Webserver.
    Der Abgleich und der Upload erfolgt bei mir mit SyncBackPro automatisch. Die Datei kann mit jeder ftp - Software hochgeladen werden.
  8. Der Server von Historic.Place überprüft jeden Morgen um 03:40 MEZ ob mein Webserver eine neue Zip-Datei vorhält. Eine neu gelieferte Zip-Datei würde übernommen und verarbeitet.
  9. Ich kann das erfolgreiche Update der Daten auf Historic.Place kontrollieren.

Fazit


Diese Beschreibung verstehe ich als Unterstützung für die gute Sache von Historic.Place.
Falls ich mal ausfalle, dann soll mit dieser Verfahrensbeschreibung ein andere Forscher die Arbeit fortführen können.
Danke an die beteiligten Personen.