Coromandel, Hobbiton en Rotorua

Posted on: Friday 13 November 2015 /
Categories: Nieuw-Zeeland

Vorige: Kawakawa en Orewa

Het is pas 4 dagen geleden sinds onze laatste blogpost, maar we hebben alweer zoveel gezien en gedaan, dat ik hoop dat ik het allemaal nog weet 😉

In Coromandel hebben we twee nachten gestaan. Dinsdag 10 november hebben we onze mountain bikes gepakt en hebben we een stuk van The 309 Road gefietst. Deze 22 km lange weg loopt van Coromandel Town dwars door de bossen naar de andere kant van de Coromandel Peninsula, en onderweg zijn diverse bezienswaardigheden te zien, zoals een waterval en een bos van Kauri-bomen. Wij hadden geen vast doel, maar we wilden kijken hoever we zouden komen, ook omdat we niet wisten hoe steil de weg was.

Op zo’n 6 km van het begin van de weg bevindt zich een vreemdsoortig klein pretparkje, The Waterworks genaamd, dat vol staat met installaties en speeltoestellen die iets met water te maken hebben. Het niveau was precies goed voor Rowan, die het allemaal erg leuk vond, maar ook voor ons was er genoeg te zien, te doen en te lachen. Na een lunch in het aangrenzende cafe zijn Marijke en Rowan het park ingegaan, en is Martijn eerst nog een stukje verder gaan fietsen, op zoek naar de Waiau Falls. De waterval was kleiner dan verwacht, maar toch nog een mooi stukje natuur. Daarna hebben we het pretpark met z’n drieen verder uitgelopen.

Terug op de camping is Marijke met Rowan gaan zwemmen en is Martijn boodschappen gaan doen. Ik schreef het al eerder: deze camping is extreem goed uitgerust met allerlei faciliteiten. In de keuken zijn alle soorten keukengerei en zelfs schone theedoeken aanwezig. Dat heb ik in Europa, zelfs in kampeer-gekke landen als Denemarken, nog niet eerder gezien.

Woensdagochtend zijn we uit Coromandel vertrokken, en hebben we -ditmaal met de camper- The 309 Road in z’n geheel gedaan. Toen had ik de Wikipedia-pagina (“The road is considered extremely dangerous and deaths among tourists unfamiliar with the road and in unfit vehicles are common.”) nog niet gelezen. Maar eerlijk gezegd viel het erg mee, zelfs met onze mega-camper. De weg is grotendeels gravel, maar meestal breed genoeg om elkaar makkelijk te kunnen passeren en nergens heel erg steil.

Aan de oostkust van Coromandel hebben we een bezoek gebracht aan Hot Water Beach. In een extreem klein stukje strand bevindt zich een heet-waterbron, waardoor je met een schep je eigen hot-tub in het strand kunt maken. Wij hadden geen schep, maar als er onze voeten lieten wegzakken in het zand, dan voelden we het warme water. Sterker nog: als je iets te lang bleef staan, verbrandde je gewoon je voeten, zo heet!

Ons doel voor vandaag was alweer een flinke toeristische attractie: Hobbiton. Mocht het je niks zeggen: Hobbiton is een filmset, waar een deel van de Lord of The Rings en Hobbit films is opgenomen. Het is het dorp (“The Shire”) waar de Hobbits wonen. Oorspronkelijk (en nu nog steeds) was het een schapen-boerderij; prive-bezit van een familie, die het nu als toeristische attractie exploiteert. De filmset was oorspronkelijk niet gebouwd om te blijven bestaan, maar nadat bleek dat mensen het graag wilden zien, is het voor The Hobbit in 2010 herbouwd met meer duurzame materialen en is het toerisme goed op gang gekomen.

Voor het miezerige bedrag (ahum) van 75 dollar per persoon mag je naar binnen en krijg je een rondleiding langs de Hobbit-huizen en een drankje in het Hobbit-cafe. En hoe suf dat misschien klinkt, het was wel leuk. Eigenlijk is het een hele grote tuin, die perfect wordt onderhouden en alleen het landschap al is fantastisch om te zien. Tel daarbij de gids, die elk plukje gras aan een scene in de films weet te koppelen, en je hebt een alleszins redelijke besteding van twee uurtjes te pakken.

Omdat we pas laat (tegen half 4) in Hobbiton aankwamen, was het al na zessen toen we eruit kwamen, en toen moesten we nog eten en op zoek naar een slaapplek. Het eten werd (bij hoge uitzondering) de McD, en als slaapplek kozen we (waarschijnlijk ook bij uitzondering) voor een parkeerplaats-waar-je-kunt-overnachten. Bij een museum net buiten Matamata (Firth Tower Reserve) konden we voor 10 dollar onze camper parkeren en aansluiten op de stroom. Behalve een paar redelijk schone toiletten was er verder niets (ook geen andere mensen), maar dat was prima. Het museum hebben we verder niet gezien, en donderdagochtend zijn we op tijd doorgereden naar Rotorua, onze volgende bestemming.

In Rotorua staan we op een kleine camping op zo’n 8 km buiten de stad, dicht bij het meer, aan een klein riviertje dat vooral bekend staat om het vissen op forel. Op de camping kun je gratis een kayak pakken om een stukje te gaan peddelen, en donderdagmiddag hebben Rowan en Martijn dat gedaan. Nou ja, na een kwartiertje hadden we het wel weer gezien, maar het was toch leuk om even te doen. Het weer is trouwens vandaag voor het eerst beduidend minder goed dan wat we tot nu toe gewend zijn. Het is fris, het waait hard en af en toe regent het een beetje. Deze nacht was het ook behoorlijk koud.

Ook deze camping heeft trouwens weer een bijzonder goed geoutilleerde keuken, waar we dankbaar gebruik van maken. We proberen om niet te hoeven koken in de camper, zodat we de etensgeurtjes buiten kunnen houden en tot nu toe is dat steeds gelukt.

Vandaag, vrijdag 13 november, hebben we twee toeristische vliegen in een klap geslagen. Rotorua staat bekend om twee dingen, namelijk de geothermische activiteit en de Maori-cultuur die je hier als toerist kunt ervaren. In het dorp Whakarewarewa vind je beide, en een gids vertelt er ons in een uur tijd vele interessante dingen over. Ook kun je er kijken naar de traditionele Maori-dans en muziek en hebben we dan de beroemde Haka (oorlogsdans) gezien. Rowan had z’n dag niet zo, en heeft tijdens ons bezoek aan Whakarewarewa vooral zitten mokken. Van te voren was hij een beetje bang voor de dansende Maori’s en ook voor het hete water uit de geisers. Alleen toen we na de rondleiding nog een stukje door het geothermische gebied hebben gewandeld, kwam hij een beetje tot leven, en toen we terug waren bij de camper zei hij vol enthousiasme dat hij het heel erg leuk vond in het Maori-dorp. Hij wilde de dans-voorstelling zelfs nog wel een keer zien. Snap jij het?

Op de weg terug naar de camping ligt nog een attractie, Skyline Rotorua, waar je met een gondeltje de berg op kunt, en waar je boven allerlei semi-sportieve activiteiten kunt doen, zoals mountain-biken, wijn proeven en rodelen. Nadat Rowan zo’n rodelkarretje en een filmpje had gezien, zag hij het helemaal zitten en dus zijn we naar boven gegaan. Met z’n drieen zijn we daar de berg af gezoefd, en dat vonden we alledrie erg leuk. Daarna terug naar de camping, snel koken en eten, en rond half 7 viel Rowan wel zo’n beetje om van de slaap.

Morgen rijden we misschien weer een stukje verder, maar we weten nog niet waar naartoe.

Volgende: See you later, North Island!

Kawakawa en Orewa

Posted on: Monday 9 November 2015 /
Categories: Nieuw-Zeeland

Vorige: We zijn vertrokken!

Inmiddels zijn we alweer een paar dagen onderweg met onze camper. De camper die we hebben gehuurd is zo ongeveer de grootste die ze hadden, met 6 slaapplaatsen. In Nederland zouden we er met ons B-rijbewijs niet mee mogen rijden (bruto gewicht meer dan 3500 kg), maar hier is dat blijkbaar geen probleem. Hij doet ‘t prima, maar tijdens het rijden heb je wel een enorm lawaai aan je kop. Alles in het interieur piept, kraakt en rammelt en kastjes springen onderweg zelfs open! Maar verder is het wel een comfortabel ding. De bedden zijn prima, de koelkast doet het en we kunnen binnen naar het toilet. Rijden met de camper is prima te doen, al is het bergop natuurlijk geen snelheidsmonster. En het scheelt dat er op de meeste plaatsen niet veel verkeer is. Natuurlijk is alles even wennen. De eerste keer dat we de camping verlieten, vergat ik gelijk om de stroomkabel los te maken en we waren al ruim van de camping af toen ik erachter kwam dat er een oranje lintworm aan onze auto hing 😉 Gelukkig was er niks kapot.

Wat ook erg meevalt hier, tot nu toe, is het weer. De nachten zijn fris, maar dankzij onze 6-persoons camper hebben we meer dan genoeg dekbedden en dekens om het lekker warm te houden. De dagen zijn tot nu toe warm (boven de 20 graden) en zonovergoten, al begon vandaag (maandag 9 november) bewolkt met een beetje regen. Wat we binnen een paar dagen al gemerkt hebben, is dat de zon hier erg fel is; je verbrandt in no-time, en veel en vaak smeren is hard nodig.

Zaterdagochtend (na onze vierde nacht in NZ) werden we voor het eerst (eindelijk!) op een normale tijd wakker en leek onze jetlag achter de rug. Deze ochtend hebben we afgesproken om op de koffie te gaan bij Jennifer, ex-schoonzus die 8 jaar geleden naar NZ is verhuisd. Zij woont in Kawakawa, op 20 minuten rijden van onze camping. Het was vreemd, maar ook leuk om haar daar in een totaal andere omgeving na zo lang weer te zien.

Na de koffie zijn we naar het centrum van Kawakawa gegaan, waarvandaan je met een stoomtreintje een stukje door de omgeving kunt rijden. Voor onze kleine treinen-freak was dat natuurlijk erg leuk en spannend! Voor z’n papa en mama trouwens ook hoor. Eerst met frietjes geluncht op het station, en daarna een klein uurtje in de trein. Na terugkomst zijn we nog even naar de Hundertwasser toilets gewandeld. Deze openbare toiletten zijn ontworpen door Friedensreich Hundertwasser, een Oostenrijks kunstenaar, die in deze plaats heeft gewoond tot hij in 2000 overleed.

Alsof we deze dag nog niet genoeg hadden gedaan, zijn we na ons bezoek aan Kawakawa naar Paihia gereden om onze mountain bikes uit te gaan proberen. In de buurt van Paihia is een waterval te vinden (Haruru Falls), waar een bospad naartoe loopt. Hoewel het bospad overal als wandelpad staat vermeld, hoopten wij dat we er met de fiets wel overheen zouden kunnen. Helaas. Al na een kleine 100 meter stond een hek waar je met de fiets niet door kon. Daarom zijn we maar over de gewone weg (deels asfalt, deels gravel) naar de watervallen gefietst. Dit fietstochtje van 5 km was toch best pittig. We zijn die heuvels niet zo gewend, he… Gelukkig was het wel de moeite waard; voor Rowan was het pootje baden bij de watervallen het hoogtepunt van de dag. Veel te moe waren we pas laat terug op de camping.

Inmiddels beginnen we ook het besef te krijgen, dat NZ een groot land is, en dat hier zoveel te zien is, dat 5 weken eigenlijk te kort is. Wij hebben ervoor gekozen om zowel het Noorder- als het Zuidereiland te bezoeken, en we moeten onze tijd dus verdelen. We hadden best nog wat langer bij de Bay of Islands willen blijven, want eigenlijk hebben we van de Bay niet zoveel gezien, maar we willen ook op tijd in Wellington de boot pakken om nog tijd over te houden voor het Zuidereiland. Daar komt nog bij, dat we met Rowan geen hele dagen in de camper willen zitten, en dus wat kleinere afstanden kunnen afleggen. Op zondag hebben zijn we daarom weer een stukje zuidwaarts gaan rijden, en zijn we gestopt in Orewa, een kustplaats net ten noorden van Auckland.

In Orewa hadden we een kampeerplek direct aan het strand. Heerlijk voor strandliefhebbers Rowan en Marijke; je kon zo op je blote voeten naar het strand rennen en aan een prachtig zandkasteel beginnen 🙂 ‘s Avonds zijn we richting het dorp gelopen en hebben we in een strandtentje wat gegeten met uitzicht over de Golf van Hauraki. Toen Rowan in bed lag, zijn we er eindelijk maar eens goed voor gaan zitten en hebben we een reisplannetje gemaakt voor de rest van het Noordereiland. We hebben namelijk al een boeking voor de veerboot naar het Zuidereiland, alleen heeft het reisbureau die al gepland voor komende woensdag. Die moeten we dus verzetten, alleen wisten we niet zo goed naar wanneer precies. Na veel wikken en wegen hebben we nu besloten dat we op woensdag 18 november de oversteek naar het zuiden willen maken en dat we dus nog slechts 9 dagen hebben om het Noordereiland verder te verkennen.

Kortom: op maandagochtend was het weer inpakken en wegwezen. Onze volgende bestemming: Coromandel, een rit van zo’n 200 km. Tot voorbij Auckland was dit een saaie snelweg, maar de laatste 50 km, langs de westkust van de Coromandel Peninsula, was een prachtige kustweg met schitterende uitzichten. De natuur is hier soms vergelijkbaar met Europa, maar vaak ook heel anders. De lucht is vol met geuren van bloesems en er staan zeer exotische bomen tussen de meer bekende. Wat we in Nederland als kamerplant houden, staat hier als onkruid langs de weg. Het grappige is dat het gras hier ook gewoon vol staat met madeliefjes en boterbloemen, dus dat lijkt dan weer op Nederland. Ook zien we hier, al zou je dat niet verwachten, veel koeien in de weilanden staan en vrij weinig schapen.

Zowel in Orewa als in Coromandel staan we op een “Top 10 Holiday Park“, en vooral deze laatste is bijzonder netjes en van alle gemakken voorzien. Overigens hebben we alle campings tot nu toe gevonden via de “CamperMate” app, waarmee je makkelijk op lokatie kunt zoeken en direct de reviews van andere kampeerders kunt lezen. Erg makkelijk. Alle campings tot nu toe hebben gratis WiFi (al werkt ‘t niet overal even snel) en meestal kunnen we ‘s avonds ergens binnen zitten met de babyfoon.

Kortom, we krijgen het reisritme langzaam maar zeker te pakken. Tot de volgende keer!

Volgende: Coromandel, Hobbiton en Rotorua

We zijn vertrokken!

Posted on: Saturday 7 November 2015 /
Categories: Nieuw-Zeeland

Dat wil zeggen: we hebben Nederland alweer bijna een week achter ons gelaten, maar vanochtend zijn we dan begonnen aan onze camper-rondreis.

De aanloop naar de reis, nog in Nederland, was niet helemaal zonder obstakels: zowel Marijke als onze kat Bufke hebben op ‘t laatste moment nog een flinke tandarts-behandeling ondergaan, Rowan had de nacht voor vertrek diarree en heeft overgegeven en de trein naar Schiphol die we wilden nemen reed niet. Maarr… zondagochtend om 07.49u stipt hebben we Eindhoven dan toch achter ons gelaten.

Op Schiphol zijn we uitgezwaaid door onze ouders, en precies op tijd vertrokken we met het vliegtuig naar Hong Kong. De vlucht verliep redelijk. Rowan kon liggen en heeft flink wat uurtjes geslapen, maar helaas gold dat niet voor ons. In Hong Kong hebben we snel ingecheckt in ons daghotel en hebben we lekker gedoucht en nog 4 uurtjes geslapen.

Om ‘n uur of 2 ‘s middags hebben we de Airport Express naar Hong Kong centrum genomen, en hebben we een stuk langs het water gelopen, naar het Hong Kong Observation Wheel, een flink reuzenrad met mooi uitzicht over de stad. Na nog een broodje en een drankje hadden we rond half 6 weer de trein naar het vliegveld.

‘s Avonds om 21:15u (met een kwartiertje vertraging) vertrok onze vlucht naar Auckland. We hadden in het vliegtuig een rij vooraan gekozen, zodat we Rowan op de grond konden laten slapen. Al snel hadden we een bedje voor hem gemaakt van een paar dekens en hij sliep echt binnen een paar minuten. Helaas kwam er al snel een steward vertellen dat de safety regulations het niet toestonden om op de grond te slapen. Maar op de stoelen slapen ging ook niet, want de stoelen op deze rij hadden geen opklapbare armleuningen. Gelukkig was er een paar rijen achter ons iemand bereid om van plaats te ruilen, en we hebben Rowan al slapend verplaatst. Helaas hebben wij zelf ook deze vlucht nauwelijks geslapen, dus we waren enigzins vermoeid toen we op dinsdagmiddag in Auckland aankwamen.

In Auckland duurt het wel even voordat je het land binnen bent. Nieuw-Zeeland heeft strenge regels als het gaat om het importeren van natuurproducten en je moet alles (van een appel tot de modder onder je wandelschoenen) aangeven bij de biosecurity screening. En als er tegelijk met jou net drie A380’s zijn geland, dan duurt dat even. Uiteindelijk viel dat toch wel mee, en rond 14:15u plaatselijke tijd troffen we John, onze AirBNB host die ons met de auto kwam ophalen, in de aankomsthal.

Bij John en Emma thuis hebben we onze bagage uitgepakt, heeft Marijke wat boodschappen gedaan en hebben we snel wat gegeten. Om 18u vielen we alledrie om van de slaap, en toen Rowan in bed lag zijn wij ook maar gaan slapen. Uiteraard werden we midden in de nacht wakker, en ik denk dat alleen Rowan na 4 uur ‘s nachts nog geslapen heeft. Overigens zijn we nu 2 dagen verder, maar we hebben allemaal nog steeds flink last van de jetlag. Hopelijk gaat ‘t vannacht beter.

Woensdag hebben we het rustigaan gedaan. Martijn wilde graag Auckland in om een glimp op te vangen van de huldiging van de All Blacks, het nationale rugbyteam, die ‘s middags in de stad werd gehouden, maar we hebben toch maar besloten om het bij een wandelingetje in de buurt te houden. John en Emma wonen vlak bij bos en kust, dus dat was best de moeit waard. Onze gastheer en gastvrouw zijn beide Engels van origine, maar wonen al flink wat jaartjes in Nieuw-Zeeland. Ze verhuren de onderverdieping van hun huis via AirBNB en hun gastvrijheid kent bijna geen grenzen. We hebben de hele avond bij hen aan de keukentafel zitten kletsen, onder het genot van een paar glaasjes wijn.

Donderdag was het dan tijd om onze camper op te gaan halen. Bij gebrek aan fatsoenlijk openbaar vervoer in Auckland hebben we een taxi genomen naar de afhaallokatie, vlakbij het vliegveld. Na het bekijken van een filmpje over wat praktische zaken konden we de camper in ontvangst nemen. De fietsen die we erbij gehuurd hadden, moesten we overigens ergens anders ophalen, dus dat was de volgende activiteit. Gelukkig konden we bij onze mountainbikes ook een kinderzitje voor Rowan krijgen, dus we kunnen deze vakantie met z’n drieen met de fiets op stap. Toch wilden we voor Rowan eigenlijk ook nog een eigen fietsje, en de verhuurder wist na een telefoontje een betaalbaar kinderfietsje te staan bij een Bike Barn fietsenwinkel, dus dat werd onze volgende bestemming. Met onze mega-camper, links rijdend door de drukte van het stadsverkeer werden we gelijk in het diepe gegooid. Uiteindelijk waren we rond 16u pas weer terug bij John en Emma. ‘s Avonds hebben we wat spullen ingepakt en heeft John ons wat reistips aan de hand gedaan.

Vrijdag waren we allemaal vroeg wakker en na een hartelijk afscheid van John en Emma waren we
rond kwart over 10 op weg. Op ons gemak zijn we gaan rijden in de richting van Paihia, bij de Bay of Islands in het noorden van het land. Na diverse stops onderweg (onder andere voor boodschappen) kwamen we rond 16 uur aan op het Beachside Holiday Park, waar we een mooi plekje tussen het water en de speeltuin hebben gevonden. Hier hebben we onze camper een beetje beter ingericht en na het eten snel Rowan naar bed gebracht. En nu is het bijna 22u op vrijdagavond en zit ik (Martijn) met licht-verkleumde vingertjes dit verhaal te typen 🙂

(En door netwerk-problemen is het inmiddels zaterdagavond voor ik dit verhaal kan posten, maar onze avonturen van vandaag bewaar ik voor de volgende keer).

Volgende: Kawakawa en Orewa

Fast & frequent incremental ZFS backups with zrep

Posted on: Friday 8 May 2015 /
Categories: Nerd Stuff

Recently, I replaced one of the Windows fileservers at $dayjob with a Debian-based Samba server. For the data storage, I chose ZFS on Linux. I have been running ZFS on Linux on my backup servers for a while now, and it seems that with the latest release (0.6.4.1, dated April 23 2015), most, if not all of the stability problems I had with earlier versions are gone.

ZFS backups

ZFS has a few features that make it really easy to back up efficiently and fast:

  1. Cheap snapshots.
  2. ZFS send / receive.

ZFS snapshots are cheap in that they don’t cost any performance. ZFS is a copy-on-write filesystem, which means that every block that needs changing, is first copied to a new block, and only after the update succeeds, the reference in the filesystem is updated to the new block. The old block is then freed, unless it is part of a snapshot, in which case the data is simply left intact. You can make many snapshots of a single ZFS filesystem (theoretically 264 in a storage pool) without any cost other than the disk space they consume, which is equal to the growth of your data (or rather: accumulated size of all changes) since the oldest snapshot.

ZFS allows you to take a shapshot and send it to another location as a byte stream with the zfs send command. The byte stream is sent to standard output, so you can do with it what you like: redirect it to a file, or pipe it through another process, for example ssh. On the other side of the pipe, the zfs receive command can take the byte stream and rebuild the ZFS snapshot. zfs send can also send incremental changes. If you have multiple snapshots, you can specify two snapshots and zfs send can send all snapshots inbetween as a single byte stream.

So basically, creating a fast incremental backup of a ZFS filesystem consists of the following steps:

  1. Create a new snapshot of the filesystem.
  2. Determine the last snapshot that was sent to the backup server.
  3. Send all snapshots, from the snapshot found in step 2 up to the new snapshot created in step 1, to the backup server, using SSH:
zfs send -I <old snapshot> <new snapshot> | ssh <backupserver> zfs receive <filesystem>

Of course, on the backup server you can leverage some of the other great features of ZFS: compression and deduplication.

Enter zrep.

Zrep

Zrep is a shell script (written in Ksh) that was originally designed as a solution for asynchronous (but continuous) replication of file systems for the purpose of high availability (using a push mechanism). It was later expanded with the possibility to create backups of a filesystem using a pull mechanism, meaning the replication is initiated from the backup server and no SSH access is needed to the backup server, as it would be with push-replication.

Zrep is quite simple to use and it has good documentation, although setting it up for use as a backup solution took me a few attempts to get right. I won’t go into the gory details here, but I’ll describe my setup.

It basically works like this:

  • Zrep needs to be installed on both sides.
  • The root user on the backup server needs to be able to ssh to the fileserver as root. This has security implications, see below.
  • A cron job on the backup server periodically calls zrep refresh. Currently, I run two backups hourly during office hours and another two during the night.
  • Zrep sets up an SSH connection to the file server and, after some sanity checking and proper locking, calls zfs send on the file server, piping the output through zfs receive:
ssh <fileserver> zfs send -I <old snapshot> <new snapshot> | zfs receive <filesystem>
  • Snapshots on the fileserver need not be kept for a long time, so we remove all but the last few snapshot in an hourly cron job (see below).
  • Snapshots on the backup server are expired and removed according to a certain retention schedule (see below).

SSH access and security

Since all ZFS operations, like making snapshots and using send / receive require root privileges (at least on Linux by default; other OSs like Solaris are more flexible in this, and even Linux may allow you to chown/chmod /dev/zfs to delegate these privileges – see this issue on Github for more information) , zrep must also run as root on both ends. This means that root needs SSH access to the fileserver, which could be a huge security problem. What I usually do to mitigate this as much as possible, is:

  1. SSH access is firewalled and only allowed from IPs that need to have access. Between datacenters, I use VPNs and externally routeable IP adresses generally do not have SSH access.
  2. PasswordAuthentication no
  3. PermitRootLogin forced-commands-only
  4. Use an SSH keypair specific to this application, and configure an entry for the fileserver in /root/.ssh/config on the backup server, using this key.
  5. Use a wrapper script for zrep and specify this as a forced command in root’s authorized_keys.
  6. Use a list of ‘from’ IPs (containing only your backup server(s)) for this specific key in root’s authorized_keys to restrict access even beyond the firewall.

The wrapper script can check the command it gets from the client and only exec the original command if nothing smells fishy.

I guess it would also be possible to use sudo, instead of granting root SSH access, but I haven’t tested this. If you would like to try it out: zrep allows for specifying the path to the zrep executable on the remote end using an environment variable (ZREP_PATH), so maybe it’s as easy as calling:

ZREP_PATH="sudo zrep" zrep refresh <pool/fs>

Since zrep on the backup server would still run as root, you would need to configure the user account to use in the SSH connection in /root/.ssh/config. For example:

Host myfileserver
    User zrep
    IdentityFile /root/.ssh/id_rsa_zrep

And of course you would need to configure sudo on the fileserver to allow the user of choice to execute zrep (or the wrapper script) as the root user without specifying a password. Let me know if it works, when you give it a try.

Backup retention / expiration

When using the ‘refresh‘ command, zrep does not automatically expire old snapshots like it does when using the more standard ‘sync’ replication features, so we have to trigger snapshot expiration by hand. Zrep keeps track of the snapshots that it makes and ships to the backup server by recording the timestamps in ZFS custom properties. It also provides an expire command, that lets you clean up old snapshots, but it is very rudimentary. It only allows you to specify a number of snapshots to keep (5 by default, but this value is changeable for local and remote snapshots independently) and if you call zrep expire, it just deletes all but the last 5 snapshots. This is fine for the fileserver itself, so we run an hourly cronjob, just telling zrep to expire all but the last 5 snapshots. The -L flag tells zrep to leave any remote (replicated) snapshots alone:

17 *    * * *   root    /usr/local/bin/zrep expire -L >/dev/null

On the backup server however, I would like a more sophisticated rentention schedule. We make snapshots frequently and even though there is no real technical benefit to cleaning them up, I don’t really want to keep all of them around. I’d like to retain backups to a more traditional schedule, like:

  • every snapshot for the past 48 hours
  • one backup daily for 15 days
  • one weekly backup for 4 weeks
  • one backup monthly for 6 months
  • a yearly snapshot for a couple of years

For this, we use a Python script called zrep-expire (Github). Zrep-expire looks at the creation time of a snapshot and checks it against an expiration rule. If, according to the rule, the snapshot is expired, it destroys the snapshot. The crontab entry looks like this:

55 6 * * * /usr/local/bin/zrep-expire -c /etc/zfs/zrep-expire.conf

Listing and restoring backups

A list of all snapshots with the most interesting properties can be viewed with:

/sbin/zfs list -t snapshot -o name,zrep:sent,creation,refer,used

ZFS on Linux, like Oracle Solaris ZFS, exposes snapshots in a .zfs/snapshot directory in the root of the filesystem. Please note that the .zfs directory is hidden and you will not see it even with ls -a. Each snapshot has an entry with its name in .zfs/snapshot, and the root user can cd into those subdirectories and copy files from there to their original location, or anywhere s/he wants. Remember that snapshots are read-only, so you cannot change any data there.

 

Thanks to Philip Brown, the author of Zrep, for some useful feedback on this post.

Introducing Trackserver WordPress plugin

Posted on: Wednesday 11 February 2015 /
Categories: GPS and mapping, Nerd Stuff

A while ago, I wrote a post titled “Self-hosted live online GPS tracking with Android“, in which I evaluated a few Android apps that can be used for, you guessed it, live online location tracking. The idea is, that you have your phone periodicially send your location to a web service while you’re on the go. The web service stores the location updates and optionally publishes them on a map.

While there are some apps that do this, there aren’t many (free) options for hosting your own server. That’s why I decided to write my own, and do it as a free and open source WordPress plugin, to make it as accessible as possible. Please meet Trackserver.

Trackserver is designed to work with TrackMe and OruxMaps. OsmAnd support is on the roadmap and I’m thinking about adding GpsGate support. All of these apps offer the possibility to periodically post location updates to a web URL that you can specify. Your own WordPress blog with the Trackserver plugin can ‘listen’ on such a URL to receive the updates and store them in a database. The plugin also offers a WordPress shortcode to include maps with your GPS tracks in your posts and pages, using the fantastic Leaflet library. Collecting and publishing your tracks has never been easier, at least not in a self-hosted website!

A short list of Trackserver’s features:

  • Collect location updates using several mobile apps
  • Publish your collected tracks on a map in your posts and pages
  • Upload tracks via an upload form in the WordPress admin backend
  • Upload tracks by sharing a GPX file from your mobile, using a sharing app like Autoshare
  • View, edit, delete and merge your tracks in the WordPress admin backend
  • Live tracking of your location, with automatic updates of the map view in your WordPress post
  • Full-screen map views

Trackserver’s WordPress admin allows you to upload GPX files to add new tracks, view, delete and merge tracks and edit their properties (name, comment, etc.). Please take a look at the plugin page at wordpress.org or the source code repository at Github. Both pages have more information on Trackserver’s features. The current version is 1.0, which has all the basic features described above.

Getting started with Trackserver is quite easy:

  1. Install the plugin in your WordPress site
  2. Install TrackeMe and/or OruxMaps on your Android phone
  3. Configure the app(s) with your WordPress URL, username and password (HowTo with screenshots is included in the plugin)
  4. Start tracking!

Feel free to give it a go, and if you do, let me know what you think!

 

1 2 3 4 5 6 … 27