Re: Mise en place de la réplication

Bonjour,

Je suis en train d'essayer de mettre en place la réplication entre deux serveurs Postgresql.

J'aimerai faire la synchro sur une interface réseau dédiée uniquement à ça, est-ce possible et facile à paramétrer ?

Autre point qui me tarabuste, c'est le fait de copier les wall après leur génération complète et uniquement
quand un fichier est plein il est copié avec la commande (scp avec échange de clé) ou rsync.

Ne serait-il pas plus performant de mettre en place drbd et du coup s'aquitter de cette copie ?

La version que j'utilise est RHEL 6.5, mais vraisemblablement je vais devoir passer par la compilation des sources car
je ne trouve rien sur DRBD dans les dépots. Ce que j'ai trouvé et qui sont packagés, ne supporte pas la version
du kernel 2.6.32-431.el6.x86_64 que j'ai en place.

Christophe Mailhebuau
Systèmes Open source
Direction du Système d'Information
14 Rue François de Sourdis
33077 Bordeaux Cedex - France

Tel +33 (0)5.57.57.82.21
Fax +33 (0)5.56.56.38.58
GSM : 06.30.11.09.77

--

Bonjour, je trouve la streaming replication plutôt simple à mettre en
oeuvre (version 9.0 et au dessus).

Il y une présentation de Bruce Momjian pas mal sur ce sujet :
http://momjian.us/main/writings/pgsql/hot_streaming_rep.pdf

VL
<http://momjian.us/main/writings/pgsql/hot_streaming_rep.pdf>
Christophe Mailhebuau a écrit :
> Bonjour,
>
> Je suis en train d'essayer de mettre en place la réplication entre
> deux serveurs Postgresql.
>
> J'aimerai faire la synchro sur une interface réseau dédiée uniquement
> à ça, est-ce possible et facile à paramétrer ?
>
> Autre point qui me tarabuste, c'est le fait de copier les wall après
> leur génération complète et uniquement
> quand un fichier est plein il est copié avec la commande (scp avec
> échange de clé) ou rsync.
>
> Ne serait-il pas plus performant de mettre en place drbd et du coup
> s'aquitter de cette copie ?
>
> La version que j'utilise est RHEL 6.5, mais vraisemblablement je vais
> devoir passer par la compilation des sources car
> je ne trouve rien sur DRBD dans les dépots. Ce que j'ai trouvé et qui
> sont packagés, ne supporte pas la version
> du kernel 2.6.32-431.el6.x86_64 que j'ai en place.
>
>
> *Christophe Mailhebuau*
> *Systèmes Open source
> Direction du Système d'Information
> 14 Rue François de Sourdis
> 33077 Bordeaux Cedex - France*
> *
> Tel +33 (0)5.57.57.82.21
> Fax +33 (0)5.56.56.38.58*
> *GSM : 06.30.11.09.77
> *

--

Bonjour,

je pense en effet que la réplication streaming serait la plus adaptée. Le
wiki montre d'ailleurs comment la mettre en place:
https://wiki.postgresql.org/wiki/Streaming_Replication.

Je ne sais pas quelle version de PostgreSQL est packagée avec RedHat 6 (8.4
possiblement lors de sa sortie, possiblement une autre désormais), mais il
est possible d'utiliser d'autres versions, en particulier les plus
récentes, en activant les dépots yum:
https://wiki.postgresql.org/wiki/YUM_Installation.

Cordialement,

Anthony

2015-04-14 11:40 GMT+02:00 "Laborie Vincent N1T (SCT/BCOF/SDAC/ST(SI)²)" <
vincent(dot)laborie(at)gendarmerie(dot)interieur(dot)gouv(dot)fr>:

> Bonjour, je trouve la streaming replication plutôt simple à mettre en
> œuvre (version 9.0 et au dessus).
>
> Il y une présentation de Bruce Momjian pas mal sur ce sujet :
> http://momjian.us/main/writings/pgsql/hot_streaming_rep.pdf
>
> VL
> <http://momjian.us/main/writings/pgsql/hot_streaming_rep.pdf>
> Christophe Mailhebuau a écrit :
>
> Bonjour,
>
> Je suis en train d'essayer de mettre en place la réplication entre deux
> serveurs Postgresql.
>
> J'aimerai faire la synchro sur une interface réseau dédiée uniquement à
> ça, est-ce possible et facile à paramétrer ?
>
> Autre point qui me tarabuste, c'est le fait de copier les wall après
> leur génération complète et uniquement
> quand un fichier est plein il est copié avec la commande (scp avec
> échange de clé) ou rsync.
>
> Ne serait-il pas plus performant de mettre en place drbd et du coup
> s'aquitter de cette copie ?
>
> La version que j'utilise est RHEL 6.5, mais vraisemblablement je vais
> devoir passer par la compilation des sources car
> je ne trouve rien sur DRBD dans les dépots. Ce que j'ai trouvé et qui
> sont packagés, ne supporte pas la version
> du kernel 2.6.32-431.el6.x86_64 que j'ai en place.
>
>
> *Christophe Mailhebuau*
>
>
>
> *Systèmes Open source Direction du Système d'Information 14 Rue François
> de Sourdis 33077 Bordeaux Cedex - France*
>
>
> * Tel +33 (0)5.57.57.82.21 <%2B33%20%280%295.57.57.82.21> Fax +33
> (0)5.56.56.38.58 <%2B33%20%280%295.56.56.38.58>*
>
> *GSM : 06.30.11.09.77 *
>
>
> --
>
> Ce message électronique et tous les fichiers attachés qu'il contient sont
> confidentiels et destinés exclusivement à l'usage de la personne à laquelle
> ils sont adressés. Si vous avez reçu ce message par erreur, merci de le
> retourner à son émetteur. La publication, l'usage, la distribution,
> l'impression ou la copie non autorisée de ce message et des attachements
> qu'il contient sont strictement interdits.
>
> En cas d'urgence, composez le 17 ou le 112.
> Afin de contribuer au respect de l'environnement, merci de n'imprimer cet
> e-mail qu'en cas de necessite.
>
> This e-mail and any files transmitted with it are confidential and
> intended solely for the use of the individual to whom it is addressed. If
> you have received this email in error please send it back to the person
> that sent it to you. Unauthorized publication, use, dissemination,
> forwarding, printing or copying of this email and its associated
> attachments is strictly prohibited.
>
> In case of emergency, dial number 17 or 112.
> To contribute to the environmental protection, please print this e-mail
> only if necessary.
>
>
> --
> Envoi via la liste pgsql-fr-generale (pgsql-fr-generale(at)postgresql(dot)org)
>
>

Bonjour,

On 14/04/2015 11:14, Christophe Mailhebuau wrote:
> Bonjour,
>
> Je suis en train d'essayer de mettre en place la réplication entre deux
> serveurs Postgresql.

Quelle version de PostgreSQL utilisez-vous ?
>
> J'aimerai faire la synchro sur une interface réseau dédiée uniquement à ça,
> est-ce possible et facile à paramétrer ?

Oui. C'est tout à fait possible.
Il suffit de configurer le réplicat pour qu'il se connecte sur l'IP dédié du
noeud principal.

>
> Autre point qui me tarabuste, c'est le fait de copier les wall après leur
> génération complète et uniquement
> quand un fichier est plein il est copié avec la commande (scp avec échange de
> clé) ou rsync.

Il y a plusieurs façon de faire de la réplication interne.
Aujourd'hui, il existe la réplication en continu (streaming replication) qui
réplique les informations au fur et à mesure des validations de transactions.

>
> Ne serait-il pas plus performant de mettre en place drbd et du coup s'aquitter
> de cette copie ?

Ce n'est pas la même façon de procéder. Et vous n'adressez pas les mêmes besoins.

Dans un cas PostgreSQL gère le transfert d'information, et le deuxième noeud
est accessible en lecture, dans l'autre cas, vous vous reposez sur un
utilitaire tiers pour gérer la réplication à la place de PostgreSQL.
Et avec drbd, vos fichiers ne sont pas lisibles sur le réplicat. Du coup, c'est
tout le serveur que vous devrez répliquer en drbd, pas juste les WAL.

D'autre part, drbd ne vous garantit pas la cohérence des informations dans les
fichiers WAL. Il vous garantit que chaque octet écrit dans le fichier maître
est copié sur l'esclave.

--
Stéphane Schildknecht
Contact régional PostgreSQL pour l'Europe francophone
Loxodata - Conseil, expertise et formations
06.17.11.37.42

Le 14 avril 2015 11:14, Christophe Mailhebuau <
christophe(dot)mailhebuau(at)aquitaine(dot)fr> a écrit :

> Bonjour,
>
> Je suis en train d'essayer de mettre en place la réplication entre deux
> serveurs Postgresql.
>
> J'aimerai faire la synchro sur une interface réseau dédiée uniquement à
> ça, est-ce possible et facile à paramétrer ?
>
> Autre point qui me tarabuste, c'est le fait de copier les wall après leur
> génération complète et uniquement
> quand un fichier est plein il est copié avec la commande (scp avec échange
> de clé) ou rsync.
>
> Ne serait-il pas plus performant de mettre en place drbd et du coup
> s'aquitter de cette copie ?
>
> La version que j'utilise est RHEL 6.5, mais vraisemblablement je vais
> devoir passer par la compilation des sources car
> je ne trouve rien sur DRBD dans les dépots. Ce que j'ai trouvé et qui sont
> packagés, ne supporte pas la version
> du kernel 2.6.32-431.el6.x86_64 que j'ai en place.
>
>
>
Bonjour,

Vous pouvez effectivement faire de la réplication par transfert de journaux
de transaction et "rejeu". Depuis la version 9.2 de Postgres il est
possible de faire la réplication en flux ou streaming replication. Cette
technique permet, entre autre, de réduire le delta entre deux journaux.
J'ai écris quelques articles là dessus :
https://blog.anayrat.info/2015/01/02/replication-par-transfert-de-journaux-de-transaction-part-2/
https://blog.anayrat.info/2015/01/03/replication-en-flux-streaming-replication-avec-un-secondaire-en-warm-standby-part-3/
https://blog.anayrat.info/2015/01/05/replication-en-flux-avec-un-secondaire-en-hot-standby-accepte-les-requetes-en-lecture-seule-part-4/

Il y a aussi ces deux articles parus dans Linux Mag :
http://www.dalibo.org/glmf131_mise_en_place_replication_postgresl_9.0_1
http://www.dalibo.org/glmf131_mise_en_place_replication_postgresl_9.0_2

My 2 cents

Bonjour,

Merci pour le lien, mais c'est bien dommage qu'il ne soit pas en français ;-)

Je le garde sous le coude.

Christophe Mailhebuau
Systèmes Open source
Direction du Système d'Information
14 Rue François de Sourdis
33077 Bordeaux Cedex - France

Tel +33 (0)5.57.57.82.21
Fax +33 (0)5.56.56.38.58
GSM : 06.30.11.09.77

----- Mail original -----

De: "Laborie Vincent N1T (SCT/BCOF/SDAC/ST(SI)²)" <vincent(dot)laborie(at)gendarmerie(dot)interieur(dot)gouv(dot)fr>
À: pgsql-fr-generale(at)postgresql(dot)org
Envoyé: Mardi 14 Avril 2015 11:40:40
Objet: [pgsql-fr-generale] Re: [Internet] [pgsql-fr-generale] Mise en place de la réplication

Bonjour, je trouve la streaming replication plutôt simple à mettre en œuvre (version 9.0 et au dessus).

Il y une présentation de Bruce Momjian pas mal sur ce sujet : http://momjian.us/main/writings/pgsql/hot_streaming_rep.pdf

VL

Christophe Mailhebuau a écrit :

Bonjour,

Je suis en train d'essayer de mettre en place la réplication entre deux serveurs Postgresql.

J'aimerai faire la synchro sur une interface réseau dédiée uniquement à ça, est-ce possible et facile à paramétrer ?

Autre point qui me tarabuste, c'est le fait de copier les wall après leur génération complète et uniquement
quand un fichier est plein il est copié avec la commande (scp avec échange de clé) ou rsync.

Ne serait-il pas plus performant de mettre en place drbd et du coup s'aquitter de cette copie ?

La version que j'utilise est RHEL 6.5, mais vraisemblablement je vais devoir passer par la compilation des sources car
je ne trouve rien sur DRBD dans les dépots. Ce que j'ai trouvé et qui sont packagés, ne supporte pas la version
du kernel 2.6.32-431.el6.x86_64 que j'ai en place.

Christophe Mailhebuau
Systèmes Open source
Direction du Système d'Information
14 Rue François de Sourdis
33077 Bordeaux Cedex - France

Tel +33 (0)5.57.57.82.21
Fax +33 (0)5.56.56.38.58
GSM : 06.30.11.09.77

--

[Fichier texte:avertissement.txt]

--
Envoi via la liste pgsql-fr-generale (pgsql-fr-generale(at)postgresql(dot)org)

--

Bonjour,

Et bien je crois que j'ai pas mal de lecture à faire.

Coté drbd pour l'avoir utilisé et mis en place en 2006, il ne voit qu'un seul volume
me semble-t-il, du fait les fichiers sont identique puisque l'on gère un miroir.

n'ayant rien trouvé sur le sujet, je vais rester sur du rsync ou ssh.

Merci pour vos retours. J'utilise la version 9.2.

Je ferai appel à vous si j'ai des soucis ;-)

Christophe Mailhebuau
Systèmes Open source
Direction du Système d'Information
14 Rue François de Sourdis
33077 Bordeaux Cedex - France

Tel +33 (0)5.57.57.82.21
Fax +33 (0)5.56.56.38.58
GSM : 06.30.11.09.77

----- Mail original -----
De: "Stéphane Schildknecht" <stephane(dot)schildknecht(at)postgres(dot)fr>
À: pgsql-fr-generale(at)postgresql(dot)org
Envoyé: Mardi 14 Avril 2015 11:54:25
Objet: Re: [pgsql-fr-generale] Mise en place de la réplication

Bonjour,

On 14/04/2015 11:14, Christophe Mailhebuau wrote:
> Bonjour,
>
> Je suis en train d'essayer de mettre en place la réplication entre deux
> serveurs Postgresql.

Quelle version de PostgreSQL utilisez-vous ?
>
> J'aimerai faire la synchro sur une interface réseau dédiée uniquement à ça,
> est-ce possible et facile à paramétrer ?

Oui. C'est tout à fait possible.
Il suffit de configurer le réplicat pour qu'il se connecte sur l'IP dédié du
noeud principal.

>
> Autre point qui me tarabuste, c'est le fait de copier les wall après leur
> génération complète et uniquement
> quand un fichier est plein il est copié avec la commande (scp avec échange de
> clé) ou rsync.

Il y a plusieurs façon de faire de la réplication interne.
Aujourd'hui, il existe la réplication en continu (streaming replication) qui
réplique les informations au fur et à mesure des validations de transactions.

>
> Ne serait-il pas plus performant de mettre en place drbd et du coup s'aquitter
> de cette copie ?

Ce n'est pas la même façon de procéder. Et vous n'adressez pas les mêmes besoins.

Dans un cas PostgreSQL gère le transfert d'information, et le deuxième noeud
est accessible en lecture, dans l'autre cas, vous vous reposez sur un
utilitaire tiers pour gérer la réplication à la place de PostgreSQL.
Et avec drbd, vos fichiers ne sont pas lisibles sur le réplicat. Du coup, c'est
tout le serveur que vous devrez répliquer en drbd, pas juste les WAL.

D'autre part, drbd ne vous garantit pas la cohérence des informations dans les
fichiers WAL. Il vous garantit que chaque octet écrit dans le fichier maître
est copié sur l'esclave.

--
Stéphane Schildknecht
Contact régional PostgreSQL pour l'Europe francophone
Loxodata - Conseil, expertise et formations
06.17.11.37.42

--