Re: fusionner des bases

Bonjour,

J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour deux sites web.

Elles ont exactement la même structure (schéma, tables), seules les données sont différentes, même version de postgresql pour le serveur.

Cela fait quelques années qu'elles sont en prod et qu'elle se sont remplies allègrement.

On me demande maintenant si on peut les fusionner pour ne garder qu'un site.

Les bases sont énormes, une bonne soixantaine de tables, des serials/foreign key/blob/oids un peu partout, bref un joyeux petit monde.

Tout d'abord une telle opération est-elle possible ? Sachant qu'on a aussi certaines obligations par rapport à l'indisponibilité de ces sites web (je ne suis pas sure qu'on puisse se permettre plus d'une journée d'arrêt ou ½ journée).

Est-ce qu'il existe des outils, ou des procédures, au moins quelque chose qui permette de faire cela ?

Samantha

N'imprimez ce message que si vous en avez l'utilité

Première idée qui me viens... comme ça. Utiliser un ETL comme talend
par exemple. mais à mon avis c'est un vrai chantier d'analyse en
amont... Quel est la taille sur disque des bases ? Histoire d'avoir une
petite idée...

Le Wed, 17 Sep 2008 16:56:22 +0200,
"SOULABAILLE Samantha" <soulabaille(dot)s(at)mipih(dot)fr> a écrit :

> Bonjour,
>
>
>
> J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs
> pour deux sites web.
>
>
>
> Elles ont exactement la même structure (schéma, tables), seules les
> données sont différentes, même version de postgresql pour le serveur.
>
> Cela fait quelques années qu'elles sont en prod et qu'elle se sont
> remplies allègrement.
>
> On me demande maintenant si on peut les fusionner pour ne garder
> qu'un site.
>
>
>
> Les bases sont énormes, une bonne soixantaine de tables, des
> serials/foreign key/blob/oids un peu partout, bref un joyeux petit
> monde.
>
>
>
> Tout d'abord une telle opération est-elle possible ? Sachant qu'on a
> aussi certaines obligations par rapport à l'indisponibilité de ces
> sites web (je ne suis pas sure qu'on puisse se permettre plus d'une
> journée d'arrêt ou ½ journée).
>
> Est-ce qu'il existe des outils, ou des procédures, au moins quelque
> chose qui permette de faire cela ?
>
>
>
>
>
>
>
> Samantha
>
> N'imprimez ce message que si vous en avez l'utilité
>
>
>

SOULABAILLE Samantha a écrit :
> Bonjour,

Bonjour,

> J’ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
> deux sites web.
>
> Elles ont exactement la même structure (schéma, tables), seules les
> données sont différentes, même version de postgresql pour le serveur.
>
> Cela fait quelques années qu’elles sont en prod et qu’elle se sont
> remplies allègrement.
>
> On me demande maintenant si on peut les fusionner pour ne garder qu’un site.
>
> Les bases sont énormes, une bonne soixantaine de tables, des
> serials/foreign key/blob/oids un peu partout, bref un joyeux petit monde.
>
>
> Tout d’abord une telle opération est-elle possible ? Sachant qu’on a
> aussi certaines obligations par rapport à l’indisponibilité de ces sites
> web (je ne suis pas sure qu’on puisse se permettre plus d’une journée
> d’arrêt ou ½ journée).

Rien d'évident, qui pourrait se faire via quelques ordres SQL, ne me
vient à l'esprit pour fusionner vos bases.

Le principale problème que je vois est celui des clés automatiques.
Chacune de vos bases ayant son propre vécue, inévitablement les clés de
l'une vont déjà exister dans l'autre (référencent des tuples différents).

Peut-être pourriez-vous exporter les données de chaque base (pgdump).
Puis expérimenter une fusion sur ces données via un script intégrant
votre logique métier pour gérer la fusion. Les données ainsi traitées
seront ensuite remonter dans une base. Oui, c'est facile à dire ;)

> Est-ce qu’il existe des outils, ou des procédures, au moins quelque
> chose qui permette de faire cela ?

Pyton, PHP, Perl^W, ...

Stéphane.
(...)

SOULABAILLE Samantha a écrit :
> Bonjour,
>
>
>
> J’ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
> deux sites web.
>
>
>
> Elles ont exactement la même structure (schéma, tables), seules les
> données sont différentes, même version de postgresql pour le serveur.
>

Si la fusion est problématique du fait des Serials. Pourquoi ne pas
créer une nouvelle base (une 3ème) en la remplissant à l'aide des deux
premières.

A+
--
Pascal

40 Go pour la 1ère, environ 60 pour la 2ème.

-----Message d'origine-----
De : Jean-Samuel Reynaud [mailto:reynaud(at)elma(dot)fr]
Envoyé : mercredi 17 septembre 2008 17:44
À : SOULABAILLE Samantha
Cc : pgsql-fr-generale(at)postgresql(dot)org
Objet : Re: [pgsql-fr-generale] fusionner des bases

Première idée qui me viens... comme ça. Utiliser un ETL comme talend
par exemple. mais à mon avis c'est un vrai chantier d'analyse en
amont... Quel est la taille sur disque des bases ? Histoire d'avoir une
petite idée...

Le Wed, 17 Sep 2008 16:56:22 +0200,
"SOULABAILLE Samantha" <soulabaille(dot)s(at)mipih(dot)fr> a écrit :

> Bonjour,
>
>
>
> J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs
> pour deux sites web.
>
>
>
> Elles ont exactement la même structure (schéma, tables), seules les
> données sont différentes, même version de postgresql pour le serveur.
>
> Cela fait quelques années qu'elles sont en prod et qu'elle se sont
> remplies allègrement.
>
> On me demande maintenant si on peut les fusionner pour ne garder
> qu'un site.
>
>
>
> Les bases sont énormes, une bonne soixantaine de tables, des
> serials/foreign key/blob/oids un peu partout, bref un joyeux petit
> monde.
>
>
>
> Tout d'abord une telle opération est-elle possible ? Sachant qu'on a
> aussi certaines obligations par rapport à l'indisponibilité de ces
> sites web (je ne suis pas sure qu'on puisse se permettre plus d'une
> journée d'arrêt ou ½ journée).
>
> Est-ce qu'il existe des outils, ou des procédures, au moins quelque
> chose qui permette de faire cela ?
>
>
>
>
>
>
>
> Samantha
>
> N'imprimez ce message que si vous en avez l'utilité
>
>
>

Comment procéder pour remplir cette troisième base?

Samantha

-----Message d'origine-----
De : pgsql-fr-generale-owner(at)postgresql(dot)org [mailto:pgsql-fr-generale-owner(at)postgresql(dot)org] De la part de Pascal Brognez
Envoyé : jeudi 18 septembre 2008 08:24
Cc : pgsql-fr-generale(at)postgresql(dot)org
Objet : Re: [pgsql-fr-generale] fusionner des bases

SOULABAILLE Samantha a écrit :
> Bonjour,
>
>
>
> J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
> deux sites web.
>
>
>
> Elles ont exactement la même structure (schéma, tables), seules les
> données sont différentes, même version de postgresql pour le serveur.
>

Si la fusion est problématique du fait des Serials. Pourquoi ne pas
créer une nouvelle base (une 3ème) en la remplissant à l'aide des deux
premières.

A+
--
Pascal

On 17-09-2008, Stéphane Bunel wrote:
> SOULABAILLE Samantha a écrit :
>> Bonjour,
>
> Bonjour,
>
>> J’ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
>> deux sites web.
>>
>> Elles ont exactement la même structure (schéma, tables), seules les
>> données sont différentes, même version de postgresql pour le serveur.
>>
>> Cela fait quelques années qu’elles sont en prod et qu’elle se sont
>> remplies allègrement.
>>
>> On me demande maintenant si on peut les fusionner pour ne garder qu’un site.
>>
>> Les bases sont énormes, une bonne soixantaine de tables, des
>> serials/foreign key/blob/oids un peu partout, bref un joyeux petit monde.
>>
>>
>> Tout d’abord une telle opération est-elle possible ? Sachant qu’on a
>> aussi certaines obligations par rapport à l’indisponibilité de ces sites
>> web (je ne suis pas sure qu’on puisse se permettre plus d’une journée
>> d’arrêt ou ½ journée).
>
> Rien d'évident, qui pourrait se faire via quelques ordres SQL, ne me
> vient à l'esprit pour fusionner vos bases.

Est-ce qu'il n'y a pas déjà un moyen de copier une base dans l'autre
sous un autre schéma ? Ca permettrait déjà de pouvoir faire des requetes
de l'une vers l'autre.
Ensuite s'assurer que toutes les clés sont updatables en cascade, les
mettre à jour pour qu'il n'y ait pas de collision.
Désactiver les triggers et fusionner à coup d'insert.
Mettre à jour les serials.

--
William Dodé - http://flibuste.net
Informaticien Indépendant

Une des solution serait de:

1-créer une nouvelle base

2-d'importer sans modification la base la plus volumineuse

3-faire l'analyse de la fusion technique

4-annoncer les règles du jeu aux utilisateurs

5-importer les données transactionnelles de la deuxième base en traitant la
collision

6-faire une recette et recommencer à l'étape 5

Les tables sont à analyser selon leur nature pour trouver celles de :

- système (donnée de fondation)

- paramètres fonctionnels

- données transactionnelles

Ensuite il faudra annoncer les règles du jeu aux utilisateurs que cette
fusion est de nature technique et par la suite il faudra une fusion
fonctionnelle. Exemple : Un même fournisseur dans les deux bases, existera 2
fois et ce n'est pas la fusion technique qui va éliminer ce genre de
doublons.

Pour les données système il faudra vérifier la cohérence et choisir le
paramétrage de l'une ou de l'autre base. Cette règle s'appliquer également
aux paramètres fonctionnels. Si le code 100 indique la devise Euro dans une
base alors que dans l'autre le même code désigne le Dollar, il faudra faire
le choix de maintenir l'un des deux. Ensuite il faudra voir l'impact et
modifier toute la dépendance.

La fusion des données transactionnelles pose le problème de collision. Il
faudra trouver toutes les clés (contraintes référentielles),

et de les changer. Pour chacune des clés, on peut ajouter un incrément qui
correspond au Max de la clé de la première base. Exemple si l'identifiant
des fournisseurs dans la première base arrive à 657, pour la base à importer
il faudra prendre un incrément de 6000, ainsi plus tard, même selon la clé
on peut déterminer la provenance.

Personnellement sans cette démarche je ne ferais pas confiance aux boites
noir.

David

le 17 septembre 2008 16:56, SOULABAILLE Samantha <soulabaille(dot)s(at)mipih(dot)fr> a
écrit :

> Bonjour,
>
>
>
> J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
> deux sites web.
>
>
>
> Elles ont exactement la même structure (schéma, tables), seules les données
> sont différentes, même version de postgresql pour le serveur.
>
> Cela fait quelques années qu'elles sont en prod et qu'elle se sont remplies
> allègrement.
>
> On me demande maintenant si on peut les fusionner pour ne garder qu'un
> site.
>
>
>
> Les bases sont énormes, une bonne soixantaine de tables, des
> serials/foreign key/blob/oids un peu partout, bref un joyeux petit monde.
>
>
>
> Tout d'abord une telle opération est-elle possible ? Sachant qu'on a aussi
> certaines obligations par rapport à l'indisponibilité de ces sites web (je
> ne suis pas sure qu'on puisse se permettre plus d'une journée d'arrêt ou ½
> journée).
>
> Est-ce qu'il existe des outils, ou des procédures, au moins quelque chose
> qui permette de faire cela ?
>
>
>
>
>
>
>
> Samantha
>
> *N'imprimez ce message que si vous en avez l'utilité*
>
>
>

SOULABAILLE Samantha a écrit :
Bonjour,

>> J'ai un (énorme) souci avec deux bases hébergées sur deux serveurs pour
>> deux sites web.
>>
>>
>>
>> Elles ont exactement la même structure (schéma, tables), seules les
>> données sont différentes, même version de postgresql pour le serveur.
>>
>
> Si la fusion est problématique du fait des Serials. Pourquoi ne pas
> créer une nouvelle base (une 3ème) en la remplissant à l'aide des deux
> premières.

>> Comment procéder pour remplir cette troisième base?

Comment je ferais?
(Il y a certainement d'autres méthodes.)

Il faut bien connaître la structure de la base.
Il y a des tables liées par un enregistrement (clé étrangère).

J'écrirais un script qui commence par lire une table (dont l'identifiant
n'est pas clé étrangère d'une autre table).
Après lecture d'un enregistrement je récupère l'Id serial (base1), je
crée un nouvel enregistrement dans la 3ème base, je récupère l'id serial
base3.
Je cherche les enregistrements des tables liées avec l'id serial base1
et les écrit dans la base 3
etc.
C'est simple.

Comme les données de base1 (et base2) ne sont pas modifiées, tu as droit
à l'erreur et tu peux mettre au point ton script.

A+
--
Pascal

Pascal Brognez a écrit :

>
> Il faut bien connaître la structure de la base.
> Il y a des tables liées par un enregistrement (clé étrangère).
>
>
> J'écrirais un script qui commence par lire une table

> (dont l'identifiant n'est pas clé étrangère d'une autre table).
Ce n'est pas ce que je voulais exprimer. Je voulais dire le contraire.
Lire les tables sans clés étrangères.

A+
--
pascal