Re: Copy from : ERROR: date/time field value out of range

Bonjour

J'utilise Copy pour charger les données depuis un fichier plat dans une
table dont voici la description :

Column | Type | Modifiers
-----------+-----------------------------+-----------
to_ref | bigint | not null
to_entity | character(40) | not null
to_date | timestamp without time zone | not null
to_time | timestamp without time zone | not null
to_occ | text |

La commande copy est la suivante :

copy toto from '/tmp/x.dat' delimiters '~'

dans mon fichier x.dat il y a les données suivants ( un million
d'enregistrement ):
...
3454495~TQKQD ~12.03.2007 00:00:00~01.01.1900 17:35:26~
3454496~HHKKF ~12.03.2007 00:00:00~01.01.1900 17:35:34~
3454497~BBIIL ~12.03.2007 00:00:00~01.01.1900 17:35:39~
3454501~IKKFFS ~12.03.2007 00:00:00~01.01.1900 17:43:16~
3454502~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:44:33~
3454503~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:46:16~
3454504~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:47:52~
3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
...

L'erreur est la suivante :
ERROR: date/time field value out of range: "13.03.2007 00:00:00"
HINT: Perhaps you need a different "datestyle" setting.
CONTEXT: COPY toto, line 89846, column to_date: "13.03.2007 00:00:00"

Pour info la ligne 89846 correspond a la dernière ligne de mes données.

Merci pour vos lumières

Bonjour,

$ psql < create_table.sql
CREATE TABLE

(recréé à partir de votre description)

jpargudo=# show datestyle ;
DateStyle
-----------
ISO, DMY
(1 ligne)

jpargudo=# copy toto from
'/home/jpargudo/PostgreSQL/misc/copy_problem/data.txt' delimiters '~';

COPY 8

jpargudo=# select * from toto ;
to_ref | to_entity | to_date
| to_time | to_occ
---------+------------------------------------------+---------------------+---------------------+--------
3454495 | TQKQD | 2007-03-12
00:00:00 | 1900-01-01 17:35:26 |
3454496 | HHKKF | 2007-03-12
00:00:00 | 1900-01-01 17:35:34 |
3454497 | BBIIL | 2007-03-12
00:00:00 | 1900-01-01 17:35:39 |
3454501 | IKKFFS | 2007-03-12
00:00:00 | 1900-01-01 17:43:16 |
3454502 | ADJUSTMENT | 2007-03-12
00:00:00 | 1900-01-01 17:44:33 |
3454503 | ADJUSTMENT | 2007-03-12
00:00:00 | 1900-01-01 17:46:16 |
3454504 | ADJUSTMENT | 2007-03-12
00:00:00 | 1900-01-01 17:47:52 |
3454517 | TFFFR | 2007-03-13
00:00:00 | 1900-01-01 08:53:20 |
(8 lignes)

Tout est ok.

Pouvez-vous vérifier cela:

jpargudo=# show datestyle ;
DateStyle
-----------
ISO, DMY
(1 ligne)

Si vous n'avez pas cela, mais par exemple MDY, comme je le soupçonne, on
tombe sur les messages d'erreurs que vous avez:

jpargudo=# set datestyle TO 'MDY';
SET

jpargudo=# copy toto from
'/home/jpargudo/PostgreSQL/misc/copy_problem/data.txt' delimiters '~';

ERREUR: Valeur du champ date/time en dehors des limites : «13.03.2007
00:00:00»
HINT: Peut-être avez-vous besoin d'un paramétrage «datestyle» différent.
CONTEXT: COPY toto, ligne 8, colonne to_date : «13.03.2007 00:00:00»

Mon avis, c'est que le paramétrage des "locales" de votre serveur n'est
pas fait, que vous avez probablement tout en langue "C" par défaut. Du
coup, vous *devrez* spécifier le DATESTYLE, comme on vous l'indique.

Par exemple, comparer le résultat de cette requête avec votre installation:

jpargudo=# select name, setting from pg_settings where name ~* 'lc';
name | setting
-------------+-------------
lc_collate | fr_FR.utf-8
lc_ctype | fr_FR.utf-8
lc_messages | fr_FR.utf-8
lc_monetary | fr_FR.utf-8
lc_numeric | fr_FR.utf-8
lc_time | fr_FR.utf-8
(6 lignes)

Je suis prêt à parier que vous avez des "C" partout, n'est-ce pas?

--
Jean-Paul Argudo
http://www.dalibo.com
http://www.PostgreSQLFr.org

Bonjour David,
AMHA, il serait plus optimum d'utiliser un via un coup de
sed/awk/perl/python (j'oublie personne) une date iso au format :
YYYY-mm-dd HH:MM:SS

Avec un sed (pas très élégant) on peut écrire :
cat fichieraplat.txt | sed -e
's/\([0-9][0-9]\)\.\([0-9][0-9]\)\.\([0-9][0-9][0-9][0-9]\)/\3-\2-\1/g'
> /tmp/fichiertransforme.txt

Cordialement,

--
Jean-Christophe Arnu

Le 30/07/07, David Tokmatchi<david(dot)tokmatchi(at)gmail(dot)com> a écrit :
>
>
> Bonjour
>
> J'utilise Copy pour charger les données depuis un fichier plat dans une
> table dont voici la description :
>
> Column | Type | Modifiers
> -----------+-----------------------------+-----------
> to_ref | bigint | not null
> to_entity | character(40) | not null
> to_date | timestamp without time zone | not null
> to_time | timestamp without time zone | not null
> to_occ | text |
>
> La commande copy est la suivante :
>
> copy toto from '/tmp/x.dat' delimiters '~'
>
> dans mon fichier x.dat il y a les données suivants ( un million
> d'enregistrement ):
> ...
> 3454495~TQKQD ~12.03.2007 00:00:00~01.01.1900 17:35:26~
> 3454496~HHKKF ~12.03.2007 00:00:00~01.01.1900 17:35:34~
> 3454497~BBIIL ~12.03.2007 00:00:00~01.01.1900 17:35:39~
> 3454501~IKKFFS ~12.03.2007 00:00:00~01.01.1900 17:43:16~
> 3454502~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:44:33~
> 3454503~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:46:16~
> 3454504~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:47:52~
> 3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
> ...
>
> L'erreur est la suivante :
> ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> HINT: Perhaps you need a different "datestyle" setting.
> CONTEXT: COPY toto, line 89846, column to_date: " 13.03.2007 00:00:00"
>
> Pour info la ligne 89846 correspond a la dernière ligne de mes données.
>
> Merci pour vos lumières

David Tokmatchi a écrit :
>
> Bonjour
>
> J'utilise Copy pour charger les données depuis un fichier plat dans
> une table dont voici la description :
>
> Column | Type | Modifiers
> -----------+-----------------------------+-----------
> to_ref | bigint | not null
> to_entity | character(40) | not null
> to_date | timestamp without time zone | not null
> to_time | timestamp without time zone | not null
> to_occ | text |
>
> La commande copy est la suivante :
>
> copy toto from '/tmp/x.dat' delimiters '~'
>
> dans mon fichier x.dat il y a les données suivants ( un million
> d'enregistrement ):
> ...
> 3454495~TQKQD ~12.03.2007 00:00:00~01.01.1900 17:35:26~
> 3454496~HHKKF ~12.03.2007 00:00:00~01.01.1900 17:35:34~
> 3454497~BBIIL ~12.03.2007 00:00:00~01.01.1900 17:35:39~
> 3454501~IKKFFS ~12.03.2007 00:00:00~01.01.1900 17:43:16~
> 3454502~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:44:33~
> 3454503~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:46:16~
> 3454504~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:47:52~
> 3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
> ...
>
> L'erreur est la suivante :
> ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> HINT: Perhaps you need a different "datestyle" setting.
> CONTEXT: COPY toto, line 89846, column to_date: " 13.03.2007 00:00:00"
>
Le paramètre DateStyle de postgresql est par défaut MDY (Month Day Year)
Si dans la base de réception date style n'est pas en DMY (comme cela à
l'air d'être le cas) 13.03.2007 ne peut être valide.
Exemple pour les dates à la francaise :
-bash-3.2$ psql postgres
Bienvenue dans psql 8.2.4, l'interface interactive de PostgreSQL.

Tapez: \copyright pour les termes de distribution
\h pour l'aide-mémoire des commandes SQL
\? pour l'aide-mémoire des commandes psql
\g ou point-virgule en fin d'instruction pour exécuter la requête
\q pour quitter

postgres=# SHOW datestyle ;
DateStyle
-----------
ISO, DMY
(1 ligne)

Note : ce paramètre peut être modifié par un 'alter database'.

Sinon je pense que la notation iso8601 (YYYY-MM-DD) fonctionne quelque
soit le paramètre
postgres=# SELECT '2007-10-23'::timestamp;
timestamp
---------------------
2007-10-23 00:00:00

> Pour info la ligne 89846 correspond a la dernière ligne de mes données.
>
> Merci pour vos lumières
>

On Mon, 2007-07-30 at 16:43 +0200, David Tokmatchi wrote:
> Bonjour
>
> J'utilise Copy pour charger les données depuis un fichier plat dans
> une table dont voici la description :
>
> Column | Type | Modifiers
> -----------+-----------------------------+-----------
> to_ref | bigint | not null
> to_entity | character(40) | not null
> to_date | timestamp without time zone | not null
> to_time | timestamp without time zone | not null
> to_occ | text |
>
> La commande copy est la suivante :
>
> copy toto from '/tmp/x.dat' delimiters '~'
>
> dans mon fichier x.dat il y a les données suivants ( un million
> d'enregistrement ):
> ...
...
> 3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
> ...
>
> L'erreur est la suivante :
> ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> HINT: Perhaps you need a different "datestyle" setting.
> CONTEXT: COPY toto, line 89846, column to_date: " 13.03.2007 00:00:00"
>
> Pour info la ligne 89846 correspond a la dernière ligne de mes
> données.
>
> Merci pour vos lumières

Tu dois dire à PostgreSQL d'utiliser des dates européennes. Il
interprète 13.03.2007 comme le troisième jour du treizième mois.

SET DATESTYLE TO 'Euro';

ou change DateStyle dans le fichier postgresql.conf.

--
Oliver Elphick olly(at)lfix(dot)co(dot)uk
Isle of Wight http://www.lfix.co.uk/oliver
GPG: 1024D/A54310EA 92C8 39E7 280E 3631 3F0E 1EC0 5664 7A2F A543 10EA
========================================
Do you want to know God? http://www.lfix.co.uk/knowing_god.html

--
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Rebonjour,
c'est vrai qu'on peut également dire à PostgreSQL de changer son
parser de date :
SET datestyle Postgres, DMY

doit pouvoir vous sortir de ce problème. Sinon la lecture de

http://docs.postgresqlfr.org/7.4/datatype-datetime.html
http://docs.postgresqlfr.org/7.4/datetime-appendix.html

est très instructive.

--
Jean-Christophe Arnu

Le 30/07/07, David Tokmatchi<david(dot)tokmatchi(at)gmail(dot)com> a écrit :
>
>
> Bonjour
>
> J'utilise Copy pour charger les données depuis un fichier plat dans une
> table dont voici la description :
>
> Column | Type | Modifiers
> -----------+-----------------------------+-----------
> to_ref | bigint | not null
> to_entity | character(40) | not null
> to_date | timestamp without time zone | not null
> to_time | timestamp without time zone | not null
> to_occ | text |
>
> La commande copy est la suivante :
>
> copy toto from '/tmp/x.dat' delimiters '~'
>
> dans mon fichier x.dat il y a les données suivants ( un million
> d'enregistrement ):
> ...
> 3454495~TQKQD ~12.03.2007 00:00:00~01.01.1900 17:35:26~
> 3454496~HHKKF ~12.03.2007 00:00:00~01.01.1900 17:35:34~
> 3454497~BBIIL ~12.03.2007 00:00:00~01.01.1900 17:35:39~
> 3454501~IKKFFS ~12.03.2007 00:00:00~01.01.1900 17:43:16~
> 3454502~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:44:33~
> 3454503~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:46:16~
> 3454504~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:47:52~
> 3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
> ...
>
> L'erreur est la suivante :
> ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> HINT: Perhaps you need a different "datestyle" setting.
> CONTEXT: COPY toto, line 89846, column to_date: " 13.03.2007 00:00:00"
>
> Pour info la ligne 89846 correspond a la dernière ligne de mes données.
>
> Merci pour vos lumières

Bonjour,

Le lundi 30 juillet 2007, David Tokmatchi a écrit :
> J'utilise Copy pour charger les données depuis un fichier plat dans une
> table dont voici la description :
[...]
> L'erreur est la suivante :
> ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> HINT: Perhaps you need a different "datestyle" setting.
> CONTEXT: COPY toto, line 89846, column to_date: "13.03.2007 00:00:00"
>
> Pour info la ligne 89846 correspond a la dernière ligne de mes données.

Et avec la ligne suivante juste avant le COPY ?
set datestyle to 'dmy';

Il me semble que par défaut PostgreSQL est configuré en mdy, c'est à dire avec
le mois avant le jour, ce qui expliquerait assez bien son incompréhension
devant la date 13.03.2007...

Cordialement,
--
dim

Merci à tous, après cette commande le chargement se passe correctement :
*set datestyle to 'dmy';*

Voici quand même des personnes qui m'ont demandé des infos suivantes :

pg_bench=# show datestyle ;
DateStyle
-----------
ISO, MDY
(1 row)

pg_bench=# select name, setting from pg_settings where name ~* 'lc';
name | setting
-------------+-------------
lc_collate | en_US.utf-8
lc_ctype | en_US.utf-8
lc_messages | en_US.utf-8
lc_monetary | en_US.utf-8
lc_numeric | en_US.utf-8
lc_time | en_US.utf-8
(6 rows)

Cordialement

Le 30/07/07, Eric Brison <eric(dot)brison(at)anakeen(dot)com> a écrit :
>
> David Tokmatchi a écrit :
> >
> > Bonjour
> >
> > J'utilise Copy pour charger les données depuis un fichier plat dans
> > une table dont voici la description :
> >
> > Column | Type | Modifiers
> > -----------+-----------------------------+-----------
> > to_ref | bigint | not null
> > to_entity | character(40) | not null
> > to_date | timestamp without time zone | not null
> > to_time | timestamp without time zone | not null
> > to_occ | text |
> >
> > La commande copy est la suivante :
> >
> > copy toto from '/tmp/x.dat' delimiters '~'
> >
> > dans mon fichier x.dat il y a les données suivants ( un million
> > d'enregistrement ):
> > ...
> > 3454495~TQKQD ~12.03.2007 00:00:00~01.01.1900 17:35:26~
> > 3454496~HHKKF ~12.03.2007 00:00:00~01.01.1900 17:35:34~
> > 3454497~BBIIL ~12.03.2007 00:00:00~01.01.1900 17:35:39~
> > 3454501~IKKFFS ~12.03.2007 00:00:00~01.01.1900 17:43:16~
> > 3454502~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:44:33~
> > 3454503~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:46:16~
> > 3454504~ADJUSTMENT ~12.03.2007 00:00:00~01.01.1900 17:47:52~
> > 3454517~TFFFR ~13.03.2007 00:00:00~01.01.1900 08:53:20~
> > ...
> >
> > L'erreur est la suivante :
> > ERROR: date/time field value out of range: "13.03.2007 00:00:00"
> > HINT: Perhaps you need a different "datestyle" setting.
> > CONTEXT: COPY toto, line 89846, column to_date: " 13.03.2007 00:00:00"
> >
> Le paramètre DateStyle de postgresql est par défaut MDY (Month Day Year)
> Si dans la base de réception date style n'est pas en DMY (comme cela à
> l'air d'être le cas) 13.03.2007 ne peut être valide.
> Exemple pour les dates à la francaise :
> -bash-3.2$ psql postgres
> Bienvenue dans psql 8.2.4, l'interface interactive de PostgreSQL.
>
> Tapez: \copyright pour les termes de distribution
> \h pour l'aide-mémoire des commandes SQL
> \? pour l'aide-mémoire des commandes psql
> \g ou point-virgule en fin d'instruction pour exécuter la requête
> \q pour quitter
>
> postgres=# SHOW datestyle ;
> DateStyle
> -----------
> ISO, DMY
> (1 ligne)
>
> Note : ce paramètre peut être modifié par un 'alter database'.
>
> Sinon je pense que la notation iso8601 (YYYY-MM-DD) fonctionne quelque
> soit le paramètre
> postgres=# SELECT '2007-10-23'::timestamp;
> timestamp
> ---------------------
> 2007-10-23 00:00:00
>
>
> > Pour info la ligne 89846 correspond a la dernière ligne de mes données.
> >
> > Merci pour vos lumières
> >
>
>
> ---------------------------(end of broadcast)---------------------------
> TIP 3: Have you checked our extensive FAQ?
>
> http://www.postgresql.org/docs/faq
>

--
cordialement
david tokmatchi
+33 6 80 89 54 74

Re,

> Merci à tous

De rien.

> après cette commande le chargement se passe correctement :
> *set datestyle to 'dmy';*

Oui.

> pg_bench=# select name, setting from pg_settings where name ~* 'lc';
> name | setting
> -------------+-------------
> lc_collate | en_US.utf-8
> lc_ctype | en_US.utf-8
> lc_messages | en_US.utf-8
> lc_monetary | en_US.utf-8
> lc_numeric | en_US.utf-8
> lc_time | en_US.utf-8
> (6 rows)

Voilà, par défaut votre serveur s'attend a avoir des utilisateurs qui
parlent la langue l'anglais (US) et qui expriment les dates, nombres et
valeurs monétaires selon le système en vigueur là-bas, et plus
généralement, selon leurs habitudes.

Par exemple:

jpargudo=# set lc_monetary TO 'C';
SET

jpargudo=# select '1000'::money;
money
-----------
$1,000.00
(1 ligne)

jpargudo=# set lc_monetary TO 'fr_FR.UTF8';
SET

jpargudo=# select '1000'::money;
money
-------------
€1 000,00
(1 ligne)

Notez l'espace en tant que séparateur de milliers, et la virgule comme
séparateur décimal pour l'euro, en lieu et place de la virgule et point,
respectivement, pour les $.

De la même façon, les clauses de tri (ORDER BY) se font selon ces mêmes
normes.

À noter que vous ne pouvez changer (et à plusieurs niveau: pour toutes
les bases PostgreSQL d'un serveur, pour une base de données
particulière, pour un utilisateur particulier et pour une transaction
donnée), que les paramètres suivants:

lc_messages (comment le serveur communique: messages logs, user)
lc_monetary (expression des monétaires)
lc_numeric (expression des numériques)
lc_time (expression du temps)

En revanche, deux ne sont jamais modifiables, et dépendent de
l'«initdb», soit:

lc_collate
lc_ctype

...ce qui peux être problématique dans certains cas...

Cordialement,

--
Jean-Paul Argudo
www.dalibo.com
www.PostgreSQLFr.org