Re: ERROR: out of memory

Bonjour,

Nous avons une base de données en version 8.4.5 dans laquelle nous
stockons, dans un attribut de type texte, des séquences génomiques.

Malheureusement nous rencontrons un pb pour l'une des séquences dont
la taille est de 1,1Gb

l'erreur obtenue lors de l'insert dans la base est la suivante :

DBD::Pg::db do failed: ERROR: out of memory
DETAIL: Cannot enlarge string buffer containing 0 bytes by 1111995493
more bytes. at /projet/.......

Dans mon fichier postgresql.conf
shared_buffers = 8192MB

Sinon postgresql crée bien une table toast... Mais en regardant la doc
concernant Toast
j'ai trouvé ceci:

"TOAST récupère deux bits du mot contenant la longueur d'un varlena
..............limitant du coup la taille logique de toute valeur d'un
type de données TOAST à 1 Go"

Ma question : Y-a-t-il une réelle limite quelque part à 1 Gb ??

Merci pour votre aide
Annie.

--
Annie Gendrault
INRA - Unité Mathématique, Informatique et Génome
78352 Jouy-en Josas cedex
Tel: 01 34 65 28 98
Fax: 01 34 65 29 01
Email: annie(dot)gendrault(at)jouy(dot)inra(dot)fr
--

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Le 11/06/2012 11:03, Annie Gendrault a écrit :
> Bonjour,
>
> Nous avons une base de données en version 8.4.5 dans laquelle nous
> stockons, dans un attribut de type texte, des séquences génomiques.
>
> Malheureusement nous rencontrons un pb pour l'une des séquences dont la
> taille est de 1,1Gb
>
> l'erreur obtenue lors de l'insert dans la base est la suivante :
>
> DBD::Pg::db do failed: ERROR: out of memory DETAIL: Cannot enlarge
> string buffer containing 0 bytes by 1111995493 more bytes. at
> /projet/.......

>
> Dans mon fichier postgresql.conf shared_buffers = 8192MB

C'est élevé.
Quelle version de PostgreSQL utilisez-vous ?
De combien de RAM dispose votre serveur ?

>
> Sinon postgresql crée bien une table toast... Mais en regardant la doc
> concernant Toast j'ai trouvé ceci:
>
> "TOAST récupère deux bits du mot contenant la longueur d'un varlena
> ..............limitant du coup la taille logique de toute valeur d'un type
> de données TOAST à 1 Go"
>
> Ma question : Y-a-t-il une réelle limite quelque part à 1 Gb ??

La taille d'un champ est effectivement limitée à 1GB.

- --
Stéphane Schildknecht
http://www.Loxodata.com
Contact régional PostgreSQL
http://bistri.me/sas

-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.11 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iEYEARECAAYFAk/WS38ACgkQA+REPKWGI0Hr9ACfW3kyE2h2oDCNsaLpCgN+ByWj
xhcAoNHkx5gk4CAmevsXipRgXncqqv3H
=VhIj
-----END PGP SIGNATURE-----

On 06/11/2012 09:48 PM, "Stéphane A. Schildknecht" wrote:
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA1
>
> Le 11/06/2012 11:03, Annie Gendrault a écrit :
>> Bonjour,
>>
>> Nous avons une base de données en version 8.4.5 dans laquelle nous
>> stockons, dans un attribut de type texte, des séquences génomiques.
>>
>> Malheureusement nous rencontrons un pb pour l'une des séquences dont la
>> taille est de 1,1Gb
>>
>> l'erreur obtenue lors de l'insert dans la base est la suivante :
>>
>> DBD::Pg::db do failed: ERROR: out of memory DETAIL: Cannot enlarge
>> string buffer containing 0 bytes by 1111995493 more bytes. at
>> /projet/.......
>
>> Dans mon fichier postgresql.conf shared_buffers = 8192MB
> C'est élevé.
> Quelle version de PostgreSQL utilisez-vous ?
> De combien de RAM dispose votre serveur ?

La version est la 8.4.5 comme je l'ai dit dans le message
et le serveur a 32G de RAM...

>> Sinon postgresql crée bien une table toast... Mais en regardant la doc
>> concernant Toast j'ai trouvé ceci:
>>
>> "TOAST récupère deux bits du mot contenant la longueur d'un varlena
>> ..............limitant du coup la taille logique de toute valeur d'un type
>> de données TOAST à 1 Go"
>>
>> Ma question : Y-a-t-il une réelle limite quelque part à 1 Gb ??
>
> La taille d'un champ est effectivement limitée à 1GB.
>
>
> - --
> Stéphane Schildknecht
> http://www.Loxodata.com
> Contact régional PostgreSQL
> http://bistri.me/sas
>
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.11 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
>
> iEYEARECAAYFAk/WS38ACgkQA+REPKWGI0Hr9ACfW3kyE2h2oDCNsaLpCgN+ByWj
> xhcAoNHkx5gk4CAmevsXipRgXncqqv3H
> =VhIj
> -----END PGP SIGNATURE-----

--
Annie Gendrault
INRA - Unité Mathématique, Informatique et Génome
78352 Jouy-en Josas cedex
Tel: 01 34 65 28 98
Fax: 01 34 65 29 01
Email: annie(dot)gendrault(at)jouy(dot)inra(dot)fr
--

> Malheureusement nous rencontrons un pb pour l'une des séquences dont
> la taille est de 1,1Gb

N'est-il pas possible de la découper en sous-ensembles ?

> "TOAST récupère deux bits du mot contenant la longueur d'un varlena
> ..............limitant du coup la taille logique de toute valeur d'un
> type de données TOAST à 1 Go"
>
> Ma question : Y-a-t-il une réelle limite quelque part à 1 Gb ??

Oui, machines 32-bits = 2^32 = environ 4GB.
Seuleument pour stocker un type variable, PostgreSQL utilise 2 bits pour
usage interne. Il en reste donc 30, soit 2^30 soit 1GB.

Peut-etre est-il envisageable d'utiliser 64bits au niveau de PostgreSQL,
c'est à étudier (voir entre autre les primitives PG_TOAST_DATUM et
PG_DETOAST_DATUM), mais l'intéret me semble assez limité: quelles sont les
performances attendues ?

--
Cédric Villemain +33 (0)6 20 30 22 52
http://2ndQuadrant.fr/
PostgreSQL: Support 24x7 - Développement, Expertise et Formation