Re: PG Data ve Şema Taşıma Aracı

Herkese Merhabalar,
Test ortamında yaratılan tablolara ait yeni data ve şema yapısını (alter
column add, drop vb.) canlı ortama taşıyabilecek bir tool yada hazır script
var mıdır ? Manuel olarak değişiklikleri tespit etmek meşakkatli oluyor.
Ücretsiz tool önerileri daha makbule geçecektir.

Şimdiden teşekkürler...

Birebir aynı dertten muzdaribiz. Uzman arkadaşların yardımını umut
ediyorum. Teşekkürler.
--
Eşref Atak http://linkedin.com/in/esrefatak

merhabalar

açık kodlu veya ücretsiz bir çözüm var mı bilmiyorum ama böyle bir
ihtiyacım geliştiğinde Navicat'in Structure Synchronization özelliğini
kullanıyorum.

her halükarda fark sorgularını oluştururken, canlı sistem üzerinde değil de
bir kopyası üzerinde çalışmanızı ve oluşacak sorguları yazılımınıza birer
migration olarak tanımlamanızı öneririm.

iyi çalışmalar

On Fri, Jan 15, 2021, 16:53 Taner Hacioglu <tanerhacioglu(at)gmail(dot)com> wrote:

> Herkese Merhabalar,
> Test ortamında yaratılan tablolara ait yeni data ve şema yapısını (alter
> column add, drop vb.) canlı ortama taşıyabilecek bir tool yada hazır script
> var mıdır ? Manuel olarak değişiklikleri tespit etmek meşakkatli oluyor.
> Ücretsiz tool önerileri daha makbule geçecektir.
>
> Şimdiden teşekkürler...
>

Merhabalar,

İhtiyacı tam olarak anlayamadım (data mı, ddl mi) ama ddl ise
PGAdmin'de Tools->Schema Diff yardımcı olabilir.

İyi çalışmalar,

Bora Yüret

On Fri, Jan 15, 2021 at 4:53 PM Taner Hacioglu <tanerhacioglu(at)gmail(dot)com>
wrote:

> Herkese Merhabalar,
> Test ortamında yaratılan tablolara ait yeni data ve şema yapısını (alter
> column add, drop vb.) canlı ortama taşıyabilecek bir tool yada hazır script
> var mıdır ? Manuel olarak değişiklikleri tespit etmek meşakkatli oluyor.
> Ücretsiz tool önerileri daha makbule geçecektir.
>
> Şimdiden teşekkürler...
>

Fri, 15 Jan 2021 16:53:00 +0300, Taner Hacioglu
<tanerhacioglu(at)gmail(dot)com> :

> Test ortamında yaratılan tablolara ait yeni data ve şema yapısını
> (alter column add, drop vb.) canlı ortama taşıyabilecek bir tool yada
> hazır script var mıdır ? Manuel olarak değişiklikleri tespit etmek
> meşakkatli oluyor. Ücretsiz tool önerileri daha makbule geçecektir.

Liquibase'i inceleyebilirsiniz:
https://www.liquibase.org/

Doruk

--
Özgür Yazılım A.Ş. ~ #
http://www.ozguryazilim.com.tr

Öncelikle DDL farkları, data bir şekilde koşula bağlı taşınabilir.

18 Oca 2021 Pzt 09:03 tarihinde Doruk Fisek <dfisek(at)ozguryazilim(dot)com(dot)tr>
şunu yazdı:

> Fri, 15 Jan 2021 16:53:00 +0300, Taner Hacioglu
> <tanerhacioglu(at)gmail(dot)com> :
>
> > Test ortamında yaratılan tablolara ait yeni data ve şema yapısını
> > (alter column add, drop vb.) canlı ortama taşıyabilecek bir tool yada
> > hazır script var mıdır ? Manuel olarak değişiklikleri tespit etmek
> > meşakkatli oluyor. Ücretsiz tool önerileri daha makbule geçecektir.
>
> Liquibase'i inceleyebilirsiniz:
> https://www.liquibase.org/
>
> Doruk
>
> --
> Özgür Yazılım A.Ş. ~ #
> http://www.ozguryazilim.com.tr
>
>
>

Merhaba
Benzer bir durumda shell script yazarak daha önce çözmüştüm. Genel mantık
şuydu iki taraftan aldığım scrptileri karşılaştırıp farkını bulduğumda bana
mail atıyordu.
farklı veritabanı olduğu için sql scripleri biraz temizlemek gerekiyordu
(sysbase -oracle ). benzer bir yöntem uygulayabilrisiniz. crontab ile belli
periyotlarda kontrol edebilirsiniz.

Taner Hacioglu <tanerhacioglu(at)gmail(dot)com>, 18 Oca 2021 Pzt, 09:43 tarihinde
şunu yazdı:

> Öncelikle DDL farkları, data bir şekilde koşula bağlı taşınabilir.
>
> 18 Oca 2021 Pzt 09:03 tarihinde Doruk Fisek <dfisek(at)ozguryazilim(dot)com(dot)tr>
> şunu yazdı:
>
>> Fri, 15 Jan 2021 16:53:00 +0300, Taner Hacioglu
>> <tanerhacioglu(at)gmail(dot)com> :
>>
>> > Test ortamında yaratılan tablolara ait yeni data ve şema yapısını
>> > (alter column add, drop vb.) canlı ortama taşıyabilecek bir tool yada
>> > hazır script var mıdır ? Manuel olarak değişiklikleri tespit etmek
>> > meşakkatli oluyor. Ücretsiz tool önerileri daha makbule geçecektir.
>>
>> Liquibase'i inceleyebilirsiniz:
>> https://www.liquibase.org/
>>
>> Doruk
>>
>> --
>> Özgür Yazılım A.Ş. ~ #
>> http://www.ozguryazilim.com.tr
>>
>>
>>

--
------------------------------------------------------------------------------------
Cihan BARAN --
PostgreSQL DBA, Java Software
Developer

Computer Engineer
Tel: +90 541 640 13 52
e-mail: baranchn(at)gmail(dot)com

--
------------------------------------------------------------------------------------

Selamlar,

Crontab ile script yazılarak karşılaştırma yapmayı orta vadede
düşünebilirim. Daha önce iki db arasındaki farklı ve eklenmesi gereken
rowları tespit edip bunlar için insert ve update kodlarını üreten script
generator yazmıştık. Bu sebeple PgAdmin4 üstündeki Schema Diff acil
ihtiyacımızı şimdilik çözebilir.

İhtiyaç artarsa https://github.com/joncrlsn/pgdiff projesinin elden
geçirilmesi ile terzi işi bir çözüm elde etmekte seçenekler arasında
olabilir. En nihayetinde bir ara versiyon çıkmak istediğimizde test
ortamındaki tüm değişiklikleri değilde (*pamuk parmaklarımızda
editlediğimiz :)* ) özel scriptleri kullanmak zorunda kalacağız. Biraz emek
verip kendi açımızdan gerekli olan change ve version logları tutmak sanki
daha sağlıklı olacak gibi görünüyor.

Verilen tüm öneriler bende bir aydınlanma yarattı. Yardımlarınız ve
fikirleriniz için teşekkür ederim.

Cihan Baran <baranchn(at)gmail(dot)com>, 18 Oca 2021 Pzt, 16:15 tarihinde şunu
yazdı:

> Merhaba
> Benzer bir durumda shell script yazarak daha önce çözmüştüm. Genel mantık
> şuydu iki taraftan aldığım scrptileri karşılaştırıp farkını bulduğumda bana
> mail atıyordu.
> farklı veritabanı olduğu için sql scripleri biraz temizlemek gerekiyordu
> (sysbase -oracle ). benzer bir yöntem uygulayabilrisiniz. crontab ile belli
> periyotlarda kontrol edebilirsiniz.
>
> Taner Hacioglu <tanerhacioglu(at)gmail(dot)com>, 18 Oca 2021 Pzt, 09:43
> tarihinde şunu yazdı:
>
>> Öncelikle DDL farkları, data bir şekilde koşula bağlı taşınabilir.
>>
>> 18 Oca 2021 Pzt 09:03 tarihinde Doruk Fisek <dfisek(at)ozguryazilim(dot)com(dot)tr>
>> şunu yazdı:
>>
>>> Fri, 15 Jan 2021 16:53:00 +0300, Taner Hacioglu
>>> <tanerhacioglu(at)gmail(dot)com> :
>>>
>>> > Test ortamında yaratılan tablolara ait yeni data ve şema yapısını
>>> > (alter column add, drop vb.) canlı ortama taşıyabilecek bir tool yada
>>> > hazır script var mıdır ? Manuel olarak değişiklikleri tespit etmek
>>> > meşakkatli oluyor. Ücretsiz tool önerileri daha makbule geçecektir.
>>>
>>> Liquibase'i inceleyebilirsiniz:
>>> https://www.liquibase.org/
>>>
>>> Doruk
>>>
>>> --
>>> Özgür Yazılım A.Ş. ~ #
>>> http://www.ozguryazilim.com.tr
>>>
>>>
>>>
>
> --
>
> ------------------------------------------------------------------------------------
> Cihan BARAN --
> PostgreSQL DBA, Java Software
> Developer
>
> Computer Engineer
> Tel: +90 541 640 13 52
> e-mail: baranchn(at)gmail(dot)com
>
> --
>
> ------------------------------------------------------------------------------------
>

Bora Bey teşekkürler,
pgAdmin'deki Scheme Diff bizim ihtiyacımızı çözdü.

Sevindim Eşref Bey :)

Kolay gelsin,

Bora

19 Oca 2021 Sal 22:47 tarihinde Esref Atak <esrefatak(at)gmail(dot)com> şunu yazdı:

> Bora Bey teşekkürler,
> pgAdmin'deki Scheme Diff bizim ihtiyacımızı çözdü.
>

An itibariyle kompleks bir göç projesinde deneyimliyorum pgadmin
schemediff'i... tespitlerim:

tüm script'leri güzel oluşturuyor
fakat bağımlılıklara bakarak sıralama yapmıyor
iki veritabanını avcunun içi gibi bilen biri teker teker kendisi sıralayıp
öyle çalıştırmak zorunda generated sql'i
bunu otomatik yapan var mı?

Doruk Bey, belirttiğiniz https://www.liquibase.org/ yazılımı CLI, bizi
aşar. GUI'si olan bir tool arıyoruz. Ücretli de olabilir sıkıntı değil.
Öneriniz var mı?:

Dependency'leri otomatik algılayıp doğru sırada hazırlanmış çalıştırmaya
hazır bir sql üretmeli
GUI'si olmalı

Yardım ve önerileriniz çok çok teşekkürler...

Merheba,
yukaridaki tüm e-mail'leri okuyamadim ama bizim gelistirdigimiz "Nucleon
Database Master" var, SQL ve JQL script export yapabiliyor yada yeni bir
özellik eklyebiliriz.

Sunu da belirteyim, bu yazilimin gelistirilmesi neredeyse durdu, bedava
gelen open-source yazilimlari nedeni ile ticari bir katki saglamiyor,
duruma bagli olarak ek bir sey isterseniz gelistirebiliriz.

Mit freundlichen Grüßen/Iyi Günler/Best Regards,
Tolga
------------------------------------------------------------------------------------------------------------------------
Dipl.-Ing. Ahmet "Tolga" Tat / Cloud-Big Data-Software Architect&Engineer
Nucleon Software&Consulting / Reichenauer Str. 97A/38, 6020, Innsbruck
*Tel:* +43 6601212605 / *Skype: *tolgatat / *Linkedin: *ahmet-tolga-tat
<http://linkedin.com/in/di-ahmet-tolga-tat-b280118a>
*Web:* https://nucleonsoftware.com
--------------------------------------------------
----------------------------------------------------------------------

On Tue, Jan 19, 2021 at 10:03 PM Esref Atak <esrefatak(at)gmail(dot)com> wrote:

> An itibariyle kompleks bir göç projesinde deneyimliyorum pgadmin
> schemediff'i... tespitlerim:
>
> tüm script'leri güzel oluşturuyor
> fakat bağımlılıklara bakarak sıralama yapmıyor
> iki veritabanını avcunun içi gibi bilen biri teker teker kendisi sıralayıp
> öyle çalıştırmak zorunda generated sql'i
> bunu otomatik yapan var mı?
>
> Doruk Bey, belirttiğiniz https://www.liquibase.org/ yazılımı CLI, bizi
> aşar. GUI'si olan bir tool arıyoruz. Ücretli de olabilir sıkıntı değil.
> Öneriniz var mı?:
>
> Dependency'leri otomatik algılayıp doğru sırada hazırlanmış çalıştırmaya
> hazır bir sql üretmeli
> GUI'si olmalı
>
> Yardım ve önerileriniz çok çok teşekkürler...
>
>
>

Navicat'i deneyebilirsiniz

On Wed, Jan 20, 2021, 00:03 Esref Atak <esrefatak(at)gmail(dot)com> wrote:

> An itibariyle kompleks bir göç projesinde deneyimliyorum pgadmin
> schemediff'i... tespitlerim:
>
> tüm script'leri güzel oluşturuyor
> fakat bağımlılıklara bakarak sıralama yapmıyor
> iki veritabanını avcunun içi gibi bilen biri teker teker kendisi sıralayıp
> öyle çalıştırmak zorunda generated sql'i
> bunu otomatik yapan var mı?
>
> Doruk Bey, belirttiğiniz https://www.liquibase.org/ yazılımı CLI, bizi
> aşar. GUI'si olan bir tool arıyoruz. Ücretli de olabilir sıkıntı değil.
> Öneriniz var mı?:
>
> Dependency'leri otomatik algılayıp doğru sırada hazırlanmış çalıştırmaya
> hazır bir sql üretmeli
> GUI'si olmalı
>
> Yardım ve önerileriniz çok çok teşekkürler...
>
>
>

Merhaba Tolga Bey,

pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip
sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır
SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE
özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?

Merhabalar,

Ücretli seçenek bakıyorsanız linkteki uygulamaya bakabilirsiniz.
Çalıştırmaya hazır bir şekilde farkları veriyordu.

https://www.sqlmanager.net/en/products/postgresql/dbcomparer

Esref Atak <esrefatak(at)gmail(dot)com>, 21 Oca 2021 Per, 19:34 tarihinde şunu
yazdı:

> Merhaba Tolga Bey,
>
> pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip
> sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır
> SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE
> özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?
>

--
MEHMET EMİN KARAKAŞ
PostgreSQL Veritabanı Uzmanı

TURKSAT Uluslararası Uydu ve Kablo TV Operatörü
Konya Yolu 40. Km. 06839 Golbasi / ANKARA - TÜRKİYE
Tel : +90 312 615 32 73
Faks : +90 312 615 32 77

Aslında bu işler için postgresql in kendi tool larını kullanabilirsiniz hatta çok daha sağlıklı olur.
pg_dumpall --schema-only > .\schema_only.sql ile tüm db nesnelerinin tanımlarını çıkartmak mümkün farklı parametreler vererek istediğiniz nesnelerin tanımlarını çıkartırsınız hatta sadece data sını da çıkartabilirsiniz.Karşılaştırma için komut satırındaki diff gayet güzel iş görür eğer arayüz kullanmak isterseniz notepad++ da compare plugin i kullanılabilir.
Veri farklarını bulmak için ilk önce dblink ya da fdw kurduktan sonra standart sql komutları ile karşılaştırma yapabilirsiniz.
Kolay gelsin

On Friday, January 22, 2021, 09:02:44 AM GMT+3, Mehmet Emin KARAKAŞ <emin100(at)gmail(dot)com> wrote:

Merhabalar,
Ücretli seçenek bakıyorsanız linkteki uygulamaya bakabilirsiniz. Çalıştırmaya hazır bir şekilde farkları veriyordu.
https://www.sqlmanager.net/en/products/postgresql/dbcomparer

Esref Atak <esrefatak(at)gmail(dot)com>, 21 Oca 2021 Per, 19:34 tarihinde şunu yazdı:

Merhaba Tolga Bey,
pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?

--
MEHMET EMİN KARAKAŞ
PostgreSQL Veritabanı Uzmanı

TURKSAT Uluslararası Uydu ve Kablo TV Operatörü
Konya Yolu 40. Km. 06839 Golbasi / ANKARA - TÜRKİYE
Tel     :  +90 312 615 32 73
Faks  :  +90 312 615 32 77

Şunu deneyebilirsiniz(python veya docker ile):
Repo: https://github.com/djrobstep/migra
Site: https://databaseci.com/docs/migra
Erkan DURMUŞ

On Fri, Jan 22, 2021 at 9:45 AM Server Murat KOÇUM <servermuratk(at)yahoo(dot)com>
wrote:

> Aslında bu işler için postgresql in kendi tool larını kullanabilirsiniz
> hatta çok daha sağlıklı olur.
>
> pg_dumpall --schema-only > .\schema_only.sql
> ile tüm db nesnelerinin tanımlarını çıkartmak mümkün farklı parametreler
> vererek istediğiniz nesnelerin tanımlarını çıkartırsınız hatta sadece data
> sını da çıkartabilirsiniz.
> Karşılaştırma için komut satırındaki diff gayet güzel iş görür eğer arayüz
> kullanmak isterseniz notepad++ da compare plugin i kullanılabilir.
>
> Veri farklarını bulmak için ilk önce dblink ya da fdw kurduktan sonra
> standart sql komutları ile karşılaştırma yapabilirsiniz.
>
> Kolay gelsin
>
>
>
> On Friday, January 22, 2021, 09:02:44 AM GMT+3, Mehmet Emin KARAKAŞ <
> emin100(at)gmail(dot)com> wrote:
>
>
> Merhabalar,
>
> Ücretli seçenek bakıyorsanız linkteki uygulamaya bakabilirsiniz.
> Çalıştırmaya hazır bir şekilde farkları veriyordu.
>
> https://www.sqlmanager.net/en/products/postgresql/dbcomparer
>
> Esref Atak <esrefatak(at)gmail(dot)com>, 21 Oca 2021 Per, 19:34 tarihinde şunu
> yazdı:
>
> Merhaba Tolga Bey,
>
> pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip
> sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır
> SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE
> özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?
>
>
>
> --
> MEHMET EMİN KARAKAŞ
> PostgreSQL Veritabanı Uzmanı
>
> TURKSAT Uluslararası Uydu ve Kablo TV Operatörü
> Konya Yolu 40. Km. 06839 Golbasi / ANKARA - TÜRKİYE
> Tel : +90 312 615 32 73
> Faks : +90 312 615 32 77
>

Merheba,
malesef bu tür yazilimlarin ve özelliklerin ticari bir kazanci yok, onun
icin biz yazilim gelistirilmesini durdurduk.

Yazilimcilar milyon-dolarlik projeler yapiyor, milyar-dolarlik kazanclar
sagliyor ama 1000 TL verip yazilim almiyor, Vim, Emacs, NotePad++
kullaniyorum diyor.

Mit freundlichen Grüßen/Iyi Günler/Best Regards,
Tolga

On Thu, Jan 21, 2021 at 5:34 PM Esref Atak <esrefatak(at)gmail(dot)com> wrote:

> Merhaba Tolga Bey,
>
> pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip
> sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır
> SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE
> özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?
>

Burada bahsi geçmeyen dbForge Postgres versiyonunu test ettim. 9.1 için
hata alıyor fakat PG12 üstünde navicatten çok daha yetenekli ve user
friendly olduğunu gördüm. Data ve Şema taşıma özellikleri mevcut lisans
modeliyle SQL Development desteği de sunuyor. Özellikle data taşırken
ilişkisel alanlar varsa (FK) bunları drop edip veriyi insert ettikten sonra
tekrar yaratıyor. Ayrıca A tablosunu insert-update etmeden önce B
tablosundaki verilerin güncellenmesi gerekiyorsa sıralı şekilde bunları
tespit ederek script yaratabiliyor olması çok hoşuma gitti.

PG9.1 için hatayı gidereceklerini belirttiler... PG10 ve üzeri kullananlar
denerse memnun kalacaklardır.

Tolga Tat <tolgatat(at)gmail(dot)com>, 26 Oca 2021 Sal, 13:13 tarihinde şunu yazdı:

> Merheba,
> malesef bu tür yazilimlarin ve özelliklerin ticari bir kazanci yok, onun
> icin biz yazilim gelistirilmesini durdurduk.
>
> Yazilimcilar milyon-dolarlik projeler yapiyor, milyar-dolarlik kazanclar
> sagliyor ama 1000 TL verip yazilim almiyor, Vim, Emacs, NotePad++
> kullaniyorum diyor.
>
> Mit freundlichen Grüßen/Iyi Günler/Best Regards,
> Tolga
>
>
>
> On Thu, Jan 21, 2021 at 5:34 PM Esref Atak <esrefatak(at)gmail(dot)com> wrote:
>
>> Merhaba Tolga Bey,
>>
>> pgAdmin bizi çok zorluyor. Tüm tablo ve function'ları teker teker seçip
>> sırayla çalıştırmak gerekiyor. Kendisi sıralamayı yapıp çalıştırmaya hazır
>> SQL üretmiyor. Nucleon Database Master'ı biraz inceledim onda COMPARE
>> özelliği göremedim? Source-Target seçip compare-generate sql yapabiliyor mu?
>>
>

Merhaba,

Biz projenin kendi içindeki sürüm yönetimini yaparken, veritabanının
sürümünü de yönetmek için Flyway kullanıyoruz.
Bu şekilde farklı müşterilerimizde ve farklı veritabanlarında çalışan
uygulamamız için her yeni versiyonu deploy yaparken, veritabanındaki
güncellemeleri de yönetebiliyoruz.

İncelemenizi tavsiye ederim.

https://flywaydb.org/

On Fri, Jan 15, 2021 at 4:53 PM Taner Hacioglu <tanerhacioglu(at)gmail(dot)com>
wrote:

> Herkese Merhabalar,
> Test ortamında yaratılan tablolara ait yeni data ve şema yapısını (alter
> column add, drop vb.) canlı ortama taşıyabilecek bir tool yada hazır script
> var mıdır ? Manuel olarak değişiklikleri tespit etmek meşakkatli oluyor.
> Ücretsiz tool önerileri daha makbule geçecektir.
>
> Şimdiden teşekkürler...
>

--
Saygılarımla,

Ali Kemal DEMİRCİ