Artikel zur Transaktionspublikation hinzufügen, ohne einen neuen Schnappschuss zu erstellen

Wenn Sie die Transaktionsreplikation von SQL 2008 R2 mit Pull-Abonnenten verwenden und einen Artikel hinzufügen, möchten Sie vermeiden, dass Sie einen vollständigen Snapshot erstellen müssen (die Datenbank hat ~ 80 GB, dies dauert also Stunden).

In diesem Artikel habe ich gesehen, wie dies mit einem Teil-Snapshot durch Deaktivieren von "instant_sync" geschehen kann, aber das hat bei uns nicht funktioniert.

Idealerweise möchte ich dies einfach als Teil unseres DB-Skripts ausführen, um die Tabelle zu erstellen. Wenn wir sie also replizieren möchten, tun wir Folgendes:

Create Table ...    
sp_addArticle ...    
sp_PushThisToOurSubscribersNow    

Sie können den Artikel über SSMS über die GUI hinzufügen und sogar Filter darauf anwenden. Solange Sie keine der anderen Eigenschaften des Artikels ändern, müssen Sie keinen vollständigen Schnappschuss erstellen.

Wenn Sie auf OK in der Veröffentlichung GUI getroffen (nach den Beiträgen , Artikeln), wird es zu schließen , ohne neu zu initialisieren Aufforderung - wenn es tut Aufforderung neu zu initialisieren, dann haben Sie etwas verändert , die eine vollständige Momentaufnahme erfordert. In diesem Fall klicken Sie auf Abbrechen und versuchen es erneut.

Nachdem Sie den Artikel hinzugefügt haben, können Sie einfach den Snapshot-Job starten, und Sie werden feststellen, dass nur ein Snapshot für den neuen Artikel erstellt wird (sogenannter Mini-Snapshot).

Überprüfen Sie dann Ihren Verteilungsjob und stellen Sie fest, dass er die Tabelle auf dem Abonnenten erstellt und Ihre Daten massenhaft kopiert hat.

Viel Glück und lassen Sie es mich wissen, wenn Sie weitere Hilfe benötigen.

1. Fügen Sie neue Artikel in das Eigenschaftsfenster " Publikation" ein (deaktivieren Sie das Kontrollkästchen Nur markierte Artikel in der Liste anzeigen).
2. Klicken Sie mit der rechten Maustaste auf denselben Veröffentlichungsknoten und wählen Sie " Status des Snapshot-Agenten anzeigen ".
3. Klicken Sie auf Start und notieren Sie sich das Protokoll in demselben Fenster, in dem angezeigt wird, dass dieser neue Artikel nur synchronisiert wird
4. Nach kurzer Zeit werden die neuen Artikel in Abonnenten synchronisiert, ohne dass alle zuvor synchronisierten initialisiert werden

Ich hatte die gleiche Frage, und obwohl ich eine Weile DBA war, habe ich mich nicht tief genug mit der Replikation befasst, um damit vollständig vertraut zu sein. Daher fand ich die folgenden Ressourcen und Anleitungen hilfreich:

• Dieser Blog lieferte einen guten Überblick über den Prozess. Es erinnert uns auch daran, dass, wenn Sie über eine große vorhandene Publikation verfügen und deren Option auf "mediate_sync "festgelegt ist, jedes Mal, wenn Sie einen Artikel hinzufügen oder ändern, ein völlig neuer Schnappschuss erstellt wird. Er hat also einen praktischen Tipp, um diese Option zu ändernsp_changePublication @publication='MyPub', @property='immediate_sync', @value='false';

• MSDN-Blogpost in "repltalk" (klingt im Allgemeinen nach einer guten Ressource!) - nicht "direkt direkt" bezogen, aber dennoch hilfreich

• In dieser Frage, in der @ Brandon-Williams darauf hingewiesen hat, dass Sie ein Pull- Abonnement auch mit aktualisieren solltensp_refreshSubscriptions @publication = 'MyPub'

• SSMS Replication Monitor - Bequeme Methode zum Stoppen und Starten der Agenten (Snapshot, Protokollleser), wenn Sie die Anleitung befolgen.

Hier sind die tatsächlichen Schritte, denen ich gefolgt bin, die gut funktioniert haben und die die Genehmigung meines überwachenden DBA erhalten haben:

1. Öffnen Sie den Replikationsmonitor, wählen Sie die Publikation aus, wechseln Sie zu Agents, klicken Sie mit der rechten Maustaste auf Log Reader Agent, und klicken Sie auf Beenden.
2. sp_changePublicationStellen Sie die Veröffentlichung mit - yes auf not allow-anonymous & not instant -sync ein, wie @cody_konior hervorhebt, dies ist nicht ausreichend dokumentiert, aber es hat in meinem Fall einwandfrei funktioniert. YMMV
3. Erstellt die Tabelle auf dem Abonnenten manuell mithilfe eines Skripts und füllt sie mit Daten mithilfe einer Abfrage auf einem Verbindungsserver (da sie klein ist). Sie können dazu auch SSIS, BCP oder eine andere Methode verwenden. Und es ist möglicherweise nicht erforderlich, wenn der Repl-Snapshot dies für Sie erledigt. Ich wollte es nur beim ersten Mal manuell vorbereiten.
4. Fügen Sie den Artikel (Tabelle) mit sp_addArticle
5. Fügen Sie alle Spalten der Tabelle hinzu, indem Sie sp_articleColumn(angegebene Publikation & Artikel, KEINE Spalten angeben -> impliziert ALLE Spalten)
6. Exec'd, sp_refreshSubscriptionsdamit diese Publikation den Puller aktualisiert
7. Öffnen Sie den Replikationsmonitor erneut, wählen Sie den Pub aus, gehen Sie zu Agents, klicken Sie mit der rechten Maustaste auf Snapshot Agent und klicken Sie auf "Start". Es wird einmal ausgeführt und der neue Schnappschuss erstellt.
8. Klicken Sie mit der rechten Maustaste auf Log Reader Agent und klicken Sie auf "Start". Es wird wie gewohnt gestartet und läuft weiter. Ihre Replikation sollte nun wieder funktionieren.

Und während ja, Sie könnten die meisten Änderungen mit dem SSMS GUI tun, finde ich es hilfreich Skript alles aus , so kann es sein , A) unter Quellcodeverwaltung (Änderungssteuerung) und B) eingesetzt wiederholt oder um mehrere Instanzen . Leider habe ich nicht die Zeit aufgewendet, um die Stopps / Starts des Agenten per Skript auszuführen, aber das sollte nicht zu schwierig sein, da es sich nur um SQL Agent-Jobs handelt. Sie müssen nur den ganzen Trick "Die Job-ID mit dem Job-Namen finden" ausführen (Abfrage sysjobs- wirklich, MS?) ...

Hoffe das hilft zukünftigen Lesern!

Wie unter Hinzufügen von Artikeln zu vorhandenen Publikationen und Löschen von Artikeln aus vorhandenen Publikationen beschrieben , müssen Sie * einen neuen Snapshot für die Publikation erstellen.

Um zu vermeiden, dass beim Hinzufügen eines neuen Artikels für alle Artikel ein Snapshot erstellt wird, immediate_syncmuss die Publikationseigenschaft auf 0 gesetzt werden. Rufen Sie sp_addarticledann auf sp_addsubscription. Wenn Abonnements gezogen werden, müssen Sie auch anrufen sp_refreshsubscriptions. Generieren Sie dann einen Schnappschuss und es wird nur ein Schnappschuss für den neu hinzugefügten Artikel generiert.

_{* Dies ist der empfohlene Ansatz in der SQL Server-Onlinedokumentation. Das Problem bei Ihrer Vorgehensweise ist, dass sie fehleranfällig ist.}

Hauptbearbeitung Dies ist eine vollständige Neufassung dieser Antwort (unter Berücksichtigung der berechtigten Kritik, dass die vorherige Version fehleranfällig war und Probleme verursachen würde).

Veröffentlichte auch eine Demo, wie man dies anwendet auf: Youtube - SQL Server Replication: Wie man einen Artikel hinzufügt, ohne einen Schnappschuss zu machen .

WICHTIG: Dies ist KEIN empfohlener Ansatz von Microsoft. Sie sind also auf sich allein gestellt, wenn es darum geht, das Produkt zum Laufen zu bringen. Sie sollten sich NICHT direkt an Ihre Produktionsumgebung wenden, ohne umfangreiche Einzeltests durchzuführen und sich mit den Schritten vertraut zu machen.

Schritte zum folgen:

Planning steps:
    * Choose Publication that article will be added to
    * Gather information about the publication 
        exec sp_helppublication '[Name of Publication]'
        https://msdn.microsoft.com/en-us/library/ms189782(v=sql.105).aspx
        - replication frequency = 0 - this is Transactional replication (THIS IS A REQUIREMENT FOR THIS METHOD)
        - replicate_ddl = 1 - means ALTER TABLES will apply SQL Server generated repl procs
        - independent_agent = 1 - means that you will only affect tables in this publication when deploying
    * Identify which subscribers are going to be affected

Pre-deployment steps (can be done at any time)
    1. Create table on subscribers
    2. Create custom replication procs on subscribers
       (Customisation will ignore if the IUD has already been applied to subscriber - because you have manually sync'd the data)

Deployment/Potential impact:
    3. Stop Distribution Agents to all subscribers for this publication
    4. Add article to publication on publisher
    5. Sync data from publisher to subscriber
    6. Start Distribution Agents to all subscribers for this publication
    7. Monitor/Verify all data has arrived

Optional follow on:
    8. Apply standard repl procs (removing if not exists checks)
       This is optional as the generated repl scripts should be fine for the most part

Note:  When ALTER table scripts are applied on the Publisher (when replicate_ddl = 1) repl procs will automatically be recreated by the Distribution Agent (so any customisation will be lost)

Verifizieren:

• Einfügung beim Publisher durchführen - Überprüfen, ob die Zeile beim Abonnenten eintrifft
• Update für Publisher durchführen - Vergewissern Sie sich, dass die Änderung beim Abonnenten eintrifft
• Löschvorgang für Publisher ausführen - Überprüfen Sie, ob die Zeile für den Abonnenten gelöscht wurde
• Vergewissern Sie sich, dass die letzten n Zeilen eingetroffen sind, und stimmen Sie zwischen Herausgeber und Abonnent überein

BEISPIEL Verfahren

A) Erstellen Sie sich eine Tabelle auf Ihrem Verlag:

/* Deliberately applying IDENTITY, DEFAULT & INDEX to demonstrate usage on subscriber */
CREATE TABLE [dbo].[TableNotUsingSnap](
    [Id] [int] NOT NULL IDENTITY(1,1),
    [Note_Text] [varchar](4096) NOT NULL,
    [CreatedDate] [datetime] NULL,
    [LoggedDate] [datetime] NOT NULL CONSTRAINT DF_TableNotUsingSnap_LoggedDate DEFAUlT GETUTCDATE(),
 CONSTRAINT [PK_TableNotUsingSnap] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]
GO 

CREATE NONCLUSTERED INDEX [IDX_NC_TableNotUsingSnap_LoggedDate]  ON [dbo].[TableNotUsingSnap]
(
    [LoggedDate] ASC
) INCLUDE ([Note_Text])
GO

B) Erstellen Sie sich einen Job / einen Prozess / ein Skript, um einige Einfügungen / Aktualisierungen / Löschungen in [TableNotUsingSnap] vorzunehmen (Sie können dies dann verwenden, um zu überprüfen, wie der Abonnent mit dieser Methode korrekt synchronisiert wird.

Vorschritte:

1. Erstellen Sie Ihre Tabelle auf dem Abonnenten

/* example script to add a table to a publication without running the snapshot agent 
Steps: 
    Pre steps: 
    1. Create table on subscribers
    2. Create replication procs on subscribers

    Deployment/Potential impact:
    3. Stop Distribution Agents to all subscribers for this publication
    4. Add article to publication on publisher
    5. DTS data from publisher to subscriber
    6. Start Distribution Agents to all subscribers for this publication
    7. Monitor/Verify all data has arrived

=========================================================
Notes:
    * Drop unnecessary FK's, Indexes
    * Do NOT have IDENTITY(1,1), DEFAULTS
    * Do have a Clustered PK
    * Create appropriate indexes for your subscribers use case */ 

-- RUN ON SUBSCRIBER
IF OBJECT_ID('dbo.TableNotUsingSnap') IS NOT NULL
    exec sp_rename 'dbo.TableNotUsingSnap', 'TableNotUsingSnap_20170127'
GO

SET ANSI_NULLS ON
GO

SET QUOTED_IDENTIFIER ON
GO

CREATE TABLE [dbo].[TableNotUsingSnap](
    [Id] [int] NOT NULL,
    [Note_Text] [varchar](4096) NOT NULL,
    [CreatedDate] [datetime] NULL,
    [LoggedDate] [datetime] NOT NULL,
 CONSTRAINT [PK_TableNotUsingSnap] PRIMARY KEY CLUSTERED 
(
    [Id] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]

GO

2. Erstellen Sie Ihre gespeicherten Replikationsprozeduren (Aktualisieren / Einfügen / Löschen) - auf dem Abonnenten

Sie können die Repl-Procs erstellen:

• Manuell (Vorsicht, es ist sehr leicht, einen Fehler zu machen!)
• Fügen Sie den Artikel mithilfe der MS Snapshot-Methode auf einem Dev-Computer hinzu und erstellen Sie ein Skript für die Repl-Procs (fertig, damit Sie Ihre Tweaks hinzufügen können).
• Erstellen / Finden Sie eine Art Generator

Die Änderung, die Sie anwenden müssen:

• sp_MSins_ [Schema] [TableName] - Hinzufügen, IF NOT EXISTS (SELECT 'row already exists' FROM [Schema].[TableName] dest WITH (NOLOCK) WHERE dest.Id = @c1)um nicht einzufügen, wenn es bereits vorhanden ist
• sp_MSupd_ [Schema] [TableName] - Kommentieren Sie das aus IF @@rowcount = 0 ... exec sp_MSreplraiserror ..., um ein Update zu ignorieren, das nicht angewendet wird (da der Datensatz möglicherweise auf dem Publisher gelöscht wurde, bevor Sie die Daten synchronisiert haben).
• sp_MSdel_ [Schema] [TableName] - Kommentieren Sie das aus IF @@rowcount = 0 ... exec sp_MSreplraiserror ..., um ein Löschen zu ignorieren, das nicht angewendet wird (da der Datensatz möglicherweise auf dem Publisher gelöscht wurde, bevor Sie die Daten synchronisiert haben).

sp_MSins_dboTableNotUsingSnap:

/* Customised Replication insert proc utilized to support adding to replication without a snapshot. */
create procedure [dbo].[sp_MSins_dboTableNotUsingSnap]     
    @c1 int,     
    @c2 varchar(4096),     
    @c3 datetime
AS 
BEGIN
    IF NOT EXISTS (SELECT 'row already exists' FROM [dbo].[TableNotUsingSnap] dest WITH (NOLOCK) WHERE dest.Id = @c1)
    BEGIN
        insert into [dbo].[TableNotUsingSnap]
            ([Id],
            [Note_Text],
            [Repl_Upsert_UTC]) 
        values 
            (@c1,
            @c2,
            @c3)  
    END
END
GO

sp_MSupd_dboTableNotUsingSnap:

/* Customised Replication insert proc utilized to support adding to replication without a snapshot. */
create procedure [dbo].[sp_MSupd_dboTableNotUsingSnap]     
    @c1 int = NULL,     
    @c2 varchar(4096) = NULL,     
    @c3 datetime = NULL, 
    @pkc1 int = NULL, 
    @bitmap binary(1)
AS 
BEGIN
    declare @primarykey_text nvarchar(100) = '' 

    if (substring(@bitmap,1,1) & 1 = 1)
    begin 
        update [dbo].[TableNotUsingSnap]
        set [Id] = case substring(@bitmap,1,1) & 1 when 1 then @c1 else [Id] end, 
            [Note_Text] = case substring(@bitmap,1,1) & 2 when 2 then @c2 else [Note_Text] end,
            [Repl_Upsert_UTC] = case substring(@bitmap,1,1) & 4 when 4 then @c3 else [Repl_Upsert_UTC] END
        WHERE [Id] = @pkc1

        /*  Commented out while adding to publication
        if @@rowcount = 0
            if @@microsoftversion>0x07320000
            Begin
                set @primarykey_text = @primarykey_text + '[id] = ' + convert(nvarchar(100),@pkc1,1)
                exec sp_MSreplraiserror @errorid=20598, @param1=N'[dbo].[TableNotUsingSnap]', @param2=@primarykey_text, @param3=13233
            End */
    END
    ELSE
    BEGIN
        update [dbo].[TableNotUsingSnap]
        set [Note_Text] = case substring(@bitmap,1,1) & 2 when 2 then @c2 else [Note_Text] end,
            [Repl_Upsert_UTC] = case substring(@bitmap,1,1) & 4 when 4 then @c3 else [Repl_Upsert_UTC] END
        WHERE [Id] = @pkc1

        /*  Commented out while adding to publication
        if @@rowcount = 0
            if @@microsoftversion>0x07320000
            Begin
                set @primarykey_text = @primarykey_text + '[id] = ' + convert(nvarchar(100),@pkc1,1)
                exec sp_MSreplraiserror @errorid=20598, @param1=N'[dbo].[TableNotUsingSnap]', @param2=@primarykey_text, @param3=13233
            End */
    end
END
GO

sp_MSdel_dboTableNotUsingSnap:

/* Customised Replication insert proc utilized to support adding to replication without a snapshot. */
create procedure [dbo].[sp_MSdel_dboTableNotUsingSnap]
    @pkc1 int
as
begin  
    declare @primarykey_text nvarchar(100) = ''

    delete [dbo].[TableNotUsingSnap]
    where [Id] = @pkc1

    /* ignore if the record doesn't exist when deleting it 
    if @@rowcount = 0
        if @@microsoftversion>0x07320000
        Begin
            set @primarykey_text = @primarykey_text + '[Id] = ' + convert(nvarchar(100),@pkc1,1)
            exec sp_MSreplraiserror @errorid=20598, @param1=N'[dbo].[TableNotUsingSnap]', @param2=@primarykey_text, @param3=13234
        End */
end
GO

ENTWICKLUNGSSCHRITTE

3. Stoppen Sie den Verteilungsagenten - Auf dem Verteiler (Push) oder Abonnenten (Pull)

/*  example script to add a table to a publication without running the snapshot agent
    Steps:
        Pre steps:
        1. Create table on subscribers
        2. Create replication procs on subscribers

        Deployment/Potential impact:
    **  3. Stop Distribution Agents to all subscribers for this publication
        4. Add article to publication on publisher
        5. DTS data from publisher to subscriber
        6. Start Distribution Agents to all subscribers for this publication
        7. Monitor/Verify all data has arrived

    =========================================================
    Note: check your publication settings:
          if @independent_agent = N'false'
            you will need to stop the distribution agent which will affect ALL
            publications going to that subscriber

          if @independent_agent = N'true'
            you will need to stop the publication specific distribution agent 
            (to each subscriber)

          Plan your live release around that knowledge!
*/

-- IF PUSH REPLICATION: RUN ON DISTRIBUTION SERVER
-- IF PULL REPLICATION: RUN ON SUBSCRIBER SERVER

/* disable the Job first */
exec msdb..sp_update_job @job_name = '[Distribution agent job]', @enabled = 0
GO

/* wait for 10 seconds - precaution ONLY */
WAITFOR DELAY '00:00:10.000'
GO

/* now stop the job */
exec msdb..sp_stop_job @job_name = '[Distribution agent job]'
GO

/* 
    NOTE: You might recieve an error about stopping a job that is already stopped.  You can ignore that error.
                It is up to you to verify that the job has been stopped correctly!
*/

4. Fügen Sie nun den Artikel zur Publikation hinzu - Auf dem Verlag

Schlüsselparameter:

• sp_addarticle- @pre_creation_cmd = N'none'Wird verwendet, um den Distributionsagenten anzuweisen, keine eigenen Objekte abzulegen und zu generieren
• sp_addsubscription- @sync_type = N'none'Wird verwendet, um Distributer mitzuteilen, dass kein neuer Snapshot erstellt werden muss, sondern nur die IUD-Befehle in die Warteschlange gestellt werden können

sp_addarticle:

exec sp_addarticle 
    @publication = N'Publication Name',
    @article = N'TableNotUsingSnap',
    @source_owner = N'dbo',
    @source_object = N'TableNotUsingSnap',
    @type = N'logbased',
    @description = N'',
    @creation_script = N'',
    @pre_creation_cmd = N'none',        /* this is a critical flag - tells SQL Server to not drop/recreate the repl procs/object on the subscriber */
    @schema_option = 0x0000000008004093,
    @identityrangemanagementoption = N'none',
    @destination_table = N'TableNotUsingSnap',
    @destination_owner = N'dbo',
    @status = 16,
    @vertical_partition = N'false',
    @ins_cmd = N'CALL [sp_MSins_dboTableNotUsingSnap]',
    @del_cmd = N'CALL [sp_MSdel_dboTableNotUsingSnap]',
    @upd_cmd = N'SCALL [sp_MSupd_dboTableNotUsingSnap]'
GO

-- Adding the transactional subscriptions
exec sp_addsubscription @publication = N'Publication Name',
    @subscriber = N'Subscriber Server',
    @destination_db = N'Subscriber DB',
    @subscription_type = N'Push',
    @sync_type = N'none',               /* tell SQL Server not to sync/snapshot this change to the publication */
    @article = N'all',
    @update_mode = N'read only',
    @subscriber_type = 0
GO

5. Synchronisieren Sie Ihre Daten über

Jetzt müssen Sie Ihre Daten auf Ihren Abonnenten kopieren. Sie können:

• Erstellen Sie einen Verbindungsserver und kopieren Sie ihn über
• Verwenden Sie den Export / Import-Assistenten
• Stellen Sie ein Backup wieder her und wenden Sie Diffs an
• Extrahieren Sie die Tabelle mit dem SSMS-Toolpack 'Insert-Anweisungen generieren ...'.

Die genaue Methode, die Sie verwenden, überlasse ich dem Leser. Sie hängt auch davon ab, wie lange Sie bereit sind, Ihren Distributionsagenten anzuhalten.

EXTRA: Als zusätzlichen Schritt in Ihren Tests ist hier ein guter Punkt, um Ihr Skript (ab Schritt (B)) auszuführen und IUP-Aktionen für [TableNotUsingSnap] zu erstellen, damit Sie Vertrauen in diese Methode gewinnen können.

6. Starten Sie den Verteilungsagenten neu - Auf dem Verteiler (Push) oder Abonnenten (Pull)

/*  example script to add a table to a publication without running the snapshot agent
    Steps:
        Pre steps:
        1. Create table on subscribers
        2. Create replication procs on subscribers

        Deployment/Potential impact:
        3. Stop Distribution Agents to all subscribers for this publication
        4. Add article to publication on publisher
        5. DTS data from publisher to subscriber
    **  6. Start Distribution Agents to all subscribers for this publication
        7. Monitor/Verify all data has arrived

    =========================================================
    Note: check your publication settings:
          if @independent_agent = N'false'
            you will need to stop the distribution agent which will affect ALL
            publications going to that subscriber

          if @independent_agent = N'true'
            you will need to stop the publication specific distribution agent 
            (to each subscriber)

          Plan your live release around that knowledge!
*/

-- IF PUSH REPLICATION: RUN ON DISTRIBUTION SERVER
-- IF PULL REPLICATION: RUN ON SUBSCRIBER SERVER

/* disable the Job first */
exec msdb..sp_update_job @job_name = 'Distribution agent job', @enabled = 1
GO

/* wait for 10 seconds - precaution ONLY */
WAITFOR DELAY '00:00:10.000'
GO

/* now stop the job */
exec msdb..sp_start_job @job_name = 'Distribution agent job'
GO

/* 
    Now go and make sure everything is working ok!
*/