Wie finde ich die Datenunterschiede zwischen den beiden Tabellen mit dem genauen Schema heraus und wie erstelle ich Synchronisations-SQL, um die Vereinigungsergebnisse (ohne Duplikate) zu erhalten?
Dies sind die 2 Tabellen:
SOURCE01.dbo.Customers (31,022 rows)
TARGET01.dbo.Customers (29,300 rows)
Das Schema jeder Tabelle lautet:
[CustomerId] : nvarchar(255)[CustomerSerializedProfile]: nvarchar(max)[CreatedDatetime] : DateTimeAntworten:
Mit Ausnahme von tablediff und powershell, die in den vorherigen Antworten erwähnt wurden, können Sie SQL auch mit der Anweisung UNION ALL verwenden, um die Datensätze zu finden, die nicht in zwei identischen Tabellen übereinstimmen:
SELECT MIN(TableName) AS TableName
,ID
,NAME
,lastname
,Address
,City
FROM (
SELECT 'Table A' AS TableName
,Customers.id
,Customers.NAME
,Customers.lastname
,Customers.Address
,Customers.City
FROM Customers
UNION ALL
SELECT 'Table B' AS TableName
,CustomersOld.id
,CustomersOld.NAME
,CustomersOld.lastname
,CustomersOld.Address
,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
,NAME
,lastname
,Address
,City
HAVING COUNT(*) = 1
ORDER BY id;Eine weitere Option, die Sie ausprobieren können, ist die Verwendung von Data Compare in Visual Studio. Es vergleicht Daten in der Quellendatenbank und der Zieldatenbank und erstellt ein Synchronisationsskript für die Tabellen, die Sie für die Synchronisation ausgewählt haben.
Zu guter Letzt können Sie mit dem SQL-Datenvergleichstool - ApexSQL Data Diff - alle Synchronisationsoptionen festlegen, die Tabellen und Spalten mit unterschiedlichen Namen zuordnen und Ihre eigenen Schlüssel für den Vergleich in der GUI erstellen. Sie können festlegen, dass es unbeaufsichtigt ausgeführt wird. Sie müssen lediglich den SQL Server-Auftragsverlauf am Morgen überprüfen. Wenn Sie weitere Informationen zu diesen Optionen benötigen, empfehlen wir Ihnen, diesen Artikel zu lesen: http://solutioncenter.apexsql.com/automatically-compare-and-synchronize-sql-server-data/
Überraschenderweise hat noch niemand erwähnt, dass dies in SQL Server Data Tools integriert ist. Die Funktionalität ist jedoch im Vergleich zu Redgate zum Beispiel einfach.
Einige Details in Vergleichen und Synchronisieren von Daten in einer oder mehreren Tabellen mit Daten in einer Referenzdatenbank
Verwenden nativer Tools:
tablediff : Das Dienstprogramm tablediff vergleicht die Daten in der Quelltabelle mit der Tabelle in der Zieltabelle .
powershell: Mit compare-object können Sie das erreichen. Hier ist ein gutes Beispiel
dritte Seite:
Redgate Schema und Daten vergleichen. Sie können sogar Powershell und Schema / Daten-Vergleiche verwenden, um Dinge zu automatisieren.
Ich habe dieses kürzlich für einen ähnlichen Zweck verwendet:
select
s.*
,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;Es setzt voraus, dass der Primärschlüssel konsistent ist. Aber man muss doch etwas Konsequentes haben. Ein Metaskript zum Generieren von Code wie oben ist relativ einfach zu schreiben und erleichtert den Vergleich von mehrspaltigen Tabellen.
Was die Synchronisation angeht, müssen Sie source left join targetund target left join sourcedann entscheiden, was Sie mit dem Ergebnis jedes einzelnen tun möchten.
Dies sollte Ihnen die Unterschiede zwischen den beiden Tabellen geben. Sie können diese dann in eine Einfügeabfrage einbinden, um die Unterschiede von A nach B oder umgekehrt zu setzen.
SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
FROM SOURCE01.dbo.Customers A
WHERE NOT EXISTS (SELECT B.ID
FROM TARGET01.dbo.Customers
WHERE B.CustomerId= A.CustomerId
AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
AND B.CreatedDatetime= A.CreatedDatetime)Eines unserer kostenlosen Tools verfügt über eine vollständige Oberfläche für TableDiff:
http://nobhillsoft.com/Diana.aspx
Schauen Sie sich auch unser DB-Vergleichstool an. Dies ist der einzige Server, der eine unbegrenzte Datenmenge vergleicht (keiner der anderen kann Millionen und Abermillionen von Datensätzen erstellen) ... solange Sie zwei miteinander verbundene Server vergleichen
http://nobhillsoft.com/NHDBCompare.aspx
(Wir haben andere Links in diesem Thread für Produkte von Drittanbietern gesehen, daher glauben wir, dass es legitim ist, unsere zu erwähnen ... Bitte lassen Sie uns wissen, wenn dies nicht der Fall ist.)
Wenn beide Tabellen ähnliche Primärschlüssel haben, können Sie die folgende Strategie verwenden, um Quell- und Zieltabellen zu vergleichen: (Ich habe zusammengesetzte Schlüsselspalten mit einem Sternchen markiert.)
with src as (select someCol1*,
someCol2*,
someCol3,
someCol4,
someCol5
from src_table),
tgt as (select someCol1NameCouldDiffer* as someCol1,
someCol2*,
someCol3,
someCol4,
someCol5
from tgt_table),
--Find which keys have at least 1 non-key column difference:
diffs as (select someCol1,
someCol2
from (select all 5 columns
from src
**union**
select all 5 columns
from target )
**group by** someCol1, someCol2
**having count(*)>1**
--Reselect all columns you wish to compare from src union target,
--joining on the keys from "diffs" above to show only records which
--have data differences.
select *
from (select all 5 columns
from src
union
select all 5 cols
from tgt) t1
join diffs on t1.someCol1 = diffs.someCol1
and t1.someCol2 = diffs.someCol2
**order by ** someCol1, someCol2 descDies funktioniert, weil union implizit unterschiedliche Datensätze zurückgibt. Für eine bestimmte Zeile (identifiziert durch einen Schlüssel) in der Quelle, von der Sie erwarten, dass sie genau mit dem Ziel übereinstimmt, würden Sie also erwarten, dass eine Vereinigung von src und target 1 Zeile für einen bestimmten Schlüssel zurückgibt. Auf diese Weise können Sie mit der oben beschriebenen Strategie herausfinden, welche Schlüssel ein Vereinigungsergebnis mit mehreren Zeilen zurückgeben. Anschließend können Sie das Ziel src union erneut abfragen (diesmal nur die Datensätze mit Unterschieden auswählen, indem Sie mit der Diff-Tabelle verbinden) und alle gewünschten Spalten auswählen Vergleichen Sie, indem Sie nach den Spalten sortieren, aus denen der Schlüssel besteht, und Sie sehen genau, welche Spalten nicht übereinstimmen. Beachten Sie, dass die Spaltennamen in der Quelle und im Ziel nicht übereinstimmen müssen, da sie mithilfe einer "as" -Anweisung miteinander verknüpft werden können.
Um die Unterschiede zwischen zwei identischen Tabellen zu finden
SELECT *
FROM SOURCE01.dbo.Customers
UNION
SELECT *
FROM TARGET01.dbo.Customers
AUSSER
SELECT *
FROM SOURCE01.dbo.Customers
INTERSECT
SELECT *
FROM TARGET01.dbo.Customers
Die Reihenfolge der Operationen bewirkt, dass zuerst INTERSECT ausgeführt wird, wodurch Sie einen Datensatz erhalten, der nur aus Zeilen besteht, die in beiden Tabellen vorhanden sind. Zweitens wird die UNION ausgeführt, die Ihnen alle Zeilen aus beiden Tabellen ohne Duplikate gibt. Schließlich wird EXCEPT ausgeführt, wodurch der INTERSECT-Datensatz, der die Zeilen in beiden Tabellen darstellt, aus Ihrer UNION (alle Zeilen beider Tabellen) gelöscht wird. Auf diese Weise erhalten Sie ein Dataset, das nur die Zeilen enthält, die in einer der Tabellen vorhanden sind, nicht jedoch in der anderen. Wenn Ihr Dataset wieder leer ist, sind alle Zeilen in den Tabellen gleich.
https://docs.microsoft.com/de-de/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql
Ich hatte ein ähnliches Problem und habe den SQL-Befehl 'EXCEPT' verwendet, um das Problem zu lösen. Der Befehl EXCEPT verwendet zwei SELECT-Anweisungen und gibt die Zeilen zurück, die von der ersten SELECT-Anweisung (links) und nicht von der zweiten SELECT-Anweisung (rechts) zurückgegeben werden.
SELECT * from table1 where x,y,z
EXCEPT
SELECT * from table2 where a,b,cPS: Das Schema für beide von der SELECT-Anweisung zurückgegebenen Tabellen muss übereinstimmen.
Weitere Informationen finden Sie auf der Seite Tutorials Point hier
/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator
before you run)
--KNOWN ISSUES
1. Tables need PKs
*/
SET NOCOUNT ON
--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]' --required -- If local instance, leave the string empty
DECLARE @destdb nvarchar(40)='DBName' --required
DECLARE @destSchema nvarchar(40)='dbo' --required
DECLARE @destTable nvarchar(40)='TableName' --required
-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]' --required
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer' --required
DECLARE @SourSchema nvarchar(40)='dbo' --required
DECLARE @SourTable nvarchar(40)='TableName' --required -- TableName format 'MyTable'
DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'
DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000' --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '
SELECT @WHERE = @WHERE + @Clause
DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)
declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)
--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME + '',0) as VARCHAR(''+
CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''
SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;
SELECT @v= SUBSTRING(@v,0,LEN(@v))
--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND''
FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;
SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')
--Get Column List
DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '','' FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;
SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))
--Now Compare
SELECT @sql='
SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
--print @sql
exec (@sql)
SELECT @sql='
SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK) ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND a.HashVal <> b.HashVal '
exec (@sql)
--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''
SET @sql='SELECT @ColumnList=ISNULL(@ColumnList,'''')+ ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '','' FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')
SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;
SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))
--Get PKs as VARCHAR Values
DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,'' FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'
SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC
SET @sql='
select * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SET @sql='
select * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
+ '
from
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'
EXEC( @sql)
SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and ##_sourceissuedetail ' +@randomtablesuffix
SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix
EXEC (@sql)Das Skript vergleicht (sofern mit den relevanten Details versehen) 2 Tabellen (z. B. Kunden auf Server1 mit Kunden auf Server2).
Dieses Skript ist nützlich, wenn Sie eine Tabelle mit vielen Spalten vergleichen, aber Schwierigkeiten haben, die genaue Spalte mit der falschen Zuordnung zu finden.
Ich habe eine Tabelle mit 353 Spalten und musste sie mit einer anderen Tabelle vergleichen und feststellen, dass die Werte nicht übereinstimmen. Dieses Skript hilft Ihnen dabei, das genaue Tupel zu finden.
Ich denke, Sie sollten xSQL Data Compare ausprobieren , was in Ihrem Fall den Trick macht. Nehmen wir zum Beispiel an, dass Sie angeben
SOURCE01.dbo.Customers as the **left table** and
TARGET01.dbo.Customers as the **right table**Nachdem Sie die Tabellen verglichen haben, können Sie im Vergleichsergebnis angeben, dass Sie nur die Unterschiede zur linken Tabelle synchronisieren möchten, die ein SQL-Skript zum Einfügen in TARGET01.dbo erzeugen würden. Verwendet alle Zeilen, die nicht in dieser Tabelle enthalten sind, jedoch existieren in SOURCE01.dbo.Customers (Erreichen eines UNION-Ergebnisses ohne Duplikate). Hoffe das hilft!
Offenlegung: Ich bin mit xSQL verbunden.