Итак, после некоторых исследований мы решили сделать это на стороне SQL, прежде чем передавать их в хранилище данных. Но мы используем этот значительно улучшенный подход (основанный на наших потребностях и новом понимании того, как работает маска).
С помощью этого запроса мы получаем список имен столбцов и их порядковых позиций. Возврат возвращается в формате XML, чтобы мы могли перейти к SQL CLR.
DECLARE @colListXML varchar(max);
SET @colListXML = (SELECT column_name, column_ordinal
FROM cdc.captured_columns
INNER JOIN cdc.change_tables
ON captured_columns.[object_id] = change_tables.[object_id]
WHERE capture_instance = 'dbo_OurTableName'
FOR XML Auto);
Затем мы передаем этот блок XML как переменную и поле маски в функцию CLR, которая возвращает строку с разделителями-запятыми столбцов, которые были изменены в двоичном поле _ $ update_mask. Эта функция clr запрашивает поле маски для бита изменения для каждого столбца в списке xml и затем возвращает его имя из связанного порядкового номера.
SELECT cdc.udf_clr_ChangedColumns(@colListXML,
CAST(__$update_mask AS VARCHAR(MAX))) AS changed
FROM cdc.dbo_OurCaptureTableName
WHERE NOT __$update_mask IS NULL;
Код c # clr выглядит следующим образом: (скомпилирован в сборку под названием CDCUtilities)
using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;
public partial class UserDefinedFunctions
{
[Microsoft.SqlServer.Server.SqlFunction]
public static SqlString udf_clr_cdcChangedColumns(string columnListXML, string updateMaskString)
{
/* xml of column ordinals shall be formatted as follows:
<cdc.captured_columns column_name="Column1" column_ordinal="1" />
<cdc.captured_columns column_name="Column2" column_ordinal="2" />
*/
System.Text.ASCIIEncoding encoding=new System.Text.ASCIIEncoding();
byte[] updateMask = encoding.GetBytes(updateMaskString);
string columnList = "";
System.Xml.XmlDocument colList = new System.Xml.XmlDocument();
colList.LoadXml("<columns>" + columnListXML + "</columns>"); /* generate xml with root node */
for (int i = 0; i < colList["columns"].ChildNodes.Count; i++)
{
if (columnChanged(updateMask, int.Parse(colList["columns"].ChildNodes[i].Attributes["column_ordinal"].Value)))
{
columnList += colList["columns"].ChildNodes[i].Attributes["column_name"].Value + ",";
}
}
if (columnList.LastIndexOf(',') > 0)
{
columnList = columnList.Remove(columnList.LastIndexOf(',')); /* get rid of trailing comma */
}
return columnList; /* return the comma seperated list of columns that changed */
}
private static bool columnChanged(byte[] updateMask, int colOrdinal)
{
unchecked
{
byte relevantByte = updateMask[(updateMask.Length - 1) - ((colOrdinal - 1) / 8)];
int bitMask = 1 << ((colOrdinal - 1) % 8);
var hasChanged = (relevantByte & bitMask) != 0;
return hasChanged;
}
}
}
И функция к CLR такая:
CREATE FUNCTION [cdc].[udf_clr_ChangedColumns]
(@columnListXML [nvarchar](max), @updateMask [nvarchar](max))
RETURNS [nvarchar](max) WITH EXECUTE AS CALLER
AS
EXTERNAL NAME [CDCUtilities].[UserDefinedFunctions].[udf_clr_cdcChangedColumns]
Затем мы добавляем этот список столбцов в набор строк и передаем в хранилище данных для анализа. Используя запрос и clr, мы избегаем необходимости использовать два вызова функции на строку на изменение. Мы можем перейти непосредственно к мясу с результатами, настроенными для нашего экземпляра захвата изменений.
Благодаря этому сообщению stackoverflow о переполнении стека, предложенному Джоном Зигелем за манеру интерпретации маски.
В нашем опыте с этим подходом мы можем получить список всех измененных столбцов из строк 10k CDC менее чем за 3 секунды.