QueryTips

大量の insert 処理のパフォーマンスを改善する

河端善博 — Tue, 29 Jul 2008 20:41:00 GMT

マスターの一括更新など、大量の insert 処理のパフォーマンス改善方法です。

問題のパターン:

　マスター更新用のデータを CSV などから読み込み、1行単位で、
　insert into T1 (x,y,z) values('xx', 'yy', 'zz');
　という SQL 文字列を構築して、SqlCommand に設定し、
　ExecuteNonQuery メソッドで実行します。

　この結果、100 万行あれば、100 万回の ExecuteNonQuery を実行します。

改善ポイント:

複数行まとめて処理する
トランザクションにまとめる

ポイント 1, 2 は、次のようなクエリーをつくろうというものです。

　BEGIN TRAN;
　insert into T1(x,y,z) values ('x1', 'y1', 'z1');
　insert into T1(x,y,z) values ('x2', 'y2', 'z2');
　insert into T1(x,y,z) values ('x3', 'y3', 'z3');
　COMMIT;

ここでは、3行まとめた SQL 文字列を作成し、BEGIN TRAN/COMMIT で閉じています。
複数行をまとめることで、SQL Server の呼び出し回数を大幅に減らすことができます。
また、トランザクションにまとめることで、SQL Server の処理効率をあげることができます。

実際に運用する場合には、100 行単位程度でまとめるといいと思います。
実システムでテストしてみていただくことをお勧めします。

SQL Server 2008 をご利用の場合、一回の insert で複数行を処理をお勧めします。

sp_getapplock, sp_releaseapplock による「連番管理テーブルによる、未使用の最小番号を得るクエリー」

河端善博 — Wed, 18 Jul 2007 23:01:00 GMT

かなり前に、こんな投稿をしていました。

連番管理テーブルによる、未使用の最小番号を得るクエリー
2004/5/19

連番管理用テーブルを実装する方法の検討です。
ふと思い立って、作り直してみました。

【ポイント】

sp_getapplock, sp_releaseapplock により、同時実行を制御する
sp_getapplock : ロックを取得する
sp_releaseapplock : ロックを解放する

【実装: ストアドプロシージャ NextN】

CREATE PROCEDURE NextN
(
@ID char(7) OUTPUT
)
AS
BEGIN
-- 変数宣言
DECLARE @Result int

-- ロック設定
EXEC @Result = sp_getapplock @Resource='NextN', @LockMode='Exclusive';
If @Result < 0
BEGIN
  SET @ID = NULL
  RETURN
END

-- 番号を取得し、USED = 1 に設定
UPDATE N
SET USED = 1, @ID = ID
WHERE ID = (
  SELECT TOP 1
   ID
  FROM N WITH (NOLOCK)
  WHERE USED = 0
  ORDER BY ID
  )

-- ロック解放
EXEC sp_releaseapplock @Resource='NextN'
END

【利用例】

-- トランザクション開始
BEGIN TRANSACTION

-- 変数宣言
DECLARE @ID char(7)

EXEC dbo.NextN @ID OUTPUT

-- 番号を表示
SELECT @ID

-- 任意の処理

-- トランザクション終了
COMMIT TRANSACTION

計算列を NOT NULL にするには、ISNULL を利用

河端善博 — Mon, 05 Feb 2007 21:06:00 GMT

計算列を NOT NULL 指定する方法です。

SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_PADDING ON
GO
CREATE TABLE [dbo].[Table1]
(
    [ID] [int] IDENTITY(1,1) NOT NULL,
    [Name] [nvarchar](255) COLLATE Japanese_CI_AS NOT NULL,
    [Flag] [int] NOT NULL,
    [Flag1] AS (isnull([Flag] & 1), 0)
),
CONSTRAINT [PK_Table1] PRIMARY KEY CLUSTERED
(
    [ID] ASC
)WITH FILLFACTOR = 90 ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

計算列は、通常の列のように NOT NULL 指定ができません。
変わりに、ISNULL( ) を指定します。
SQL Server は、ISNULL( ) が指定されていれば、計算結果が NOT NULL になると判断し、適切な設定をします。

なお、計算列の元の列が、NOT NULL 指定されていても、ISNULL ( ) 指定がなければ、NULL の可能性があると判断されますので、注意が必要です。

計算列を含むインデックスを利用時は、SET ステートメントに注意

河端善博 — Mon, 05 Feb 2007 21:00:00 GMT

計算列を使ってインデックスをチューニングする場合の注意です。

SET ARITHABORT ON
GO
SET CONCAT_NULL_YIELDS_NULL ON
GO
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_NULLS ON
GO
SET ANSI_PADDING ON
GO
SET ANSI_WARNINGS ON
GO
SET NUMERIC_ROUNDABORT OFF
GO

上記は、計算列を含むインデックスの場合の標準的な SET ステートメントです。
ストアドプロシージャや、クエリーからインデックスを利用したい場合、同じ設定である必要があります。

設定が異なっている場合、クエリープロセッサは、インデックスを利用しません。
クエリーヒントにインデックスを指定した場合は、次のようにエラーとなります。

【インデックスをヒント指定したクエリー】

set ANSI_NULLS ON
set QUOTED_IDENTIFIER OFF
GO

CREATE PROCEDURE sp_test_1
AS
BEGIN
    SELECT Name
    FROM Table1 (INDEX(IX_Table1_a))
    WHERE Flag1 = 1
END

【インデックスが利用できないときのエラーメッセージ】

メッセージ 8622、レベル 16、状態 1、プロシージャ usp_test_1、行 10
このクエリに定義されたヒントにより、クエリプロセッサはクエリプランを作成できませんでした。ヒントを何も指定しないで、SET FORCEPLAN を使用しないでクエリを再実行してください。

【まとめ】

　計算列を含むインデックスが利用されていない場合、ストアドプロシージャの SET オプションを見直してください。
　なお、SET オプション変更にあたっては、オプションの意味をよく確認の上、変更してください。

カーソルとSQLCLR の比較 : レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Wed, 18 Oct 2006 11:57:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリー

PASSJ ML [pml-begin] にて、カーソルを利用した方法をご提示いただきましたので、SQLCLR による実装との比較をしました。

■評価対象

　佐藤さんのカーソルによる方法と、SQLCLR による方法
　また、一時テーブルによる方法、データベースにインデックス付きビューの有無、評価

■評価環境

　PC: DELL INSPIRON 9200 (PentiumM 1.8GHz, MEM 2GB, HDD 100GB)
　OS: Windows XP SP2
　DB: SQL Server 2005 Developer Edition

■結果

name の種類数が多い場合は、SQLCLR による実装のほうが、カーソルによる実装よりも高速。
一時テーブル方式は、SQLCLR と同等に近い速度
100 レコード, 10 種類の場合、いずれも 10msec 以下。計測誤差範囲.
100,000 レコード、10,000 種類の場合で、処理時間は 100msec ～ 600msec 程度。
100,000 レコード、10,000 種類、インデックス付きビュー有の場合、SQLCLR で 100msec を記録

テーブル作成: レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Wed, 18 Oct 2006 11:34:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリー

テスト用のテーブルと、データを作成するクエリーを作成しました。

■テーブル作成

CREATE TABLE [dbo].[test](
[name] [nvarchar](50) NOT NULL
) ON [PRIMARY]

■テストデータ作成

　テストデータ作成は、次のような仕様にしています。

　使用例:　EXEC CreateTestData 10000, 100

　第一引数が、レコード数、第二引数が値の種類数です。
　第三引数は、一度に insert するレコード数で、省略可能です。

-- test テーブルにデータを作成します
-- 引数:
--　@count レコード数
--　@kind name の種類数
--　@batch insert の処理単位 (省略化, 初期値 1,000)
-- 例:
--　EXEC CreateTestData 10000, 100
create procedure CreateTestData
(
    @count int,
    @kind int,
    @batch int = 1000
)
AS
begin
    set nocount on

    declare @p int
    declare @q int
    declare @r int
    declare @rSize int
    declare @name nvarchar(50)

    delete from test;

    declare @t table (
        name nvarchar(50)
    );

    begin tran

    set @rSize = @batch;
    if @rSize > @batch
        set @rSize = @batch;

    set @p = 1
    while @p <= @count
    begin
        delete from @t;
        set @r = 1;
        while @r <= @rSize and @p <= @count
        begin
            set @q = rand() * @kind;
            set @name = 'name' + convert(nvarchar(50), @q);
            insert into @t ([name]) values (@name)
            set @r = @r + 1;
            set @p = @p + 1;
        end
        insert into test select * from @t;

    end

    commit

    -- 結果出力
    select '合計' as [name], count(*) as [カウント]
    from test
    union all
    select [name], count(*)
    from test
    group by [name]
    order by count(*) desc;

end;

■ポイント

　レコード数だけでなく、name の値の種類数によって、処理時間が変わります。
　また、単純に 1レコードづつ insert すると、時間が非常にかかりますので、table 変数@t にためた後、一度に insert into / select で書き込んでいます。

まとめ 1: レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Tue, 17 Oct 2006 19:42:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリーの課題について、3 つまとめました。
まとめておきます。

■課題

レコード数上位 2 件/その他/全体を出力するクエリー

■対応

また、ご意見をいただければと思います。

仕事で利用しているノートPC と、自宅のデスクトップPC と 2台で評価していました。
10000 件程度であれば、数十 msec 前後で処理が終わってしまいます。
1000 万件までテストしてみましたが、SQLCLR を利用した場合、元の SELECT + わずかな時間で処理が可能です。

SQLCLR 内でループする代わりに、カーソルで処理した場合、どの程度の違いがあるのかも、試してみたいですね。

SQLCLR を利用する: レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Tue, 17 Oct 2006 19:33:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリー

■SQLCLR を利用する方法

　SQLCLR で集計処理を行う方法です。
　１回のcount(*) 集計の結果を、C# でカウントします。
　SQLCLR では、C# などの開発言語にて、高速にループ処理を行えるため、柔軟性の高い処理を高速に行うことができます。

　ご希望の方には、Visual Studio 2005 のプロジェクトファイルを送付させていただきますので、ご連絡いただければと思います。

■ポイント

　任意のクエリーで処理できるようにするため、クエリーの列情報を処理しています。
　実装の最初は、列情報を GetSchemaTable で取得して、出力用のレコード情報を作っています。
　実は、この部分が一番大変でした。

　引数と渡すクエリーに対して、インデックス付きビューを設定していれば、さらに高速になりますね。

■SQLCLR ストアドプロシージャ仕様

　アセンブリ: SqlTopEtcAll
　形式: ストアドプロシージャ
　ストアドプロシージャ名: TopEtcAllStored
　書式: EXEC TopEtcAllStored <TOP数> <クエリー>

　例:

EXEC TopEtcAllStored
    2,
    "select name, count(*) as [カウント] from test
    group by name order by count(*) desc"

　引数クエリーは、第１列のデータ型は文字列型、第2列のデータ型は、int 型としています。
　引数にエラーがあった場合は、例外を発生します。

■TopEtcAllStored.cs

using System;
using System.Data;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using Microsoft.SqlServer.Server;

public partial class StoredProcedures
{
    [Microsoft.SqlServer.Server.SqlProcedure]
    public static void TopEtcAllStored(int top, string query)
    {
        using (SqlConnection connection = new SqlConnection("context connection=true"))
        using (SqlCommand command = new SqlCommand(query, connection))
        {
            connection.Open();
            using (SqlDataReader reader = command.ExecuteReader())
            {
                // クエリーの列情報を得る
                DataTable schemaTable = reader.GetSchemaTable();

                // 列情報を確認
                if (schemaTable.Rows.Count < 2)
                {
                    throw new ArgumentException("query は、2 個の列が必要です");
                }

                SqlMetaData firstColumn;
                SqlMetaData secondColumn;

                // 結果の第1列のオブジェクトを作成
                try
                {
                    firstColumn = new SqlMetaData(
                            (string)schemaTable.Rows[0]["ColumnName"],
                            (SqlDbType)Enum.Parse(typeof(SqlDbType),
                                schemaTable.Rows[0]["DataTypeName"].ToString(),
                                true),
                            (int)schemaTable.Rows[0]["ColumnSize"]);
                }
                catch (ArgumentException exp)
                {
                    throw new ArgumentException(
                            "query の第一列は、文字列型が必要です", exp);
                }

                // 結果の第2列のオブジェクトを作成
                try
                {
                    secondColumn = new SqlMetaData(
                            (string)schemaTable.Rows[1]["ColumnName"],
                            (SqlDbType)Enum.Parse(typeof(SqlDbType),
                                schemaTable.Rows[1]["DataTypeName"].ToString(),
                                true));
                }
                catch (ArgumentException exp)
                {
                    throw new ArgumentException(
                            "query の第二列は、int データ型が必要です", exp);
                }

                if (secondColumn.DbType != DbType.Int32)
                {
                    throw new ArgumentException(
                            "query の第二列は、int データ型が必要です");
                }

                // 結果のレコード情報を作成
                SqlDataRecord record = new SqlDataRecord(firstColumn, secondColumn);
                SqlPipe pipe = SqlContext.Pipe;
                pipe.SendResultsStart(record);

                int topIndex = 0;
                SqlInt32 etcCount = 0;
                SqlInt32 totalCount = 0;

                // 集計結果を処理するループ
                while (reader.Read())
                {
                    // クエリーの結果を得る
                    SqlString name = reader.GetSqlString(0);
                    SqlInt32 count = reader.GetSqlInt32(1);

                    if (topIndex < top)
                    {
                        // TOP 以内の場合, 結果にレコードを出力
                        record.SetSqlString(0, name);
                        record.SetSqlInt32(1, count);
                        pipe.SendResultsRow(record);
                        topIndex++;
                    }
                    else
                    {
                        // その他の場合, カウント
                        etcCount += count;
                    }
                    // 合計の処理, カウント
                    totalCount += count;
                }

                // 「その他」のレコードを出力
                record.SetSqlString(0, "その他");
                record.SetSqlInt32(1, etcCount);
                pipe.SendResultsRow(record);

                // 「合計」のレコードを出力
                record.SetSqlString(0, "合計");
                record.SetSqlInt32(1, totalCount);
                pipe.SendResultsRow(record);

                // 結果の出力を終了
                pipe.SendResultsEnd();
            }
        }
    }
};

インデックス付きビューを利用する : レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Tue, 17 Oct 2006 19:05:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリー

■インデックス付きビューを利用する方法

　元のテーブルに count(*) を表示するビューと、そのインデックスを作成しておきます。
　元のテーブルに 3 回クエリーを行う方法でも、データ量に依存せずに短時間で処理できます。

　作成するビューとインデックス

ビュー: testCountView
　インデックス: IDX_testCountView_Name, IDX_testCountView_NameCount
ビュー: testTotalCountView
　インデックス: IDX_testTotalCountView_Name

　なお、SELECT の例は、pml-begin で、みなさんが提示されたクエリー案をご参照ください。
　いずれの方法でも、インデックス付きビューを作成しておくことにより、集計処理はインデックスに対する Index Scan で処理できるようになります。

■ビュー、インデックス定義

-- ビュー: testCountView
CREATE VIEW [dbo].[testCountView]
    WITH SCHEMABINDING
AS
    SELECT name, COUNT_BIG(*) AS NameCount
    FROM dbo.test
    GROUP BY name;

-- インデックス: IDX_testCountView_Name
CREATE UNIQUE CLUSTERED INDEX [IDX_testCountView_Name]
    ON [dbo].[testCountView]
(
    [name] ASC
)
WITH
(
    PAD_INDEX  = OFF,
    SORT_IN_TEMPDB = OFF,
    DROP_EXISTING = OFF,
    IGNORE_DUP_KEY = OFF,
    ONLINE = OFF
) ON [PRIMARY]

-- インデックス: IDX_testCountView_NameCount
CREATE NONCLUSTERED INDEX [IDX_testCountView_NameCount]
    ON [dbo].[testCountView]
(
    [NameCount] DESC
)
WITH
(
    PAD_INDEX  = OFF,
    SORT_IN_TEMPDB = OFF,
    DROP_EXISTING = OFF,
    IGNORE_DUP_KEY = OFF,
    ONLINE = OFF
) ON [PRIMARY]

-- ビュー: testCountView
CREATE VIEW [dbo].[testTotalCountView]
    WITH SCHEMABINDING
AS
    SELECT COUNT_BIG(*) AS NameCount
    FROM dbo.test;

-- インデックス: IDX_testTotalCountView_Name
CREATE UNIQUE CLUSTERED INDEX [IDX_testTotalCountView_Name]
    ON [dbo].[testTotalCountView]
(
    [nameCount] ASC
)
WITH
(
    PAD_INDEX  = OFF,
    SORT_IN_TEMPDB = OFF,
    DROP_EXISTING = OFF,
    IGNORE_DUP_KEY = OFF,
    ONLINE = OFF
) ON [PRIMARY]

※2006/11/18 testTotalCountView を追加/修正

一時テーブルを利用する方法 : レコード数上位 2 件/その他/全体を出力するクエリー

河端善博 — Tue, 17 Oct 2006 18:46:00 GMT

レコード数上位 2 件/その他/全体を出力するクエリー

■一時テーブルを利用する方法

　一時テーブルに集計を保存してから、select を実行します。
　元のテーブルへの集計処理は、１回で済ますことできます。

set nocount on

-- 変数宣言
declare @NameCount table
    (
        [id] int identity(1,1) not null primary key,
        [name] nvarchar(10) not null,
        [カウント] int not null
    )

-- 集計値を変数 @NameCount に収納
insert into @NameCount ([name], [カウント])
    select name, count(*)
    from test
    group by name
    order by count(*) desc;

-- 出力を作成
select top 2 [name], [カウント] from @NameCount
union all
select 'その他', isnull(sum([カウント]), 0) from @NameCount where id > 2
union all
select '合計', isnull(sum([カウント]), 0) from @NameCount

QueryTips

大量の insert 処理のパフォーマンスを改善する

sp_getapplock, sp_releaseapplock による「連番管理テーブルによる、未使用の最小番号を得るクエリー 」

計算列を NOT NULL にするには、ISNULL を利用

計算列を含むインデックスを利用時は、SET ステートメントに注意

カーソルとSQLCLR の比較 : レコード数上位 2 件/その他/全体を出力するクエリー

テーブル作成: レコード数上位 2 件/その他/全体を出力するクエリー

まとめ 1: レコード数上位 2 件/その他/全体を出力するクエリー

SQLCLR を利用する: レコード数上位 2 件/その他/全体を出力するクエリー

インデックス付きビューを利用する : レコード数上位 2 件/その他/全体を出力するクエリー

一時テーブルを利用する方法 : レコード数上位 2 件/その他/全体を出力するクエリー

sp_getapplock, sp_releaseapplock による「連番管理テーブルによる、未使用の最小番号を得るクエリー」