SQL Server 2005 / Yukon

大量の insert 処理のパフォーマンスを改善する

河端善博 — Tue, 29 Jul 2008 20:41:00 GMT

マスターの一括更新など、大量の insert 処理のパフォーマンス改善方法です。

問題のパターン:

　マスター更新用のデータを CSV などから読み込み、1行単位で、
　insert into T1 (x,y,z) values('xx', 'yy', 'zz');
　という SQL 文字列を構築して、SqlCommand に設定し、
　ExecuteNonQuery メソッドで実行します。

　この結果、100 万行あれば、100 万回の ExecuteNonQuery を実行します。

改善ポイント:

複数行まとめて処理する
トランザクションにまとめる

ポイント 1, 2 は、次のようなクエリーをつくろうというものです。

　BEGIN TRAN;
　insert into T1(x,y,z) values ('x1', 'y1', 'z1');
　insert into T1(x,y,z) values ('x2', 'y2', 'z2');
　insert into T1(x,y,z) values ('x3', 'y3', 'z3');
　COMMIT;

ここでは、3行まとめた SQL 文字列を作成し、BEGIN TRAN/COMMIT で閉じています。
複数行をまとめることで、SQL Server の呼び出し回数を大幅に減らすことができます。
また、トランザクションにまとめることで、SQL Server の処理効率をあげることができます。

実際に運用する場合には、100 行単位程度でまとめるといいと思います。
実システムでテストしてみていただくことをお勧めします。

SQL Server 2008 をご利用の場合、一回の insert で複数行を処理をお勧めします。

SQL Server 2005 SP2 CU8 bug# 50002689 は、セキュリティ修正ではありません

河端善博 — Thu, 17 Jul 2008 19:56:00 GMT

SQL Server 2005 SP2 CU8 の bug# 50002689 は、セキュリティ修正ではなく不具合修正でした。

(日本語) SQL Server 2005 Service Pack 2 用の累積的な更新プログラムパッケージ 8
(英語) Cumulative update package 8 for SQL Server 2005 Service Pack 2

英語版のサポート情報は、文書バージョン 5.0 になっていて、50002689 の表現は、「FIX: Update for SQL Native Client」　と変更されています。日本語のサポート情報も修正になると思われます。

先日のブログで、本件について触れていました。

続: MS08-040 Microsoft SQL Server の脆弱性により、特権が昇格される (941203)
(2008/7/14)

SQL Server 延長サポート終了日 (2008/7/15 現在)

河端善博 — Tue, 15 Jul 2008 12:00:00 GMT

MS08-040 リリースに伴い、SQL Server のセキュリティ更新がいつまで提供されるのかをまとめておきます。
セキュリティ更新が提供されるのは、「メインストリームサポート」「延長サポート」となります。
そこで、現時点での、延長サポート終了日をまとめます。

製品	延長サポート終了日
SQL Server 6.5	終了
SQL Server 7.0 SP3 以下	終了
SQL Server 7.0 SP4	2011/1/11
SQL Server 2000 SP3a 以下	終了
SQL Server 2000 SP4	2013/4/9
SQL Server 2005 SP1 以下	終了
SQL Server 2005 SP2	2016/4/12

なお、サービスパックが新たに提供された場合は、終了日が変更となります。

■参照

続: MS08-040 Microsoft SQL Server の脆弱性により、特権が昇格される (941203)

河端善博 — Mon, 14 Jul 2008 12:36:00 GMT

MS08-040 についてまとめておきます。

MS08-040 Microsoft SQL Server の脆弱性により、特権が昇格される (941203)
危険度: 重要
公開日: 2008/7/9
対象: SQL Server 2000, MSDE, SQL Server 2005, 他
情報: 管理者向け, 一般向け, サポート情報 KB941108

※PASSJメールニュース "Leader's Report" にもレポートしています。

■ 5年ぶり
　SQL Server の脆弱性対策としては 5年ぶりとなります。
　前回は 2003 年 MS03-031 になります。
　このため、SQL Server 脆弱性対策は初めての方も多いと思われます。
　更新作業そのものは、Windows Update でもできますが、
　事前のバックアップなど、十分に注意して作業することを
　お勧めします。

■ Windows Update に含まれる
　MS08-040 も Windows Update に含まれています。
　複数の SQL Server インスタンスを導入している場合は、
　かなり時間がかかることが予想されます。
　注意が必要ですね。
　他の更新とは、別に作業したほうがいいかもしれません。

■ 脆弱性以外の修正も含む
　MS08-040 には、脆弱性の修正以外にも大量の修正が含まれています。
　運用中のシステムに影響がでる可能性がありますので、
　下記の情報をあわせて参照することをお勧めします。

　上記のサポート情報に MS08-040 も追記される予定です。

■ 古いサービスパックは対象外
　MS08-040 がサポートするサービスパックは、最新の
　サービスパックのみです。

SQL Server 7 SP4
SQL Server 2000 SP4
SQL Server 2005 SP2

　古いサービスパックで運用している場合、
　サービスパックを更新するか、
　脆弱性があることを前提に守りを固める必要があります。

■ SQL Server 2005 SP2 CU7, CU8
　MS08-040 は、SQL Server 2005 SP2 以降の
累積修正プログラム CU7, CU8 に含まれています。

09.00.3257.00 SQL Server 2005 SP2 CU8

09.00.3239.00 SQL Server 2005 SP2 CU7

09.00.3233.00 MS08-040

09.00.3228.00 SQL Server 2005 SP2 CU6

　MS08-040 を適用した後に、CU7, CU8 を適用することもできます。

■ メーカー、開発元に要確認
　MS08-040 を適用する前に、SQL Server を利用する
　システムの開発元、メーカーなどに対応状況の確認を
　することをお勧めします。

■ CU8 には、SQL Native Client のセキュリティ更新
　SQL Server 2005 SP2 CU8 には、セキュリティ更新が
　含まれています。

　　SQL bug number = 951217

　これは、MS08-040 には含まれていません。
　詳細がわかりませんが、今後、Windows Update などで
　提供される可能性があります。

以上です。その他、気になる点がいくつかありますので、また追加していきたいと思います。

MS08-040 : Microsoft SQL Server の脆弱性により、特権が昇格される

河端善博 — Wed, 09 Jul 2008 12:30:00 GMT

本日 2008/7/9(水) 公開のセキュリティ更新プログラムには、数年ぶりに SQL Server 脆弱性への対処が含まれています。

MS08-040 Microsoft SQL Server の脆弱性により、特権が昇格される (941203)
危険度: 重要
公開日: 2008/7/9
対象: SQL Server 2000, MSDE, SQL Server 2005, 他
情報: 管理者向け, 一般向け, サポート情報 KB941108

なお、この修正プログラムには、脆弱性への対処だけでなく、多くの不具合への対応が含まれています。
現在、どの修正が含まれているのかを確認中ですので、わかり次第ご報告させていただく予定です。

参考: (SQL Server 2005 SP2 以降の累積修正プログラムとビルド番号)

09.00.3257.00 SQL Server 2005 SP2 CU8
09.00.3239.00 SQL Server 2005 SP2 CU7
09.00.3233.00 MS08-040
09.00.3228.00 SQL Server 2005 SP2 CU6

SQL Server 2005 SP2 CU4 (Build 9.0.3200) サポート情報の日本語版

河端善博 — Fri, 18 Jan 2008 14:47:00 GMT

SQL Server 2005 SP2 CU4 についてのサポート情報の日本語訳が更新されました。

SQL Server 2005 Service Pack 2 の累積的な更新プログラムパッケージ 4 について
文書番号: 941450

CU4 に含まれる修正内容のタイトル一覧だけでも、目を通しておければと思います。
なお、翻訳を迅速に作成していただいたマイクロソフトの方々に感謝します。

また、SP2 CU5 (Build 9.0.3215) がすでにリリースされています。
あわせてご確認ください。

SQL Server 2005 SP2 CU5 Build 9.0.3215

SQL Server 2005 SP2 CU5 Build 9.0.3215

河端善博 — Fri, 21 Dec 2007 15:43:00 GMT

米田さんのブログでも詳細されておりますように、
SQL Server 2005 SP2 用の累積更新プログラム 5 が提供開始されました。

日本語 SQL Server 2005 Service Pack 2 の累積的な更新パッケージ 5
英語 Cumulative update package 5 for SQL Server 2005 Service Pack 2
公開日: 2007/12/17

サポートへ要望することにより、入手することができます。
SP2 以降について、簡単に修正件数をまとめておきます。

日本語: SQL Server 2005 Service Pack 2 以降にリリースされた SQL Server 2005 のビルド
英語: The SQL Server 2005 builds that were released after SQL Server 2005 Service Pack 2 was released

【累積更新パッケージと修正件数】

CU 公開日ビルド修正件数

CU1 2007/4/16 9.00.3161
29

CU2 2007/6/18 9.00.3175
82

CU3 2007/8/20 9.00.3186
64

CU4 2007/10/15 9.00.3200
42

CU5 2007/12/17 9.00.3215
64

合計
281

※修正件数のうち 12 件は、重複しています。

CU	公開日	ビルド	修正件数
CU1	2007/4/16	9.00.3161	29
CU2	2007/6/18	9.00.3175	82
CU3	2007/8/20	9.00.3186	64
CU4	2007/10/15	9.00.3200	42
CU5	2007/12/17	9.00.3215	64
合計			281

SQL Server 2005 SP2 CU4 サポート情報の更新

河端善博 — Mon, 10 Dec 2007 19:00:00 GMT

日本語: SQL Server 2005 Service Pack 2 の累積的な更新プログラムパッケージ 4 について
英語: Cumulative update package 4 for SQL Server 2005 Service Pack 2

SQL Server 2005 SP2 CU4 のサポート情報が更新されています。
CU4 に含まれる修正プログラムのサポート情報へのリンクが提供されました。
※ただし、2007/12/10 時点は、英語版のみ更新。

CU4 には、多数の修正が含まれていますので、ご確認いただければと思います。

2007/12/15(土) 13:00-@新宿, PASSJ アフタースクール開催します

河端善博 — Fri, 07 Dec 2007 09:02:00 GMT

12/15(土)開催「デモで学習する、SQL Server 開発・運用のポイント(再) 講座」土曜 1 日集中コース
日時: 2007/12/15(土) 13:00-
場所: マイクロソフト新宿 5F

年末のお忙しい時期かと思いますが、ご参加をお待ちしております。

【セッション一覧】

「セキュリティの現状とこれから」 (マイクロソフト　小野寺さん)
「デモで学習する、SQL Server 開発・運用のポイント」 (PASSJ 河端)
「ハードウェアから科学する、サーバ性能を向上させるポイント」 (MVP 飯島さん)

【セキュリティみどころ】

小野寺さんのセキュリティのセッションでは、マイクロソフトが、Windows や SQL Server などの製品を安心して、安全に利用できるようにするために、実際、どのようなことを行っているのかを解説していただける予定です。

最近、攻撃者のターゲットは、Windows や SQL Server だけでなく、企業で開発したシステムやパッケージになりました。といいつつ、本当のところ、どのような状況なのでしょうか。

また、システム開発時に行うセキュリティ対策と、SDL をはじめ、多数の情報が提供されています。
ただ、最善のことをすると、どの程度のコストがかかるものでしょうか。マイクロソフトは、Windows の一つの脆弱性を修正するのに、本当のところ、どのぐらいコストをかけて、汗をかいて、いるのでしょうか。

もちろん、システムの規模、開発者の数、販売数の面で、マイクロソフトの Windows や SQL Server と、自社のシステムとは、比べられないかもしれません。
しかし、フリーウェアまで攻撃者のターゲットになる時代。
この機会に小野寺さんと、お話をして、自社にあった対策を考えるきっかけにしていただければと思います。

【SQL Server 運用・開発みどころ】

SQL Server の、すぐにつかえる TIPS をデモを交えながら、ご紹介させていただく予定です。
ちょっとポイントを押さえておくと、レスポンスが 1/10 になるなんてことも、ありますから。
また、SQL Server 2008 CTP 5 の話も少し、させていただければと考えています。

【ハードウェアみどころ】

サーバーは、どんどん進化しています。
CPU は 4 コアが普通になり、OS は、32bit から 64 bit へ、メモリは、16GB 程度は普通に搭載。
こうしたハードウェアが普通に購入できるようになりました。

そこで、サーバーハードウェアに詳しい飯島さんから、今の CPU, メモリのチェックポイントをご紹介いただく予定です。
最新のハードウェアを導入したのに、そんなにパフォーマンスが上がらないと、お悩みの方。
ハードウェアの更新を控えている方。
もちろん、最新 CPU やメモリの話が大好きな方。ぜひ、この機会に飯島さんとお話をしていただければと思います。

ぜひぜひ、ご参加をお待ちしております。

KB942659 同じ列の比較とLIKE の問題が SQL Server 2005 SP2 CU4 で修正されていない

河端善博 — Tue, 04 Dec 2007 03:17:00 GMT

下記のサポート情報について、検証しました。

クエリで、同じ列に対して比較演算子と LIKE 演算子を使用すると、最適な実行プランが得られません。
文書番号: 942659
SQL バグ番号: 50001716
SP2 CU4: SQL Server 2005 Service Pack 2 の累積的な更新プログラムパッケージ 4 について

サポート情報が指摘する問題を概略すると次のようになります。

【KB942659 で修正されたはずの問題】

　WHERE [name] LIKE @a and [name] >= @b

　このように、ひとつの列 [name] に対して、LIKE と比較を使った場合で、
　比較対象が変数の場合に、SQL Server 2005 は、実行プランに比較を採用します。
　しかし、LIKE を利用したほうが高速で低コストになります。

　なお、次のように変数ではなく、定数を指定した場合は、LIKE が採用されます。

　WHERE [name] LIKE 'AB%' and [name] >= 'A'

　SQL Server 2000 では、実行プランにて、LIKE が採用されていました。
　KB942659 は、この問題を修正していると書かれています。

【結論】

　SQL Server 2005 Developer Edition x86 SP2 CU4 (Build 9.0.3200) では、
　KB942659 は修正されていないと考えられます。

【評価環境】

SQL Server 2000 Standard Edition SP4 x86 (Build 8.00.2249)
SQL Server 2005 Standard Edition SP2 x86 (Build 9.00.3054)
SQL Server 2005 Developer Edition SP2 CU4 x86 (Build 9.00.3200)
SQL Server 2008 Developer Edition CTP5 x64 (Build 10.0.1075)

【テスト用テーブル作成】

-- create table1
set nocount on;

drop table [table1];

create table [table1]
(
    id int not null primary key,
    [name] varchar(100) not null
)

create index [IX_table1_name] on [table1]([name]);

declare @id int, @name varchar(100)

begin tran;
set @id = 1;
while @id <= 10000
begin
    set @name = CONVERT(varchar(100), NEWID());
    insert into [table1] values (@id, @name);
    set @id = @id + 1;
end;
commit;

select COUNT(*) as [table1 count] from [table1];

【テスト用クエリー】

-- TEST query
declare
@p1 varchar(100),
@p2 varchar(100);

set @p1 = 'AB%';
set @p2 = 'A';

select [name] from [table1]
where
[name] like @p1
and [name] >= @p2;

【評価結果】

　実行プランを比較した。
　結果、SQL Server 2000 のみ LIKE を採用した。
　また、SQL Server 2005, 2008 にて、where に like のみ指定した場合は、like と >= を指定する場合と比較して、実行時間は 1/7 であった。

SQL Server 2005 SP2 CU4 は、KB941450 にある入手方法を使って、無償でマイクロソフトからダウンロードすることができます。
SQL Server 2008 CTP5 は、"Try SQL Server 2008 TODAY" のページから英語版をダウンロードすることができます。

よろしければ、評価してみていただければと思います。