使用ADO.NET2.0提升数据交互性能(3)


四:使用SqlBulkCopy批量装载数据(仅限SqlClient)

    以往访问 SQL Server 2000 时,若有大量的数据记录需要添加到数据库内,例如从主机系统或是 NCR Teradata、Oracle等数据库系统下载大量数据记录,我们想要将它们快速添加到 SQL Server 2000中,可以有的选择是调用 T-SQL 的 Bulk Insert 语法、通过Linked Server 执行 SELECT INTO 语法或是执行 bcp.exe 工具程序,以及通过 DTS 的 Bulk Insert Task 或启动Transform Data Task 的快速装载(Use Fast Load)设置。


但若要通过自行编写的程序完成批次装载,只能以 C/C++ 调用 OLEDB 或 ODBC 的 Bulk API,无法通过 ADO.NET 或 ADO 等对象来执行。

    ADO.NET 2.0 的 SqlClient 提供了一个新的类称为 SqlBulkCopy,它让 DataSet 内大量的数据或是 DataReader通过数据流(Stream)直接读取大量的记录,可以快速将这些记录添加到目的数据库的数据表中。但要注意的是它并非如我们一般用的 bcp.exe工具程序,可以从某个符号分隔文件读取大量数据,选择性地搭配格式文件(Format File)将记录装载到数据库中,或是将数据库内的数据导出成为一个文件。但由于DataSet 能集成 XML 数据,因此依然可以采用 SqlBulkCopy 类型,轻松地通过 DataSet 将 XML 文件数据大量转入到数据库。

可以利用SqlBulkCopy类快速写入大批量数据,针对SQL Server的优化,可以写入DataRow数据,DataTable,DataReader,并且可以映射不同的数据列名

  WriteToServer(DataTable)写入数据表

  WriteToServer(DataRow[])批次写入数据行

  WriteToServer(DataTable ,DataRowState)按行状态写入数据库表

  WriteToServer(IDataReader)写入DataReader对象


下面是个示例:

using (SqlConnection sqlcon =

  new SqlConnection("Data Source=192.168.80.242;user id=oa;password=oapassword;initial catalog=test"))

   {

  sqlcon.Open();

  using (SqlBulkCopy bcp = new SqlBulkCopy(sqlcon))

  {

 bcp.BulkCopyTimeout = 3000;

 bcp.DestinationTableName = "dbo.Test01";

 bcp.ColumnMappings.Add("id", "id");

 bcp.ColumnMappings.Add("name1", "name1");

 bcp.ColumnMappings.Add("name2", "name2");

 bcp.ColumnMappings.Add("name3", "name3");

    //映射到不同名列

 bcp.ColumnMappings.Add("changedname4", "name4");

 bcp.WriteToServer(dt);

 sqlcon.Close();

  }

   }

 
但是SqlBulkCopy使用时要注意以下几点:

1.确认确实需要大容量更新在执行此操作,(几十行的数据请尽量使用别的渠道把).

2.

3.确认数据一致性,与检查机制,以免遇到主键冲突,数据不符格式等意外。

4.

3.SqlBulkCopy操作可能会导致对目标表元数据的更改(例如,禁用约束检查时)。如果出现这种情况,访问大容量插入表的并发快照隔离事务将失败。

4. SqlBulkCopy将向数据库下大容量更新锁,请注意并发性,以免其他连接因长时间等待而超时。

http://www.cnblogs.com/trisaeyes/archive/2006/12/30/608075.html

 

本文作者:



相关阅读:
Javascript打印网页部分内容的脚本
oracle中有关网络配置的介绍
mysql 教程 存储过程
PHP中strtok()函数的优点详细解析
JSP由浅入深(9)—— JSP Sessions
SQL 中sp_executesql存储过程的使用帮助
一份ASP内存的释放的实验报告
Asp.net中用核选框显示数据的方法及ButtonColumn的使用方法
实例讲解Oracle数据库设置默认表空间问题
再论Javascript的类继承
Fastest way to build an HTML string(拼装html字符串的最快方法)
关闭Linux下不必要的系统服务以加快速度
做个DataList 可分页的数据源
JavaScript 拖拽实现(附注释),最经典简单短小精悍!
快速导航

Copyright © 2016 phpStudy |