博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
.Net中DataAdapter批量插入和更新数据总结
阅读量:7016 次
发布时间:2019-06-28

本文共 4776 字,大约阅读时间需要 15 分钟。

前言

  前段时间一直在忙着项目上线,在做项目的同时遇到了一些之前不曾碰到的问题,因为没有经验,只能从网上找一些相关的解决方案,但是网上提供的资料实在是太杂,有的根本不能用,耗时又耗力。

  我希望把我这段时间遇到的问题记录下来,去帮助那些当时和我一样“饥渴”的人,以减少时间成本,大家放心,遇到的这些问题提供的解决方案都是经过我们测试,现在正在用的,基本上没什么问题。有什么问题,大家也可以进行探讨,因为问题很多,有些记不起来了,我只能写些可以记起来的分享给大家。

  插一句,就是大家在搜问题的时候,尽量用关键字,不是你搜不到问题的答案,而是你搜问题的方式有问题,而且尽量用google,大家用过就知道为什么了,看不懂的有google翻译。

批量插入

  我们在.net操作大数据的时候,有时候会遇到大量数据插入的情况,遇到这种方式,我们遇到最笨的方式是forearch插入,很少的数据是可以,但是几千条,几万条就死掉了,这种方式性能很差。既然如此,微软不可能没有好的解决方案的,这就是DataAdapter,我贴下批量插入的:

     public static bool MultiInsertData(DataSet ds, string Columns, string tableName)        {            using (OracleConnection connection = new OracleConnection(connectionString))            {                string SQLString = string.Format("select {0} from {1} where rownum=0", Columns, tableName);                using (OracleCommand cmd = new OracleCommand(SQLString, connection))                {                    try                    {                        connection.Open();                        OracleDataAdapter myDataAdapter = new OracleDataAdapter();                        myDataAdapter.SelectCommand = new OracleCommand(SQLString, connection);                        myDataAdapter.UpdateBatchSize = 0;                        OracleCommandBuilder custCB = new OracleCommandBuilder(myDataAdapter);                        DataTable dt = ds.Tables[0].Copy();                        DataTable dtTemp = dt.Clone();                        int times = 0;                        for (int count = 0; count < dt.Rows.Count; times++)                        {                            for (int i = 0; i < 400 && 400 * times + i < dt.Rows.Count; i++, count++)                            {                                dtTemp.Rows.Add(dt.Rows[count].ItemArray);                            }                            myDataAdapter.Update(dtTemp);                            dtTemp.Rows.Clear();                        }                        dt.Dispose();                        dtTemp.Dispose();                        myDataAdapter.Dispose();                        return true;                    }                    catch (System.Data.OracleClient.OracleException E)                    {                        connection.Close();                        return false;                    }                }            }        }

  大家都是搞编程的,一看就明白,我就简单的说下,参数ds是要更新的数据集,Columns是要插入的列表,TableName是要插入的表名,这里需要强调的一点是,插入数据集里的表的字段和类型必须和数据库那边一致,这点重要,要不然插入会报错。

  这里还有加了个分段插入,就是那个for,每400条插入一次,这样可以避免插入的数据太大,会发生超时异常。

  我做项目的时候遇到这种情况是:有些数据是要先保存到本地,比如SqlLite,然后再上传到数据库。

  这里给大家个建议,如果用到wcf,就在传输前对数据集进行压缩,然后到服务端再解压下,这样传输速度会很快。有时间给大家提供压缩的方法。

批量更新

  批量更新和批量插入差不多的逻辑,我先贴下代码:

public static bool MultiUpdateData(DataTable data, string Columns, string tableName)        {            using (OracleConnection connection = new OracleConnection(connectionString))            {                string SQLString = string.Format("select {0} from {1} where rownum=0", Columns, tableName);                using (OracleCommand cmd = new OracleCommand(SQLString, connection))                {                    try                    {                        connection.Open();                        OracleDataAdapter myDataAdapter = new OracleDataAdapter();                        myDataAdapter.SelectCommand = new OracleCommand(SQLString, connection);                        OracleCommandBuilder custCB = new OracleCommandBuilder(myDataAdapter);                        custCB.ConflictOption = ConflictOption.OverwriteChanges;                        custCB.SetAllValues = true;                        foreach (DataRow dr in data.Rows)                        {                            if (dr.RowState == DataRowState.Unchanged)                                dr.SetModified();                        }                        myDataAdapter.Update(data);                        data.AcceptChanges();                        myDataAdapter.Dispose();                        return true;                    }                    catch (System.Data.OracleClient.OracleException E)                    {                        connection.Close();                        return false;                    }                }            }        }

  大家看代码发现和上面插入是差不多的,但是有几点注意的地方我说下,数据集行的状态RowState必须是Modified状态,不是的话需要设置一下,还有就是更新的数据集中必须包含主键,没有的话就会报错。

  重要的一点就是data.AcceptChanges();这句代码,如果注释掉的话,虽然myDataAdapter.Update(data);这段代码更新了,但是数据库那边还是不行的,我的理解是这样:Adapter本身是适配器的意思,适配器是连接两个物体之间的桥梁,就像协议一样,两边都通过才可以完成整个过程。data.AcceptChanges();的意思是应用数据集的更改,我测试过在数据集传输之前应用更新,也是可以更新到数据库的,可能就是dr.SetModified();这段代码在控制吧,如果数据库中的数据在数据集中发生变化,就会生成相应的Uodate,执行更新,这些都是我的猜测,底层的东西我不是很了解,这也是我欠缺的地方,等项目上线完一定要恶补下。

  批量更新我应用的场景是:datagridview绑定查询的数据,对数据进行修改,然后批量更新到数据库。

  希望可以帮到需要帮助的朋友。。。

 

本文转自田园里的蟋蟀博客园博客,原文链接:http://www.cnblogs.com/xishuai/p/3471508.html,如需转载请自行联系原作者

你可能感兴趣的文章
IE打开某些网站出现文件下载对话框的故障
查看>>
将字符串中的汉字去掉只保留数字
查看>>
azkaban提交job出错记录
查看>>
CentOS6.6系统安装
查看>>
scikit-feature: Open-Source Feature Selection Repo
查看>>
Linux执行定期任务-Cron和CronTab
查看>>
我的友情链接
查看>>
使用spring-data-redis操作Redis集群
查看>>
hibernate 复合主键
查看>>
国外有哪些类似Wooyun(乌云)的网站平台?
查看>>
Linux基础知识二
查看>>
rsync文件同步工具介绍、常用选项及rsync通过ssh同步 (一)
查看>>
菱形继承与菱形虚拟继承
查看>>
我的Linux之路
查看>>
7.Xcode for Swift
查看>>
Linux最常用命令及快捷键整理
查看>>
http_load讲解
查看>>
Ubuntu 14.10安装libvirt KVM
查看>>
关于性能优化
查看>>
DNS服务器
查看>>