ITeye博客

lusanxiong的博客

lusanxiong · 共 10 篇文章

如何提高千万条数据分页查询效率

表my_resume数据1000W条 表v_getAllUserLabels数据100条 SQL语句如下: SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED; WITH OrderedResults AS ( SELECT R.MyUserID,R.Pername,R.Sex,R.Birthday,workedcomnumber,workedyear,workedmonth, R.Hometown,R.Location,R.updateDate,R.photoflag,, R.selfdescription,R.ResumeStatus,R.c…

2012-08-28 18:23 · 评论(0)

如何将一个数据库表(千万条)"快速"导入另一个数据库的同一张表

应用场景: 需要把A数据库users表(有1000W条数据)全部导入到B数据库users表(表结构一样,但B库的表是经过分区的). A库与B库在同一台服务器上. 数据库版本: MS2005 我的方案: insert into A.dbo.users(field1,field2,field3) select * from A.dbo.users; 问题: 1.效率极低.导入时间超过30分钟还没完成 2.产生的日志文件极大(目前有几G的日志,就这一个操作) 请问各位有没有更好的方法快速导入.

2012-08-28 11:28 · 评论(0)

lucene 多线程下创建大数据索引文件 效率问题

应用场景: 需查询数据库(1000W条数据的表),然后将查询出来的数据放入lucene索引文件中. 我的方案: 采用多线程去查询数据库,每个线程负责查询一个区间的数据(如:1W条),每个线程查询完之后创建一个索引文件,最后把这些小的索引文件 合并. 实施步骤: 创建了一个线程池,初始化500个线程,每个线程分配的任务是到数据库查询1W条记录(单线程环境下查询1W条数据花费5分钟) 直到1000W条数据全部查完.数据库连接池设了150个连接. 测试结果: 记录数量 花费时间 线程数量 单个线程查询的记录数 1W 75S 50 200 10W 11分钟 100 1000 10W 11分钟 200…

2012-08-27 11:27 · 评论(0)

sqlserver2005查看当前会话和锁定情况

sqlserver2005 内置了很多系统存储过程,这些存储过程都是以sp_开头的。根据这些存储过程我们可以查看到sqlserver很多系统信息。 --查看当前登录名为test的会话情况。 sp_who @loginame='test' --查看数据库的锁定情况 sp_lock 具体用法可以参见: http://msdn.microsoft.com/zh-cn/library/ms174313(SQL.90).aspx 附 :sqlserver2005锁的模式见: http://msdn.microsoft.com/zh-cn/library/ms175519(v=sql.90).aspx

2012-06-05 11:08 · sqlserver · 评论(0)

junit4使用总结

junit4注解标记的方法运行的顺序 @BeforeClass->@Before->@Test->@After->@AfterClass 如果需要在 类 开始之前执行某个方法需要使用该注解标注,主要用来初始化资源 @BeforeClass 如果需要在每个 测试方法 执行前都执行一次需要使用该注解标注,主要用来初始化资源 @Before 每个测试的方法需要使用该注解标注,主要要来运行测试方法 @Test 该注解还有其它的一些属性,如excepted(预计有异常),time(限定执行时间),等 相对应上面的注解@After,@AfterClass分别是在方法和类执行完之后,都会执行一次.主要用于…

2012-06-04 16:48 · 单元测试 · 评论(2)

使用log4j注意事项

使用log4j需注意以下几项: 1.log4j.properties的配置文件需放在src(或者WEB/INFO/classes)目录下,启动tomcat进程时log4j引擎也会随之启动(也就是log4j会自动初始化)。 2.如果log4j.properties配置文件放在别的目录,则需要应用程序负责初始化log4j(因为tomcat启动时在classes下面没有找到log4j.properties文件,所以不会初始化log4j).如:spring它提供了一个初始化log4j的监听类,当然你也可以自已写个servlet初始化log4j. 3.log4j.properties里面的配置key=…

2012-06-04 16:11 · 单元测试 · 评论(0)

eclipse手动安装插件的方法(link的方式)

eclipse手动安装插件方法,也就是通过link方式安装,推荐这种安装插件的方法,因为可方便的管理eclipse插件。 1.在eclipse安装home目录下(假定为d:\eclipse),新建一个my-plugin文件夹(主要用 来存放我们需要安装的各种eclipse插件) 2.下载你所需安装的插件,解压到my-plugin文件夹中。 --假定解压的插件文件夹名为svn1.6 3.同样在d:\eclipse目录下新建一个links文件夹(主要用来存放link文件,后为.link 或.txt等文本格式的就可以) 4.你要安装几个插件,相应的你就需要新建几个link文件。 注意 :link文…

2012-05-31 10:41 · 开发工具 · 评论(0)

sql(t-sql)优化

1.在应用程序中需要执行到的SQL语句,都应该放到查询分析器执行一遍,看看SQL的实际执行计划。和所花费的时间等其它的一些性能指标。这是一个好的习惯,确保在开发阶段SQL的执行效率不会太差,比等到上线时候来优化SQL,所需要的成本要低的多。 --查看IO扫描信息 set statistics io on; --查看CPU执行时间 set statistics time on; 2.了解T-SQL select查询处理执行顺序,理解这个顺序对我们优化SQL有很大的帮助。可以参考如下一篇博文:http://www.cnblogs.com/gaiyang/archive/2011/04/13/20…

2012-05-30 17:37 · sqlserver · 评论(0)

sqlserver重建(rebuild)索引可以提高查询速度

当随着表的数据量不断增长,很多存储的数据进行了不适当的跨页(sqlserver中存储的最小单位是页,页是不不可再分的),会产生很多索引的碎片。这时候需要重建索引来提高查询性能。 如何查看索引的使用情况: SELECT index_type_desc,alloc_unit_type_desc,avg_fragmentation_in_percent,fragment_count,avg_fragment_size_in_pages,page_count,record_count,avg_page_space_used_in_percent FROM sys.dm_db_index_physic…

2012-05-30 15:58 · sqlserver · 评论(0)

t-sql with as用法

with as 在t-sql(SQL Server 2005版)中也称为公用表达试,语法如下: WITH (columns in result set) AS ( SQL Query Definition ) with as 作用:相当于定义一个临时名称存储一个select结果集。 with as 效率:比子查询和表变量效率要高。 examples: WITH Developers (Name,Salary) AS ( SELECT Name, Salary FROM Employees WHERE Position = 'Software Developer' ) SELECT * FRO…

2012-05-30 14:28 · sqlserver · 评论(1)